監視 | Web Creators Hub https://web-creators-hub.com WEB技術などの情報をわかりやすく配信するメディア Wed, 08 Feb 2023 01:56:31 +0000 ja hourly 1 https://wordpress.org/?v=4.8.2 別々にあるバーチャルホストのログを集約 apache→fluentd→zabbix https://web-creators-hub.com/%e7%9b%a3%e8%a6%96/fluentd-apache/ Tue, 21 Jan 2020 16:02:42 +0000 https://web-creators-hub.com/?p=545 プロセスのメモリをある程度管理できたので、次にどのサイトがApacheの負荷をかけているのかをすぐに把握できないかと考えた。

また1台のサーバでサイトを50サイトぐらい管理しているのだが、ログの場所がサイトごとに散らばっておりログの管理が大変だった。そこで「fluentd」を使ってログを集約しアクセス数をリアルタイムに監視できるようにした。

全体像は以下の通り。

各サイトに散らばっているログを集約しdatacounterプラグインを使って集計しデータをzabbixに送って表示するといった感じだ。

fluentdインストール

まずはこれをインストールしないと始まらないので以下のコマンドでインストールする。これはCentOSの場合になる。

curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent3.sh | sh

以下のURLにほかのOSのインストール方法が記載されているのでCentOS以外の場合は調べてください。
https://docs.fluentd.org/installation/install-by-rpm

datacounterプラグインインストール

集計部分を担当。

/opt/td-agent/embedded/bin/fluent-gem install fluent-plugin-datacounter

Zabbixプラグインインストール

Zabbixにデータを送るためのプラグイン。

/opt/td-agent/embedded/bin/fluent-gem install fluent-plugin-zabbix

zabbix senderインストール

前提としてZabbixのエージェントがインストールされていること。そのほかにZabbixトラッパーというタイプを使ってデータを送信するためテストコマンドが使えるように「zabbix sender」をインストールする。

yum install zabbix-sender.x86_64

Zabbixのアイテム作成(テスト用)

データの受け皿のアイテムをZabbixの管理画面から設定する。
テストとして以下のアイテムを追加しておく。

・アイテム追加

名前:test
タイプ:Zabbixトラッパー
キー:test.trapper
データ型:文字列

トラッパーテスト

以下のコマンドを入力しデータが保存されるかテストする。ホスト名は、Zabbixでアイテムを登録したホスト名を記入する。

#/usr/bin/zabbix_sender -vv -z ZabbixサーバのIP -s "ホスト名" -k "キー" -o データ
#例：ZabbixサーバのIP：192.168.0.20　ホスト名：hogehoge キー：test.trapper データ：100の場合

/usr/bin/zabbix_sender -vv -z 192.168.0.20 -s "hogehoge" -k "test.trapper" -o 100

このコマンドでエラーが出た場合、修正しエラーがでないようにする。ここで設定したZabbixサーバのIPとホスト名はのちのfluentdの設定に使う。

fluentdの設定

vi /etc/td-agent/td-agent.conf

まずtailの部分を追加する。tailタイプはコマンドのtail -fと同じ感じでログをリアルタイムに監視する。これで散らばっていたサイトをログを集約する。

#バーチャルホスト1
<source>
  @type tail
  @id input_tail_sample1.com
  time_format %d/%b/%Y:%H:%M:%S %z
  path /var/www/vhosts/sample1.com/logs/access_log
  pos_file /var/log/td-agent/apache.sample1.com.pos
  tag apache.access.sample1.com
</source>
#バーチャルホスト2
<source>
  @type tail
  @id input_tail_sample2.com
  time_format %d/%b/%Y:%H:%M:%S %z
  path /var/www/vhosts/sample2.com/logs/access_log
  pos_file /var/log/td-agent/apache.sample2.com.pos
  tag apache.access.sample2.com
</source>

つぎに集計する部分を追加する。
datacounterの説明サイトにサンプルが載っているのでそれをカスタマイズする。
https://github.com/tagomoris/fluent-plugin-datacounter

ログはここを通り集計される。

<match apache.access.**>
  type datacounter
  aggregate all
  count_interval 1m
  count_key code
  tag response.code.analysis
  pattern1 2xx ^2\d\d$
  pattern2 3xx ^3\d\d$
  pattern3 4xx ^4\d\d$
  pattern4 5xx ^5\d\d$
</match>

最後に集計したデータを出力する部分を追加する。出力先を二か所にしたいのでcopyを使う。出力先はZabbixとファイル。
zabbixの設定は上記でテストした値を入れる。

<match monitor.duration>
  @type copy
  <store>
   @type file
   @id output_file_duraion
   path /var/log/td-agent/apache.duraion
  </store>
  <store>
    type zabbix
    zabbix_server 192.168.0.20
    host hogehoge
    name_key_pattern ^[num|min|max|avg|sum|percentile_90|percentile_95]
  </store>
</match>

挿入する設定

上記をまとめると以下のコード。

<source>
  @type tail
  @id input_tail_sample1.com
  time_format %d/%b/%Y:%H:%M:%S %z
  path /var/www/vhosts/sample1.com/logs/access_log
  pos_file /var/log/td-agent/apache.sample1.com.pos
  tag apache.access.sample1.com
</source>
#バーチャルホスト2
<source>
  @type tail
  @id input_tail_sample2.com
  time_format %d/%b/%Y:%H:%M:%S %z
  path /var/www/vhosts/sample2.com/logs/access_log
  pos_file /var/log/td-agent/apache.sample2.com.pos
  tag apache.access.sample2.com
</source>
<match apache.access.**>
  type datacounter
  aggregate all
  count_interval 1m
  count_key code
  tag response.code.analysis
  pattern1 2xx ^2\d\d$
  pattern2 3xx ^3\d\d$
  pattern3 4xx ^4\d\d$
  pattern4 5xx ^5\d\d$
</match>
<match monitor.duration>
  @type copy
  <store>
   @type file
   @id output_file_duraion
   path /var/log/td-agent/apache.duraion
  </store>
  <store>
    type zabbix
    zabbix_server 192.168.0.20
    host hogehoge
    name_key_pattern ^[num|min|max|avg|sum|percentile_90|percentile_95]
  </store>
</match>

fluentdを再起動

再起動し設定を反映させる。

service td-agent restart

ログを確認。

cat /var/log/td-agent/apache.access/buffer.xxxxxxxxxxxxxxx.log

以下のようになっていると取得成功

2020-01-14T00:34:48+09:00       response.code.analysis  {"apache.access.analyzer_unmatched_count":0,"apache.access.analyzer_unmatched_rate":0.0,"apache.access.analyzer_unmatched_percentage":0.0,"apache.access.analyzer_2xx_count":3,"apache.access.analyzer_2xx_rate":0.05,"apache.access.analyzer_2xx_percentage":100.0,"apache.access.analyzer_3xx_count":0,"apache.access.analyzer_3xx_rate":0.0,"apache.access.analyzer_3xx_percentage":0.0,"apache.access.analyzer_4xx_count":0,"apache.access.analyzer_4xx_rate":0.0,"apache.access.analyzer_4xx_percentage":0.0,"apache.access.analyzer_5xx_count":0,"apache.access.analyzer_5xx_rate":0.0,"apache.access.analyzer_5xx_percentage":0.0}

Zabbixのアイテム作成(本番用)

データを取得する受け皿をZabbixに追加する。

・アイテム追加

名前:2xx_count
タイプ:Zabbixトラッパー
キー:2xx_count
データ型:数値
]]> Apache MySQLなどプロセスのメモリ使用量をZabbixで監視 https://web-creators-hub.com/%e7%9b%a3%e8%a6%96/proc_mem/ Wed, 20 Nov 2019 16:47:11 +0000 https://web-creators-hub.com/?p=483 メモリの監視は安定してシステムを運用するためには欠かすことができません。
またどのプロセスがメモリをどれくらい使用しているかがわかれば対策も取りやすくなります。

標準アイテム「proc.mem」を使用する

標準アイテムである「proc.mem」を使用するとプロセスの使用メモリが取得できます。しかし取得できるのは物理メモリではなく仮想メモリのサイズになります。実際取得してみると物理メモリの容量が2Gなのに対し4G以上の値が記録されていました。

 

UserParameterを使ってカスタムスクリプトを作成する

物理メモリを見るようにするにはUserParameterを使ってカスタムスクリプトを作成する必要があります。

まずは監視対象のサーバ(ZabbixAgent)にログインしスクリプトを作成します。

vi /etc/zabbix/script/proc_mem.sh

#!/bin/bash

[ -z "$1" ] && COMM='.*' || COMM="$1"
[ -z "$2" ] && EUSER='.*' || EUSER="$2"
[ -z "$3" ] && MODE='sum' || MODE="$3"
[ -z "$4" ] && ARGS_PATTERN='.*' || ARGS_PATTERN="$4"

PLIST=$( ps -eo rss,comm,euser,args --no-headers )

case "${MODE}" in
 "min")
   echo "${PLIST}" \
     | awk -v comm="^${COMM}$" -v euser="^${EUSER}$" -v   args_pattern="${ARGS_PATTERN}" \
       'BEGIN {MIN=0;CNT=0}{
          if (($2 ~ comm) && ($3 ~ euser)){
            args="";
            for(i=4;i&amp;lt;=NF;i++){args=args""$i}; if (args ~ args_pattern) { if (CNT == 0) { MIN=$1;CNT+=1 } else if ( MIN &amp;gt; $1 ) { MIN=$1 }
            }
          }
        } END {print MIN}'
 ;;
 "max")
   echo "${PLIST}" \
     | awk -v comm="^${COMM}$" -v euser="^${EUSER}$" -v args_pattern="${ARGS_PATTERN}" \
       'BEGIN {MAX=0}{
          if (($2 ~ comm) && ($3 ~ euser)){
            args="";
            for(i=4;i&amp;lt;=NF;i++){args=args""$i};
            if (args ~ args_pattern) {
              if (MAX &amp;lt; $1) { MAX=$1 }
            }
          }
        } END {print MAX}'
 ;;
 "avg")
   echo "${PLIST}" \
     | awk -v comm="^${COMM}$" -v euser="^${EUSER}$" -v args_pattern="${ARGS_PATTERN}" \
       'BEGIN {SUM=0;CNT=0}{
          if (($2 ~ comm) && ($3 ~ euser)){
            args="";
            for(i=4;i&amp;lt;=NF;i++){args=args""$i};
            if (args ~ args_pattern) { SUM+=$1;CNT+=1 }
          }
        } END {printf("%d\n", SUM/CNT)}'
 ;;
 "sum")
   echo "${PLIST}" \
     | awk -v comm="^${COMM}$" -v euser="^${EUSER}$" -v args_pattern="${ARGS_PATTERN}" \
       'BEGIN {SUM=0}{
          if (($2 ~ comm) && ($3 ~ euser)){
            args="";
            for(i=4;i&amp;lt;=NF;i++){args=args""$i};
            if (args ~ args_pattern) { SUM+=$1 }
          }
        } END {print SUM}'
 ;;
 *)
   exit 1
 ;;
esac

exit 0

作成したスクリプトの権限を変更します。

chmod 655 /etc/zabbix/script/proc_mem.sh

 

UserParameter追加

監視対象のサーバに先ほど作成したスクリプトをUserParameterに定義します。

vi /etc/zabbix/zabbix_agentd.conf

# UserParameter=
UserParameter=script.proc.mem[*],/etc/zabbix/script/proc_mem.sh "$1" "$2" "$3" "$4"

 

エージェントを再起動します。

service zabbix-agent restart

 

Zabbixに設定

プロセス別メモリの値を取得するためにZabbixの管理画面からアイテムを追加します。

プロセス別メモリ監視のテンプレートを作成

いろいろなサーバに設定したいので専用のテンプレートを作成します。

 

アイテムを作成

先ほど作成したテンプレートを選択しアイテムを追加します。


まずはHTTP用

次にMySQL用

テンプレートを監視サーバに追加

作成したテンプレートを監視サーバに追加します。

設定→ホスト→監視サーバを選択→テンプレート→プロセス別メモリ監視を追加

取得した値を確認する

監視データ→最新データ→アプリケーション選択→プロセス別メモリを選択

参考サイト
https://chirashi-no-ura.tumblr.com/post/84839902327/zabbix%E3%81%A7%E3%83%97%E3%83%AD%E3%82%BB%E3%82%B9%E6%AF%8E%E3%81%AE%E3%83%A1%E3%83%A2%E3%83%AA%E4%BD%BF%E7%94%A8%E9%87%8F%E3%82%92%E7%9B%A3%E8%A6%96%E3%81%97%E3%81%9F%E3%81%84
https://qiita.com/y-araki-qiita/items/4b1ee91581a636e8563c

]]> 【監視】LinuxにZabbixをインストールする https://web-creators-hub.com/%e7%9b%a3%e8%a6%96/zabbix-install/ Mon, 11 Nov 2019 16:28:07 +0000 https://web-creators-hub.com/?p=406 3.0系用のリポジトリ登録

・CentOS6

yum install http://repo.zabbix.com/zabbix/3.0/rhel/6/x86_64/zabbix-release-3.0-1.el6.noarch.rpm

・CentOS7

yum install http://repo.zabbix.com/zabbix/3.0/rhel/7/x86_64/zabbix-release-3.0-1.el7.noarch.rpm

apacheインストール

apacheとPHPがインストールされているか確認する。

yum list | grep httpd
yum list | grep php

もしインストールされていない場合は以下のコマンドでapacheとPHPをインストールする。

yum install httpd php php-mbstring php-mysql php-pear php-gd mysql-server php-mcrypt

MySqlをインストール

MySqlがインストールされていない場合はインストールする。

yum install mysql-community-server

zabbixをインストール

yum install -y zabbix-server-mysql zabbix-web-mysql zabbix-web-japanese zabbix-agent

初期データベースの作成

mysql -uroot

> create database zabbix;
> grant all privileges on zabbix.* to zabbix@localhost identified by 'ここに設定するパスワードを入力' ;
> exit

DBにデータ挿入

zcat /usr/share/doc/zabbix-server-mysql-3.0.28/create.sql.gz | mysql -uroot zabbix

zabbixの設定

vi /etc/zabbix/zabbix_server.conf

DBPassword=ここに設定したDBのパスワードを設定

vi /etc/httpd/conf.d/zabbix.conf

<Directory "/usr/share/zabbix">
    Options FollowSymLinks
    AllowOverride None
    Require all granted

    <IfModule mod_php5.c>
        php_value max_execution_time 300
        php_value memory_limit 128M
        php_value post_max_size 16M
        php_value upload_max_filesize 2M
        php_value max_input_time 300
        php_value always_populate_raw_post_data -1
        php_value date.timezone Asia/Tokyo
    </IfModule>
</Directory>

<Directory "/usr/share/zabbix/conf">
    Require all denied
</Directory>

<Directory "/usr/share/zabbix/app">
    Require all denied
</Directory>

<Directory "/usr/share/zabbix/include">
    Require all denied
</Directory>

<Directory "/usr/share/zabbix/local">
    Require all denied
</Directory>

・CentOS6

service zabbix-server start
service zabbix-agent start
service httpd start

CentOS7

systemctl start zabbix-server
systemctl start zabbix-agent
systemctl start httpd

自動起動設定

・CentOS6

chkconfig zabbix-server on
chkconfig zabbix-agent on
chkconfig httpd on

・CentOS7

systemctl enable zabbix-server
systemctl enable zabbix-agent
systemctl enable httpd

zabbixにアクセス

http://[サーバIP]/zabbix/

デフォルトのログインアカウントは以下です。
アカウント「Admin」、パスワード「zabbix」

ポート80番解放

・CentOS6

vi /etc/sysconfig/iptables

<pre>-A INPUT -p tcp -m state --state NEW -m tcp --dport 80 -j ACCEPT</pre>

service iptables restart

・CentOS7

firewall-cmd --add-port=80/tcp --zone=public --permanent
firewall-cmd --reload

SELinuxの制限解除

・CentOS7

getsebool -a|grep zabbix

httpd_can_connect_zabbix --> off
zabbix_can_network --> off

setsebool -P httpd_can_connect_zabbix on
setsebool -P zabbix_can_network on
getsebool -a|grep zabbix
httpd_can_connect_zabbix --> on
zabbix_can_network --> on

日本語化

Zabbixにログイン後、右上のユーザーアイコンをクリックし
「Language」を「Japanese（ja_JP）」に変更したら「Update」をクリック

エージェントインストール

・CentOSバージョンチェック

cat /etc/redhat-release

・Zabbixリポジトリインストール
→CentOS6 Zabbixインストール用のリポジトリをインストールする。

yum install -y http://repo.zabbix.com/zabbix/3.0/rhel/6/x86_64/zabbix-release-3.0-1.el6.noarch.rpm

→CentOS5 Zabbixインストール用のリポジトリをインストールする

yum install -y http://repo.zabbix.com/zabbix/3.0/rhel/5/x86_64/zabbix-release-3.0-1.el5.noarch.rpm

→CentOS7 Zabbixインストール用のリポジトリをインストールする

yum install -y http://repo.zabbix.com/zabbix/3.0/rhel/7/x86_64/zabbix-release-3.0-1.el7.noarch.rpm

Zabbixエージェントインストール

yum install zabbix-agent

エージェントの設定変更

vi /etc/zabbix/zabbix_agentd.conf

Server=[サーバのIP]

ListenPort=10050

ListenIP=[自分のIP]

ServerActive=[サーバのIP]

Hostname=[ホスト名]

ポート開放

vi /etc/sysconfig/iptables

-A INPUT -s [サーバIP] -p tcp -m state --state NEW -m tcp --dport 10050 -j ACCEPT
service iptables restart

Zabbixサーバのポート開放

vi /etc/sysconfig/iptables

-A INPUT -p tcp -m state --state NEW -m tcp --dport 10051 -j ACCEPT -s [クライアントのIP]

エージェント起動

service zabbix-agent start

自動起動設定

chkconfig zabbix-agent
]]>