findコマンドとは

findコマンドは、Linuxシステム上のファイルを検索するためのコマンドです。このコマンドは、指定したディレクトリ内のファイルを検索し、検索条件に一致するファイルを見つけることができます。

findコマンドは、検索条件を指定して、検索を行うことができます。検索条件として、ファイル名、ファイルサイズ、ファイルタイプ、ファイルの最終更新日時などを指定することができます。また、findコマンドは検索結果を処理するためのオプションも提供しています。

findコマンドは、Linuxシステム上のファイルを効率的に検索するために非常に便利なツールです。また、findコマンドを使用することで検索結果を処理するための複雑なコマンドを簡単に作成することができます。

検索条件を指定する

findコマンドを使用して、指定した日数が過ぎたファイルを検索するためには、検索条件を指定する必要があります。今回は、指定した日数が過ぎたファイルを検索するために、-mtimeオプションを使用します。

例えば、7日以上経過したファイルを検索する場合は、次のように指定します。

$ find /path/to/dir -mtime +7

削除する

検索条件を指定したら、検索結果を削除します。削除するには、rmコマンドを使用します。

例えば、7日以上経過したファイルを削除する場合は、次のように指定します。

$ find /path/to/dir -mtime +7 -exec rm {} \;

このコマンドでは、findコマンドで検索した結果をrmコマンドで削除しています。

エラーの原因

kernel.php

Laravel7の場合

        'stateful_api' => [
            \App\Http\Middleware\EncryptCookies::class,
            \Illuminate\Cookie\Middleware\AddQueuedCookiesToResponse::class,
            \Illuminate\Session\Middleware\StartSession::class,
            \Illuminate\View\Middleware\ShareErrorsFromSession::class,
            'throttle:60,1',
            'bindings',
        ],

Laravel8の場合
bindingsクラスをフルパスで記入する必要がある。
bindings →  \Illuminate\Routing\Middleware\SubstituteBindings::class

        'stateful_api' => [
            \App\Http\Middleware\EncryptCookies::class,
            \Illuminate\Cookie\Middleware\AddQueuedCookiesToResponse::class,
            \Illuminate\Session\Middleware\StartSession::class,
            \Illuminate\View\Middleware\ShareErrorsFromSession::class,
            'throttle:60,1',
            \Illuminate\Routing\Middleware\SubstituteBindings::class,
        ],

XMLファイルの内容をオブジェクトにする

XMLの構造はツリー構造です。フォルダ構造とほぼ同じなのでフォルダのPAHTを記載するようにデータにアクセスします。

例えばPATHをオブジェクト風に記載すると以下のようになります。
・PATH
C:/Users/test/Desktop/test
↓
・オブジェクト風
pathObj.Users.test.Desktop.test

では実際にpowershellを利用しXMLをオブジェクト化します。
以下のサンプルXMLをデスクトップにtest.xmlファイルとして保存してください。

サンプルXML

<TestList version="2" revision="1">
	<Item category="test">
		<ID type="int">1</ID>
		<Name type="string">テスト1</Name>
		<Description type="text">テスト1の内容</Description>
		</Item>
	<Item category="test">
		<ID type="int">2</ID>
		<Name type="string">テスト2</Name>
		<Description type="text">テスト2の内容</Description>
	</Item>
	<Item category="test">
		<ID type="int">3</ID>
		<Name type="string">テスト3</Name>
		<Description type="text">テスト3の内容</Description>
	</Item>
	<Item category="news">
		<ID type="int">4</ID>
		<Name type="string">ニュース1</Name>
		<Description type="text">ニュース1の内容</Description>
	</Item>
	<Item category="news">
		<ID type="int">5</ID>
		<Name type="string">ニュース2</Name>
		<Description type="text">ニュース2の内容</Description>
	</Item>
	<Item category="news">
		<ID type="int">6</ID>
		<Name type="string">ニュース3</Name>
		<Description type="text">ニュース3の内容</Description>
	</Item>
</TestList>

コードを記載するためtest.ps1ファイルを作成します。

test.ps1を右クリック→編集をクリックしファイルを開きます。
以下のコードをコピペします。

# 現在のパス取得
$scriptPath = [System.IO.Path]::GetDirectoryName($myInvocation.MyCommand.Definition)

# xmlファイルのPATH
$source = "$scriptPath\test.xml"

# xmlオブジェクト作成
$xmlObj = (Get-Content -path "$source")
# データはループさせて取得
foreach ($List in $xmlObj.TestList) {
        foreach ($item in $List.Item) {
            echo $item.Name.innerText
        }
}

説明

1.オブジェクト化

$scriptPath = [System.IO.Path]::GetDirectoryName($myInvocation.MyCommand.Definition)
$source = "$scriptPath\test.xml"
$xmlObj = (Get-Content -path "$source")

XMLファイルをオブジェクト化するためXMLファイルのPATHを取得します。
ファイルのデータを一行づつ取得するGet-Contentコマンドに使用します。これでは普通テキストファイルのような処理になっていまいますのでXMLを扱えるように全体をXMLにキャストします。

2.要素の値を取得

foreach ($List in $xmlObj.TestList) {
    foreach ($item in $List.Item) {
       echo $item.Name.innerText
    }
}

要素の値を取得する場合はinnerTextプロパティを使用します。
オブジェクト.innerText
 

3.属性の値を取得

foreach ($List in $xmlObj.TestList) {
    foreach ($item in $List.Item) {
       echo $item.GetAttribute("category")
    }
}

属性の値を取得する場合はGetAttributeメソッドを使用します。
オブジェクト.GetAttribute(“属性名”)

特定の条件により処理する

if文を利用し特定の条件にマッチした値のみ取得します。
例ではItemのcategory属性の値が「test」になっている要素の値を取得します。

# 現在のパス取得
$scriptPath = [System.IO.Path]::GetDirectoryName($myInvocation.MyCommand.Definition)

# xmlファイルのPATH
$source = "$scriptPath\test.xml"

# xmlオブジェクト作成
$xmlObj = (Get-Content -path "$source")
# データはループさせて取得
foreach ($List in $xmlObj.TestList) {
        foreach ($item in $List.Item) {
            if($item.GetAttribute("category") -eq "test"){
             echo $item.Name.innerText
             }
        }
}

Composerインストーラーをダウンロード

以下のURLからComposer-Setup.exeをダウンロードします。
https://getcomposer.org/doc/00-intro.md#installation-windows

Composerのインストール

ダウンロードしたインストーラをダブルクリックで実行します。画面がでてきたら「Next」を押します。

XAMPPがインストールされている場合は、自動的にPHPの実行ファイルを認識してくれます。認識してくれない場合は、任意で設定する必要があります。
設定が終わったら「Next」を押します。

プロキシの設定画面が表示されます。必要がある場合は設定して「Next」を押します。

確認画面が出るので問題がなければ「Install」を押します。

インストール完了後注意書きを読み問題なければ「Next」を押します。

インストール終了です。

動作を確認する

コマンドプロンプトを起動しと入力しエラーがでなければ動作完了です。

composer -V

前提

前提としてメール保管形式は、Maildir形式にします。Postfixとdovecotの設定は、以下に設定してください。

Postfix　Maildir形式の設定

vi /etc/postfix/main.cf

#MailDir形式に設定
home_mailbox = Maildir/

設定の反映は、Postfixを再起動してください。

dovecot　Maildir形式の設定

まずdovecotのインストールします。すでにインストールされている場合は、飛ばしてください。

yum install dovecot

以下Maildir形式の設定です。

vi /etc/dovecot/conf.d/10-mail.conf

mail_location = maildir:~/Maildir

設定の反映は、dovecotを再起動してください。

バーチャルメールボックスを設定する方法

バーチャルメールボックスを実現する方法は、3つあります。それは、mydestinationを利用する方法、バーチャルエイリアスを利用する方法、バーチャルメールボックスを利用する方法です。

mydestinationを利用した場合

mydestinationは、宛先、行先を意味しここにドメインを設定するとメールの宛先を見て、設定されているドメインの場合、自サーバに配送されます。ここからどのユーザーに配送するか仕分けします。仕分けは、ドメインを完全に無視しユーザー名のみで仕分けされます。ユーザーは、Linuxで設定されているユーザーのメールボックスに配送されます。

例としてgmail.comと設定した場合、設定されたサーバから送信すると実際のgmail.com宛には配送されず自サーバに配送されます。

vi /etc/postfix/main.cf

mydestination = $myhostname, localhost.$mydomain, localhost,gmail.com

また、後に説明するバーチャルエイリアス、バーチャルメールボックスを設定してもmydestinationで設定したほうが優先され、仕分けもvirtual_alias_maps、virtual_mailbox_mapsで設定していても完全に無視され、Linuxのユーザーに仕分けされるので設定には注意が必要です。

バーチャルエイリアスを設定した場合

バーチャルエイリアスは、宛先のドメインがvirtual_alias_domainsで設定されているものと一致した場合、自サーバに配送されます。そしてvirtual_alias_mapsの記載されている内容を基に仕分けされます。virtual_alias_mapsは、宛先のメールアドレスを基に既存のどのLinuxユーザーに配送するかを記載します。

Postfixの設定

vi /etc/postfix/main.cf

virtual_alias_domains = hogehoge.com
virtual_alias_maps = hash:/etc/postfix/virtual

どのユーザーに配送するか設定する

vi /etc/postfix/virtual

#以下のように[ドメイン] anythingを記述したあとメールアドレスとユーザーを関連付ける
hogehoge.com              anything
newname@hogehoge.com      newname

hash化されたDBを作成します。以下のコマンドで設定が反映します。

postmap /etc/postfix/virtual

宛先のアカウントはadduserで作成しておきます。

バーチャルメールボックスを設定した場合

バーチャルメールボックスは、Linuxのユーザーを使わず独自にユーザーを作成しメールアドレスと関連付けます。Linuxのユーザーと切り分けができるため独立性が高まり、管理もしやすくなります。ユーザーとメールボックスは、Linuxのユーザーを使わないため独自に用意する必要があります。

バーチャルメールボックスは、宛先のドメインがvirtual_mailbox_domainsで設定されているものと一致した場合、自サーバに配送されvirtual_mailbox_mapsの記載されている内容を基に仕分けします。virtual_mailbox_mapsは、宛先のメールアドレス(ユーザー名)を基にどのメールボックスに配送するかを記載します。メールボックスのディレクトリは、virtual_mailbox_baseで設定します。メールボックスのディレクトの権限を持つユーザー、グループは、virtual_uid_maps、virtual_gid_mapsで定義します。

Postfixの設定

vi /etc/postfix/main.cf

#自サーバに配送するドメイン。複数記述する場合カンマで追加
virtual_mailbox_domains = hogehoge.com
#仕分け時に利用する関連付けファイル
virtual_mailbox_maps = hash:/etc/postfix/vmail
#メールボックスのディレクトの権限を持つユーザーID、グループID
virtual_uid_maps = static:10000
virtual_gid_maps = static:10000
#メールボックスのディレクトリ
virtual_mailbox_base = /var/www/vmailbox

メールボックスの作成

#メールボックスのディレクトの権限を持つユーザー、グループを作成
groupadd -g 10000 vmailg
useradd -u 10000 -g vmailg vmail
#バーチャルメールボックスのディレクトリを作成。このディレクトリにユーザーのメールボックスが作成される。
mkdir /var/www/vmailbox
#権限変更
chown -R 10000.10000 /var/www/vmailbox

どのユーザーに、どこのメールボックスへ配送するか記載する

ユーザー名と配送先のメールボックスのpathを記入します。ユーザー名はメールアドレスと同一にします。pathは/ドメイン名/@の前のユーザー名/Maildir/にします。これは後に設定するdovecotの設定と合わすためです。

vi /etc/postfix/vmail

test@hogehoge.com      hogehoge.com/test/Maildir/

hash化されたDBを作成します。以下のコマンドで設定が反映します。

postmap /etc/postfix/vmail

バーチャルメールボックスに対応したdovecotの設定

Postfixの設定で送信されてきたメールは、無事メールボックスに配送されます。しかしユーザーがメーラーでメールを受信するためには、バーチャルメールボックスに対応したdovecotの設定が必要です。

バーチャルメールボックスの設定

dovecotの認証関連の設定を変更します。デフォルトの認証方法は、Linuxのユーザーのみになっているので、dovecotで独自のユーザー情報を利用した認証方法に変更します。このユーザーを利用して先ほど設定したPostfixの設定に対応させます。

dovecotのアカウント情報は、ユーザーDBとパスワードDBで構成されています。DBは、外部のアカウントシステムやファイルを参照することで情報を管理します。今回は、ユーザーDBにstatic(静的にメールボックスのpathを定義)とpasswdfile(認証用ユーザー)、パスワードDBにpasswdfile(認証用ユーザーに対応したパスワード)を使用します。

以下の設定で認証方法を変更します。

vi /etc/dovecot/conf.d/10-auth.conf

#!include auth-deny.conf.ext
#!include auth-master.conf.ext
#認証時のパスフレーズの送信方法を指定。デフォルトは plain。
auth_mechanisms = cram-md5 plain login
#Linuxのアカウントを使って認証を使用する。使わない場合はコメントアウトする。
!include auth-system.conf.ext
#!include auth-sql.conf.ext
#!include auth-ldap.conf.ext
#Dovecotの認証データベースを使用する。#を外す
!include auth-passwdfile.conf.ext
#!include auth-checkpassword.conf.ext
#!include auth-vpopmail.conf.ext
#静的なPathを設定するデータベースを使用する。#を外す。この設定でPostfixのメールボックスに対応させる。
!include auth-static.conf.ext

dovecot独自のユーザーを設定する

以下の設定で独自のユーザー情報が記載されたファイルを定義します。

vi /etc/dovecot/conf.d/auth-passwdfile.conf.ext

passdb {
  driver = passwd-file
  #args = scheme=CRYPT username_format=%u /etc/dovecot/users
  args = scheme=CRAM-MD5 username_format=%u /etc/dovecot/passwd
}

userdb {
  driver = passwd-file
  #args = username_format=%u /etc/dovecot/users
  args = scheme=CRAM-MD5 username_format=%u /etc/dovecot/passwd
}

次は、ユーザーに設定するパスワードを先に作成します。

#パスワード生成コマンド
doveadm pw
Enter new password:←パスワードを入力
Retype new password:←再度パスワードを入力
#生成されたパスワードは後に貼り付けるのでコピーする
{CRAM-MD5}fe8522268d91e485ccac8f36800e4fa6b10363e2a371....

最後にユーザーを作成します。

vi /etc/dovecot/passwd

ユーザー名は、必ずメールアドレスと同一にします。これは、userdbで「username_format=%u」と設定したからです。%uは、メールアドレス全体を表します。これを「username_format=%n」とすると@の前のユーザー名で定義する必要があります。パスワードは、先ほどコピーしたパスワードを貼り付けます。

#ユーザー名:パスワード　で設定
#userdbでusername_format=%uにした場合
test@hogehoge.com:{CRAM-MD5}fe8522268d91e485ccac8f36800e4fa6b10363e2a371....

#userdbでusername_format=%nにした場合は@以降を削除する
#test:{CRAM-MD5}fe8522268d91e485ccac8f36800e4fa6b10363e2a371....

バーチャルメールボックスのPathを設定する

Postfixで設定したバーチャルメールボックスからメーラーで受信できるように設定します。
以下の設定でPostfixで設定したバーチャルメールボックス、ユーザーID、グループIDを設定します。
argsのhomeでメールボックスのpathを定義します。ユーザー名をメールアドレスにすることで変数%dと%nを使うことができます。%dは、ユーザー名の@以後のドメイン名を参照し%nは@の前のユーザー名を参照します。これでメールボックスのpathを動的に定義することができます。

vi /etc/dovecot/conf.d/auth-static.conf.ext

userdb {
  driver = static
  #args = uid=vmail gid=vmail home=/home/%u
  #Postfixで設定したバーチャルメールボックス、ユーザーID、グループIDを記載する
  #%dはユーザー名の@以後のドメイン名、%nは@の前のユーザー名
  args = uid=10000 gid=10000 home=/var/www/vmailbox/%d/%n
}

特殊変数の詳しい説明はこちら
https://doc.dovecot.org/configuration_manual/config_file/config_variables/#config-variables

dovecotを再起動すると設定が反映され、メーラーからメールを受信することができます。

前回までは「mynetworks」で設定したネットワーク内でしか外部送信できませんでしたが、今回は、「mynetworks」以外から送信をできるようにします。それを実現するためにSMTPに認証機能(SMTP-AUTH)を実装します。まずはSMTP-AUTHとはなにか理解する必要があります。

SMTP-AUTHとは

スパムメールがなかった時代、メール送信サーバは、認証などなくだれでも送信できる状態でした。しかしスパムメールが流行りだすと誰でも送信できないようにメール送信にも認証が必要になりました。当初は、そのような認証機能がなかったため、POP認証の機能を使い代用していました。それが「POP before SMTP」です。そして現在では、送信サーバは、自前の認証機能を持つようになりました。それが「SMTP AUTH」です。「SMTP AUTH」は、「SASL」をいうライブラリ(フレームワーク)を使って認証システムを実現しています。

SASL

SASLはSimple Authentication and Security Layerの略で認証システムを実現するライブラリ(フレームワーク)です。Postfixだけでなくさまざまなアプリケーションで使用されています。SASLは主に「Cyrus-SASL」と「Dovecot-SASL」というライブラリを使用しています。

Dovecot-SASL

今回は「Dovecot-SASL」ライブラリを使用して認証システムを実現します。Postfixはdovecotと親和性が高く、アカウントを共有することができます。POP認証用とSMTPの認証を一元管理することができます。ちなみに「Cyrus-SASL」はSMTP用とPOP用の2種類別々に管理する必要があります。

PostfixのSMTP AUTHの設定

まずはPostfixの設定から。「smtpd_sasl_type」をdovecotに指定することで「Dovecot-SASL」ライブラリが使用できます。

vi /etc/postfix/main.cf

##smtpauth setting
#SASL認証を有効にする
smtpd_sasl_auth_enable = yes
#RCPT TO コマンドへの対応方法を制御
#mynetworksで定義したものを許可、認証成功している場合許可、認証失敗は拒否
smtpd_recipient_restrictions = permit_mynetworks, permit_sasl_authenticated, reject_unauth_destination
#Anonymous認証を拒否
smtpd_sasl_security_options = noanonymous
#outlookでSASL認証を使えるようにする。
broken_sasl_auth_clients = yes
#SASL認証で利用するレルム(ドメイン)を指定
smtpd_sasl_local_domain = $myhostname
#Dovecot-SASLを使用する
smtpd_sasl_type = dovecot
#Dovecot-SASLで使用するソケットファイル
smtpd_sasl_path = private/auth
#VRFYコマンドを無効化
disable_vrfy_command = yes

dovecotのインストール

まずは、POPサーバのアプリケーション、dovecotをインストールします。SMTPの認証に「Dovecot-SASL」を使用するとアカウント情報をdovecotに合わすため、dovecotをインストールする必要があります。

yum install dovecot

dovecot側のSMTP AUTHの設定

Postfix側が指定のソケットを通じてdovecotのアカウント情報にアクセスできるように設定します。
これでPostfixがdovecotのアカウントを使って認証することができます。

vi /etc/dovecot/conf.d/10-master.conf

  # Postfix smtp-auth
  unix_listener /var/spool/postfix/private/auth {
    mode = 0660
    user = postfix
    group = postfix
  }

dovecotの認証情報の確認

dovecotの認証に使っているアカウント情報がどこか確認します。デフォルトではLinuxのユーザーを使用しているので念のため確認します。「!include auth-system.conf.ext」がコメントアウトされていなければ問題ありません。ここがコメントアウトされている場合は、Linuxのユーザーを使用しない設定になっています。

vi /etc/dovecot/conf.d/10-auth.conf

#!include auth-deny.conf.ext
#!include auth-master.conf.ext
auth_mechanisms = plain login
#Linuxのアカウントを使って認証
!include auth-system.conf.ext
#!include auth-sql.conf.ext
#!include auth-ldap.conf.ext
#!include auth-passwdfile.conf.ext
#!include auth-checkpassword.conf.ext
#!include auth-vpopmail.conf.ext
#!include auth-static.conf.ext

次回はバーチャルメールボックス(バーチャルホスト)の設定を説明します。

クライアントからメールを送るとメールサーバはそのメールを送信先へ配送します。配送されたメールは最終的に送信先の受信ボックスに届けられます。送信先のクライアントはメールを受け取るためサーバにアクセスし受け取ります。

この一連の流れではそれぞれ役割が分担されていて、バケツリレーのようにメールを配送していきます。そしてそれぞれの役割を理解することでメールの技術的なことを基本から理解することができます。

その役割は4つに分けられそれぞれ名前がついています。

■MUA(Mail User Agent)
メールを送受信するクライアントのこと。Thunderbirdやoutlookなどのメーラーがその役割を担当します。プロトコルはSMTP、POP3など。

■MTA（Mail Transfer Agent）
メールの配送・転送するサーバのこと。Postfixが担当します。プロトコルはSMTP。

■MDA（Mail Delivery Agent）
メールボックスにメールを配送するサーバのこと。Postfixが担当します。プロトコルはSMTP。

■MRA（Mail Retrieval Agent ）
配送されたメールをMUAに渡すサーバのこと。dovecotが担当します。プロトコルはPOP3など。

今回設定するPostfixはMTA、MDA、dovecotはMRAになります。これらを意識して設定すると理解力が上がります。

Postfixの設定

全体像を理解した上でPostfixの設定を行っていきます。SSHでサーバにログインしPostfixを起動します。

service postfix start

ローカルからの送信時のFromの値を設定する [mydomain]と[myorigin]

起動するとメールを送信することができますが、デフォルトではローカルからでしか送信できません。とりあえずサーバからメールを送信してみましょう。mailコマンドで送信します。送信先は任意で設定し送信してください。

#メールコマンド
mail 送信先メールアドレス

mail test@hogehoge.com
Subject: test
test
.

メールを受信しメールの内容を確認すると差出人(from)がサーバのドメインになっていると思います。これはPostfixのmyoriginの設定がそのようになっているからです。この値を変えることでローカルからのメールを送信した場合、Fromの値を変えることができます。

vi /etc/postfix/main.cf

mydomain = sample.com
myorigin = $mydomain

ログインしているアカウントがrootの場合、fromの値はroot@sample.comになります。myoriginの設定はそれほど重要ではないのでデフォルトのままで結構です。mydomainの値はweb-creators-hub.comなど任意のドメインを設定します。

外部からPostfixに通信できるようにする

デフォルトではPCからPostfixに通信することができません。これを解決するためにはiptables、OP25B対策、postfixの設定を行います。
 

iptableで25番と587番を開放

iptablesの設定を変更しポートを開放します。

vi /etc/sysconfig/iptables

-A INPUT -p tcp -m state --state NEW -m tcp --dport 25 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 587 -j ACCEPT

再起動し反映。

service iptables restart

ここを開放してもまだ通信できせん。次にpostfixの設定を変更します。
 

inet_interfacesの設定

この設定を変更しないと外部から送信できません。これはポートがlocalhostからしかバインドできずLISTEN状態になっていないからです。これはnetstatコマンドで確認することができます。

netstat -ant | grep LISTEN

tcp        0      0 127.0.0.1:25                0.0.0.0:*                   LISTEN

これを外部からバインドできるように設定変更します。

vi /etc/postfix/main.cf

#inet_interfaces = localhost
inet_interfaces = all

この設定はiptablesのような効果があります。ここをallにすると25番ポートとバインドでき通信ができるようになります。
設定を反映するため再起動します。

service postfix restart

もう一度ポートの状態を確認します。

netstat -ant | grep LISTEN

tcp        0      0 0.0.0.0:25                0.0.0.0:*                   LISTEN

これで外部からバインドできるようになりました。
 

OP25B対策

OP25B対策としてPostfixに587番ポートを使って通信できるように設定します。

vi /etc/postfix/master.cf
#submission inet n - n - - smtpd
#↓
submission inet n - n - - smtpd

再起動します。

service postfix restart

これで587番ポートがListen状態になり通信できるようになります。
念のためnetstatで状態を確認します。

netstat -ant | grep LISTEN

tcp        0      0 0.0.0.0:25                0.0.0.0:*                   LISTEN
tcp        0      0 0.0.0.0:587                 0.0.0.0:*                   LISTEN

587番ポートがListen状態になっています。
 

通信テスト

それでは実際に通信できるかクライアントからtelnetを使って通信します。

telnet sample.com 587
220 ～ Postfix

応答が返ってきたら通信成功です。

PCからメールを送信できるようにする

Postfixと通信できるようになりましたが、まだPCから送信することができません。これはデフォルトの設定で「ローカルのみ送信可能」という設定になっているためです。この設定を変更し送信できるようにします。以下の「mynetworks」がこれにあたります。

この設定にネットワークIPをを記入すると無条件(パスワードなどの認証なし)で配送する項目になります。そのためこの設定をミスると踏み台に利用されるため注意が必要です。

vi /etc/postfix/main.cf

#mynetworks = 127.0.0.0/8
mynetworks = 192.168.0.0/16
relay_domains = $mydestination

デフォルトでは「mynetworks」に127.0.0.0/8が記入されているので自サーバからしか送信することができません。これを「mynetworks = 192.168.0.0/16」に設定すると192.168.～からのIPアドレスに限り無条件で配送する設定になります。

「relay_domains」は無条件で配送する送信先ドメイン(to)を設定します。例えばここに「gmail.com」と設定するとgmail.comを送信先とするメールは無条件で配送されます。

この二つの設定は、基本的にデフォルト設定で問題ありません。特にVPSなどで設定する場合は、プライベートアドレスを設定する場面が少ないため設定することがありません。「mynetworks」以外からの送信は、次回に紹介する認証機能(SMTP-AUTH)を使用して送信します。
 

「mynetworks」の設定する場面

プライベートネットワーク内でなにかしらのシステムが管理者にアラートを通知するときなどによく使われます。

つづきはこちら

また1台のサーバでサイトを50サイトぐらい管理しているのだが、ログの場所がサイトごとに散らばっておりログの管理が大変だった。そこで「fluentd」を使ってログを集約しアクセス数をリアルタイムに監視できるようにした。

全体像は以下の通り。

各サイトに散らばっているログを集約しdatacounterプラグインを使って集計しデータをzabbixに送って表示するといった感じだ。

fluentdインストール

まずはこれをインストールしないと始まらないので以下のコマンドでインストールする。これはCentOSの場合になる。

curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent3.sh | sh

以下のURLにほかのOSのインストール方法が記載されているのでCentOS以外の場合は調べてください。
https://docs.fluentd.org/installation/install-by-rpm

datacounterプラグインインストール

集計部分を担当。

/opt/td-agent/embedded/bin/fluent-gem install fluent-plugin-datacounter

Zabbixプラグインインストール

Zabbixにデータを送るためのプラグイン。

/opt/td-agent/embedded/bin/fluent-gem install fluent-plugin-zabbix

zabbix senderインストール

前提としてZabbixのエージェントがインストールされていること。そのほかにZabbixトラッパーというタイプを使ってデータを送信するためテストコマンドが使えるように「zabbix sender」をインストールする。

yum install zabbix-sender.x86_64

Zabbixのアイテム作成(テスト用)

データの受け皿のアイテムをZabbixの管理画面から設定する。
テストとして以下のアイテムを追加しておく。

・アイテム追加

名前:test
タイプ:Zabbixトラッパー
キー:test.trapper
データ型:文字列

トラッパーテスト

以下のコマンドを入力しデータが保存されるかテストする。ホスト名は、Zabbixでアイテムを登録したホスト名を記入する。

#/usr/bin/zabbix_sender -vv -z ZabbixサーバのIP -s "ホスト名" -k "キー" -o データ
#例：ZabbixサーバのIP：192.168.0.20　ホスト名：hogehoge キー：test.trapper データ：100の場合

/usr/bin/zabbix_sender -vv -z 192.168.0.20 -s "hogehoge" -k "test.trapper" -o 100

このコマンドでエラーが出た場合、修正しエラーがでないようにする。ここで設定したZabbixサーバのIPとホスト名はのちのfluentdの設定に使う。

fluentdの設定

vi /etc/td-agent/td-agent.conf

まずtailの部分を追加する。tailタイプはコマンドのtail -fと同じ感じでログをリアルタイムに監視する。これで散らばっていたサイトをログを集約する。

#バーチャルホスト1
<source>
  @type tail
  @id input_tail_sample1.com
  time_format %d/%b/%Y:%H:%M:%S %z
  path /var/www/vhosts/sample1.com/logs/access_log
  pos_file /var/log/td-agent/apache.sample1.com.pos
  tag apache.access.sample1.com
</source>
#バーチャルホスト2
<source>
  @type tail
  @id input_tail_sample2.com
  time_format %d/%b/%Y:%H:%M:%S %z
  path /var/www/vhosts/sample2.com/logs/access_log
  pos_file /var/log/td-agent/apache.sample2.com.pos
  tag apache.access.sample2.com
</source>

つぎに集計する部分を追加する。
datacounterの説明サイトにサンプルが載っているのでそれをカスタマイズする。
https://github.com/tagomoris/fluent-plugin-datacounter

ログはここを通り集計される。

<match apache.access.**>
  type datacounter
  aggregate all
  count_interval 1m
  count_key code
  tag response.code.analysis
  pattern1 2xx ^2\d\d$
  pattern2 3xx ^3\d\d$
  pattern3 4xx ^4\d\d$
  pattern4 5xx ^5\d\d$
</match>

最後に集計したデータを出力する部分を追加する。出力先を二か所にしたいのでcopyを使う。出力先はZabbixとファイル。
zabbixの設定は上記でテストした値を入れる。

<match monitor.duration>
  @type copy
  <store>
   @type file
   @id output_file_duraion
   path /var/log/td-agent/apache.duraion
  </store>
  <store>
    type zabbix
    zabbix_server 192.168.0.20
    host hogehoge
    name_key_pattern ^[num|min|max|avg|sum|percentile_90|percentile_95]
  </store>
</match>

挿入する設定

上記をまとめると以下のコード。

<source>
  @type tail
  @id input_tail_sample1.com
  time_format %d/%b/%Y:%H:%M:%S %z
  path /var/www/vhosts/sample1.com/logs/access_log
  pos_file /var/log/td-agent/apache.sample1.com.pos
  tag apache.access.sample1.com
</source>
#バーチャルホスト2
<source>
  @type tail
  @id input_tail_sample2.com
  time_format %d/%b/%Y:%H:%M:%S %z
  path /var/www/vhosts/sample2.com/logs/access_log
  pos_file /var/log/td-agent/apache.sample2.com.pos
  tag apache.access.sample2.com
</source>
<match apache.access.**>
  type datacounter
  aggregate all
  count_interval 1m
  count_key code
  tag response.code.analysis
  pattern1 2xx ^2\d\d$
  pattern2 3xx ^3\d\d$
  pattern3 4xx ^4\d\d$
  pattern4 5xx ^5\d\d$
</match>
<match monitor.duration>
  @type copy
  <store>
   @type file
   @id output_file_duraion
   path /var/log/td-agent/apache.duraion
  </store>
  <store>
    type zabbix
    zabbix_server 192.168.0.20
    host hogehoge
    name_key_pattern ^[num|min|max|avg|sum|percentile_90|percentile_95]
  </store>
</match>

fluentdを再起動

再起動し設定を反映させる。

service td-agent restart

ログを確認。

cat /var/log/td-agent/apache.access/buffer.xxxxxxxxxxxxxxx.log

以下のようになっていると取得成功

2020-01-14T00:34:48+09:00       response.code.analysis  {"apache.access.analyzer_unmatched_count":0,"apache.access.analyzer_unmatched_rate":0.0,"apache.access.analyzer_unmatched_percentage":0.0,"apache.access.analyzer_2xx_count":3,"apache.access.analyzer_2xx_rate":0.05,"apache.access.analyzer_2xx_percentage":100.0,"apache.access.analyzer_3xx_count":0,"apache.access.analyzer_3xx_rate":0.0,"apache.access.analyzer_3xx_percentage":0.0,"apache.access.analyzer_4xx_count":0,"apache.access.analyzer_4xx_rate":0.0,"apache.access.analyzer_4xx_percentage":0.0,"apache.access.analyzer_5xx_count":0,"apache.access.analyzer_5xx_rate":0.0,"apache.access.analyzer_5xx_percentage":0.0}

Zabbixのアイテム作成(本番用)

データを取得する受け皿をZabbixに追加する。

・アイテム追加

名前:2xx_count
タイプ:Zabbixトラッパー
キー:2xx_count
データ型:数値

サーバの監視アラートが発報されサーバが落ちていることが発覚し調査した。SSHでの接続は不可能だったので、さくらVPSのコントロールパネルから状態を確認。画面には「kernel panic」の文字。操作できなかったのでコンパネ上から再起動しサーバは復帰した。

原因究明

messagesログを確認すると「httpd invoked oom-killer: ～」というログを発見。どうやらメモリが枯渇しサーバが落ちた模様。以下が障害の流れ。

メモリ枯渇→oom-killer→カーネルパニック

oom-killerとは

物理メモリ、スワップメモリが枯渇したとき、システム全体に最も影響の与えてるプロセス(メモリを一番使っている)を選択しkillするプログラムのこと。init プロセスやカーネルスレッドなどは OOM Killer 発動対象外。

スワップメモリ追加

メモリは物理が4G、スワップが2G。スワップメモリがかなり少なかったので応急処置としてスワップメモリを6Gに増やした。

# dd if=/dev/zero of=作成ファイル bs=ブロックサイズ count=ブロック数
dd if=/dev/zero of=/var/swpfile4G bs=1M count=4096

ddコマンドで4Gの空ファイルを作成する。

mkswap /var/swpfile4G

mkswapでフォーマットしスワップとして使用できるようにする。

chmod 600 /var/swpfile4G

このままでは権限のエラーがでるのでパーミッション変更。

swapon /var/swpfile4G

スワップ領域を割り当てる

free

freeコマンドで確認。

vi /etc/fstab
#最終行に以下を追加
/var/swpfile4G          swap                    swap    defaults        0 0

OS再起動時に追加したSwap領域がマウントするようにfstabファイルを編集。

プロセスチェック

以下のコマンドを利用してメモリを使っているプロセスを割り出した。調査すると落ちたサーバがWEBサーバとして利用していることもあり「httpd」が一番怪しかった。Apacheの設定を確認すると「MaxClients」の値が256あり、1プロセス当たりのメモリ使用量が50Mの場合、12Gのメモリを使用することになり完全に枯渇することがわかった。

#ランキング
ps -eo comm,rss | sort -rn -k 2 | head -n 50

#指定プロセスの物理メモリ(RSS)合計
ps -eo rss,comm | awk 'BEGIN {SUM=0} {if ($2 == "[プロセス名]"){ SUM+=$1 }} END {printf("%dMB\n", SUM/1024)}'

#指定プロセス数
ps -eo rss,comm | awk 'BEGIN {COUNT=0} {if ($2 == "[プロセス名]"){ COUNT+=1 }} END {print COUNT}'

#指定プロセスの物理メモリ(RSS)平均
ps -eo rss,comm | awk 'BEGIN {SUM=0;COUNT=0} {if ($2 == "[プロセス名]d"){ SUM+=$1;COUNT+=1 }} END {printf("%dKB\n", SUM/COUNT)}'

#指定プロセスの物理メモリ(RSS)最大
ps -eo rss,comm | awk 'BEGIN {MAX=0} {if ($2 == "[プロセス名]"){ if (MAX < $1) { MAX=$1 }}} END {print MAX}'

#指定プロセスのCPU使用率
ps -eo %cpu,comm | awk 'BEGIN {SUM=0} {if ($2 == "[プロセス名]"){ SUM+=$1 }} END {print SUM}'

ちなみに主要プロセスのメモリ使用量は以下になった。
Postfixメモリ使用量:約33MB
PHPメモリ使用量 :0MB
MySQLメモリ使用量 :75.51 MB
httpdメモリ使用量 :443.44 MB
clamメモリ使用量 :806.4 MB

clamがメモリの使用量が大きかったので一旦停止した。

Apacheのチューニング

プロセスチェックの結果からApacheの設定に問題があることがわかりチューニングした。
以下チューニングに関係するディレクティブ。

・StartServers
Apache起動時の子プロセス数

・MinSpareServers
待機時の最小子プロセス数

・StartServers
Apache起動時の子プロセス数

・MinSpareServers
待機時の最小子プロセス数

・MaxSpareServers
待機時の最大子プロセス数

・ServerLimit
設定可能なサーバプロセス数の上限

・MaxClients
最大の小プロセス数

・MaxRequestsPerChild
1子プロセスが処理するリクエスト数(上限を超えると新しいプロセスに入れ替わる)

実際設定したのは以下の設定。

サーバが落ちた時の設定内容(デフォルト値)
<IfModule prefork.c>
StartServers         8
MinSpareServers         5
MaxSpareServers     20
ServerLimit     256
MaxClients     256
MaxRequestsPerChild  4000
</IfModule>

↓

<IfModule prefork.c>
StartServers         25
MinSpareServers         25
MaxSpareServers     40
ServerLimit     105
MaxClients     100
MaxRequestsPerChild  1000
MaxMemFree           2048
</IfModule>

「MaxSpareServers」はメモリが枯渇しないように設定。「MaxClients」は始め50ぐらいに設定していたが、すぐに上限に到達したので(apacheのエラーログでわかる)調整し100ぐらいに落ち着いた。

Zabbixでプロセスの監視

Zabbixでプロセスの監視をすることにした。今後これらの値を参考にさらなるチューニングなどに生かしていく。
テンプレートを作成しアイテムを追加する。

以下プロセスのメモリ容量を監視。

・postfixメモリ使用量
・phpメモリ使用量
・mysqldメモリ使用量
・httpdメモリ使用量
・clamメモリ使用量

あとはapacheのプロセス数、1プロセス当たりの平均メモリ使用量を監視。

プロセス名メモリ使用量

アイテム追加

名前:プロセス名メモリ使用量
タイプ:エージェント
キー:proc.mem[プロセス名,,sum,,rss]
データ型:数値(整数)
データ形式：10進数
単位：B

プロセス名はpostfix、php、mysqld、httpd、clamを入れる。

httpdの1プロセス当たりの平均メモリ使用量

アイテム追加

名前:httpdメモリ使用量平均
タイプ:エージェント
キー:proc.mem[httpd,,avg,,rss]
データ型:数値(整数)
データ形式：10進数
単位：B

httpdプロセス数

アイテム追加

名前:httpdプロセス数
タイプ:エージェント
キー:proc.num[httpd,,,]
データ型:数値(整数)
データ形式：10進数

Zabbixでログ監視

ログを監視し問題のあるものはアラートを飛ばす設定にした。
テンプレートを作成しアイテム追加、トリガーを追加する。

messages監視

以下の設定でmessagesログを監視し「oom-killer」が出たらアラートを飛ばすようにする。

アイテム追加

名前:messagesログ監視
タイプ:アクティブ
キー:log[/var/log/messages,,,,,]
データ型:ログ

トリガー

名前:OOM killer が発動されました。
条件式:
{Template linux logs:log[/var/log/messages,,,,,].regexp(oom-killer)}=1 and 
{Template linux logs:log[/var/log/messages,,,,,].nodata(10m)}=0

apacheのエラーログ

以下の設定でapacheのエラーログを監視し「MaxClients」が出たらアラートを飛ばすようにする。
このアラートは、apacheのプロセス数が「MaxClients」の値に到達したことを意味し再チューニングの参考にできる。

・アイテム

名前:apache error_log
タイプ:アクティブ
キー:log[/var/log/httpd/error_log,,,,,]
データ型:ログ

トリガー

名前:apacheのプロセスが上限に達しました。
条件式:
{Template linux logs:log[/var/log/httpd/error_log,,,,,].regexp(MaxClients)}=1 and 
{Template linux logs:log[/var/log/httpd/error_log,,,,,].nodata(10m)}=0
説明:
apacheのプロセスが上限に達しました。

今後

・MySQLなどの設定もデフォルト値のままなので見直す必要がある。
・サイト数が40サイトぐらいあるサーバなのでapacheのログを集計しどのサイトがアクセス数が多いかを把握し対応(サーバ移行など)する必要がある。

node.jsをベースとしたビルドシステムヘルパーです。ビルドシステムヘルパーとは、直訳するとビルドを手助けする人。ビルドとは、人間が書いたソースコードを実際に動くプログラムにする作業のことです。gulpとは、ビルドしたい内容をgulpに定義して自動で行うツールのことです。Gulpでは、ビルドの処理をタスクとして扱います。そして処理の内容によってプラグインをインストールしタスクを定義します。それによりいろいろな処理を自動化します。

なぜGulpが必要なのか

制作者は、制作者の視点で物事を考えます。scssを使って効率的にcssを書きたい、ファイルを分割してソースをコンポーネント化し再利用性を高めたい、TypeScriptを導入して安全性を高めたいなどを考えます。これらは、すべてビルドを行わない限りプログラムとして動作しません。手作業でビルドする場合、ひとつひとつコマンドを打ってビルドを行います。

ビルドとは、コストのかかる作業なのです。制作者の意思・視点を捨てればビルドしない方法で制作することもできます。しかしこれを自動化することでそれらのコストがなくなり、制作者の意思を制作物に反映することができます。

制作の視点とSEOの視点

WEBの場合、ファイルを分割するとインクルードするファイルが増えます。増えるとWEBサーバの処理が重くなり、サイトの表示が若干遅くなります。グーグルは、このようなサイトの評価を下げます。これは、SEO的にもマイナスです。制作者は、再利用性を高めるためにファイルを分割したのですが、SEOのためにファイルを分割せず一つにまとめる必要があります。

ほかにもグーグルは、ソースコードや画像の圧縮をサイトの制作者に要求します。制作の視点から見ればjavascriptやcssの圧縮は、メンテナンス性をなくし手間が増えるためやりたくありません。このように制作の視点とSEOの視点とでは考え方が違うため制作者は、苦労します。しかしGulpを使えばそのような問題も解決できます。このような視点の変換を自動でおこなってくれるのがGulpの本質なのです。

Gulpのインストール

node.jsのインストール

gulpは、node.jsをベースとしています。前提として、node.jsをインストールする必要があります。フロントサイドエンジニアには必須のものになるので、インストールされている方が多いと思います。

https://nodejs.org/en/

シェルやコマンドブロンプトを起動し、以下のコマンドでバージョンが表示されればインストール完了です。

npm -v

Gulpのインストール

Gulpを使用するにはグローバルとローカルにインストールする必要があります。グローバルとはPC全体でローカルとは作成するサイトやアプリのプロジェクトのことです。

・グローバルインストール
グローバルインストールはオプションgを付けます。

npm install -g gulp

ローカルインストール

プロジェクトを定義します。フォルダを作成し以下のコマンドを入力します。

npm init

以下のコマンドでGulpをインストールします。
–save-devオプションは、package.jsonのdevDependenciesに追加されます。

npm install gulp --save-dev

Gulpのバージョンを指定する場合

バージョンを指定しない場合は、gulp4がインストールされます。バージョン3をインストールしたい場合は以下のコマンドを入力しバージョンを指定してください。

npm install gulp@3.9.1 --save-dev

gulpのタスクの定義の仕方は次回