Logstashとは

Logstashとは、Logstashログだけではなく様々な形式のデータを収集・変換し、任意の場所に保管することができるオープンソースソフトウェアです。Elastic社が開発を行い、Apache2ライセンスの下で公開されています。

Logstashを利用すると、ログファイルに溜まっているデータを解析して、データベースへ格納するなど、用途にあった形にデータを変換・保存することができます。

Logstashで実現できること

Logstashを使うことで、主に以下のようなことが実現できます。

• WEBサーバやメールサーバなどシステムのログの解析とデータベースへの登録
• ログ監視（アラート通知も可能）
• コマンドの実行結果の定期的な取得
• AWSサービスのAPIから取得した情報の変換と登録
• 入力されたデータを解析してzabbixやnagiosへ登録

Logstashの動作

Logstashはデータをパイプの中に流すイメージで動作します。イメージは以下の通りです。

[input] -> [filter] -> [output]

上記のように処理の流れは入力（input）・変換（filter）・出力（output）の3つのセクションに別れています。Logstashはセクション毎に、どのようなデータをどのように処理するかをきめ細かく設定することができます。またそれぞれのセクションの機能は、すべてプラグインとして実装されており、新たなプラグインをインストールすることで、扱えるデータの形式を増やすことができます。

Elasticsearch/Kibanaとの連携

Logstashは、Elastic社が開発しているため、同社の開発した全文検索システム「Elasticsearch」とデータのグラフ化を行うためのシステム「Kibana」と連携することができます。Logstashを使って様々なデータをElasticsearchに登録し、Kibanaで可視化することができます。可視化することで、攻撃の検知やシステムの異常の検知のために、データを利用できるようになります。

デージーネットの取り組み

デージーネットでは、Logstashの機能について以下の検証を行いました。

• Apache HTTP Serverのアクセスログの変換
• Logstashによるコマンドの定期実行と実行結果の収集
• Elasticsearch/Kibanaとの連携

この検証結果をもとに、様々な形式のログの管理や、ログを可視化して利用できる仕組みを構築していきます。