14. ログのカテゴライズと保存場所の変更方法

Graylogでは、ログに含まれるキーワードなどで、ログをカテゴライズすることができます。 Graylogでは、ログのカテゴライズの機能をstreamと呼びます。

14.1. streamとは

streamとは、Graylogが受け取ったメッセージを、リアルタイムにカテゴライズする仕組みです。例えば、ログに含まれるプログラム名などとマッチングさせるルールを作り、マッチングしたログだけを Elasticsearchの特別なインデックスに保存することができます。

streamを利用することで、ログを保存するときに分類ができるようになります。そのため、検索効率が上がります。

また検索効率だけでなく、streamの設定毎にアラートの設定を行うことや、別のシステムにログを送信するなどの操作もできるようになります。

まずstreamと紐づくElasticsearchのインデックスを新たに作成します。メニューの indeces リンクから管理画面に移動します。

初期状態では、 Default index set というインデックスが存在します。新たにインデックスを追加する場合、 Create index ボタンをクリックします。

インデックスの入力項目の意味は次の通りです。

Title : インデックスの名前を入力します。
Description : インセックスの説明を入力します。
Index prefix : インデックスのプレフィックスを入力します。アルファベットと数値と_ - +が使えます。また他のインデックスで利用しているプレフィックスは利用できません。
Analyzer : Elasticsearchのアナライザを指定します。
Index shareds : インデックスのシャードを指定します。
Index replicas : インデックスのレプリカを指定します。
Max. number of segments : 最適化された後のElasticsearchインデックスのセグメントの最大数を指定します。
Disable index optimization after rotation : チェックした場合、ローテーション後のインデックスの最適化を無効化します。
Select rotation strategy : 以下から選択します。
- Index Message Count : メッセージの数でローテーションします
- Index Size : インセックスのサイズでローテーションします
Select retention strategy : 最大のインデックス数を超えた場合の挙動を選択します。
- Delete index : インデックスを削除します。
- Close index : インセックスをクローズします。
- Do nothing : 何もしません
Max number of indices : インデックスの最大数を指定します。

入力後、 Save ボタンをクリックすることで、新しいインデックスが作成されます。

次に新しいStreamを作成します。

メニューの Streams リンクから管理画面に移動します。

初期状態では、All messages というすべてのログが保存されるStreamが存在しています。新しくStreamを作成するためには、 Create Stream ボタンをクリックします。

入力項目の意味は次の通りです。

Title : Streamのタイトルです。
Description : Streamの説明です。
Index Set : streamと紐付けるインデックスを選択します。
Remove matches from 'All messages' stream : チェックすると、このStreamにマッチするメッセージを All messages から削除します。

作成すると新しいStreamが表示されます。

次に、作成したStreamを使うためのルールを定義します。

Manage Rules のボタンをクリックします。クリックするとルールの管理画面が表示されます。

この画面で、 Add stream rule をクリックしルールを追加します。

入力項目の意味は次の通りです。

なお、 inverted オプションが存在する場合、チェックすると、逆の意味になります。

ルールは、複数追加可能です。複数のルールを追加した場合、次の選択によって、Streamを利用するか否か挙動が変化します。

A message must match all of the following rules : すべてのルールにマッチする場合
A message must match at least one of the following rules : 少なくとも１つのルールがマッチする場合

Streamに流れているログを、別の場所に送信することができます。 Outputを設定するには、 Manage Outputs のボタンをクリックします。

Outputは、以下の２つから選択して設定します。

統合ログ管理・監視のOSS〜Graylog〜: ここでは、OSSの統合ログ管理・監視ソフトGraylogの特徴と、Graylogに対するデージーネットの取り組みについてご紹介します。

ログ管理のGUI: Graylogでは、ログサーバのシステム管理をGUIから行うことができます。ここでは、Graylogの特徴の一つであるGUIインタフェースについて解説します。

Graylogのシステム構成と拡張性: Graylogは、ビックデータの解析に利用するOpenSearchを使い高速なログ管理システムです。ここでは、それを実現するためのGraylogのシステム構成とGraylogの拡張性について解説します。

Graylog日本語マニュアル: Graylogの画面は英語表記です。そのため、時には利用方法が分かりにくく迷うことがあります。こうした問題に対処するために、デージーネットで、独自に作成した日本語マニュアルです。