構築事例：Elasticsearchを使ったログ解析システム構築

Open Smart Design

CATVのインターネットサービスでは、障害の対応や犯罪捜査への協力のために、IPアドレスから利用者を特定しなければならない場合があります。従来は、DHCPサーバ、WWWサーバ、メールサーバ、課金システムなどの膨大なログをgrepコマンドを使って調査し、利用者を特定していました。そのため、調査は大変時間がかかる作業でした。この調査を効率化できないかと相談を受け対応しました。

お客様が悩まれていた課題: 膨大なログから特定のデータを見つけるのに時間が掛かる; 複数のログから必要な情報を見つけるのが難しい

+導入企業プロフィール: ★
導入企業業種

情報・通信（岡山県）

ユーザー規模

5万人

利用OS

Debian 8

導入月

2015年8月頃

デージーネットが提案した「Elasticsearchを使ったログ解析システム構築」

アイコン男性

Elasticsearchを使った大容量ログ検索システムを構築

CATVのインターネットサービスのシステム管理者様からお問い合わせをいただきました。ケーブルテレビのインターネットサービスでは、障害の対応や犯罪捜査への協力のために、IPアドレスから利用者を特定しなければならない場合があります。しかし、この作業は、DHCPサーバ、WWWサーバ、メールサーバ、課金システムなどの膨大なログから、特定のIPアドレスに関連した情報を探す作業で、かなり時間を掛けて調査をしていました。この調査を効率化できないかと相談を受け対応しました。

Elasticsearchにログを保管

各種サーバからのログをデータベースに保管して検索性を向上する方法を検討しましたが、データ量が非常に多いためMySQLなどのRDBでは処理に時間がかかることが分かりました。そのため、ビックデータの解析ツールとして知られているElasticsearchを使うことになりました。様々なサービスから出力されるログは、rsyslogを経由してElasticsearchに保管することになりました。

GUIとしてSyLASを導入

Elasticsearchには、ログを閲覧するための仕組みが付属していません。通常はkibanaを使いますが、本件ではElasticsearchに対応したログ検索インタフェースとして、ElasticsearchとSyLASを組み合わせて導入しました。

Elasticsearchをチューニング

大量のログを短時間で解析できるようにするため、Elasticsearchには様々なチューニングを行いました。使用するメモリの量の調整や、インデックスの設定、出力するデータ形式の調整などです。こうしたチューニングを行った結果、大量のログから特定のIPアドレスに関連する情報をすぐに取り出せるようになりました。

導入後の結果

アイコン女性

ログ調査時間が短縮され、従来の10分の1程度の時間で調査ができるようになりました。また、GUIだけで調査を行えるため、Linuxの知識がない担当者でも作業が行えるようになり、システム管理者の負荷が大きく軽減されました。

【Webセミナー】自社でOSSを採用しよう！今更聞けないOSSの基本セミナー

日程：	11月22日（金）Webセミナー「BigBlueButton」を使用します。
内容：	OSSを導入したいけど、どこから手をつければいいかわからない方必見！
ご興味のあるかたはぜひご参加ください。

セミナー申込