IoTデータ解析プラットフォームは、収集したIoTデータを加工・分析したり、統計処理をしたりするプラットフォームです。データ量によって、分析を行う基盤の規模や構成を考える必要があります。このページでは、IoTデータ解析プラットフォームで利用できるOSSと、それぞれのOSSの特徴について解説します。
IoTデータ解析プラットフォームは、収集したIoTデータを加工・分析したり、統計処理をしたりするための処理基盤です。データを加工・分析する際には、収集したデータの量に応じた分析基盤を用意する必要があります。データ量がそれほど多くなければ、PCや仮想サーバ1台で充分かもしれません。しかし、分析するデータの量が多い場合には、データを処理するCPUの数を増やす必要があります。そのため、複数のコンピュータを使った並列コンピューティングの仕組みや、クラウド上の高速な計算機資源の利用なども検討する必要があります。また、各種クラウドサービス、仮想化技術などを利用する例も増えています。
前述したように、分析処理をするデータ量が多い場合には、コンピュータクラスタの構築や並列処理を行う必要があります。そのため、大容量のデータに対応可能で、システムの拡張性があるソフトウェアを選ぶことが重要です。また、クラウド基盤や仮想化技術を利用する場合、プライベートな環境でも構築できるソフトウェアを選ぶとセキュリティ面でも安心です。以下では、IoTデータ解析プラットフォームで使えるOSSを紹介します。
OpenStackは、クラウドプラットフォームを実現するためのオープンソースソフトウェアです。仮想マシン、仮想ネットワーク、仮想ストレージの3つの仮想リソースを提供します。パブリッククラウドのプラットフォームとしても利用されますが、プライベートクラウド用にも利用することができます。マルチテナントに対応していますので、部署や用途毎にサーバをグループ化し、リソース制限を実施することもできます。
OpenStackは、SAP社が提唱するIoTプラットフォームとしても利用されるなど、IoTプラットフォームとして注目されています。
Hadoopは、分散コンピューティングを行うためのオープンソースソフトウェアです。Googleが提唱するMapReduceという分散処理技術を実装したソフトウェアです。汎用的なサーバを集め、コンピュータクラスタを構成することができます。単純にサーバを追加することで、処理性能を向上することができます。
Hadoopは、こうして作成したプラットフォームの上で、巨大なデータの取扱いをすることができます。データは、Hadoop Distributed Filesystem（HDFS）の上で管理されます。
Apache Sparkも、分散コンピューティングを行うためのオープンソースソフトウェアです。Hadoopに比べて、データをメモリ上で操作することにより、入出力の高速化を計り、より高速な処理を可能にしています。また、Hadoopに比べて、多種のデータストレージを扱うことができます。HDFSの他、Amazon S3互換のオブジェクトストレージやOpenStack Swift、Cassandraなどもサポートしています。また、機械学習とも相性が良いといわれています。