540億件の位置情報データから移動パターンを抽出

～空港を中心にし移動パターンを可視化～

IoTやモバイルアプリの利用拡大で、GPSなどの位置情報を含むビッグデータの解析ニーズが増えています。
しかし、位置情報データ活用のためのデータ解析作業は、データ量が非常に多いことに加え、滞在時間や移動距離などの複雑な時系列データ処理、さらに外部データとの連結処理や多様なフィルターが必要になることが多く、データの解析には高額な費用と月単位の時間が必要でした。このため、位置情報データ分析ではサンプリングしたほんの一部のデータを解析することが多く、「ビッグデータ」が活用されない状況となっていました。

AuriQのビッグデータ分析基盤Pivotbillionsは、このような課題を解決しました。
Pivotbillionsは、膨大なデータの全件リアルタイム解析を可能にし、「ビッグデータ」の価値を最大化します。

Pivotbillionsは、540億件を超える位置情報データに対して、複数条件でのフィルタ、距離差・時間差での曖昧結合、集計、といった処理を、数秒から数十秒程度の応答時間で完了。
解析者は短時間で様々な仮説検証を繰り返すことができ、ビッグデータを有用なレポートに変換することに成功しました。
・解析結果の可視化例
空港を中心にし移動パターンを可視化（ダミーデータ）

これらはPivotbillionsによってコントロールされたAmazon Web Serviceを利用した最大500台のAmazon EC2の並列処理で実現されています。一般的なシステムで同じデータ量を処理した場合と比較すると、費用、処理時間とも1/10以下（弊社比較）でした。

 

AuriQのビッグデータ分析基盤PivotBillionsはデータベース不要で　Amazon S３に保存されている大量の生データファイルを直接解析できるため、中間データ処理不要、解析要件の追加や変更に柔軟に対応、高度な解析を並列化し高速に処理、結果として費用・期間の大幅な短縮、といったメリットを生み出しました。


■「PivotBillions」の特徴
1. シンプルな構成
Master NodeとWorker Nodeを基本構成としたシンプルな構成です。メモリに読み込んだデータは並列分散で高速に処理します。Amazon Web Service（AWS）が提供する多様なサービスと組み合わせることで、様々なデータ処理や分析要件に対応した環境構築が可能です。
2. 多種多様なデータ構造に対応
構造化データ（CSV、固定長、Excel等、データの内容が見ただけで判別可能なデータ）、半構造化データ（XML、JSON等データ内に規則性はあるものの、一部を見ただけでは判別が不可能なデータ）を問わず、データの処理、統合、結合、集計ができます。「PivotBillions」は、Excelを操作する感覚でソートや検索、フィルタリングや集計、分析が可能です。十億件レベルのピボット処理は数秒から数分で完了します。
3. AIや機械学習に最適
Amazon SageMakerなどのAIや機械学習は、学習データの質とともに、高い予測精度のロジックを探索するために、使用するデータセットや処理内容を変え、何度もデータ投入と分析を繰り返し行うプロセスが必要となります。「PivotBillions」は、データプレパレーションを高速かつ低コストに提供することで、企業のAIや機械学習への取り組みを支援します。

 【PivotBillions製品サイト】　　　　　　　　　　　　https://pivotbillions.jp/
【オーリック・システムズ・ジャパン株式会社】　　　http://www.auriq.co.jp/
所在地：　〒107-0052 東京都港区赤坂4-8-6 赤坂余湖ビル4階
代表者名：　幾留 浩一郎