マーケティングプラットフォーム「b→dash」急増するデータ活用ニーズに向け、ビッグデータの安定処理・コスト削減を可能とする基幹技術「Data Processing Conductor」を開発

～EMRを使用し「b→dash」のデータ処理のダウンタイムを極少化、ビッグデータ分散処理基盤を安定的に管理する仕組みを構築～

株式会社フロムスクラッチ（本社：東京都新宿区/代表取締役：安部泰洋、以下フロムスクラッチ）が開発・提供する、マーケティングプラットフォーム「b→dash（ビーダッシュ）」に、ビッグデータ処理の際に発生しやすい障害を最小限に抑え、且つコストをかけずに処理し、ビッグデータ分散処理クラスタを安定化させる基幹技術「Data Processing Conductor」を開発いたしましたのでお知らせします。この技術は、Amazon EMR（Amazon Elastic MapReduce ※1）を使用した独自のビッグデータ分散処理基盤管理の仕組みを構築することにより、これまでデータ活用において多くの企業で課題とされてきた「データ処理時の安定性の確保」と「コスト削減」の両立を実現しました。

＜Data Processing Conductor構成図＞

【基幹技術開発の背景】

ビッグデータの分散処理クラスタは、EMRに限らず、その一部に障害が発生することを前提として構築されており、それ故に安定的なサービス提供に苦労する傾向にあります。フロムスクラッチではこのようなビッグデータの分散処理クラスタの抱える安定性の問題に対し、独自のEMRクラスタ管理システムを開発することで機能のダウンタイムを極少化し、マーケティング担当者が毎日安定的に安心してビックデータを活用いただける環境を低コストで実現いたしました。

 

Amazon　EMRを活用した「Data Processing Conductor」には、以下のような機能が含まれています。

 
【「Data Processing Conductor」の機能詳細】

・導入企業のデータ量に合わせて適切なEMRクラスタを供給する機能
・時刻やキュー(※2)の蓄積状況に応じてEMRクラスタをオートスケールさせる機能
・EMRクラスタがダウンした場合に自動検知・自動復旧する機能
・EMRクラスタがダウンした場合に復旧完了まで自動的にバックアップのEMRクラスタにスイッチする機能

 

こうした基幹技術を開発することにより、b→dashでは、常時300以上、一日最大1000のノード数のEMRクラスタの安定運用を実現しました。さらに、ビジネスデータ10TB/日、ユーザーオペレーション15,000回/日といった大量のデータを確実で安全に処理すると同時に、柔軟性・自由度の高いデータ活用を実現いたしました。

 

なお、このEMRクラスタ管理システムは、2018年度の「AWS　Summit　Tokyo　2018（URL：https://www.awssummit.tokyo/tokyo/）」で開催された、「Startup Architecture of the year 2018」にてアーキテクチャの斬新さを評価され、最優秀賞を受賞いたしました。

 

今後もb→dashを通じて「いつでも・ひとつで・誰でも」データ活用経営が実現できるマーケティングソリューションを提供してまいります。

 ▼Amazon Elastic MapReduce（EMR）概要
URL：https://aws.amazon.com/jp/emr/


(※1) Amazon EMRは、オープンソースソフトウェア（OSS）の分散並列処理プログラミングフレームワーク「Apache Hadoop」をベースにしており、ログ分析やウェブインデックス、データ変換（ETL）、機械学習などを含む様々なビッグデータを確実かつ安全に処理・分析する分散処理サービスです。

(※2）キューとは、コンピュータの基本的なデータ構造の一つで、データを先入れ先出しのリスト構造で保持するもの。データを入力された順番通りに処理する必要がある処理に用いられます。

 
【株式会社フロムスクラッチについて】

フロムスクラッチは、ビッグデータ×人工知能を主軸に事業を展開するデータテクノロジーカンパニーです。現在は、マーケティングテクノロジー領域におけるソリューションである「b→dash」の開発・提供を中心に事業を展開しています。今後は強みである、データ統合技術、データ高速処理技術、人工知能技術を競争力の源泉とし、さまざまな産業領域とエリアでの事業展開を予定しています。

2017年には産業革新機構、Rakuten Ventures Japan fund等を対象に、総額約32億円の第三者割当増資を実施しました。これにより、「b→dash」をリリースした2014年10月以降の累計調達総額は約45億円となりました。

 

【マーケティングプラットフォーム「b→dash」とは】

「b→dash」は、企業が保有するユーザーデータ・広告データ・購買データなど、マーケティングプロセス上に存在する全てのビジネスデータを、一元的に取得・統合・活用・分析するSaaS型マーケティングソリューションです。

「統合」：プライベートDMP / DWHほか、「活用」：MA / CCCM / レコメンド / WEB接客ほか、「分析」：アナリティクス / BIほかをはじめとして、あらゆる機能をオールインワンで搭載しています。

2018年には、業界初のコアテクノロジーを実装した「b→dash Prime Update」と、中小企業やベンチャー企業でも利用可能な価格帯プランの「b→dash lite」を発表いたしました。

今後、データ統合基盤や処理エンジンの開発強化に加え、「b→dash」に蓄積された膨大なマーケティングデータに機械学習をはじめとする人工知能技術を活用することで、マーケティングテクノロジー領域における新たなソリューションを開発予定です。「b→dash」は企業のマーケティング・ビジネス改革はもちろん、データを活用した労働生産性の向上に寄与して参ります。

なお、2018年2月5日より、お笑いコンビ「おぎやはぎ」をブランドキャラクターとして起用し、Webや都内交通機関を中心にCM放映を開始しております。

●おぎやはぎ出演CMの詳細はこちら
https://bdash-marketing.com/gallery

●「b→dash Lite」の詳細はこちら
https://bdash-marketing.com/lite

●「b→dash」の詳細はこちら
URL: https://bdash-marketing.com/


【フロムスクラッチ 会社概要】
・会社名：株式会社フロムスクラッチ
・代表者：代表取締役　安部　泰洋
・所在地：東京都新宿区西新宿7丁目20番1号住友不動産西新宿ビル17階
・設立：2010年4月
・事業内容
-    マーケティングプラットフォーム「b→dash」の開発、ならびに導入支援
-    人工知能を用いたデータソリューション開発
-    データテクノロジー領域の基礎研究・開発
・URL：https://f-scratch.co.jp/