CCCマーケティング、データブリックスの「レイクハウス・プラットフォーム」を採用

7,000万人のT会員のデータ処理の実行時間を1/10、クラウドコストを1/5に削減

米Databricks 社の日本法人であるデータブリックス・ジャパン株式会社（本社：東京都港区、社長：竹内 賢佑、以下：データブリックス）(*1)は本日、CCCマーケティング株式会社（本社：東京都渋谷区、代表取締役社長：北村 和彦、以下：CCCマーケティング）(*2)が、データブリックスの統合データサイエンス基盤「レイクハウス・プラットフォーム」を採用したことを発表しました。
これによりCCCマーケティングは、年間利用会員数7,000万人のT会員のデータから独自に生成している「顧客DNAのプロファイリングデータ」の更新処理にかかる時間を10分の1（340時間から34時間）に短縮でき、クラウドコストを5分の1に削減すると同時に、運用時間の余裕を活用して更に高度なデータ処理にも挑戦できるようになります。
*1) https://databricks.com/jp/
*2) https://mk.ccc.co.jp/cccmk/

CCCマーケティングは、カルチュア・コンビニエンス・クラブ（CCC）グループでTポイントの購買データ等をもとにしたマーケティング・ソリューション事業を展開しています。Tポイントは、年間利用会員数7,000万人を超え、その約6割が月に一回以上利用しており、購買トランザクションは年間35億回にのぼります。これらの会員の属性データや購買データを中心に、ウェブやTV視聴データ、また天候や住居関連などの連携データを含む膨大なデータを活用して、1,000以上の項目から構成された独自の「顧客DNAのプロファイリングデータ」を生成しています。例えば飲食の嗜好、ライフスタイルの傾向といった顧客DNA項目について、AI/機械学習を活用してプロファイリングの適応確率を予測しています。この顧客DNAのプロファイリングデータの生成にあたっては、以前の運用基盤には大きく以下の3つの課題がありました。

１．複雑なジョブフロー
共有データベースからの「データ取得」、「データ前処理」、「モデル作成の各処理」がそれぞれ異なる環境で実行されており、各データ処理の工程において想定通りに進まないポイントが複数ありました。また、各工程のつまずきに、リアルタイムで気づけない場合もありました。

２．複雑なデータ処理(データサイロ)
分析対象のデータ形式や、処理プロセスの種類(バッチ、ストリーミング)によって、異なる実行環境で異なる言語(Python、SQL、Shell等) で書かれていたため、各環境のメンテンスや設定変更が困難でした。

３．精度向上の限界
勾配ブースティング系のアルゴリズム誕生以降、アルゴリズムの大幅な精度向上は難しくなっていました。その為、新しい特徴量の開発が必要な中、大規模データであるがゆえ、試行錯誤できる環境がありませんでした。

CCCマーケティングでは、これらの課題を解決し、データ分析基盤を次世代アーキテクチャーに進化させるために、データブリックスの「レイクハウス・プラットフォーム」を採用しました。複雑だったジョブフローは、実行環境がデータブリックスに統一されたため、疎結合を生かしたままジョブが失敗しにくくなり、失敗した場合も気づきやすくなりました。また、複雑だったデータ処理については、ほぼ全ての処理がPythonに統一され、ノートブックでのコーディングでメンテナンスや変更が容易になりました。さらに精度向上の限界に関しては、大規模データを活用した試行錯誤を容易にできるため、積極的に精度向上に向けた取り組みを行うことができるようになりました。

データブリックスを活用することにより、ジョブの実行時間が10分の1（340時間から34時間）に短縮され、クラウドコストは5分の1に削減。また、運用時間に余裕ができたことにより、その余裕を活用した更に高度なデータ処理にも挑戦することができるようになりました。CCCマーケティングは、データブリックスの採用によって得た分析性能を強みに、高品質で大規模なデータを活用し、データを社会に価値還元すべく、分析業務に引き続き取り組んでいきます。

■導入イメージ図

CCCマーケティングの代表取締役社長である北村 和彦氏は、次のように述べています。
「当社は、生活者からお預かりした大切で多種多様なデータをもとに、テクノロジーと対話力と提案力で、グループ内事業に止まらず、さまざまな企業のみなさまの課題を解決することを目指しています。この度、データブリックスのレイクハウス・プラットフォームを採用したことにより、これまでと比較して圧倒的に高性能かつ容易なデータ分析が可能になります。データブリックスのデータとAIの専門家の知見も加え、ユニークデータを解決力につなげて社会へと価値還元すべく、引き続き取り組んでまいります」

データブリックス・ジャパンの社長である、竹内 賢佑は、次のように述べています。
「この度、国内最大規模のデータを保有するCCCマーケティング様に当社のレイクハウス・プラットフォームが採用されことを大変光栄に存じます。Tポイント事業の運営において非常に重要な顧客DNA運用基盤に当社プラットフォームを活用いただくことにより、データ分析業務が効率化され、さらに高度な分析による価値創出に貢献できることを確信しています。当社はこれからも国内企業へのデータとAIの可能性を最大限に引出させるよう、引き続き『データとAIの民主化』に全力で取り組んで参ります」


データブリックスについて
データブリックスは、グローバルで唯一のデータ＆AI企業です。Comcast、Condé Nast、H&M、そしてFortune 500の40%以上を含む5,000以上の世界のリーディング企業が、データブリックスのレイクハウス・プラットフォームを活用し、データ、アナリティクス、AIなどのデータプロジェクトに取り組んでいます。データブリックスは米国サンフランシスコに本社を構え、世界中に営業拠点を有しているグローバル企業です。Apache Spark™、Delta Lake、MLflowのクリエーターによって創立され、企業のデータチームが抱える、世界の最も困難な課題を解決するサポートをしています。その他のデータブリックスの詳細に関しては、Twitter、LinkedIn、Facebookをフォローしてください。
Twitter： https://twitter.com/databricksjp
LinkedIn： https://www.linkedin.com/company/databricks
Facebook： https://www.facebook.com/databricksinc

データブリックス・ジャパン株式会社についての詳細:
ホームページ: https://databricks.com/jp/
所在地 ：東京都港区六本木1丁目4-5 アークヒルズサウスタワー16階
事業内容：データ&AI向け統合データ分析プラットフォームの提供
代表者：データブリックス・ジャパン株式会社 社長 竹内 賢佑