大規模言語モデルから生成したユーザーモデルを用いて実ユーザーの行動を予測する

さまざまな観点で柔軟にシミュレーション可能な高効率マーケティングをめざす

株式会社NTTドコモ（以下、ドコモ）は、企業固有のデータと大規模言語モデル（以下、LLM）により生成したユーザーモデルへのヒアリングを通して、実ユーザーの行動や選択をシミュレーションする技術および基盤（以下、本技術）を開発しました。本技術を活用し、さまざまなマーケティング施策を事前にシミュレーションすることで、小売店舗などを運営する企業は新商品企画や需要予測などを効果的に行うことが可能となります。

 

LLMは、膨大なデータをもとに学習しており、世界中のさまざまな人口統計的な知識や性格に関する情報を内包しています。そのため、一般的な属性（性別、年齢層など）や職業などのプロファイル情報を与えて質問すると、そのプロファイルに基づいた回答を簡単に得ることが可能です。この特性を利用するため、LLMはゲームキャラクターの対話生成やマーケティングのデプスインタビューなどに活用され始めています。一方で、汎用的なプロファイルや単純に過去のデータを与えた場合に得られる回答は、一般的な回答や過去データに含まれる単語に強く影響され、示唆に乏しく、また、その回答内容の信頼性を定量評価しにくい課題がありました。加えて、LLMは複数の選択肢について前方を好む傾向（ポジションバイアス）や、学習データセットに依存する知識のバイアスにより、期待通りの回答を得ることが難しいという課題もありました。

 

本技術は、バイアスの影響を抑えるように学習したパラメーター（属性ベクトル）でユーザーモデルを生成し、さらに数千〜数万の質問を大量に並列実行した結果を統計的にまとめることで、LLMが内包するバイアスを取り除き、精度と信頼性の高い回答を取得します。

ユーザーモデル生成においては、匿名化された企業固有のデータをさらに多段階のクラスタリングで統計化したクラスタ情報をもとに出力データセットを生成し、属性ベクトルの抽出に利用します。属性ベクトルをLLMに加えることで、さまざまな属性（性格、価値観、考え方など）の付与が可能となり、この属性をユーザーモデルのプロファイルとして利用します。

図1. 属性ベクトルの抽出

 また、本技術では大量の質問を短時間で処理するために、属性ベクトルの内部計算や効率的なキャッシュ処理を行う高速なLLMサービング基盤を開発し、　従来手法より回答生成において最大6倍※1の計算速度の向上を達成しています。

図2. LLMサービング基盤の仕組み

本技術の効果を検証するため、ドコモが独自に実施した味覚に関する2万人のアンケートを用いて、各設問に対して2万人の平均に近い回答を生成できるかどうかの評価実験を行いました。

 

図3. 実験内容

実験の結果、通常のLLMを用いた場合、最小30%、最大65%と正答率が安定しなかった結果に対し、属性ベクトルを与えた上で質問をパラフレーズ（質問の順序入れ替えなど）した本技術において73%の安定した正答率の結果となり、技術の有効性を確認しました。

図4. 正答率の比較

さらに、小売店舗で利用者の好みに合った新商品の選定に関する実証実験として、株式会社Relicが運営する小売店舗※2において、発注担当による選定、一般的なLLMによる選定、本技術を活用した選定の3つの手法を用いて、商品の販売率を比較したところ、本技術は発注担当による発注と同等の販売率となり、一般的なLLMによる選定よりも販売率が約4%上回る結果を確認しました。

また、NTTコミュニケーションズ株式会社が企画・運営を行うコンビニエンスストア※3での実証実験において、本技術は新商品の売上順位を高精度に予測することを確認しました。

本技術は、目的に応じた適切なユーザーモデルを生成することにより、市場調査やABテスト、商品開発などのさまざまなユースケースでの活用が期待できます。

ドコモは本技術の自社サービスへの適用を検討するとともに今後さまざまな企業と連携し、さらなる精度検証を進め、技術の高度化、汎用化および社会実装を行い、お客さまのニーズや潜在的な要望をより深く理解し、それに基づいた最適な商品・サービスを提供することで、お客さま体験の向上をめざしてまいります。

          

 

※1 LLMプロバイダーを単体コールした場合と比べて1,000〜2,000倍、高速推論エンジンのOSSと比較し最大6倍高速です。

※2 本技術の検証店舗に、株式会社Relicが運営する「コンビニエンススタンドTUKTUK」の一部店舗を利用しました。

※3本技術の検証店舗に、NTTコミュニケーションズ株式会社が本社大手町プレイス28階に設置している無人物販店舗を利用しました。