博報堂ＤＹホールディングス、「ICLR2025」にて主著論文採択

〜意思決定モデル性能の新たな推定法と、それを用いたモデルの学習法を提案〜

株式会社博報堂ＤＹホールディングス（東京都港区、代表取締役社長：水島正幸）は、機械学習や深層学習分野におけるトップカンファレンスの一つである「ICLR（The International Conference on Learning Representations）2025」において主著論文が採択されました。

「ICLR（The International Conference on Learning Representations）」は、「NeurIPS（Conference on Neural Information Processing Systems）」や「ICML（International Conference on Machine Learning）」と並び、機械学習や深層学習分野におけるトップカンファレンスの一つです。ICLR 2025では約11,500本の論文投稿があり、全体の採択率は32.08%となりました。このたび採択された論文は、2025年4月にシンガポールで開催される「ICLR 2025」での発表を予定しています。

■研究の背景・論文の概要

広告配信やコンテンツのレコメンドなど、実世界における多くの意思決定問題では、「どのアクションを選択したか」という過去の意思決定と、それに対するユーザからのフィードバックを記録したログデータが蓄積されています。蓄積されたログデータを活用し、新たに開発した意思決定モデルの性能を本番適用前に評価するオフ方策評価（Off-Policy Evaluation）や、より性能の優れた意思決定モデルを学習するオフ方策学習（Off-Policy Learning）の研究が近年活発に進められています。

ビジネスの現場では、ログデータの収集時点では存在しなかったアクション、例えば新規クーポンや新着コンテンツが、新たなアクションの候補として追加されるケースがあります。また、予算や時間などの制約により、十分な量のログデータを確保できないケースも少なくありません。

こうした「新規アクションの追加」や「ログデータの不足」が生じている状況において、既存の手法によるモデル性能評価の正確さが失われてしまうと同時に、それが非効率なモデル学習にも繋がりうるという課題がありました。

この課題を解決するため、本研究では「COPE（Cross-Domain Off-Policy Evaluation）」と呼ばれるモデル性能の新たな推定法と、それを用いたモデルの学習法を提案しました。本手法では、性能評価したい意思決定モデルの適用対象であるドメイン（例：店舗、視聴デバイス）のログデータに加え、それとは異なるドメインで過去に収集されたログデータを追加的に活用して、意思決定モデルの評価や学習を行います。異なるドメインのデータを適切に活用することで、新規アクションに関する情報を別ドメインのログデータから補完しつつ、不足していたログデータを拡充することが可能になります。これによって適用対象であるドメインにおける意思決定モデルの性能をより正確に評価することができるようになり、また、優れた性能をもつモデルを学習しやすくなります。計算機実験の結果から、一定の新規アクションが存在する状況や少数のログデータしか利用できない状況において、提案手法は従来手法より正確な性能評価、ならびに性能の高いモデルの学習が実現できることが示されました。

■今後の展望

本研究の成果を活用することで、動画や音楽のレコメンドなど新規アクションの追加が避けられないアプリケーションにおいて、新しい意思決定モデルのより正確な性能評価やより効果的な学習を実行できる可能性が高まります。また、個別化医療や教育など、ウェブサービス事業と比べて十分なログデータの量を確保することが難しい領域においても、本研究成果の活用が期待されます。