博報堂テクノロジーズ、機械学習・深層学習分野のトップカンファレンス「ICLR」にて共著論文採択

半熟仮想株式会社及び東京工業大学中田研究室との共同研究で、オフライン評価の新たな性能検証指標とベンチマークを開発。オフライン評価後のA/Bテストにおけるリスクを考慮した性能検証を可能に。

株式会社博報堂テクノロジーズ(東京都港区、代表者：米谷修)は、共同研究論文「Towards Assessing and Benchmarking Risk-Return Tradeoff of Off-Policy Evaluation」が機械学習・深層学習分野の国際会議「ICLR 2024 (International Conference on Learning Representations)」に採択されたことをお知らせいたします。

博報堂テクノロジーズにて AI研究開発を推進するプロダクト開発センターは、 AIのエンジン部分からアプリケーションまでフルスクラッチで開発しており、広告業界に対しユニークなプロダクト・技術を打ち出しています。本論文は研究開発業務の一環として、半熟仮想株式会社(東京都渋谷区、代表者：成田悠輔)、東京工業大学工学院経営工学系中田研究室との共同研究に基づき執筆されました。論文発表を行う「ICLR」は「ICML」や「NeurIPS」と並ぶ機械学習分野での世界最高峰の国際会議の一つで、本年度は投稿論文7262本のうち約31%の論文が採択されました。  

【研究・開発の背景と貢献】 

広告の入札額調整や日次予算運用を始めとしたマーケティング業務や、医療での意思決定など、連続的な意思決定が顧客の満足度や安全性に寄与する場面が実用上では数多く存在します。こうした意思決定システムにおいて、過去の運用データを用いて、新たに運用する候補方策を評価し選択することは、サービスの品質の維持・向上において必要不可欠です。実際に、まずはデータを用いてオフライン評価により数多くの候補方策の中から少数の有望な方策を選定し、次にそれらの選択された方策の性能A/Bテストにおいてオンライン検証し、最後に運用方策をサービスにデプロイする流れが多くのサービスで取られています。 

A/Bテストでは実環境での方策の試運用やユーザーとの関わりが発生するため、事前のオフライン評価において信頼性の高いスクリーニングを行うことは非常に重要です。このため、より「正確な」オフライン評価を行うための研究が多く行われてきましたが、従来の研究では「正確性」に注目するばかり、A/Bテスト時に性能の悪い方策がデプロイされる「リスク」が見逃されていました。そこで、本研究では方策選択の「リスク」に初めて注目し、A/Bテスト時のリスクとリターンのトレードオフを評価するための性能検証指標を新たに開発しました。 

さらに、提案した性能検証指標は本共同研究チームで開発した「SCOPE-RL」というオフライン強化学習のためのオープンソースソフトウェアに実装されています。このソフトウェアを利用することで、実務や研究において提案指標をオフライン評価手法の検証に容易に行うことができます。 

【今後の展望】 

今回の性能検証指標の開発により、新たな方策をA/Bテストで評価したり選択したりする際に売上へ与える悪影響や消費者にとって好ましくない広告が届くリスクを軽減できるようになります。また、マーケティング業務においては、蓄積データを元にして入稿予算の調整や商品の推薦を判断できるようになるため、広告会社の担当者が長年の経験に基づいて判断していた意思決定の良し悪しを、定量的に評価できるようになります。さらに、オフライン評価の枠組みは、マーケティング以外にも医療における治療選択やロボティクス、自動運転等に応用可能であり、本研究や付随するオープンソースソフトウェアはこれらのより広範な技術分野に貢献する可能性も含んでいます。今後も博報堂テクノロジーズでは、研究コミュニティに積極的な貢献を行って参ります。  

• 詳細情報 

論文について： 

論文名：Towards Assessing and Benchmarking Risk-Return Tradeoff of Off-Policy Evaluation 

著者名：Haruka Kiyohara, Ren Kishimoto, Kosuke Kawakami, Ken Kobayashi, Kazuhide Nakata, Yuta Saito

リンク：https://openreview.net/forum?id=ycF7mKfVGO 

オープンソースソフトウェアについて： 

SCOPE-RLの詳細については、博報堂テクノロジーズの公式ドキュメント・Githubをご覧ください。  

ドキュメント： https://scope-rl.readthedocs.io/en/latest/ 

GitHub：https://github.com/hakuhodo-technologies/scope-rl  

関連プレス：https://prtimes.jp/main/html/rd/p/000000007.000113498.html 

• 会社情報 

株式会社博報堂テクノロジーズ：

フルファネルマーケティング・生活者インターフェース市場・メディア・クリエイティブ領域をはじめとした各種テクノロジー戦略の立案・開発を行うテクノロジー専門会社。マーケティング×テクノロジーの力で、社会と生活者に新しい価値や体験を提供するテクノロジー戦略会社として、開発体制を集結し、体制強化・進化を目的として2022年4月に設立。  

Webサイト：https://www.hakuhodo-technologies.co.jp/ 

報道関係のお問い合わせ  

博報堂テクノロジーズ問い合わせ窓口 

[e-mail]