博報堂ＤＹホールディングス、KDD 2026に主著論文が口頭発表として採択

―A/Bテストによるアルゴリズム選択の精度を格段に向上する新手法を提案―

株式会社博報堂ＤＹホールディングス（東京都港区、代表取締役社長：西山 泰央、以下 博報堂ＤＹホールディングス）は、データマイニング・知識発見分野における世界最高峰の国際会議の一つである「The 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining（以下、KDD 2026）」において、当社の研究開発組織Human-Centered AI Institute（代表：森正弥CAIO）による主著論文が、Research Trackに口頭発表（Oral）として採択されたことをご報告します。

「KDD（ACM SIGKDD Conference on Knowledge Discovery and Data Mining）」は、データマイニングや知識発見の分野における世界最高峰の国際会議の一つです。論文の投稿は年に二回募集され、本論文が採択された第二サイクル（Cycle 2）では約3,252本の論文投稿があり、採択率は約18.5%でした。このたび採択された論文は、2026年8月9日から13日にかけて韓国 済州島のInternational Convention Center Jeju（以下、ICC Jeju）にて開催されるKDD 2026で発表を予定しています。

■ 論文情報

題名：A More Accurate Algorithm Comparison through A/B Testing using Offline Evaluation Methods

著者：小西 宏樹、牛久 雅崇（Human-Centered AI Institute）、齋藤 優太（コーネル大学）

■ 研究概要

推薦システムやデジタル広告など、多くのオンラインサービスでは、ユーザの特徴に応じて「どの動画を薦めるか」、「どの広告を表示するか」といった適切なアクションを選ぶアルゴリズムが日々改善されています。サービスの改善では、新旧二つのアルゴリズムのどちらが優れているかを正確に判定することが不可欠です。その手段としてA/Bテストがゴールドスタンダードとされていますが、ユーザ体験や収益を損なうリスクと高いコストが課題です。一方、過去に蓄積したログデータだけから性能を推定するオフライン評価は安全かつ安価ですが、推定精度でA/Bテストに劣るというのが一般的な認識でした。

本研究はまず、事前実験において、A/Bテストの方がオフライン評価よりも、二つのアルゴリズムの優劣を誤って判定しやすい傾向を観測しました。この傾向のメカニズムを解明して得た知見をもとに、A/Bテストの枠組みの中でもより正確なアルゴリズムの優劣判定を可能にする新たな手法を提案しました。提案手法は、比較したい二つのアルゴリズムAとBの間に仮想的な中間アルゴリズムMをおき、AとMの性能差、MとBの性能差をそれぞれオフライン評価の技術で推定して足し合わせることで、二つのアルゴリズムAとBの優劣をより正確に判定します。

提案手法の有効性を、実世界の動画視聴データであるKuaiRecを用いた計算機実験で検証しました。実験の結果、提案手法はA/Bテストの標準手法とオフライン評価の代表的手法の両方に対し、実験した全ての設定で一貫して低い判定誤り率を達成しました。さらに、従来手法と同じ判定誤り率を、A/Bテストの半分から四分の一のデータ量で達成できることが示されました。これは、実験にかかる期間やコスト、ユーザへの悪影響を大幅に低減できることを意味します。

■ 今後の展望

本研究は、アルゴリズム性能の優劣判定において、A/Bテストが必ずしもオフライン評価より優れるわけではないことを示し、A/Bテストとオフライン評価それぞれの利点を統合する新たな推定法を提案したものです。本手法を活用することで、Webマーケティングをはじめとするさまざまな意思決定の場面において、より少ないデータで、より低コストに、優れたアルゴリズムを選択できる可能性が高まります。

博報堂ＤＹホールディングスは、今後も博報堂ＤＹグループの横断的なAI専門家集団HCAI Professionalsの活動として、幅広い研究開発活動を通して革新的なAIソリューションの開発を目指します。