博報堂テクノロジーズ、オフライン強化学習およびそのオフライン評価にまつわるオープンソースソフトウェア(OSS)を公開
半熟仮想株式会社及び東京工業大学中田研究室との共同研究において、オフライン強化学習やオフライン評価、並びにその性能検証を一貫して行えるソフトウェアをGitHub上へ無償公開
博報堂テクノロジーズにて AI研究開発を推進するプロダクト開発センターは、 AIのエンジン部分からアプリケーションまでフルスクラッチで開発しており、広告業界に対しユニークなプロダクト・技術を打ち出しています。本OSSは、半熟仮想株式会社(東京都渋谷区、代表者：成田悠輔)、東京工業大学工学院経営工学系中田研究室との共同研究に基づいて開発されました。
【研究・開発の背景】
広告の入札額調整や日次予算運用など連続的な意思決定を伴うマーケティング業務において、強化学習の活用が有効とされています。しかし、実環境で意思決定則(方策)の最適化を行う従来のオンライン強化学習では、学習初期の探索と呼ばれる段階で売上やユーザ体験の大きな損失が発生する可能性があり、近年では過去の実績データをもとにオフラインで新たな方策を学習するオフライン強化学習が大きな注目を集めています。
オフライン強化学習は、主にオフラインで新たな方策を学習するフェーズと、学習した方策の性能を蓄積ログデータを用いて事前評価するフェーズで構成されます。これら二つのフェーズを一つのソフトウェアで一貫して実装できることは、オフライン強化学習を実運用する上で非常に重要な一方で、それを実現するソフトウェアはこれまで存在しませんでした。 そこで、今回独自に開発・公開したSCOPE-RLにより、より多くのエンジニアがオフライン強化学習の手順を容易かつ正確に実装できるようになり、オフライン強化学習の実応用の敷居が大幅に下がることが期待されます。また本OSSには、オフライン強化学習やそのオフライン評価に関する最先端のアルゴリズムが多数実装されており、それらを一から実装することなく実務で利用することが可能になります。さらに、SCOPE-RLはオフライン強化学習に関する学習・評価のためのアルゴリズム自体の有効性を比較検証する機能を兼ね備えており、オフライン強化学習の新たな手法を開発する学術研究を行う際にも非常に有用です。これらを通じ、広告業界における意思決定問題への先進技術の実務応用を促進するだけでなく、研究コミュニティへの学術的な貢献も見込まれます。
【今後の展望】
今回のOSS開発・公開により、新たな方策を学習したり評価したりする際に売上へ与える悪影響や消費者にとって好ましくない広告が届くリスクを軽減できるようになります。さらに、マーケティング業務においては、蓄積データを元にして入稿予算の調整や商品の推薦を判断できるようになるため、広告代理店の担当者が長年の経験に基づいて判断していた意思決定の良し悪しを、定量化し再現性ある形で最適化できる可能性があります。また強化学習の枠組みは、マーケティング以外にも医療における治療選択やロボティクス、自動運転等に応用可能であり、本OSSはこれらのより広範な技術分野に貢献する可能性も含んでいます。今後も博報堂テクノロジーズでは、オープンソースコミュニティに積極的な貢献を行って参ります。
詳細情報
SCOPR-RL の詳細については、博報堂テクノロジーズの公式ドキュメント・Githubをご覧ください。
ドキュメント： https://scope-rl.readthedocs.io/en/latest/
GitHub：https://github.com/hakuhodo-technologies/scope-rl
会社情報
フルファネルマーケティング・生活者インターフェース市場・メディア・クリエイティブ領域をはじめとした各種テクノロジー戦略の立案・開発を行うテクノロジー専門会社。マーケティング×テクノロジーの力で、社会と生活者に新しい価値や体験を提供するテクノロジー戦略会社として、開発体制を集結し、体制強化・進化を目的として2022年4月に設立。
Webサイト：https://www.hakuhodo-technologies.co.jp/
報道関係のお問い合わせ
博報堂テクノロジーズ問い合わせ窓口
hr-koho@hakuhodo-technologies.co.jp
このプレスリリースには、メディア関係者向けの情報があります
メディアユーザー登録を行うと、企業担当者の連絡先や、イベント・記者会見の情報など様々な特記情報を閲覧できます。※内容はプレスリリースにより異なります。
すべての画像