博報堂ＤＹメディアパートナーズのAaaS Tech Lab、生成AIを活用し、画像中の任意の物体を自然言語によって高精度に検出する技術を開発

～ルームクリップ社のサービスやメディアビジネス領域に活用～

株式会社博報堂ＤＹメディアパートナーズ（本社：東京都港区、代表取締役社長：矢嶋弘毅、以下 博報堂ＤＹメディアパートナーズ）の研究開発プロジェクトAaaS Tech Labは、ルームクリップ株式会社（本社：東京都渋谷区、代表取締役社長：高重正彦、以下 ルームクリップ）との共同研究により、大規模言語モデルを活用することで画像中の任意の物体を柔軟に検出するソリューションを構築いたしました。

本ソリューションでは、Meta社が開発・公開しているSegment Anything Modelおよび近年注目を集めているLLM（Large Language Model：大規模言語モデル）を活用しました。従来、画像中の物体検出モデルの開発には目的に応じた大量の画像データを用意し長時間に及ぶ追加学習が必要でした。また各プラットフォームが提供しているAPIを用いた開発ではモデルの柔軟な調整が困難という課題がありました。本プロジェクトでは、LLMによるプロンプトを用いた物体検出フローを構築することで、自然言語による柔軟なチューニングが可能となり、高精度に画像中の物体検出を行うことができるようになりました。また他の同様の技術と比較して限られた計算リソースでも高速に動作することや、カテゴリーの意味合いに応じて段階的に物体検出できるという特徴があります。たとえば部屋画像中から「キッチン用品」に絞った上で「コーヒーメーカー」を抽出するなど、多様な用途にあわせて柔軟に抽出フローを設計することが可能です。

本ソリューションを活用した新機能を、ルームクリップが提供するサービスにおいて2024年４月から段階的に開始しています。この機能では、ユーザーがルームクリップに投稿した写真を自動で画像解析してアイテムを特定し、取り扱いのあるECサイトのURLリンクをカード形式で表示。写真を閲覧したユーザーの利便性向上に寄与しています。

今回の取り組みで得られた知見は、TV番組やCM、各種コンテンツ内の商品検出ソリューションへの適用のほか、博報堂ＤＹグループが推進する広告メディアビジネスの次世代型モデルAaaS※として提供するTV広告やデジタル広告における各ソリューション群との連携による提供なども行ってまいります。

ルームクリップは博報堂ＤＹベンチャーズによる出資企業であり、本取り組みは博報堂ＤＹグループの出資先企業に対するテクノロジー領域支援の一環となります。

博報堂ＤＹメディアパートナーズはこれからも、広告の効果最大化を可能にするさまざまなサービスを順次導入し、博報堂ＤＹグループの各広告事業会社とともにメディアの広告価値の向上と広告主の事業目標の達成に貢献いたします。

※AaaSとは

広告業界で長らく続いてきた「広告枠の取引」によるビジネス（いわゆる「予約型」）から「広告効果の最大化」によるビジネス（いわゆる「運用型」）への転換を見据えた、博報堂ＤＹメディアパートナーズが提唱する広告メディアビジネスのＤＸを果たす次世代型モデル＜AaaS®は博報堂ＤＹメディアパートナーズの登録商標＞

AaaS Tech Labとは

従来の広告ビジネスやメディア・コンテンツを革新するために、テクノロジーの可能性を探求するプロジェクト。博報堂ＤＹグループの掲げる広告メディアビジネスの次世代型モデル「AaaS (Advertising as a Service)」の実現を目指し、「先進的なアルゴリズムでメディア・コンテンツ効果を分析/予測し、新しいプランニングやセールスにチャレンジする」こと、「データを駆使した次世代のコンテンツやメディアビジネスの仕組みを開発する」ことをミッションとしています。