複数AIの討論、マーケティング戦略評価で単発生成を上回る

Claude Fable 5・GPT-5.6 Solと4業種で匿名比較。複数AI討論型のMyMarketerが112判定中97判定（86.6％）で優位

株式会社WHAT

2026年7月16日 11時09分

・計112判定のうち、MyMarketer討論モードは97判定（86.6％）で優位、14判定で同等、1判定で不利となりました。

・AIマーケティングSaaS、地域密着型学習塾、Web制作会社、相続専門税理士事務所の4業種を対象に比較しました。

・戦略の生成元を匿名化し、提示順を入れ替えたうえで、GPT・Claude・Geminiの3モデルが14観点から評価しました。

・本検証は特定のAIモデルの総合性能を示すものではなく、一部に入力条件差を含む内部ベンチマークです。比較条件の詳細は本文中に記載しています。

株式会社WHAT（所在地：東京都新宿区西新宿3-3-13 西新宿水間ビル6階、代表取締役：山本至人）は、マーケティング戦略支援AI「MyMarketer」に搭載する「討論モード」について、4業種の合成シナリオを対象とした内部比較ベンチマークを、2026年7月11日に実施しました。

本検証では、異なる役割を持つ複数のAIマーケターが議論して戦略を整理するMyMarketer討論モードと、Claude Fable 5およびGPT-5.6 Solによる単発の戦略生成を比較しました。特定のAIモデルの総合性能を測るものではなく、複数AIによる討論型の戦略設計と単発生成で、戦略出力の評価にどのような差が生じるかを確認することを目的としています。

検証結果の概要

今回の検証では、以下の4業種を想定したQA用の合成シナリオを使用しました。

AIマーケティングSaaS/地域密着型美容室/Web制作会社/相続専門税理士事務所

各業種について、MyMarketer討論モードと比較対象モデルが生成した戦略を、14観点で評価しました。

全体結果

計112判定のうち、MyMarketer討論モードが97判定で優位となりました。

一方で、すべての観点において討論モードが優位だったわけではありません。単発生成側が優位となった判定や、優劣がつかなかった判定も確認されています。

Claude Fable 5との比較：56判定中48判定で優位

MyMarketer討論モードとClaude Fable 5による単発の戦略生成を、4業種で比較しました。

地域密着型美容室、Web制作会社、相続専門税理士事務所の3業種では、MyMarketer討論モードに劣後判定はありませんでした。

ただし、AIマーケティングSaaSの比較については、Claude Fable 5側に2026年7月6日の生成結果を使用し、MyMarketer討論モード側は7月11日に自前調査情報を含む入力から生成しています。

両者の入力条件が一致していないため、AIマーケティングSaaSの結果は、厳密な同条件比較ではなく探索的な参考値として扱っています。

他の3業種については、入力条件を統一して比較しました。

GPT-5.6 Solとの比較：56判定中49判定で優位

追加検証として、MyMarketer討論モードとGPT-5.6 Solによる単発の戦略生成を比較しました。

GPT-5.6 Solは最大推論設定を使用し、4業種すべてにおいて、MyMarketer討論モードと原則として同じ事業情報を入力しました。また、当日の同一スナップショットを用いています。

GPT-5.6 Solとの比較では、4業種すべてでMyMarketer討論モードに劣後判定はありませんでした。

一方、AIマーケティングSaaSシナリオの判定一致率は83％であり、他の業種と比較して、評価モデル間の判断にばらつきが見られました。

判定一致率の算定方法は、ベンチマーク詳細ページで公開しています。

唯一劣後した判定は「独自性」

本検証において、単発生成側が優位となった唯一の判定は、Claude Fable 5とのAIマーケティングSaaSシナリオにおける「独自性」でした。

ただし、このシナリオには前述した入力条件の差があるため、結果の解釈には注意が必要です。

また、独自性では単発生成が優位となった判定が1件ありましたが、今回の単一runだけでは、その原因が討論によるものか、生成AIの確率的な変動によるものかは判断できません。

「潮流・Why Now」など、一部の観点では同等判定も確認されました。

今回の結果は、複数AIによる討論が、あらゆる業種や評価観点において単発生成を上回ることを示すものではありません。

今後は複数回の生成・評価を行い、討論が有効に機能しやすい領域と、単発生成や発散的な生成が適している領域を検証します。

背景：AIの回答を、そのまま提示できない提案現場

生成AIを活用し、マーケティング戦略や提案書のたたき台を短時間で作成する機会が広がっています。

一方、単発のAI出力では、施策候補が多数提示されても、次のような点まで十分に整理されない場合があります。

・どの課題を重要と捉えるのか

・誰を優先的なターゲットにするのか

・どの市場や領域で競合と差別化するのか

・戦略を具体的な施策へどう接続するのか

・提案内容に、実行可能性や経済的な成立性があるか

特に、クライアントへの新規提案や既存顧客への改善提案を担うWeb制作会社・マーケティング支援会社では、AIが生成した文章をそのまま提示するだけでは不十分です。

提案者自身が内容を理解し、自分の言葉で説明したうえで、最終的な提案を判断する必要があります。

MyMarketerの討論モードは、異なる役割を持つ複数のAIマーケターが議論し、マーケティング戦略の論点や結論を構造化する機能です。

今回の検証では、一つのAIによる単発生成と、複数のAIによる討論型の戦略設計で、出力の評価にどのような差が生じるかを比較しました。

出力元と提示順の影響を抑えた匿名比較評価

本検証では、生成元の名称や提示順が評価へ与える影響をできる限り抑えるため、以下の方法を採用しました。

1．原則として同一の事業情報を入力

MyMarketer討論モードと比較対象モデルには、原則として同一の事業情報を入力しました。

比較対象モデルには、複数AIによる討論や追加のやり取りを行わせず、テキストによる単発の戦略生成を依頼しています。また、単発生成側のClaude Fable 5およびGPT-5.6 Solには、ツールやWeb検索を使用させていません。ただし、Claude Fable 5とのAIマーケティングSaaSシナリオのみ条件が異なります。

Claude Fable 5側は2026年7月6日に生成した出力を再利用し、MyMarketer討論モード側は7月11日に自前調査情報を含む入力から生成しました。他の3業種では入力条件を統一しています。

2．出力元を伏せて匿名化

評価モデルには、各戦略を生成したサービス名やモデル名を明かさず、「戦略A」「戦略B」として提示しました。

ブランド名や生成元に対する先入観が、評価へ与える影響を抑えることを目的としています。

3．AB／BAの両条件で比較

提示順による影響を確認するため、以下の2つの条件で評価しました。

戦略Aを先、戦略Bを後に提示

戦略Bを先、戦略Aを後に提示

提示順の変更によって評価結果が変わった観点は、優劣を確定せず、同等として集計しました。

4．3つのAIモデルが審判

評価には、以下の3モデルを使用しました。

GPT-5.4

Claude Opus 4.8

Gemini 3.1 Pro

審判3モデルのうち1モデルは、各比較対象のいずれかと同じモデルファミリーに属します。

そのため、モデルファミリーによる評価傾向の影響を完全に排除できていない可能性があります。

5．正式な14観点で戦略を評価

各戦略を、以下の14観点で評価しました。

・診断の鋭さ

・ターゲット解像度

・価値提案

・差別化・戦場選定

・独自性

・実装牽引力

・施策の鋭さ

・戦略から施策への一貫性

・経済的成立性

・獲得後ファネル

・想起・選ばれる設計

・潮流・Why Now

・リスク耐性

・根拠の接地・検証可能性

6．2モデル以上の一致で最終判定

各観点について、3つの評価モデルのうち2モデル以上が同じ判断をした場合に、最終的な優劣を確定しました。

評価モデル間で判断が一致しない場合や、AB／BAの提示順によって判断が変わった場合は、同等として扱いました。

MyMarketerが目指す「AIに任せきりにしない提案」

MyMarketerは、AIが利用者に代わって結論を決めることを目的としたサービスではありません。

複数のAIが異なる観点から議論し、利用者がマーケティング戦略の内容を確認・判断できる状態をつくることを重視しています。

討論モードでは、分析や議論の結果を、主に以下の形で整理します。

・優先して検討する論点

・その結論に至った理由

・実行候補となる次のアクション

特に、クライアントへの提案を担うWeb制作会社、マーケティング支援会社、コンサルティング会社などに向けて、初回ヒアリング後の短時間で、提案のたたき台を整理できる設計を進めています。

AIが作成した内容をそのまま提出するのではなく、最終的な判断と提案の主導権は利用者自身に残します。

開発責任者コメント

株式会社WHAT 代表取締役の山本至人は、今回の検証について、次のようにコメントしています。

今回確認したかったのは、特定のAIモデルの優劣ではなく、AIにどのように考えさせるかによって、マーケティング戦略の出力が変わるのかという点です。

内部ベンチマークでは、討論モードが多くの観点で優位となりました。一方、独自性では単発生成側が優位となった判定もあり、討論型の設計が常に優れているとは考えていません。

また、今回は合成シナリオ、単一run、AIモデルによる評価であり、実際の提案成果を証明するものではありません。

今後は人間のマーケティング実務者による評価や、実案件における提案準備時間、提案内容の採用状況などを検証していきます。

検証の限界

本検証は、MyMarketer討論モードの改善状況を確認するために実施した内部ベンチマークです。結果の解釈にあたっては、以下の限界があります。使用した4業種のシナリオはQA用の合成データであり、実際の顧客案件ではありません。各業種の生成は単一runであり、生成AIの確率的な出力変動を十分に検証できていません。評価に使用した14観点とルーブリックは自社開発であり、第三者機関が策定した評価基準ではありません。評価者には、人間のマーケティング実務者ではなくAIモデルを使用しています。審判3モデルのうち1モデルは、各比較対象のいずれかと同じモデルファミリーに属します。

討論モードは、単発生成と比較して数十倍のトークンを使用しています。処理量やコストを揃えた比較ではありません。単発生成側のClaude Fable 5およびGPT-5.6 Solには、ツールやWeb検索を使用させていません。Claude Fable 5とのAIマーケティングSaaS比較では、7月6日に生成した比較対象出力と、7月11日に自前調査情報を含む入力から生成した討論モード出力を比較しており、入力条件が一致していません。GPT-5.6 SolとのAIマーケティングSaaS比較では、判定一致率が83％となり、他業種よりも評価モデル間の判断にばらつきがありました。本検証は、各AIモデルの総合性能や、実際の案件における売上・受注・提案採用などの成果を示すものではありません。今回の結果のみをもって、特定のAIモデルや生成方式が常に優れていると結論づけることはできません。

今後の検証予定

今後は、内部ベンチマークに加えて、以下の検証を進めます。

複数runによる結果の再現性確認

人間のマーケティング実務者による匿名評価

実案件における提案準備時間や修正回数の測定

AIによる評価と人間による評価の差の分析

合成シナリオ上の評価だけでなく、実際の提案現場でどのような価値を生むかを検証していきます。

メディア関係者向けの取材・資料提供について

本検証に関して、以下の取材および資料提供に対応します。

14観点の評価基準と観点別結果

唯一劣後した「独自性」の判定事例

評価モデル間で判断が分かれた事例