【ChatGPT検証】調査設計とレポーティングにどこまで活用できるか？～ChatGPT VS リサーチャー～
「完全栄養食」をテーマとするアンケート調査を、ChatGPT作成ver.とリサーチャー作成ver.で同時に実施。調査結果や質はどれぐらい異なるのか？
マーケティングリサーチ会社の株式会社アスマーク（東京都渋谷区東、代表取締役：町田正一）は、「仮説構築」「調査票作成」「FA回答の分析」「レポート作成」など、調査における各フェイズでChatGPTがどこまで活用できるのかをクオリティとともに検証し、その結果をレポートにまとめて1月15日に公開しました。
※検証は、2023年8月～10月時点のChatGPTを使用しています。
背景
米国OpenAI社が2022年11月30日に公開した生成型AI「ChatGPT」、公開2か月で世界のユーザー数が1億人に達するほど急速に拡大し、2023年2月にChatGPT-3.5がリリース、翌月2023年3月にChatGPT-4、同11月にはGPT-4 Turboのリリースが発表され、リリースの都度、飛躍的に機能を拡充させています。その影響の大きさから、2023年はまさにAI元年と言われており、ChatGPTをはじめとする生成AIが今後のビジネスの変革を担う存在となりつつあります。
マーケティングリサーチ領域においてもChatGPTの影響はすさまじく、調査の設計からレポーティングまでの調査フローにおいてどこまで活用できるのか、各社で検証を始めています。
そこで、当社もChatGPTがどの程度調査に活用できそうなのかを検証してみました。2023年6月に「ChatGPTとアンケートの回答比較調査」を公開しましたが、今回は、調査設計とレポーティングに焦点を絞り、同じテーマで実際のリサーチャーが設計・レポーティングを行った調査とその精度を比較し、結果をまとめました。
※本検証は、2023年8～10月にかけて実施しております。
検証の概要
|
検証手順 |
① 仮想クライアントの情報を基に、ChatGPTが課題抽出と仮説構築を行い、それを検証できるアンケート調査を実際に行う。 ② アンケートデータの集計結果を基に、ChatGPTがレポートコメントの作成を行う。 ③ 同時並行で、上記と同じ仮想クライアントの情報を基に、当社のリサーチャーがChatGPTを使わずに従来の方法で調査票作成～レポーティングまでを行う。 ④ 調査の精度、工数、汎用性、利便性などを比較。 |
|
検証項目 |
・ 調査課題の抽出 ・ 仮説構築 ・ 調査票作成 ・ 集計軸の提案 ・ FA回答の分析 ・ コメントレポートの生成 ・ サマリーレポートの作成 ※集計表・グラフ作成は検証内容に含めていないため、従来通りの方法で専門チームが対応。 |
|
前提条件 |
・ 2023年8～10月時点でのGPT-4[長田1] [重竹2] を使用 ・ プラグインは用いない ・ 普段からChatGPTを使用している当社のマーケターが独自でプロンプトを作成 ・ プロンプトは非公開とする ・ 調査の質の比較は、当社のリサーチャー専門チームが検証 |
調査概要
下記については、ChatGPT作成ver.とリサーチャー作成ver.両者で共通とする。
|
調査手法 |
WEBアンケート |
|
調査テーマ |
完全栄養食 |
|
仮想クライアント情報 |
・ チョコレートを専門に開発している設立60年の菓子メーカー ・ 業界内では中堅規模 ・ ロングセラー商品があるため業績は悪くないが、新たに売上の柱となるヒット商品を生み出したいと考えている ・ 自社の特長であるチョコレートの完全栄養食を開発したい ・ 健康食品の開発は今回が初めて 想定ターゲットは、「20～40代女性」「忙しい会社員」「健康な身体作りを目指している人」 |
|
調査対象者 |
全国20～60代男女 |
|
スクリーニング設問 |
・ 性別 ・ 年齢 ・ 居住地 ・ 職業 |
|
本調査設問数 |
15問 |
|
その他 |
・ ChatGPT作成ver.の設問の最後に、「ChatGPTが作った調査票であること」を回答者に明かし、感想をFAで聴取した ・ ChatGPT作成ver.の集計軸は、出力内容に関わらず属性だけを軸にして進めた |
検証結果
詳細は下記よりダウンロードください。
ChatGPTの回答 ※一部抜粋
調査課題の抽出と仮説構築
調査票作成
関連
ChatGPT関連のアンケートデータのダウンロードはこちらから。
株式会社アスマーク
代表取締役：町田 正一
所在地 ：〒150-0011 東京都渋谷区東1-32-12 渋谷プロパティータワー4F
電話番号 ：03-5468-5101
FAX番号 ：03-5468-5102
設立 ：2001年12月21日
資本金 ：5,000万円
加盟団体 ：一般社団法人日本マーケティング・リサーチ協会
取得認証 ：プライバシーマーク（登録番号：12390094）
マーケットリサーチ製品認証規格（ISO 20252）
このプレスリリースには、メディア関係者向けの情報があります
メディアユーザー登録を行うと、企業担当者の連絡先や、イベント・記者会見の情報など様々な特記情報を閲覧できます。※内容はプレスリリースにより異なります。
すべての画像