【ChatGPT検証】調査設計とレポーティングにどこまで活用できるか?~ChatGPT VS リサーチャー~

「完全栄養食」をテーマとするアンケート調査を、ChatGPT作成ver.とリサーチャー作成ver.で同時に実施。調査結果や質はどれぐらい異なるのか?

株式会社アスマーク

マーケティングリサーチ会社の株式会社アスマーク(東京都渋谷区東、代表取締役:町田正一)は、「仮説構築」「調査票作成」「FA回答の分析」「レポート作成」など、調査における各フェイズでChatGPTがどこまで活用できるのかをクオリティとともに検証し、その結果をレポートにまとめて1月15日に公開しました。

※検証は、2023年8月~10月時点のChatGPTを使用しています。

【検証レポート】ChatGPTを調査設計とレポーティングにどこまで活用できるか?~ChatGPT VS リサーチャー~

背景

米国OpenAI社が2022年11月30日に公開した生成型AI「ChatGPT」、公開2か月で世界のユーザー数が1億人に達するほど急速に拡大し、2023年2月にChatGPT-3.5がリリース、翌月2023年3月にChatGPT-4、同11月にはGPT-4 Turboのリリースが発表され、リリースの都度、飛躍的に機能を拡充させています。その影響の大きさから、2023年はまさにAI元年と言われており、ChatGPTをはじめとする生成AIが今後のビジネスの変革を担う存在となりつつあります。

 

マーケティングリサーチ領域においてもChatGPTの影響はすさまじく、調査の設計からレポーティングまでの調査フローにおいてどこまで活用できるのか、各社で検証を始めています。

そこで、当社もChatGPTがどの程度調査に活用できそうなのかを検証してみました。2023年6月に「ChatGPTとアンケートの回答比較調査」を公開しましたが、今回は、調査設計とレポーティングに焦点を絞り、同じテーマで実際のリサーチャーが設計・レポーティングを行った調査とその精度を比較し、結果をまとめました。

 ※本検証は、2023年8~10月にかけて実施しております。

検証の概要

検証手順

①     仮想クライアントの情報を基に、ChatGPTが課題抽出と仮説構築を行い、それを検証できるアンケート調査を実際に行う。

②     アンケートデータの集計結果を基に、ChatGPTがレポートコメントの作成を行う。

③     同時並行で、上記と同じ仮想クライアントの情報を基に、当社のリサーチャーがChatGPTを使わずに従来の方法で調査票作成~レポーティングまでを行う。

④     調査の精度、工数、汎用性、利便性などを比較。

検証項目

・     調査課題の抽出

・     仮説構築

・     調査票作成

・     集計軸の提案

・     FA回答の分析

・     コメントレポートの生成

・     サマリーレポートの作成

 ※集計表・グラフ作成は検証内容に含めていないため、従来通りの方法で専門チームが対応。

前提条件

・     2023年8~10月時点でのGPT-4[長田1] [重竹2] を使用

・     プラグインは用いない

・     普段からChatGPTを使用している当社のマーケターが独自でプロンプトを作成

・     プロンプトは非公開とする

・     調査の質の比較は、当社のリサーチャー専門チームが検証

調査概要

下記については、ChatGPT作成ver.とリサーチャー作成ver.両者で共通とする。

調査手法

WEBアンケート

調査テーマ

完全栄養食

仮想クライアント情報

・     チョコレートを専門に開発している設立60年の菓子メーカー

・     業界内では中堅規模

・     ロングセラー商品があるため業績は悪くないが、新たに売上の柱となるヒット商品を生み出したいと考えている

・     自社の特長であるチョコレートの完全栄養食を開発したい

・     健康食品の開発は今回が初めて

 想定ターゲットは、「20~40代女性」「忙しい会社員」「健康な身体作りを目指している人」

調査対象者

全国20~60代男女

スクリーニング設問

・     性別

・     年齢

・     居住地

・     職業

本調査設問数

15問

その他

・        ChatGPT作成ver.の設問の最後に、「ChatGPTが作った調査票であること」を回答者に明かし、感想をFAで聴取した

・        ChatGPT作成ver.の集計軸は、出力内容に関わらず属性だけを軸にして進めた

検証結果

詳細は下記よりダウンロードください。

ChatGPTの回答 ※一部抜粋

調査課題の抽出と仮説構築

調査課題の抽出と仮説構築【ChatGPTの回答】

調査票作成

調査票作成【ChatGPTの回答】

関連

ChatGPT関連のアンケートデータのダウンロードはこちらから。

ChatGPTとアンケートの回答比較調査

2023年6月に実施したChatGPTを用いた調査レポートです。
「調べもの」としてChatGPTを使用した場合と、実際のアンケートデータとの結果の違いを検証しています。

株式会社アスマーク

株式会社アスマーク

代表取締役:町田 正一
所在地  :〒150-0011 東京都渋谷区東1-32-12 渋谷プロパティータワー4F
電話番号 :03-5468-5101
FAX番号 :03-5468-5102
設立   :2001年12月21日
資本金  :5,000万円
加盟団体 :一般社団法人日本マーケティング・リサーチ協会
取得認証 :プライバシーマーク(登録番号:12390094)
      マーケットリサーチ製品認証規格(ISO 20252)

このプレスリリースには、メディア関係者向けの情報があります

メディアユーザー登録を行うと、企業担当者の連絡先や、イベント・記者会見の情報など様々な特記情報を閲覧できます。※内容はプレスリリースにより異なります。

すべての画像


ダウンロード
プレスリリース素材

このプレスリリース内で使われている画像ファイルがダウンロードできます

会社概要

株式会社アスマーク

15フォロワー

RSS
URL
https://www.asmarq.co.jp/
業種
情報通信
本社所在地
東京都渋谷区東一丁目32番12号 渋谷プロパティータワー4階
電話番号
03-5468-5101
代表者名
町田正一
上場
東証スタンダード
資本金
1億3900万円
設立
2001年12月