アンケートの回答時間と不正回答の関連性を検証

自由回答は5秒、SAマトリクスは1.7秒以下だと不正回答が多くなる

生活者を中心にしたマーケティング支援事業を提供する株式会社ネオマーケティング（所在地：東京都渋谷区）は、「不正回答の自動排除を促進し、アンケートの精度を高める」取り組みを開始しました。
インターネットリサーチによる、自由回答とマトリクス設問（表形式の設問）で検証を行いました。

＜調査背景＞

ネオマーケティングでは、意味のある価値のあるデータを提供することがマーケティングリサーチ会社としての使命であると考えています。

そのため、ポイント目的による不正回答を可能な限り排除する取り組みを開始します。

今回はその第一弾として、回答時間による不正回答の基準を定める試みです。

第二弾、第三弾も予定しており、ネオマーケティングは意味のある・本質的なデータのご提供に取り組んで参ります。

主な結果

• 自由回答：5秒以内回答者が、不正回答全体の25%占める

• マトリクス形式（複数回答）：1項目あたり3.5秒回答者が、不正回答全体の半数を占める

• マトリクス形式（単一回答）：1項目あたり2秒以内回答者が、不正回答全体の半数を占める

• マトリクス形式（5段階SA）：1項目あたり1.7秒以内回答者が、不正回答者全体の半数を占める

※自由回答の不正回答定義：意味のなさない文字列、悪口、設問の回答になっていない文字列

※マトリクス形式の不正回答定義：ストレート回答（オール1.オール5等）

【調査概要】    

調査の方法：株式会社ネオマーケティングが運営するアンケートシステムを利用したWEBアンケート方式で実施

調査の対象：全国の20歳以上69歳以下の男女

有効回答数：1,000名　

調査実施日：2024年1月30日（火）～2024年2月1日（木）

自由回答

意味のなさない文字列、悪口、設問の回答になっていない文字列を不正回答としてカウントし、その回答時間をまとめた。全不正回答の合計を100とした時に、不正回答全体の90%が19秒以内の回答に集約される。さらに、50%だと7.25秒以内、25%だと5秒以内の回答に集中している。

結果、不正回答は5秒以内の回答に多くみられ、19秒で回答精度は安定してくることがわかる。

マトリクス形式の複数回答

ストレートの回答（全て1、全て5等）を不正回答と定義。回答個数をカウントし、その回答時間をまとめた。全不正回答の合計を100とした時に、不正回答全体の90%が47秒以内の回答に集約、50%だと14秒以内の回答に集中している。

結果、不正回答は14秒以内の回答に多くみられ、47秒で回答精度は安定してくることがわかる。

当設問は、表側4項目、表頭10項目のヨコ回答マトリクスのため、選択肢10項目の複数回答が4問分の設問であると解釈できる。

これを踏まえると、14秒÷4で、1項目あたり3.5秒以内の回答は不正回答の可能性が高いと考えることができる。

マトリクス形式の単一回答

ストレートの回答（全て1、全て5等）を不正回答と定義。回答個数をカウントし、その回答時間をまとめた。全不正回答の合計を100とした時に、不正回答全体の90%が20秒以内の回答に集約、50%だと8秒以内の回答に集中している。

結果、不正回答は8秒以内の回答に多くみられ、20秒で回答精度は安定してくることがわかる。

当設問は、表側4項目、表頭10項目のヨコ回答単一回答マトリクスのため、選択肢10項目の単一回答が4問分の設問であると解釈できる。

これを踏まえると、8秒÷4で、1項目あたり2秒以内の回答は不正回答の可能性が高いと考えることができる。

マトリクス形式の5段階単一回答

ストレートの回答（全て1、全て5等）を不正回答と定義。回答個数をカウントし、その回答時間をまとめた。全不正回答の合計を100とした時に、不正回答全体の90%が27秒以内の回答に集約、50%だと17秒以内の回答に集中している。

結果、不正回答は17秒以内の回答に多くみられ、27秒で回答精度は安定してくることがわかる。

当設問は、表側10項目、表頭5項目のヨコ回答単一回答マトリクスのため、選択肢5項目の単一回答が10問分の設問であると解釈できる。

これを踏まえると、17秒÷10で、1項目あたり1.7秒以内の回答は不正回答の可能性が高いと考えることができる。

マトリクス形式の3択単一回答

ストレートの回答（全て1、全て5等）を不正回答と定義。回答個数をカウントし、その回答時間をまとめた。全不正回答の合計を100とした時に、不正回答全体の90%が29秒以内の回答に集約、50%だと18秒以内の回答に集中している。

結果、不正回答は18秒以内の回答に多くみられ、29秒で回答精度は安定してくることがわかる。

当設問は、表側10項目、表頭3項目のヨコ回答単一回答マトリクスのため、選択肢3項目の単一回答が10問分の設問であると解釈できる。

これを踏まえると、18秒÷10で、1項目あたり1.8秒以内の回答は不正回答の可能性が高いと考えることができる。

マトリクス形式の5段階単一回答

ストレートの回答（全て1、全て5等）を不正回答と定義。回答個数をカウントし、その回答時間をまとめた。全不正回答の合計を100とした時に、不正回答全体の90%が51秒以内の回答に集約、50%だと25秒以内の回答に集中している。

結果、不正回答は25秒以内の回答に多くみられ、51秒で回答精度は安定してくることがわかる。

当設問は、表側15項目、表頭5項目のヨコ回答単一回答マトリクスのため、選択肢5項目の単一回答が15問分の設問であると解釈できる。

これを踏まえると、25秒÷15で、1項目あたり1.7秒以内の回答は不正回答の可能性が高いと考えることができる。

総括

今回の検証は結論を出すことを目的としているわけではないため、明確な基準値を定めることはしないが、回答時間が早すぎると、不正回答である可能性が高まることは分かった。

設問形式によって判断基準となる時間も異なることも確認できた。

「早すぎる回答」の参考基準

自由回答なら5秒以内

マトリクス形式（複数回答）だと1項目あたり3.5秒

マトリクス形式（単一回答）だと1項目あたり2秒

マトリクス形式（5段階SA）だと1項目あたり1.7秒

今後、年代による検証、選択肢の数による検証、視線等の生態データによる検証も行い

不正と思われるデータを、恣意的ではなく根拠を持って一律に排除できる仕組みを構築していきます。

■この調査で使用した調査サービスはコチラ

ネットリサーチ：https://neo-m.jp/research-service/netresearch/

■引用・転載時のクレジット表記のお願い

※本リリースの引用・転載は、必ずクレジットを明記していただきますようお願い申し上げます。

＜例＞「生活者を中心にしたマーケティング支援事業を提供する株式会社ネオマーケティングが実施した調査結果によると……」

■「ネオマーケティング」

URL ：https://neo-m.jp/