家電量販店の返品・保証を質問、主要AI5種の回答の40.0%が正しく案内できず — 100の質問パターンを検証

出典URLに問題を含む質問パターンは62.0%、Microsoft Copilotは20件中19件(95.0%)に達し、正答率だけでは安全性を測れない結果に

Stellagent株式会社

AIエージェント時代の購買・予約体験を支えるエージェンティックコマース基盤を開発するStellagent株式会社(ステラジェント、本社:神奈川県横浜市、代表取締役:鈴木 章広、以下「当社」)は、主要な家電量販店5社の返品・保証ポリシーについて、主要AIサービス5種がどの程度正確に回答できるかを調査しましたので、お知らせします。

2026年7月21日時点の本調査では、5社×5AI×4シナリオの100の質問パターンを評価しました。100パターンの主判定は、正答60件(60.0%)、誤答25件(25.0%)、回答不能15件(15.0%)でした。主判定が誤答で、かつ実害リスクを含んだ質問パターンは15件(15.0%)でした。

また、存在しないURL、非公式URL、公式だが該当違いのURLなど、出典に問題を含んだ質問パターンは62件(62.0%)に上りました。特にMicrosoft Copilotは20件中19件(95.0%)で出典問題を含んでおり、正答率だけでは安全性を測れない結果となりました。出典問題は正答・誤答・回答不能にまたがる追加フラグであるため、主判定とは合算していません。

■ 背景

生成AIは、買い物前後の疑問を調べる手段として一般消費者に使われ始めています。家電の購入後には、初期不良、返品、交換、長期保証、ポイント返金、出張修理など、公式規約やFAQに基づく確認が必要になる場面があります。こうした質問では、回答が便利であること以上に、期限、対象条件、返金方法、保証範囲が正確であることが重要です。

本調査は、家電量販店を批判するものではありません。公式情報が存在していても、汎用AIがそれを正しい文脈で拾い、正しく要約できるとは限らないことを検証し、公式データに基づいて回答する専門AIサポートの必要性を示すために実施しました。

■ 調査概要

項目

内容

調査名

家電量販店の返品・保証ポリシーに対する主要AI回答精度調査

調査対象

家電量販店5社(ビックカメラ、ヨドバシカメラ、ヤマダデンキ、ケーズデンキ、エディオン)/AIサービス5種(ChatGPT、Claude、Gemini、Perplexity、Microsoft Copilot)

調査期間

2026年7月21日

調査方法

AI回答実験、公式サイトのデスクリサーチ

実行数・回答数

評価対象100の質問パターン(5社×5AI×4シナリオ)、AI回答ログ合計268件

調査主体

Stellagent株式会社

各社の公式FAQ、規約、保証ページを正答基準として保存したうえで、同一形式のプロンプトをChatGPT、Claude、Gemini、Perplexity、Microsoft Copilotへ入力し、回答内容と出典URLを照合しました。各質問パターンは同じプロンプトで最低2回試行し、判定の揺れ、実害リスク、出典問題が見られた場合に3回目を追加したため、AI回答ログは合計268件になりました。

■ 調査結果

主要AI5種の正答率は60.0%、実害リスクを含む誤答は15.0%

100の質問パターンの主判定は、正答60件(60.0%)、誤答25件(25.0%)、回答不能15件(15.0%)でした。誤答25件のうち、実害リスクを含むものが15件(15.0%)、残り10件は表現差や条件省略にとどまる軽微な誤差でした。返品・交換期限を公式確認範囲より長く案内する、長期保証の年数を保存済み公式基準より長く答える、補償範囲を過大に見せるといった誤りが含まれます。

AI別の質問パターン正答率は、ChatGPTとMicrosoft Copilotが65.0%、Claudeが60.0%、GeminiとPerplexityが55.0%でした。正答率だけを見ると上位差は小さい一方、出典問題を含む質問パターンには大きな差があり、Microsoft Copilotは20件中19件(95.0%)、ChatGPTは20件中8件(40.0%)でした。

長期保証の年数・補償率(S2)は正答率48.0%で最も低い

シナリオ別では、長期保証の年数・補償率(S2)が正答率48.0%で4シナリオの中で最も低くなりました。保証制度は企業ごとに名称、年数、年次別負担、無料保証と有料保証の区別が異なるため、AIが古い規約や別制度を拾いやすい領域と考えられます。エアコン保証修理の無料回数(S4)は正答率80.0%と最も高く、初期不良・返品/交換(S1)とポイント払い分の返金(S3)はいずれも56.0%でした。

詳細レポートはこちら:https://stellagent.ai/ja/research/home-appliance-return-policy-ai-accuracy-survey-202607

■ 示唆・今後

  • 公式FAQや規約は、人間向けのページとしてだけでなく、AIが誤読しにくい構造で整備する必要があります。返品、初期不良、保証、ポイント返金は似た用語が多く、通常返品と初期不良、無料保証と有料保証、利用ポイントと付与ポイントが混同されやすい領域です。

  • 出典URL付き回答でも、正しいページに基づくとは限りません。AI回答の品質管理では、URL提示率だけでなく、公式かどうか、該当トピックかどうか、古い規定ではないかを検証する必要があります。

  • 顧客サポート領域では、汎用AIに任せるのではなく、企業が管理する公式データ、FAQ、規約、商品・注文・会員条件に接続した専門AIが必要です。特に返品期限、保証年数、補償範囲、ポイント返金は、誤案内が顧客期待や問い合わせ負荷に直結します。

  • 専門AIを導入する場合も、回答不能を適切に扱う設計が重要です。公式情報で確認できない場合は推測せず、確認先、必要情報、問い合わせ導線を示すことで、誤答リスクと顧客の不安を同時に減らせます。

■ ステラジェントについて

Stellagent株式会社(ステラジェント)は、AIエージェント時代の購買・予約体験を支えるエージェンティックコマース基盤を開発する企業です。

  • 会社名:Stellagent株式会社

  • 代表者:代表取締役 鈴木 章広

  • 所在地:神奈川県横浜市西区みなとみらい3-7-1 オーシャンゲートみなとみらい8F WeWork

  • 設立日:2022年2月22日

  • HP:https://stellagent.ai/ja

■ 本件に関するお問い合わせ

本件に関するお問い合わせは、以下のフォームよりご連絡ください。

https://stellagent.ai/ja/contact

※本ニュースリリースに記載された商品・サービス名は各社の商標または登録商標です。

このプレスリリースには、メディア関係者向けの情報があります

メディアユーザー登録を行うと、企業担当者の連絡先や、イベント・記者会見の情報など様々な特記情報を閲覧できます。※内容はプレスリリースにより異なります。

すべての画像


会社概要

Stellagent株式会社

6フォロワー

RSS
URL
https://stellagent.ai/ja
業種
情報通信
本社所在地
神奈川県横浜市西区みなとみらい3-7-1 オーシャンゲートみなとみらい8階
電話番号
-
代表者名
鈴木章広
上場
未上場
資本金
-
設立
2022年02月