【検証】ChatGPTに「光回線のキャッシュバック額」を200回聞いてみた｜実際にもらえる額を正しく答えられたのは約25％、回答ごとに提示額が最大7万円以上も食い違う
クラシェルジュ、「AIに聞いてみた」シリーズ Vol.2 光回線編を公開
電力・ガス・インターネット回線などの比較メディアやシミュレーションサービスを運営する株式会社クラシェルジュ（本社：東京都世田谷区、代表取締役：中島将太）は、生成AIの回答精度を定点観測する「AIに聞いてみた」シリーズVol.2として、ChatGPTに「光回線のキャッシュバック」について合計200回質問し、回答内容を各社の公式情報・申込窓口の公式キャンペーン情報と照合しました。
2026年4月の「暮らしにまつわる比較検討におけるAI利用実態調査」では、比較検討にAIを使う人が76.8%、誤回答の経験者が65%にのぼる一方、81.2%が「今後もAIを使いたい」と回答。Vol.1（電力会社編）では、条件を細かく伝えてもAIが提示する金額が正しいのは約38%にとどまることを実測で示しました。
本Vol.2は、金額の幅が数万円単位で動く「光回線のキャッシュバック」を題材に、AIがどこまで正確に答えられるかを検証した続編です。
■検証概要
検証期間：2026年7月3日〜14日
検証対象AI：ChatGPT（GPT-5.5）
検証内容：
①「キャッシュバックが一番お得な光回線はどこですか？」×100回質問
②「ドコモ光10ギガを戸建てで新規申し込みします。有料オプションに加入しない場合、現金キャッシュバック額が最も高い申込窓口はどこですか？工事費無料・月額割引・他社違約金補填などは含めず、実際に受け取れる現金キャッシュバック額を教えてください。」×100回質問
照合基準：各申込窓口の公式サイト記載のキャンペーン情報・現金キャッシュバック額
検証主体：株式会社クラシェルジュ
■検証結果
検証結果①｜前提条件を確認しないまま100回すべてで即回答。90回は同じ1社を最高額として提示
検証結果②｜条件をすべて固定しても、GMOとくとくBBの金額を具体的に提示した98回答のうち、正しい金額を答えられたのは24件（24.5％）。同じ窓口なのに1万円〜9万3,700円と最大9倍以上のばらつき。
検証概要・結果や詳細データは以下のPDFでもまとめています。
【解説者】
当社メディア責任者・小売電気アドバイザー：長井（写真左）
当社広報・Webマーケター：川瀬（写真右）
前回検証（電力会社編）で見えた課題｜公式に唯一の正解があっても間違える
本検証に先立ち、当社はVol.1（電力会社編）で、ChatGPTに「一人暮らしにおすすめの電力会社」を200回質問し、回答を公式料金単価と照合しました。
電気料金は、公式に定められた単価と計算条件が分かれば、本来は「唯一の正解」を導ける情報です。ところがVol.1では、その正解にすらAIはたどりつけませんでした。
条件を伝えても、金額が正しいのは約38%
電力会社編では、条件を細かく指定してもAIが提示した金額のうち正確だったのは38.3%。「そのまま信じて契約してOK」と言える回答は1件もありませんでした。
「安い会社を高く・高い会社を安く」見せる誤り
公式単価という唯一の答えがあるにもかかわらず、AIは古い情報や誤った計算を混ぜ、判断材料としての金額を狂わせていました。
※Vol.1電力会社編（n=100）より再掲
ここで浮かぶのが、次の問いです。公式を当たれば「唯一の正解」がある電気料金ですら約6割の金額がずれるなら、そもそも正解が一箇所に定まっていない分野では、AIはどこまで答えられるのか。
光回線のキャッシュバックは、まさにその典型です。金額は回線ではなく申込窓口ごとに決まり、月単位・週単位で変わることもあります。「最大○万円」も複数条件を合算した上限額であるケースがあり、複数の公式サイトを横断しないと正解にたどりつけません。
本Vol.2は、この「複数サイトを横断しないと正解が分からない情報」を題材に、AIの回答精度がさらにどうなるかを検証したものです。
検証結果①｜全回答で前提条件を確認せず即回答。90回が同じ1社を最高額として提示
まずは、光回線を検討する人が実際に入力しそうな素朴な質問で検証しました。
■検証内容
質問文：「キャッシュバックが一番お得な光回線はどこですか？」
使用AI：ChatGPT（GPT-5.5）
質問回数：100回
検証期間：2026年7月3日〜7月8日
■検証条件
※回答のばらつきや過去履歴の影響を排除するため、全回を以下の統一条件で実施しました。
新規チャット：毎回新しい会話を開始し、過去の履歴が回答に影響しないようにする
ChatGPTの一時チャット：ChatGPT側の一時チャット（シークレットモード）を使用し、会話が履歴・学習に残らないようにする
ブラウザ環境：Chromeのシークレットモードを使用し、Cookie・キャッシュの影響を排除する
アカウント：調査専用アカウント1つに統一。プロフィール設定・カスタム指示は空欄のまま使用する
アクセス元：日本国内（東京）のIPアドレスから実行。VPNは使用せず、Wi-Fiもオフにする
光回線のキャッシュバックは、住居タイプ、申込区分、プラン、オプション加入の有無によって金額が変わります。本来、これらが分からなければ「一番お得」は決められません。
しかしChatGPTは、条件を確認することなく、100回すべてで即座に光回線を提示しました。
|
推奨する前の対応 |
件数 |
割合 |
|---|---|---|
|
住居タイプ・申込区分・プランを確認してから推奨した |
0件 |
0.0% |
|
条件を確認せず、いきなり推奨した |
100件 |
100.0% |
※推奨を提示する前に、住居タイプや申込区分をユーザーに確認したかどうかの分布（n=100）
キャッシュバック最高額として最上位に置かれた光回線は、100回中90回で「auひかり」でした。Vol.1（電力会社編）でも100回中81回で同一社を最上位に推奨しており、テーマが変わっても「前提確認なしで特定社に寄る」構造は共通しています。
|
順位 |
光回線 |
件数 |
割合 |
|---|---|---|---|
|
1 |
auひかり |
90件 |
90.0% |
|
2 |
NURO光 |
9件 |
9.0% |
|
3 |
GMOとくとくBB光 |
1件 |
1.0% |
※「キャッシュバック最高額」「最も高額」など、回答内で最上位に提示された光回線を集計（n=100）。単に最初に登場した回線名の集計とは異なります。
97回は「申込窓口で金額が変わる」と補足。金額の仕組みは理解しつつ、確認すべき利用条件は飛ばしていた
一方で、AIは「キャッシュバック額は回線名だけで決まるわけではない」ことも高い頻度で補足していました。
|
回答内の補足内容 |
件数 |
割合 |
|---|---|---|
|
キャッシュバック額は申込窓口（代理店・プロバイダ）で変わると補足 |
97件 |
97.0% |
|
上記の補足なし |
3件 |
3.0% |
※回答内で「申込窓口」「代理店」「プロバイダ」などによりキャッシュバック額が変わる旨に触れていたかを集計（n=100）
この補足自体は正しく、光回線キャッシュバックの本質を突いています。
つまり、AIは申込窓口による金額の違いは理解しながらも、その手前で確認すべき利用条件を飛ばしてしまうのです。
そこで次に、回線・プラン・住居タイプ・申込区分・オプション有無を固定し、論点を「どの申込窓口で、実際にいくら現金キャッシュバックを受け取れるのか」に絞って検証しました。
検証結果②｜条件をすべて固定しても、正しい金額を答えられたのは約25％
AI自身が「金額は申込窓口で変わる」と認めている以上、ユーザーが本当に知りたい「では、いくらもらえるのか」に答えるには、窓口ごとの最新キャンペーンを正確に把握する必要があります。
そこで次は、条件を絞り込んだうえで、再度100回検証を実施しました。回線・プラン・住居タイプ・申込区分・オプション有無をすべて指定し、「純粋な現金キャッシュバック額が最も高い窓口はどこか」を尋ねています。
■検証内容
質問文：「ドコモ光10ギガを戸建てで新規申し込みします。有料オプションに加入しない場合、現金キャッシュバック額が最も高い申込窓口はどこですか？工事費無料・月額割引・他社違約金補填などは含めず、実際に受け取れる現金キャッシュバック額を教えてください。」
使用AI：ChatGPT（GPT-5.5）
質問回数：100回
検証期間：2026年7月10日〜7月14日
照合方法：各回答が提示した窓口・金額を、検証時点の公式キャンペーン情報と照合。正解はGMOとくとくBBの84,000円（2026年7月7日〜13日は期間限定で1,000円増額のため85,000円）とし、この金額を「正確」と判定
■検証条件
※回答のばらつきや過去履歴の影響を排除するため、全回を以下の統一条件で実施しました。
新規チャット：毎回新しい会話を開始し、過去の履歴が回答に影響しないようにする
ChatGPTの一時チャット：ChatGPT側の一時チャット（シークレットモード）を使用し、会話が履歴・学習に残らないようにする
ブラウザ環境：Chromeのシークレットモードを使用し、Cookie・キャッシュの影響を排除する
アカウント：調査専用アカウント1つに統一。プロフィール設定・カスタム指示は空欄のまま使用する
アクセス元：日本国内（東京）のIPアドレスから実行。VPNは使用せず、Wi-Fiもオフにする
結果、最高額の窓口としてGMOとくとくBBを挙げたのは100回中88回で、窓口選び自体はおおむね正解していました。ところが、肝心の金額は安定しませんでした。
GMOとくとくBBの現金キャッシュバック額を具体的に提示した98回答を見ると、金額は最小10,000円から最大93,700円まで分布し、正しい金額（84,000円／85,000円）を答えられたのは24件、わずか24.5％でした。同じ質問・同じ条件にもかかわらず、答えが9倍以上振れています。
|
AIが提示した金額 |
件数 |
正解との差 |
判定 |
|
84,000円・85,000円 |
24件 |
±0円 |
正確 |
|
57,000円 |
22件 |
-27,000円 |
誤答 |
|
30,000円 |
17件 |
-54,000円 |
誤答 |
|
80,000円 |
15件 |
-4,000円 |
誤答 |
|
93,700円 |
2件 |
+9,700円 |
誤答 |
|
10,000円 |
1件 |
-74,000円 |
誤答 |
※条件：ドコモ光10ギガ・戸建て・新規・有料オプションなし／GMOとくとくBBの現金キャッシュバック額を具体的に提示した回答のうち、主な金額を抜粋（n=98）。「正解との差」は通常時の84,000円を基準に算出。2026年7月7日〜13日の期間限定増額中は、正解額が85,000円となるため差額が1,000円大きくなります。
GMOとくとくBBの金額を具体的に提示した98回答のうち、誤答は74件。そのうち69件は実際より少ない金額を提示しており、本来受け取れるはずの金額を大幅に低く見せていました。
Vol.1（電力会社編）では、AIは「安い会社を高く・高い会社を安く」見せる誤りを起こしていました。今回は「もらえる金額を実際より少なく見せる」という形で、やはり判断材料としての金額が信頼できない結果となっています。
キャッシュバック額の主な誤答パターン
最も多かった誤答である57,000円（22件）と30,000円（17件）は、どちらも公式ページに実在する（過去に実在した）数字です。ただしAIは、それが「何の金額か」を取り違えていました。誤答の中身を分解すると、次の2パターンに集約されます。
パターン①：57,000円（22件）＝ 過去のキャッシュバック額
57,000円は、過去のキャンペーンページに掲載されていた10ギガプランのキャッシュバック額です。現在は、57,000円という額はすでに存在しません。AIは、今は使われていない古い金額を拾い、現在の額として提示していました。
パターン②：30,000円（17件）＝ 優待コードによる「増額分」だけ
30,000円は、特設ページの優待コードを適用したときに上乗せされる「増額分」の額です。キャッシュバック本体（84,000円）ではなく、その一部である上乗せ分だけを切り取り、それをキャッシュバック額として提示していました。
いずれも、公式ページに実在する数字を、別の文脈から切り取って提示した誤りです。金額そのものは実在しても、「いつの・何の金額か」を取り違えれば、ユーザーが実際に受け取れる額の判断は大きく狂います。過去の情報と現在の情報、本体の額と増額分が入り混じるキャッシュバックの構造こそ、AIがつまずいた要因と考えられます。
すでに申し込めない窓口を、5回は「最高額」として推奨
さらに深刻だったのが、すでに取次を停止している窓口の扱いです。検証時点でドコモ光の取次を終了していたNNコミュニケーションズについて、AIの扱いは次のように分かれました。
|
取次停止済み窓口の扱い |
件数 |
|
取次停止に触れたうえで説明した |
26件 |
|
取次停止に触れず、候補として提示した |
47件 |
|
最高額の窓口として推奨した |
5件 |
|
言及なし |
22件 |
※検証時点でドコモ光の取次を終了していた窓口を、AIが回答本文中でどう扱ったかの分布（n=100）。複数に該当する場合は、「最高額として推奨」など、より重大な扱いを優先して分類。出典URL・引用タイトルのみの記載は「言及」に含めていません。
100回中5回は、すでに申し込めない窓口を「最も現金キャッシュバックが高い窓口」として推奨していました。この回答を信じて申し込もうとしても、そもそも契約できません。加えて47回は、停止済みであることに触れないまま比較表に並べていました。
一方で、取次停止を正しく認識できた回答も26回ありました。AIは正しい情報にアクセスできる場合もあるものの、回答ごとに拾えたり拾えなかったりしていることが分かります。
総合評価｜そのまま信じて申し込める回答は11件。87件は損失・実害につながる水準
ここまでの「金額のずれ」「取次停止窓口の推奨」を踏まえ、条件を固定した検証の回答100件について、そのまま信じて申し込めるかを4段階で評価しました。
■評価基準（4段階）
A：そのまま信じて申し込みOK／最高額の窓口・金額ともに正しく、そのまま行動しても損をしない
B：念のため自分でも確認したほうがいい／窓口と金額は正しいが、他社の金額など一部に誤りがある
C：信じると損する可能性あり／窓口は正しいが金額が実際と異なる、または取次停止済みの窓口を注意なく提示
D：信じると実害が出る／最高額の窓口自体が誤り。申し込めない窓口を推奨するなど、行動すると実害が出る
※疑わしい場合はより低い評価に倒して判定。ユーザー側の追加確認を前提にしないと安全でないものはAとしない。
結果、A評価（そのまま信じて申し込みOK）は11件にとどまりました。残る87件は「損する可能性あり」のC、または「実害が出る」のDです。条件をすべて固定して聞いても、9割近くは鵜呑みにできない水準でした。
|
評価 |
回答の状態 |
件数 |
割合 |
|
A：そのまま信じて申し込みOK |
窓口・金額ともに正しい |
11件 |
11.0% |
|
B：念のため自分でも確認したほうがいい |
窓口・金額は正しいが一部に誤り |
2件 |
2.0% |
|
C：信じると損する可能性あり |
金額が実際と異なる、または停止済み窓口を注意なく提示 |
75件 |
75.0% |
|
D：信じると実害が出る |
最高額の窓口自体が誤り、申し込めない窓口を推奨 |
12件 |
12.0% |
※条件を固定した検証への回答100件を、ユーザーがそのまま信じて申し込めるかの観点で4段階評価（n=100）
結論｜AIは比較の入口にはなるが、最新キャンペーンの判断は任せきれない
Vol.1（電力会社編）では、条件を細かく伝えても電気料金が正しいのは約38%でした。電気料金は、公式単価や計算条件が定まれば本来は正解を導きやすい情報です。それでもAIの回答には、古い情報や誤った計算が混じっていました。
今回の光回線キャッシュバックは、さらに情報の扱いが難しい分野です。金額は申込窓口ごとに異なり、短期間で変わることもあります。Web上には過去の金額や「最大額」の情報も残るため、AIには単なる要約ではなく、複数の情報源から最新条件に合うものを選び取る力が求められます。
AIに任せやすい情報／任せにくい情報
任せやすい：出典が一箇所に定まっている情報。公定の単価、約款の条文、仕様表の読み取りや、それを使った計算。
任せにくい：複数のサイトに情報が分散し、更新が速く、条件によって値が変わる情報。キャンペーン金額、在庫、期間限定の特典、募集状況など。
光回線のキャッシュバックは、まさに後者にあたります。今回も、条件をすべて固定したにもかかわらず、金額は大きくばらつき、すでに申し込めない窓口を最高額として推奨する回答もありました。
■結論
AIの回答は、光回線のキャッシュバック選びをそのまま任せられる正確性には達していない
条件をすべて固定しても、正しい金額を答えられたのは24.5%同じ条件・同じ窓口でも、提示額は1万円〜9万3,700円までばらついたすでに申し込めない窓口を最高額として推奨した回答も5件あったAIは比較の入口にはなるが、最新キャンペーンの最終判断にはまだ任せきれない
だからこそ、キャッシュバックのように金額が変わりやすい情報ほど、AIの回答を鵜呑みにせず、公式情報での確認が欠かせません。
クラシェルジュでは、「AIに聞いてみた」シリーズを今後も継続。テーマを変えてAI回答の正確性・信頼性を検証
クラシェルジュは「AIに聞いてみた」シリーズを毎月継続し、テーマを変えて主要AIの回答精度を定点観測します。一定期間後には同一条件で再検証し、精度の推移を可視化していきます。
なお光回線の比較は、当社がクラシェルジュで提供しています。回線ごとの月額料金に加え、申込窓口ごとのキャッシュバック額・受取条件・受取時期まで含めて比較でき、今回AIが取り違えた「最大額と実際にもらえる現金額の違い」や「取次を終了した窓口」も、公式・最新の情報に基づいて正確にご案内します。
■引用時の参照ページ
本情報を引用する場合、本ページではなく以下ページを参照元としてください。
https://cracierge.co.jp/company/pressrelease/2026/id_ai-internet-cashback-verification-vol2/
■ 会社概要
社名：株式会社クラシェルジュ
所在地：東京都世田谷区太子堂4-1-1 キャロットタワー22階
サービス内容：光熱費・通信費比較サイト「クラシェルジュ」の運営
URL：https://cracierge.co.jp/company/
■お問い合わせ先
株式会社クラシェルジュ
TEL：03-6804-0166
Email：support@cracierge.co.jp
受付時間：平日10:00～19:00
すべての画像
