ChatGPTの「おすすめ電力会社」回答を100回検証|AIが提示した料金の約6割が実際とズレ、「一番安い」とした会社の約30%は実際の最安と不一致

クラシェルジュ、「AIに聞いてみた」シリーズ Vol.1 電力会社編を公開

株式会社クラシェルジュ

電力・ガス・インターネット回線などの比較メディアやシミュレーションサービスを運営する株式会社クラシェルジュ(本社:東京都世田谷区、代表取締役:中島将太)は、生成AIの回答精度を定点観測する「AIに聞いてみた」シリーズVol.1として、ChatGPTに「一人暮らしにおすすめの電力会社」を合計200回質問し、回答内容を各社の公式情報・公式料金単価と照合しました。

2026年4月の「暮らしにまつわる比較検討におけるAI利用実態調査」では、比較検討にAIを使う人が76.8%、誤回答の経験者が65%にのぼる一方、81.2%が「今後もAIを使いたい」と回答。不安を抱えながらも依存が進む実態が見えました。本Vol.1は、この回答精度を電力会社選びという具体的なテーマで実測検証した続編です。

■調査概要

検証期間:2026年5月8日〜20日

検証対象AI:ChatGPT(GPT-5.2)
検証内容:

 ①「一人暮らしにおすすめの電力会社を教えてください」×100回質問
 ②「東京で一人暮らし、30Aで月120kWh使用するのですが、電気代が安い電力会社はどこですか?各社月いくらになるか金額も教えてください。2026年5月時点の燃料費調整額と再エネ賦課金込みで。」×100回質問

照合基準:各電力会社の公式サイト記載の料金単価、経済産業省発表の再生可能エネルギー発電促進賦課金
検証主体:株式会社クラシェルジュ

■検証結果

検証結果①|地域も使用量も確認しないまま即回答。100回中81回は同じ1社を一番に推奨。

検証結果②|100回中67回の回答で誤解を生みやすい説明。

検証結果③|条件を細かく伝えても、AIが出した金額で正しかったのは約38%。残り6割超は実際の料金とずれあり。

検証結果④|「そのまま信じて契約してOK」な回答は1件もなし。「損する/実害が出る」回答が71件

検証概要・結果や詳細データは以下のPDFでもまとめています。

▶検証サマリーを見る
▶検証データ詳細

解説者(写真左・長井 写真右・川瀬)

■解説者

当社メディア責任者・小売電気アドバイザー:長井(写真左)

当社広報・Webマーケター:川瀬(写真右)

2026年4月実態調査で見えた、3つの課題

本検証に先立ち、当社は2026年4月、全国の20歳以上の男女500名を対象に「暮らしにまつわる比較検討におけるAI利用実態調査」を実施しました。電気・ガスの乗り換えから通信プラン、保険、日用品の購入まで、生活まわりの比較検討でAIがどれだけ使われ、その回答がどこまで信頼されているのかを聞いた調査です。

ここから、消費者がAIを深く活用する一方で、その回答精度に強い不安を抱えている実態が浮かび上がりました。要点は次の3つです。

半数超がAI回答を信頼して契約・購入を経験
比較検討にAIを使った人は76.8%。うち53.1%が「回答をもとに実際に契約・購入した」と回答。AIはすでに消費行動を直接動かしており、回答の誤りはそのまま実害につながりかねません。


3人に2人が誤回答を経験、それでも約8割が使い続けたい
65.1%が「誤った回答を受けた経験がある」とする一方、81.2%は「今後も使いたい」と回答。不安を抱えたまま依存が進む構図です。


不安の最多は「正確性・信頼性」
「AIへの不安・要望」を分類すると237名(47.4%)が「正確性・信頼性」を挙げて最多。「平気で嘘を教えてくる」といった声が目立ちました。

※2026年4月実態調査より再掲(n=500、複数言及含む)

ただし、これらはいずれも消費者の「体感」にすぎません。AIが実際にどの程度の精度で答えているかを、客観的なデータで検証した例はこれまでありませんでした。

そこで本検証では、その体感と実測のあいだにどれだけギャップがあるのかを明らかにするべく、電力会社選びという具体的なテーマで主要AIの回答精度を実測しました。

検証結果①|全回答で地域・使用量などの前提条件を確認せず。料金比較に必要な情報が不足

AI検証「一人暮らしにおすすめの電力会社を教えてください」

まずは、一人暮らしの人が実際に入力しそうな素朴な質問で検証しました。

■検証内容

質問文:「一人暮らしにおすすめの電力会社を教えてください」
使用AI:ChatGPT(GPT-5.2)
質問回数:100回
検証期間:2026年5月8日〜5月14日

■検証条件

※回答のばらつきや過去履歴の影響を排除するため、全回を以下の統一条件で実施しました。

新規チャット:毎回新しい会話を開始し、過去の履歴が回答に影響しないようにする
ChatGPTの一時チャット:ChatGPT側の一時チャット(シークレットモード)を使用し、会話が履歴・学習に残らないようにする
ブラウザ環境:Chromeのシークレットモードを使用し、Cookie・キャッシュの影響を排除する
アカウント:調査専用アカウント1つに統一。プロフィール設定・カスタム指示は空欄のまま使用する
アクセス元:日本国内(東京)のIPアドレスから実行。VPNは使用せず、Wi-Fiもオフにする

電気料金は、地域・使用量・契約プランの組み合わせで決まり、供給エリアも全国10に分かれます。本来、地域と月の使用量が分からなければ、適切な電力会社は提案できないはずです。

とはいえ、一般のユーザーが地域や使用量まで細かく伝えて聞くことはあまりないため、今回はあえて条件を添えずに質問しました。すると、ChatGPTは条件を確認することもなく、100回すべてで即座に電力会社を提示してきました。

ChatGPTがおすすめ電力会社を提示する前の傾向

推奨する前の対応

件数

割合

地域・使用量を確認してから推奨した

0件

0.0%

条件を確認せず、いきなり推奨した

100件

100.0%

※推奨を提示する前に、地域や月の使用量をユーザーに確認したかどうかの分布(n=100)

提示された会社の最上位(「迷ったらこれ」「まずはここ」など)は、100回中81回で「オクトパスエナジー」。前提を確認しないまま特定の1社を最上位に挙げ続けるのが、ChatGPTの回答傾向でした。

ChatGPTが各回答で最上位として提示した電力会社

順位

電力会社

件数

割合

1

オクトパスエナジー

81件

81.0%

2

CDエナジーダイレクト

8件

8.0%

3

Looopでんき

5件

5.0%

4

東京ガスの電気

東京電力(TEPCO)

シン・エナジー

各2件

各2.0%

※「迷ったらこれ」「まずはここ」など最上位におすすめされた電力会社の分布(n=100)

なお、回答後に「使用量を教えてくれれば絞れます」といった追加質問があったのは65回。残る35回は追加質問もなく推奨を断言していました。

推奨した後の対応

件数

割合

「使用量を教えてくれれば絞れます」など追加質問あり

65件

65.0%

追加質問もなく、推奨を断言した

35件

35.0%

※推奨を提示した後に、使用量などの条件を尋ねる追加質問があったかどうかの分布(n=100)

地域条件への言及は23件のみ。77件では、地域限定の電力会社を前提説明なしに推奨

質問に地域情報は一切含めていませんが、回答には東京電力エリア(関東)でしか契約できない電力会社が当たり前のように含まれていました。

ChatGPTの地域配慮に関する検証結果

地域の扱い

件数

「東京・関東を想定」と明記して推奨

23件

断りなく東京・関東限定の会社を推奨

77件

※断りなく紛れ込んでいた東京・関東限定の主な電力会社:CDエナジーダイレクト(96回)・東京ガスの電気(83回)・東京電力(38回)

明記された23件はまだ気づける余地があります。しかし残る77件は地域の断りなく地域限定の会社を含めており、他エリアの人が申込に進むと、実際には契約できないという事態になりかねません。明記の有無を問わず、100回すべてがユーザーの地域に配慮しないまま推奨していたことになります。

検証結果②|100回中67回で、誤解を生みやすい説明を確認。料金や会社情報に不正確な点も

ChatGPTの各社説明を公式サイトの情報と照合したところ、100回中67回の回答に、誤解を生みやすい説明や不正確な情報が含まれていました。いずれも契約判断に直接影響する内容です。

ChatGPTの回答に「誤解を生みやすい説明」が含まれていた割合

「Looopでんき=基本料金0円」──実際は2025年4月の改定で毎月決まった料金がかかるようになった

ChatGPTによる「Looopでんき=基本料金0円」という説明

最多は「Looopでんき=基本料金0円」で、推薦回答のうち60件で出現。実際は2025年4月の改定で、基本料金に相当する「制度対応費」が導入されました。

名称は「基本料金」ではないものの、契約電力に応じて毎月固定でかかる費用であり、実質的な基本料金です。「0円=固定費はかからない」と認識して契約すると、想定外の固定費が発生し、特に使用量の少ない世帯では損害につながる可能性があります。

「CDエナジーダイレクト=東京ガス系」──実際は中部電力と大阪ガスの合弁会社

ChatGPTによる「CDエナジーダイレクト=東京ガス系」という説明

次に多い「CDエナジー=東京ガス系」は18件。実際は中部電力と大阪ガスが50%ずつ出資する合弁会社で、東京ガスとは資本関係がありません(東京ガスの合弁は「オクトパスエナジー」で、系列を取り違えている可能性があります)。

AIの誤り・誤解を生む説明

該当件数

事実(公式情報)

Looopでんき「基本料金0円」

60件

2025年4月改定で基本料金相当の「制度対応費」を導入済み

CDエナジー「東京ガス系」

18件

中部電力50%・大阪ガス50%出資の合弁会社

誤解を生みやすい説明を1つ以上含む回答

67件

100回中67%が該当

検証結果③|条件を細かく指定しても料金の正確性は限定的。正しく提示できたのは40%程度

AI検証「東京・一人暮らし・30A・120kWh」の条件を指定

■検証②の概要

質問文:「東京で一人暮らし、30Aで月120kWh使用するのですが、電気代が安い電力会社はどこですか?各社月いくらになるか金額も教えてください。2026年5月時点の燃料費調整額と再エネ賦課金込みで。」
使用AI:ChatGPT
質問回数:100回
検証期間:2026年5月15日〜5月20日
照合方法:各回答の金額を、公式料金単価から算出した「正解月額」(30Aの基本料金+第1段階の電力量料金120kWh分+2026年5月の燃料費調整額+再生可能エネルギー発電促進賦課金4.18円)と照合し、誤差±5%以内を「正確」と判定

■検証条件

※回答のばらつきや過去履歴の影響を排除するため、全回を以下の統一条件で実施しました。

新規チャット:毎回新しい会話を開始し、過去の履歴が回答に影響しないようにする
ChatGPTの一時チャット:ChatGPT側の一時チャット(シークレットモード)を使用し、会話が履歴・学習に残らないようにする
ブラウザ環境:Chromeのシークレットモードを使用し、Cookie・キャッシュの影響を排除する
アカウント:調査専用アカウント1つに統一。プロフィール設定・カスタム指示は空欄のまま使用する
アクセス元:日本国内(東京)のIPアドレスから実行。VPNは使用せず、Wi-Fiもオフにする

提示された延べ373社分の月額のうち、正解と±5%以内に収まったのはわずか143社(38.3%)で、6割超が誤りでした。AIが「一番安い」と示した会社が本当の最安と一致したのは100回中71回。最安は7割ほど当てても、金額そのものは鵜呑みにできません。

ChatGPTの料金提示に関する検証結果

料金試算では、本来最安の会社を最大21.3%高く、割高な会社を最大19.7%安く見せる誤差が確認された

金額の誤差が大きい会社では、評価と実態が逆転しています。本来いちばん安いTERASELでんき(月3,998円)をAIは中央値4,850円(+21.3%)と過大に、割高な楽天でんき(5,856円)を4,700円(-19.7%)と安く見せるなど、安い会社を高く・高い会社を安く見せていました。

本来は最安の会社を「+21.3%」も高く見せ、割高な会社を「-19.7%」安く見せる

電力会社

本当の月額

AIが提示した月額

ズレ判定

判定

ENEOSでんき

4,128円

4,200円

+1.7%

正確

オクトパスエナジー

4,018円

4,050円

+0.8%

正確

東京ガス

4,116円

4,600円

+11.8%

高く見せた

CDエナジー

4,036円

4,500円

+11.5%

高く見せた

東京電力EP

4,128円

4,800円

+16.3%

高く見せた

auでんき

4,128円

5,000円

+21.1%

高く見せた

TERASELでんき

3,998円

4,850円

+21.3%

高く見せた

(本当は最安)

シン・エナジー

4,696円

4,275円

-9.0%

安く見せた

楽天でんき

5,856円

4,700円

-19.7%

安く見せた

(本当は割高)

Looopでんき

試算不可

金額を断言

(72回)

本来出せない

金額を断言

※条件:東京電力エリア・30A・120kWh・2026年5月時点・税込/本当の月額と±5%以内のズレを「正確」と判定/Looopは料金が30分ごとに変動する市場連動型で、本来「2026年5月の月額はいくら」と確定できないプラン

正確に算出できないはずのLooopでんきについても、根拠が不十分なまま72回も金額を断定

Looopは料金が30分ごとに変わる市場連動型で、本来「月額料金は〇〇円」と確定できないプランです。それにもかかわらず、AIは72件で具体的な金額を断言していました。

なお、再生可能エネルギー発電促進賦課金の単価だけは、言及があった79件すべてで正しい値(4.18円/kWh)が使われ、ここだけは唯一正確でした。

総合評価|AI回答をそのまま信じて契約できるケースは0件。71件は損失・実害につながる水準

ここまで見てきた「条件確認なし」「事実誤認」「金額のずれ」を踏まえ、最後に回答そのものを信頼してよいかを総合評価しました。対象は、多くのユーザーが実際に聞きそうな「一人暮らしにおすすめの電力会社を教えてください」という抽象質問への回答100件。「100%信じて契約しても問題ないか」の観点で4段階に判定しています。

■評価基準(4段階)

A:そのまま信じて契約OK/根拠・前提・金額・リスクが揃い、追加確認なしでも誤った契約に至らない
B:念のため自分でも確認したほうがいい/推薦の方向性は妥当だが、前提や金額は自分での裏取りが必要
C:信じると損する可能性あり/根拠・前提が弱いまま断定、または重大度中の事実誤認があり、誤誘導のリスク
D:信じると実害が出る/出典なしの断言や重大な事実誤認など、信じて行動すると実害が出る

※疑わしい場合はより低い評価に倒して判定。ユーザー側の追加確認を前提にしないと安全でないものはAとしない。

結果、A評価(そのまま信じて契約OK)は1件もなし。B評価は29件にとどまり、残る71件は「損する可能性あり」のC、または「実害が出る」のDでした。条件を細かく伝えた金額検証でも正答率は4割弱で、聞き方を変えても安心して任せられる水準にはありません。

ChatGPTの各回答評価

評価

回答の状態

件数

割合

A:そのまま信じて契約OK

そのまま行動しても誤った契約に至らない

0件

0.0%

B:念のため自分でも確認したほうがいい

方向性は妥当だが、最終確認は必要

29件

29.0%

C:信じると損する可能性あり

不正確な説明や根拠不足で誤誘導のリスク

67件

67.0%

D:信じると実害が出る

出典なしの断言、明らかな誤情報など

4件

4.0%

※「一人暮らしにおすすめの電力会社を教えてください」への回答100件を、ユーザーがそのまま信じて契約できるかの観点で4段階評価(n=100)

AIが電力会社選びで間違える、3つの構造的な理由

理由①:古い情報をそのまま「いまの事実」として答える
Looopの基本料金0円(60件)や新規受付を終えた東京ガスのプラン推薦など、過去の情報が現在の事実として提示されます。AIは情報の時点を示さず、ユーザーには古さを見分ける手がかりがありません。

理由②:電気料金の計算ルールを正しく理解していない
市場連動型や燃料費調整額の符号、電源調達調整費など会社ごとのルールに対応できず、本来最安のTERASELを「+21.3%高く」、割高な楽天を「-19.7%安く」見せる逆転が起きています。

理由③:「信じきってはいけない」と教えてくれない
誤った内容でも自信たっぷりに断言するため、ユーザーが「怪しい」と気づく手がかりがありません。前回調査でも、誤りに気づいたきっかけの最多は「公式サイトで確認したら違っていた」。結局は自分で調べ直す二度手間になっています。

消費者が抱いていた「AIへの不安」は、実測でも的中

前回調査では、AIの回答で実際に契約・購入まで進む人が半数を超える一方、3人に2人が誤回答を経験しても使い続け、「正確性・信頼性」への不安が最も多い、という実態が見えていました。ただし、その不安が本当に当たっているのかを検証したデータはありませんでした。

今回の実測は、その答えを示しています。AIの回答は100回中67回に事実と異なる説明を含み、条件を細かく伝えても金額が正しいのは5社に2社ほど。「そのまま信じて契約してOK」と言える回答は1件もありませんでした。

■結論

AIの回答は、電力会社選びをそのまま任せられる正確性には達していない

「そのまま信じて契約してOK」な回答は1件もなし(A評価0件)消費者が抱いていた「正確性・信頼性への不安」は、実測でも的中多くの人がAIの回答で契約まで進む以上、不正確さはそのまま実害に直結

だからこそ、契約のように失敗できない判断ほど、AIの回答を鵜呑みにせず、公式情報での確認が欠かせません。

クラシェルジュでは、「AIに聞いてみた」シリーズを今後も継続。テーマを変えてAI回答の正確性・信頼性を検証

クラシェルジュは「AIに聞いてみた」シリーズを毎月継続し、テーマを変えて主要AIの回答精度を定点観測します。一定期間後には同一条件で再検証し、精度の推移を可視化していきます。

なお電力会社の比較は、当社が47都道府県対応の電気料金シミュレーションを提供しています。基本料金・電力量料金に加え、2026年5月時点の燃料費調整額・再生可能エネルギー発電促進賦課金(4.18円/kWh)を含む実質請求額で比較でき、今回AIが取り違えた「Looopの基本料金」「CDエナジーの資本系列」や市場連動プランの扱いも、公式・最新単価に基づいて正確に試算します。


■引用時の参照ページ

本情報を引用する場合、本ページではなく以下ページを参照元としてください。

https://cracierge.co.jp/company/pressrelease/2026/id_ai-electricity-company-verification-vol1/

■お問い合わせ

株式会社クラシェルジュ

TEL:03-6804-0166

Email:support@cracierge.co.jp

受付時間:平日10:00~19:00

■ 会社概要

社名:株式会社クラシェルジュ
所在地:東京都世田谷区太子堂4-1-1 キャロットタワー22階
サービス内容:光熱費・通信費比較サイト「クラシェルジュ」の運営
URL:https://cracierge.co.jp/company/

すべての画像


ダウンロード
プレスリリース素材

このプレスリリース内で使われている画像ファイルがダウンロードできます

会社概要

株式会社クラシェルジュ

0フォロワー

RSS
URL
https://cracierge.co.jp/
業種
情報通信
本社所在地
東京都世田谷区太子堂4-1-1 キャロットタワー22階
電話番号
03-6804-0377
代表者名
中島将太
上場
未上場
資本金
-
設立
2025年01月