LLM が「記憶で答えるか、RAGに頼るか」をどう決めているのか調査

ビューティー84カテゴリ×2モデルで、想起集合の安定度と RAG 発火率の関係を測定

株式会社トドオナダ

2026年8月31日 12時59分

株式会社トドオナダ(本社:東京都台東区、代表取締役:松本泰行)は、LLM(大規模言語モデル)がカテゴリに関する質問を受けたとき、自身の記憶(事前学習で獲得した知識)で答えるか、検索(RAG)に頼るかを、ビューティー領域84小カテゴリ・2モデル(GPT / Claude)で測定しました。測定には当社の LLM 認知測定ツール「ディギディギ」の想起集合測定基盤を用いています。

その結果、LLM が「思い浮かべる対象の集合」(想起集合)が安定しているカテゴリほど検索に頼らず、安定度が下がるほど検索ツールを呼び出そうとする割合(RAG 発火率)が上がる単調関係を、両モデルで確認しました。あわせて、質問文に含まれる語(「おすすめ」「人気」)が、想起の状態とは別に検索を誘発する第二の層があること、その効き方がモデル間で大きく異なることを確認しました。

全データは本日公開した「ディギコのチャピりログ」(https://chappyru.qlipper.jp)で閲覧できます。

主な発見

1. 想起集合の安定度と RAG 発火率は逆相関する

質問文を「〜といえば？」に固定した条件で、想起集合の強度帯別に RAG 発火率の平均を求めると、両モデルとも強度が下がるほど発火率が上がりました。

強度	Claude	GPT
盤石	約6%	約2%
強固	約7%	約1%
中程度	約30%	約8%
不安定	約60%	約25%

2. 発火には「想起時点」と「質問時点」の2つの層がある

想起時点の発火: カテゴリ語そのものが分からない、想起集合が安定しない、集合が同義語・言い換えで埋まる、といった想起側の要因で検索へ向かうもの。質問文を「〜といえば？」に固定すると、この層だけが残ります。質問時点の発火: 「人気」「おすすめ」など、現在の状況の確認を求める語が、想起の状態と無関係に検索を誘発するもの。

同一カテゴリ(GPT・鼻・耳毛カッター)で、質問文だけを変えて10試行ずつ測ると、「鼻・耳毛カッターといえば？」では0回、「おすすめの鼻・耳毛カッターは？」では10回、「人気の鼻・耳毛カッターは？」では10回、検索ツールが呼び出されました。

3. 質問語の効き方はモデルで異なる

GPT では「人気の〜」が測定した3カテゴリすべてで10回中10回発火しました。「おすすめの〜」は、型番や製品ラインナップで答えるカテゴリ(鼻・耳毛カッター:10回)で発火し、食材の種類で答えられるカテゴリ(ダイエット食品:0回)では発火しませんでした。語の有無で0%と100%の間を振れます。

Claude では質問語の影響が GPT ほど強くなく、想起の安定度による差が質問文にかかわらず残りました。同一条件の再測定でも試行ごとの揺れが大きく、確率的に検索を選ぶ傾向が見られます。

4. 検索は想起を置き換えない——LLM が生成した検索クエリの実例

検索ツールが呼び出された試行では、LLM 自身が検索クエリ文字列を組み立てます。そのクエリには、想起集合に含まれるメーカー名・型番が「種」として入っていました。RAG は想起の代わりに働くのではなく、想起したものの確認・更新として働いています。

GPT「おすすめの鼻・耳毛カッターは？」鼻毛耳毛カッターおすすめ 2026 パナソニックフィリップスブラウン価格評判鼻毛カッターおすすめ比較パナソニック ER-GN70 フィリップス NT3650 → 想起にある型番を種に、年号付きで現行品を確認しに行く
Claude「メンズボディグルーマーといえば？」ボディグルーマーパナソニックフィリップスブラウン比較 → 想起にある3社を並べて比較確認
Claude「子ども用香水・フレグランスといえば？」キューピーコロン子供香水キッズコロン子供用香水おすすめ → 想起にある商品名を種に検索

対照的に、想起時点で発火するカテゴリでは、種となる想起がなく、語の意味そのものを調べに行きます。

Claude「デタングラーズといえば？」デタングラーズとは
Claude「フレグランスウォーターといえば？」フレグランスウォーターとはフレグランスウォーター香水との違い → 想起集合が同義語・隣接語で埋まっており、語義の確認に向かう

検索クエリの型を見ると、その LLM がそのカテゴリで何を持っているかが読み取れます。想起集合に入っていないブランドは、検索の種にもなりません。

調査方法

対象: ビューティー領域中カテゴリ10・小カテゴリ84(88語から重複を除外)
モデル: gpt-5.6-luna / claude-sonnet-5(API が返した実バージョンを記録)
想起集合: 「{カテゴリ}といえば？」を各10試行、構造化出力で取得。表記揺れを名寄せし、出現率と平均順位から強度(盤石/強固/中程度/不安定)を算出
RAG 発火率: 同じ質問文で、実際には実行されない検索ツールの定義だけを与え、LLM が検索を呼び出そうとした試行の割合(10試行)。システムプロンプトは与えていません
質問語比較: 3カテゴリ×3種の質問文×10試行(GPT)
測定基盤: 想起集合の取得・名寄せ・強度算出には、当社の LLM 認知確認ツール「ディギディギ」の測定エンジンを使用。RAG 発火率の測定は同基盤上に本調査用に実装
測定日: 2026年8月

本調査の限界と注記

RAG 発火率は API 経由で観測したモデル自体の挙動であり、ChatGPT 等の製品における検索動作そのものではありません。
各組10試行のため統計的な揺れがあり、再測定で±2〜3割の変動を確認しています。個別カテゴリの値より強度帯ごとの傾向としてお読みください。
「〜トラベルセット」「〜ギフトセット」のような連結名のカテゴリは、名称としての実在感が低く、発火率上位に集中しました。集計には含めていますが、個別の解釈は別扱いとしています。「〜といえば」が広告のキャッチフレーズと衝突するカテゴリ(育毛・養毛・増毛)で、出典確認を目的とした検索が混入した例があります。
発火の機構(事前学習に由来するか、それ以降の調整に由来するか)については、本データから断定していません。

ディギコのチャピりログについて

LLM がカテゴリごとに何を思い浮かべるか(想起集合)と、記憶で答えず検索に頼る割合(RAG 発火率)を、モデル更新のたびに記録する公開サイトです。第1弾としてビューティー領域84カテゴリを公開しています。 https://chappyru.qlipper.jp

ディギディギについて

LLM が特定カテゴリで何を想起するか、自社ブランドがその中に入っているか、ハルシネーションが起きていないかを測定する LLM 認知確認ツールです。GPT / Claude など複数モデルに対応しています。月額10,000円(Qlipper 利用者は無料)。 https://digidigi.qlipper.jp