LLM が「思い浮かべるブランド」をモデル更新のたびに記録する公開ログ「ディギコのチャピりログ」を公開

ビューティー84カテゴリ×GPT / Claude の想起集合と RAG 発火率を無料で閲覧可能に

株式会社トドオナダ

2026年8月31日 13時13分

株式会社トドオナダ(本社:東京都台東区、代表取締役:松本泰行)は、LLM(大規模言語モデル)がカテゴリに関する質問を受けたときに何を思い浮かべるか「LLM 想起集合」を、誰でも閲覧できる形で公開するサイト「ディギコのチャピりログ」(https://chappyru.qlipper.jp)を本日公開しました。

LLM の記憶の中身を直接見ることはできません。しかし、同じ質問を繰り返し投げ、安定して現れる対象を並べると、そのカテゴリで LLM が「思い浮かべている」集合に輪郭が出ます。本サイトはその輪郭をビューティー領域84小カテゴリで可視化し、モデルが更新されるたびに記録を積み重ねていきます。測定基盤には当社の LLM 認知確認ツール「ディギディギ」を用いています。

サイトで見られるもの

カテゴリページ

想起集合: 「{カテゴリ}といえば？」を10回投げたとき、何が何回・何位で現れたか
強度: 想起集合の安定度を4段階(盤石/強固/中程度/不安定)で表示 RAG 発火率: 記憶で答えず検索ツールを呼び出そうとした回数(10回中n回) GPT / Claude のモデル別比較

商品ページ

想起された対象ごとに、LLM 自身が述べた説明文と参考商品を掲載

解説

キャラクター「ディギコ」が、各カテゴリの想起の特徴を短く解説します

仕様ページ

測定方法・指標の定義・対象カテゴリの一覧を全文公開

ディギコのチャピりログとは

LLM 想起集合という概念: 同じ質問を10回投げたとき何が現れるか。安定した集合(盤石)から揺れる集合(不安定)まで、カテゴリごとに違いがあります。
想起集合の安定度と RAG 発火率の関係: 安定しているカテゴリほど LLM は記憶で答え、安定度が下がるほど検索に頼ります(同日公開の調査リリース「LLM は『記憶で答えるか、RAGに頼るか』をどう決めているのか」を参照)。
カテゴリを横断して見える傾向: ブランド名で答えるカテゴリ、物品の種類名で答えるカテゴリ、カテゴリ語の言い換えで埋まるカテゴリ、といった答え方の型の違い。

測定の考え方

質問文は「{カテゴリ}といえば？」に固定しています。「おすすめ」「人気」といった語は、想起の状態とは別に検索を誘発するため、純粋な想起を引く質問文として「といえば？」を採用しました。
想起集合は事前学習で決まり、次のモデル更新まで動きません。そのため測定は各モデルの更新のたびに実施し、API が返した実バージョンを記録して世代ごとに保存します。
RAG 発火率は、実際には実行されない検索ツールの定義だけを与え、LLM が検索を呼び出そうとしたかを数えたものです。製品(ChatGPT 等)の検索動作そのものではありません。

自社ブランドについて知りたい場合

本サイトはカテゴリ単位の公開記録であり、個別ブランドの測定や任意カテゴリの追加はできません。自社ブランドが想起集合に入っているか、競合との想起シェア、ハルシネーションの有無を確認する場合は、同じ測定基盤を使ったディギディギ(月額10,000円・Qlipper 利用者は無料)でご確認いただけます。

今後の予定

カテゴリ領域の拡張
各モデルの更新にあわせた再測定と世代別記録の公開
質問文を切り替えた RAG 発火の測定(「おすすめ」「人気」)のディギディギへの実装

ディギディギについて

LLM が特定カテゴリで何を想起するか、自社ブランドがその中に入っているか、ハルシネーションが起きていないかを測定する LLM 認知確認ツールです。GPT / Claude など複数モデルに対応しています。月額10,000円(Qlipper 利用者は無料)。 https://digidigi.qlipper.jp