AIの「想起集合」は、モデル更新で7割が入れ替わる

Claude Sonnet 5 → Sonnet 5.5、美容・パーソナルケア84カテゴリで実測

株式会社トドオナダ

2026年10月1日 10時00分

株式会社トドオナダはLLM認知計測ツール「ディギディギ」を使って、Claude Sonnet 5とSonnet 5.5を対象に美容・パーソナルケア領域84カテゴリで想起集合の変化を調査し、学習データの差が約5か月分にとどまるマイナーアップデートであっても、想起集合の入れ替わり率が平均70.4%に達することを確認しました。想起の安定度が変わらなくても中身は別物になっているケースが多く、想起集合はモデルのバージョンごとに測り直す必要があることが明らかになりました。

調査内容をディギコのチャピりログ(https://chappyru.qlipper.jp)に公開しました。

調査の背景

生成AIに「○○といえば？」と尋ねたとき、検索を行わずに答えとして挙がる名前の集まりを、当社は「LLM想起集合」と呼んでいます。ChatGPTをはじめとする生成AIを介した情報接触が増える中で、この想起集合に入っているかどうかは、ブランドにとって新しい認知指標になりつつあります。一方で、想起集合はモデルの学習データに由来するため、モデルが更新された際にどの程度維持されるのかはこれまで明らかではありませんでした。本調査では、同一のプロンプトを新旧モデルに投げかけ、その変化を定量化しました。

調査概要

調査では、学習データの差が約5か月分にとどまるClaude Sonnet 5（学習データ：2026年1月まで）とClaude Sonnet 5.5（学習データ：2026年6月まで）を対象に、美容・パーソナルケア領域の84カテゴリで比較を行いました。各カテゴリについて「〇〇といえば？」という同一形式のプロンプトを各モデルに10回ずつ投げかけ、挙がった名前を集計するとともに、検索ツールを使ったかどうか（RAG発火）も併せて記録しています。指標には、想起集合の入れ替わり率（1−Jaccard係数）、想起の安定度（強度）、RAG発火率の3つを用いました。

主な結果

1. 想起集合の約7割が入れ替わった

84カテゴリの入れ替わり率は平均70.4%（中央値70.8%）でした。延べ486の名前が想起集合から消え、471の名前が新たに入っており、1位が交代したカテゴリは41に上りました。

入れ替わり率	カテゴリ数
80%以上	33
60〜80%	26
40〜60%	19
20〜40%	5
20%未満	1

過半数が入れ替わったカテゴリは69に達し、2割未満にとどまったのはネイル道具・ケアツールの1カテゴリのみでした。

2. 想起の安定度が変わらなくても、中身は別物になっていた

10回中の出現の安定度で分類した「強度」が前回と同じ帯にとどまったカテゴリは42ありましたが、そのカテゴリでも入れ替わり率は平均65%に達していました。「安定して想起されている」状態は、モデルが変わっても同じ名前が残ることを保証するものではありません。最上位の「盤石」帯は46カテゴリから26カテゴリへ減少しています。

強度	Claude Sonnet 5	Claude Sonnet 5.5
盤石	46	26
強固	18	39
中程度	18	17
不安定	2	2

3. Sonnet 5.5はウェブ検索に頼らず答える傾向が強まった

回答時に検索を行ったカテゴリは30から13に、検索が発生した試行は105回から63回に減少しました。21カテゴリで検索が発生しなくなった一方、新たに検索するようになったのは4カテゴリのみです。検索で補われない分、学習時点で想起集合に入っていたかどうかが、そのまま回答に反映される結果となりました。

RAG発火	Claude Sonnet 5	Claude Sonnet 5.5
発火したカテゴリ数	30	13
発火した試行数（840回中）	105	63

1位が交代した例

カミソリ替刃はジレットからシックへ1位が交代しました。
デオドラント・制汗剤はデオナチュレからBanへ1位が交代しました。
育毛・養毛・増毛はアデランスからリアップへ1位が交代しました。
頭皮トリートメントはヘッドスパからスカルプDへ1位が交代しました。
練り香水はロクシタンからSHIROへ1位が交代しました。
ボディミストはヴィクトリアズシークレットからサボンへ1位が交代しました。
ヘアマスクはモロッカンオイルからケラスターゼへ1位が交代しました。

一方、シャンプー・コンディショナー（1位パンテーン、入れ替わり33%）やアロマオイル（1位ラベンダー、同33%）のように上位が維持されたカテゴリもあり、変化の大きさはカテゴリによって差が見られました。

考察

Sonnet 5からSonnet 5.5への更新はメジャーバージョンを跨がないものであり、学習データの差も約5か月分にとどまります。それでも、検索を使わずに答える際の想起集合、すなわちモデルが内部に保持するパラメトリック記憶は、84カテゴリ平均で約7割が入れ替わっていました。マイナーアップデートであっても、パラメトリック記憶は大幅に変化することが、今回の測定で確認されています。

想起集合に入っているかどうかは、モデルのバージョンごとに測り直す必要のある指標であり、一度入ったことをもって維持されているとは言えません。株式会社トドオナダは今後もモデル更新のたびに同一条件での測定を重ね、その変化を公開してまいります。

注記

入れ替わり率は名前の表記ベースで算出しています。「スクラブ」と「ボディスクラブ」のような部分一致（43カテゴリ・113組）をすべて同一とみなした場合、平均は54.2%、分布は80%以上15・60〜80%31・40〜60%22・20〜40%9・20%未満4となり、過半数が入れ替わったカテゴリは60でした。
各カテゴリ10回のサンプリングに基づく集計であり、順位の細かな差には誤差が含まれます。
各モデルの学習データ期間は、Anthropic社公式ドキュメント(https://platform.claude.com/docs/en/models/)に基づきます。