「AIがタグを付ければ探せる」は本当か　ネクフル、自社製品の検索性能を事前登録型プロトコルで実測し、改善しなかった手段も含めて全データを公開

建設・製造・放送など10業種に共通する「保存されているのに探せないファイル」を定義／評価コーパスと生の判定結果を全件公開／利益相反も明記

株式会社ネクフル

2026年8月18日 10時20分

株式会社ネクフル（本社：東京都中央区、代表取締役：草薙俊介）は、企業内に保存されたファイルの検索到達性に関する調査報告「探せないファイル」を公開しました。あわせて、測定に用いた評価コーパス・課題定義・課題別の測定結果・判定根拠を、全件、無償で公開しています。

調査報告（全文・登録不要） https://necfru.com/blog/security/unreachable-files/

測定データ一式（CC BY 4.0） https://github.com/Necfru-Inc/unreachable-files DOI: https://doi.org/10.5281/zenodo.21963182

■ 調べたこと

社内にファイルは保存されている。閲覧権限もある。削除もされていない。それでも、必要とする人が思いつく言葉で検索すると出てこない——本調査はこの状態を「到達不能ファイル」と定義し、その広がりと、どの手段でどこまで解消できるかを測定しました。

建設・建築、製造、放送・配信・動画制作、広告代理店・制作会社、自治体・公共イベント、クリニック・医院、士業、調剤薬局、人材派遣、保険代理店。扱う商材も規制環境も共通しない10業種が、同じ構造の失敗を報告します。

「10年前に建てたビルの配管図はどこにあるか」「この映像の権利処理はどうなっていたか」「この動画をまだ見ていない代理店はどこか」。いずれもファイルに関する問いですが、いずれもファイル名を思い出す作業には還元できません。

■ 測定の方法

業務ファイルを模した138ファイル（約3.6MB、docx・pdf・png・jpg・xlsx・pptx混在）で評価コーパスを構成しました。うち54件（39%）は、ファイル名が内容を表していない状態を意図的に作っています。検索対象の母集団はフォルダを含め209件です。

課題は35問。質問文と正解は測定開始前に確定し、測定中の変更・言い換え・追加を禁止しました。やり直しも禁止し、初回の応答のみを採点しています。

比較したのは、ファイル名を対象とするキーワード検索と、AIが生成した概要・タグを検索対象に含めた3系統です。測定は自社製品「necfru drive」で実施しました。

■ 結果

条件	Top-1正解率	圏外率
キーワード検索	0.333	0.400
会話型AI検索	0.967	0.000

キーワード検索は、上位1件に正解が出るのが3回に1回にとどまりました。5回に2回は上位10件のどこにも正解が現れませんでした。同じ質問文をそのまま自然文で入力した会話型検索では、上位1件に正解が出る割合が0.967、上位10件に正解が現れなかった課題は1問もありませんでした。差は統計的に有意です（McNemar完全二項検定 p=0.000021、効果量 r=0.86）。

なお、キーワード検索には現実の利用者より有利な条件を与えています。 質問文から機械的に抽出したキーワードを1語ずつすべて検索し、その中で最も良かった順位を成績としました。実際の利用者は1回に1つの語しか入力しません。すなわち上記の0.333は、キーワード検索が達成しうる上限値です。

■ 改善しなかった手段も公開します

AIが生成したタグによる絞り込みは、キーワード検索を統計的に有意に上回りませんでした（p=0.109）。30問中12問で結果が0件となり、5問では質問に対応するタグが語彙に存在せず、検索式そのものを構成できませんでした。

タグの品質が低かったわけではありません。生成されたタグの適合率は98.2%、概要の事実誤り率は0.0%です。それでも引き当てられない。理由は識別性にあります。138件中26件（18.8%）は、タグの組み合わせが他のファイルと完全に一致しています。 概要の40.6%には数字が1つも含まれていません。

正確であることと、見分けられることは別の性質です。 「AIがタグを付けたから探せるようになる」とは、本調査の結果からは言えません。

■ 測定の限界を明記します

本調査は自社製品の評価を自社が実施したものです。コーパス作成者・課題作成者・判定者・報告執筆者は同一人物であり、独立した第三者判定者はいません。

コーパスは138ファイル・約3.6MBであり、数十万ファイル規模の実環境には外挿できません。課題は35問であり、業務全体の探索行動を代表するものではありません。人間が実際に探す速さは測定していません。

緩和策は、プロトコルの事前登録、やり直しの禁止、課題別結果と判定根拠の全件公開、集計とは独立の再計算による検証の4点にとどまります。これで利益相反が除去できたとは考えていません。

■ 検証できる形で公開します

失敗した課題、0件となった課題、検索式を構成できなかった課題、不適合と判定したタグ。これらを件数ではなく個別の行として公開しています。第三者が同じデータで再計算し、別の結論に至ることが可能な状態です。

データはCC BY 4.0で公開し、DOIを付与しています。GitHubのIssuesも開放しており、測定内容への指摘を受け付けます。

代表取締役草薙俊介のコメント
「都合のよい数字だけを出せば、それは調査ではなく宣伝です。うまくいかなかった手段を書いたうえで、判断材料として使っていただきたいと考えました。」

■ 到達不能ファイルの4類型

類型	内容
I 命名の不一致	ファイル名が内容を表していない
II 語彙の不一致	保存時と検索時で使う言葉が違う
III 内容の非露出	探している情報がファイルの中にある
IV 判断情報の不在	見つけても、使ってよいか分からない