【AKARUMI INSGIHTS】AIボットは「robots.txt」と「sitemap」を最も多く確認｜アクセス解析レポート

過去30日間のAIクローラーアクセスデータ分析

株式会社ipe（以下ipe）は、AI検索時代の可視化ツール「AKARUMI」を用いて、自社開発のAIライティングツール「DeepEditor」のWebサイトにおける過去30日間のAIボットアクセスを分析しました。

近年、ChatGPTやGeminiなど生成AIを起点とした情報収集が広がる中、企業には「AIにどう認識・参照されているか」を把握する重要性が高まっています。

ここでは、AIボットがどのページにアクセスしていたのかを分析したレポート内容より、一部を抜粋して紹介します。

詳細を見る

調査結果の概要

今回の分析では、AIボットが最も多くアクセスしていたのは、記事ページやサービスページではなく、/robots.txt や /sitemap.xml など、サイト構造に関わるページでした。

また、ClaudeBot・GPTBot・PerplexityBotではアクセス傾向にも違いが見られました。ClaudeBotはサイト構造系ページへのアクセスが多く、GPTBotは料金ページや記事ページなどにも分散してアクセスしていました。

AI検索時代では、「AIボットがどのページを見ているか」まで把握することが重要だといえるででしょう。

AIボット全体では「robots.txt」とsitemap関連ページへのアクセスが最も多い

全AIボットのアクセスを集計すると、最もアクセス数が多かったページは /robots.txt でした。次いで、/、/sitemap.xml、/sitemap.rss が続いています。

今回のデータでは、/robots.txt、/sitemap.xml、/sitemap.rss の合計訪問回数は249回となり、上位10ページ内アクセスの約61.5％を占めていました。

この結果から、AIボットはページの本文だけでなく、クロール可否やURL構造、更新情報なども確認している可能性があります。

AIボットごとにアクセス傾向が異なる

AIボット別に見ると、アクセス傾向には違いも見られました。

ClaudeBotは、/robots.txt や /sitemap.xml、/sitemap.rss へのアクセス比率が高く、サイト構造系ページへのアクセスが中心でした。

一方GPTBotは、sitemap関連ページへのアクセスに加えて、料金ページ、記事ページ、事例ページ、ニュースページなどにもアクセスしていました。

また、PerplexityBotでは、トップページと /robots.txt へのアクセスが中心となっていました。この結果から、AIボットごとに確認している情報や役割が異なる可能性があることがわかります。

AI検索時代におけるサイトの改善ポイント 

今回の調査では、料金ページ、機能ページ、ソリューションページ、記事ページなどにもAIボットアクセスが確認されました。

 

AI検索時代では、料金、機能差、用途、導入条件などを整理し、AIが理解しやすい形で情報設計を行う重要性が高まっています。

 

また、トップページで「何のサービスか」「誰向けか」「どのような課題を解決するのか」を明確に整理することも、AIにサイト内容を理解してもらううえで重要になると考えられるでしょう。

AIボットアクセスを可視化する「AKARUMI」 

AKARUMIでは、ChatGPT、Claude、PerplexityなどのAIボットアクセスを可視化し、「AIにどのページが見られているのか」を分析できます。

 

GA4やGSCだけでは把握しづらいAIボットアクセスを確認することで、AI検索時代に強化すべきページや、LLMOにおける改善優先度を把握しやすくなるでしょう。

AKARUMIについて詳しくは下記よりご覧いただけます。

AKARUMIについて詳しくはこちら

株式会社ipeとは

株式会社ipeは、SEO・LLMOコンサルティングを通じて、企業が検索エンジンおよび生成AIに正しく認識・引用・選択されるための支援を行うデジタルマーケティング会社です。

13年以上にわたり、大規模サイト・データベース型サイトを中心としたSEO支援を行い、これまで300社を超える企業を支援してきました。現在は、その知見を活かしてLLMO支援を強化するとともに、AI検索・LLM上でのブランド露出を可視化する分析プラットフォーム「AKARUMI」を提供しています。

社名：株式会社ipe

本社所在地：〒107-0062 東京都港区南青山二丁目24番15号 青山タワービル 5F

設立：2013年10月

事業内容：Webコンサルティング事業、メディア事業、広告事業 等

コーポレートサイト：https://ipeinc.jp/

お電話：[phone]