AIクローラーの種類と役割｜4社の公式ドキュメントで確認する

「AI クローラーを止める」は、1 つの操作ではありません。止める相手によって消えるものが違い、学習用を止めても AI 検索での扱いは変わらないと公式ドキュメントに書かれています。

この記事でわかること
- OpenAI は各設定が互いに独立していると書き、OAI-SearchBot を許可しながら GPTBot を拒否する例を挙げている
- OAI-SearchBot から除外されたサイトは ChatGPT の検索の回答に表示されない、と OpenAI が記載（ナビゲーションのリンクとしては表示されることがある）
- Google-Extended は Google 検索でのサイトの登録にもランキング シグナルにも使われない、と Google 検索セントラルが記載
- ユーザーが起動した取得について、OpenAI は robots.txt が適用されないことがある、Perplexity は通常は無視すると記載

AI クローラーはひと括りにできない — 公式ドキュメントが分けている役割

「AI クローラー」と呼ばれているものには、公式ドキュメントで役割ごとに別の名前がついています

Anthropic は 3 つのボットを 1 つの表にしています。ClaudeBot が学習、Claude-User がユーザーの質問に応じた取得、Claude-SearchBot が検索です（Anthropic「Does Anthropic crawl data from the web, and how can site owners block the crawler?」・2026-09-09 確認）。

OpenAI と Perplexity のドキュメントも、同じように役割ごとに名前を分けています。4 社を役割で並べ直すと、3 つに分かれます。

この表は例で、すべてを挙げたものではありません。3 つのどれにも当てはまらないボットもあり、OpenAI の OAI-AdsBot は広告の着地ページを検証する用途で、学習には使わないと書かれています。Google 検索セントラルも自社のリストについて「このリストはすべてを網羅しているわけではなく」と書いています（Google 検索セントラル「Google の一般的なクローラーの一覧」最終更新 2026 年 4 月 25 日 UTC・2026-09-09 確認）。

AIO・GEO の全体像はAIO・GEOとは？AI検索対策がわかる完全ガイド【2026年版】を入口にしてください。

では、この 3 つのうちどれを止めると、何が変わるのでしょうか。

学習用を止めても、AI 検索の扱いは変わらない

OpenAI は、検索に出すための許可と、学習に使わせないための拒否を、別々の設定として説明しています

同社は "Each setting is independent of the others"（各設定は互いに独立しています）と書き、OAI-SearchBot を通しながら GPTBot を拒否する例を挙げています（OpenAI「Overview of OpenAI Crawlers」・2026-09-09 確認。英文の訳は当社によるものです）。

GPTBot を拒否することは、そのサイトの内容を学習に使うべきではないというシグナルだ、とも書かれています。Anthropic も ClaudeBot について、制限すればサイトの今後の内容が学習データセットから除外されるシグナルになる、と書いています。

Google は少し違います。Google-Extended は学習だけでなく、Gemini アプリでのグラウンディングにも関わると書かれています（Google 検索セントラル・前掲）。

同ページはグラウンディングを、事実確認と関連性向上を目的として、プロンプト入力時に Google の検索インデックスからモデルにコンテンツを提供することだと説明しています。他社の学習用ボットと役割が同じではありません。

それでも、検索の側には効かないと明記されています。同ページの文言はこうです。「Google-Extended が Google 検索でのサイトの登録に影響したり、Google 検索でのランキング シグナルとして使用されたりすることはありません」（同）。

設定が独立していることと、止めたときに何が起きるかは、セットで読む必要があります。

サイトのルートに置く llms.txt は何も制御しないファイルで、制御に使うのは robots.txt の側だとllms.txt とは？効果を137,000ドメインのログ調査で確かめるに書きました。本記事は、その robots.txt の側で何が書かれているかの続きにあたります。

では、検索用のほうを止めると何が起きるのでしょうか。

検索用を止めると、AI の回答に出なくなると公式に書かれている

検索用のボットと検索結果での見え方を結びつけた記述が、3 社のドキュメントにあります

OpenAI は、OAI-SearchBot から除外されたサイトは ChatGPT の検索の回答には表示されない、と書いています。ただし、ナビゲーションのリンクとしては表示されることがある、とも添えています。

原文は "Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers, though can still appear as navigational links." です（OpenAI・前掲）。

Anthropic は Claude-SearchBot について、無効にすると検索向けの索引付けが行われず、検索結果での見え方と正確さが下がる可能性がある、と書いています。原文は "Disabling Claude-SearchBot on your site prevents our system from indexing your content for search optimization, which may reduce your site's visibility and accuracy in user search results." です（Anthropic・前掲）。

Perplexity は PerplexityBot について、検索結果にサイトを出したいなら robots.txt で通すことを勧める、と書いています。原文は "To ensure your site appears in search results, we recommend allowing PerplexityBot in your site's robots.txt file…" です（Perplexity「Perplexity Crawlers」・2026-09-09 確認）。

Perplexity のこの一文は推奨で、止めた場合に何が起きるかまでは書かれていません。3 社に共通しているのは、検索用のボットと検索での見え方が結びついているというところまでです。

その逆、つまり止めていなければ回答に載ると約束する記述は、4 社のいずれにも見当たりませんでした（2026 年 9 月 9 日確認）。読み替えられるのは、否定の側だけです。

Google の場合、検索用は Googlebot がまとめて担っています。その設定が「Google 検索（Discover やすべての Google 検索機能を含む）」に効くと書かれており、AI 機能だけを切り分けるトークンは同ページに見当たりませんでした（Google 検索セントラル・前掲。2026-09-09 に当社が確認）。

AI の回答で自社がどう扱われたかは、robots.txt には書かれていません。

引用あり・引用なし・不言及の 3 状態は、エリスグリ AIO（AI 検索での自社の見え方〔GEO / AIO〕を計測・改善するツール）が質問ごとに残している記録の単位です。1 質問から記録を始めるなら、14 日間の無料計測で試せます。

同ツールは、robots.txt を書き換えたり、クローラーを制御したりはしません。見るのは AI の回答の側で、そこで自社がどう扱われたかです。

AI のおすすめに、あなたの会社は入っていますか。クレジットカード不要。14 日間、自社と競合の AI 検索での見え方を無料で計測できます。無料で 14 日試す →登録後は無料トライアルも利用できます

ユーザーが質問したときに来るボットは、扱いが会社ごとに違う

ユーザーの質問をきっかけに来るボットについて、robots.txt の扱いは会社ごとに書き方が違います

OpenAI は ChatGPT-User について、これらの動作はユーザーが起動するため robots.txt のルールが適用されないことがある、と書いています。原文は "Because these actions are initiated by a user, robots.txt rules may not apply." です（OpenAI・前掲）。

Perplexity-User について、Perplexity は、ユーザーが取得を求めたものなので通常は robots.txt のルールを無視する、と書いています。原文は "Since a user requested the fetch, this fetcher generally ignores robots.txt rules." です（Perplexity・前掲）。

Anthropic の書き方は違います。Claude-User について、ユーザー起点のリクエストでアクセスできるサイトをサイト所有者が制御できる、と書いています（Anthropic・前掲）。

同じ「ユーザーが質問したときの取得」でも、robots.txt が効くかどうかの書き方が 3 社で分かれています。ここをひとまとめにすると、公式の記述からずれます。

OpenAI は、ChatGPT-User を検索に出るかどうかの判断には使わない、とも書いています（OpenAI・前掲）。役割ごとに読む理由が、ここにもあります。

robots.txt で分かるのは、ここまでです。

では何を確かめるか — 読まれているかと、回答に出ているかを分けて見る

自社の robots.txt から分かるのは、どのボットにどの設定をしているかまでです

まず自社の robots.txt を 1 度開き、どのボットの行があるかを見ます。その行が学習用のものか検索用のものかを分けて読むと、いま何が起きる設定なのかが見えます。

Google だけは、robots.txt の外にもう 1 つ設定があります。Search Console の「検索の生成 AI 設定」です。

ヘルプはこの設定を、AI の学習とは別のものとして案内しています。学習の側は Google-Extended だと書かれています（Search Console ヘルプ「検索の生成 AI 設定」・2026-09-09 確認）。設定とレポートの範囲はサーチコンソールのAI検索レポートで測れること、測れないことにあります。

AI 機能に出る前提も、公式に書かれています。Google 検索セントラルは、ページがインデックスに登録され、スニペットが表示され、検索の技術的要件を満たしていることを挙げています（Google 検索セントラル「AI 機能とウェブサイト」最終更新 2025 年 12 月 31 日 UTC・2026-09-09 確認）。

読まれる経路が閉じていれば、この前提の手前で止まります。順番として、robots.txt の側を先に見る理由がここにあります。

ボットが実際に来ているかは、アクセスログでも見当がつきます。外部のログ調査では、llms.txt に届いたリクエストのうち、AI 検索の回答用に取りに来るボットは 1.1% でした（Ahrefs の 137,000 ドメイン調査。内訳は前掲の llms.txt の記事に掲載。※外部調査会社による分析であり当社の実測値ではありません）。

読まれているかと、AI の回答に出ているかは、別に見る必要があります。前者はログと robots.txt、後者は回答そのものを見に行くしかありません。

AI言及の3状態とは｜言及なし・引用なし・引用つきの読み方は、回答の側で何をどう記録するかを扱った記事です。

ChatGPT に自社が出てこないときの確認手順はChatGPTに自社が出てこない｜最初に確認すべき3つのことに置いています。検索用のボットを止めていないかは、その手前に足せる 1 項目です。

よくある質問（FAQ）

Q1. GPTBot をブロックすると、ChatGPT の回答に出なくなりますか？

OpenAI のドキュメントは、GPTBot を学習用、OAI-SearchBot を検索用として説明し、設定は互いに独立していると書いています。検索の回答に出るかどうかに関わるのは OAI-SearchBot の側です（2026 年 9 月 9 日確認）。

Q2. robots.txt を書けば、AI に読まれるのを全部止められますか？

ユーザーの質問をきっかけに来るボットの扱いは、会社ごとに違います。OpenAI はルールが適用されないことがある、Perplexity は通常は無視すると書き、Anthropic はサイト側で制御できると書いています（同日確認）。

Q3. Google-Extended を止めると、Google 検索の順位は下がりますか？

Google 検索セントラルは、Google-Extended が Google 検索でのサイトの登録にもランキング シグナルにも使われないと記載しています。ただし同じ説明には、Google-Extended が学習に加えて Gemini アプリでのグラウンディングにも関わるとも書かれています。

Q4. 各社のドキュメントは、いつ更新されたものですか？

Google 検索セントラル「Google の一般的なクローラーの一覧」に載っている最終更新日は、2026 年 4 月 25 日 UTC です。OpenAI・Anthropic・Perplexity の 3 ページには公開日も最終更新日の表記も見当たらず、本記事は 2026 年 9 月 9 日に取得した内容に基づいています。

まとめ: 次にやること

• 自社の robots.txt に並んでいる User-agent の行を書き出す
• その行が学習用のものか検索用のものかを、各社のページで 1 つずつ確かめる
• AI の回答での扱いは、robots.txt とは別の記録として残す

止める相手によって、消えるものが違います。

4 社の公式ページは別々に更新され、どの設定が何に効くかを担当 1 人で追い続けるのは骨が折れます。

打てる手は 2 つで、各社の更新を購読するか、質問を決めて自分で確かめるかです。

エリスグリ AIO は、後者を手で繰り返さずに済ませる側の道具で、質問ごとの記録を定点で残します。