AIクローラーは拒否すべき？GPTBotとOAI-SearchBotの違いと、robots.txtの確かめ方

GPTBotとOAI-SearchBotの違いは？AIのクローラーの名前と役割

GPTBot は、OpenAI が生成AIの基盤モデルの学習に使う可能性のある内容を集めるクローラーです。OAI-SearchBot は、ChatGPT の検索の答えにサイトを出すためのクローラーです。OpenAI は2つの設定は互いに独立していると説明しており、GPTBot を拒否しても ChatGPT の検索には出られます。反対に OAI-SearchBot を拒否すると、ChatGPT の検索の答えに表示されなくなります（出典：OpenAI『Overview of OpenAI Crawlers』）。

クローラーは、サイトのページを自動で読みに来るプログラムです。AIの会社は、目的ごとに名前の違うクローラーを使い分けています。robots.txt では、この名前（ユーザーエージェント）ごとに、読んでよい範囲を指定します。

出典：OpenAI『Overview of OpenAI Crawlers』、Anthropic『Does Anthropic crawl data from the web, and how can site owners block the crawler?』（2026年4月7日更新）、Perplexity『Perplexity Crawlers』、Google 検索セントラル『Google の一般的なクローラーの一覧』（2026年9月16日更新）

Google については「Google-Extended が Google 検索でのサイトの登録に影響したり、Google 検索でのランキング シグナルとして使用されたりすることはありません」と明記されています（出典：Google 検索セントラル）。Google-Extended を拒否しても、AIによる概要の表示は止まりません。AIによる概要の表示の制御は GoogleのAIによる概要とは？引用されるための条件 で説明しています。

robots.txtで拒否しているかはどう確かめる？

robots.txt は、サイトの最上位のディレクトリに置くファイルです（出典：Google 検索セントラル『Google による robots.txt の指定の解釈』2026年9月11日更新）。次の手順で確かめます。

1. ブラウザで https://自社のドメイン/robots.txt を開く。「ページが見つかりません」の場合、Google は有効な robots.txt が無い＝クロールの制限が無いものとして扱う
2. 「User-agent:」の行を上から探し、AIのクローラーの名前（GPTBot、OAI-SearchBot、ClaudeBot、Claude-SearchBot、PerplexityBot、Google-Extended など）があるかを見る
3. 名前があれば、その下の「Disallow:」を見る。「Disallow: /」はサイト全体の拒否、「Disallow:」の後が空なら拒否なし
4. 「User-agent: *」の下に「Disallow: /」があるかを見る。名前で個別の指定が無いクローラーは、この「*」の指定に従う
5. www あり・なしやサブドメイン（例：shop.自社のドメイン）を使っているなら、それぞれの robots.txt も開く

Google の説明では、クローラーは自分の名前に最も具体的に一致するグループを1つだけ選んで従います。たとえば「User-agent: *」で全体を拒否していても、「User-agent: OAI-SearchBot」のグループで許可していれば、OAI-SearchBot は読めます。名前の大文字・小文字は区別されません（出典：同上）。読み方の例は次の通りです。

出典：Google 検索セントラル『Google による robots.txt の指定の解釈』の規則をもとにした、暖簾AIによる例

中小事業者のサイトではどうなっている？863件の調査

暖簾AIは2026年10月15日に、ある事業者団体の公開名簿に載る遺品整理・片付けなどの事業者のサイト1,061件を機械的に調べ、トップページを取得できた863件を集計しました。robots.txt があったのは660件（76.5%）です。その中で AI のクローラーに関係する書き方は、次の通りでした。

AIのクローラーの名前を robots.txt に書いていたのは4件だけで、そのうちサイト全体を拒否していたのは2件（GPTBot が1件、Common Crawl の CCBot が1件）でした。名前が書かれていたほかの2件は、OAI-SearchBot と Google-Extended の名前で、全体の拒否ではありませんでした。AIのクローラーを狙って止めているサイトは、ほとんど無いと言えます。

注意が要るのは、全ロボットを拒否していた5件（0.6%）です。「User-agent: *」に「Disallow: /」と書く形で、AIのクローラーだけでなく、Google のクローラーも対象になります。制作中に検索から隠すために入れた設定が、公開後も残っている可能性があります。この調査の数字は、1つの業種の事業者団体の名簿から抽出したため、全業種の平均とは異なる可能性があります。判定はトップページのみ・機械的なもので、下層ページの設定は含みません。

AIの学習は断り、AIの検索には出たいときはどう書く？

OpenAI は、OAI-SearchBot と GPTBot の robots.txt の設定は互いに独立していると説明しています（出典：OpenAI『Overview of OpenAI Crawlers』）。Anthropic と Google も検索用と学習用で名前を分けていて、Perplexity は PerplexityBot を基盤モデルの学習には使わないと説明しています。そのため、学習への利用は断りつつ、AIの検索の答えには出る、という指定ができます。

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: *
Allow: /

出典：各社の公式ドキュメント（OpenAI・Anthropic・Perplexity・Google）の説明をもとに暖簾AIが整理

変更はすぐには効きません。OpenAI は robots.txt の更新から検索への反映まで約24時間、Perplexity は反映まで最大24時間かかるとしています。Google は robots.txt の内容を通常最大24時間キャッシュします。直したら1〜2日おいて、もう一度確かめます。

robots.txt以外で止まっていることはある？

あります。Google は、AI 機能のためのベストプラクティスとして、robots.txt だけでなく CDN やホスティングの基盤でもクロールを許可するよう勧めています（出典：Google 検索セントラル『AI 機能とウェブサイト』）。robots.txt では許可していても、サーバーやセキュリティのサービスの側でボットを止めていると、クローラーは読めません。

• レンタルサーバーの管理画面に、海外からのアクセスやボットを止める設定がないか
• CDN やセキュリティのサービスに、AIのクローラーを止める設定がないか
• WordPress のセキュリティ系プラグインで、特定のユーザーエージェントを止めていないか
• IP アドレスで止めていないか。Anthropic は、IP アドレスでの遮断は robots.txt の読み取りまで妨げることがあり、確実に働かない場合があると説明しています

逆に、検索に出したくないページを robots.txt で隠すのは確実ではありません。Google は「クロールが許可されていないページのコンテンツをインデックスに登録することはできませんが、URL をインデックスに登録して、スニペットなしで検索結果に表示することはできます」と説明しています（出典：Google 検索セントラル『Google による robots.txt の指定の解釈』）。検索から外したいページには noindex を使います。

暖簾AI自身のサイトでは、robots.txtをどう書いている？

暖簾AIのサイト（noren-ai.jp）の robots.txt は、「User-agent: *」で全体を許可したうえで、GPTBot・OAI-SearchBot・Google-Extended・PerplexityBot・ClaudeBot・Claude-SearchBot・Claude-User・Applebot-Extended・meta-externalagent を名前で書き、それぞれ「Allow: /」としています。拒否しない場合は「*」の許可だけでも同じ結果ですが、名前を書いておくと、AIのクローラーを止めていないことが一目で分かり、あとで方針を変えるときにも1行ずつ直せます。

robots.txt で許可しても、実際にどのAIが来ているかは robots.txt からは分かりません。暖簾AIの運用アプリの「AIからの流入数」では、どのAIがサイトを読みに来たかと、AIの答えから何人来たかを数えます。AIの答えに出てこないときのほかの原因は ChatGPT・Geminiに自社が出てこない理由 にまとめています。

AI検索への対策を何から始めるかは、まとめの記事AI検索対策のやり方（やる順のチェックリスト12項目）に並べています。