robots.txt - Web サイトの「立入禁止」看板

多くの Web サイトのルートディレクトリに、robots.txt というテキストファイルが置かれてい⁠ま⁠す⁠。このファイルは、検索エンジンのクローラー (ボット) に対して「このページはクロールしないでください」と伝えるための仕組み⁠で⁠す⁠。1994 年に Martijn Koster が提案した「Robots Exclusion Protocol」がもとになっており、長いあいだ仕様書のない慣習として使われてきましたが、2022 年 9 月に RFC 9309 として IETF の標準化過程 (Standards Track) の文書になりま⁠し⁠た⁠。この RFC の著者には、最初の提案者である Koster 本人も名を連ねてい⁠ま⁠す⁠。

しかし、robots.txt には知っておきたい性質があり⁠ま⁠す⁠。それは「お願い」であって「命令」ではないということ⁠で⁠す⁠。

robots.txt は法的拘束力がない

robots.txt は、クローラーに対する「紳士協定」⁠で⁠す⁠。Google、Bing、Yahoo などの主要な検索エンジンは robots.txt を尊重しますが、技術的にはどのボットでも robots.txt を無視してクロールでき⁠ま⁠す⁠。悪意のあるスクレイパーやスパムボットは、robots.txt に従わないことがあり⁠ま⁠す⁠。

つまり、robots.txt は「善良なボットに対するお願い」であり、セキュリティ対策ではありま⁠せ⁠ん⁠。これは標準文書自身が明記していることで、RFC 9309 の「セキュリティ上の考慮事項」の節は「Robots Exclusion Protocol は妥当なコンテンツ保護の代わりにはならない」と述べ、パスへのアクセスを制御したいなら HTTP 認証のように配信しているアプリケーション層の仕組みを使うべきだとしてい⁠ま⁠す⁠。機密情報を含むページを robots.txt で「隠す」のは、玄関に「泥棒お断り」の看板を立てるようなもの⁠で⁠す⁠。実際の保護には、HTTP セキュリティヘッダーの適切な設定も役立ち⁠ま⁠す⁠。

robots.txt が逆に情報を漏らす

皮肉なことに、robots.txt は「隠したいもの」のリストを公開してい⁠ま⁠す⁠。RFC 9309 の同じ節も「robots.txt にパスを列挙することは、そのパスを公開して発見可能にすることだ」と注意してい⁠ま⁠す⁠。攻撃者が robots.txt を手がかりに、Disallow で指定されたパスから、管理画面、ステージング環境、内部 API、バックアップファイルなどの存在を推測する場合があり⁠ま⁠す⁠。

User-agent: *
Disallow: /admin/
Disallow: /staging/
Disallow: /api/internal/
Disallow: /backup/

この robots.txt は、攻撃者に「/admin/、/staging/、/api/internal/、/backup/ というパスが存在する」と教えているのと同じ⁠で⁠す⁠。URL の構造を正しく読み解く方法を知っていれば、こうしたパスが何を指すかを見分けやすくなり⁠ま⁠す⁠。

有名サイトの robots.txt を覗いてみる

robots.txt は公開ファイルなので、任意のサイトの https://example.com/robots.txt にアクセスすれば誰でも読め⁠ま⁠す⁠。

  • YouTube: 意外なほど短く、30 行ほどのファイルに 20 あまりの Disallow が並ぶ⁠だ⁠け⁠。冒頭には「1990 年代半ばのロボットの反乱で人類が絶滅した後、遠い未来 (2000 年) に作成された」というジョークのコメントが置かれている
  • Wikipedia: 特定のボットを名指しでブロックして⁠い⁠る⁠。MJ12bot の項には「大量のページ取得を続け、429 (リクエストが多すぎる) の応答を無視した」という理由がコメントで書き添えられている
  • CIA (cia.gov): 30 を超えるボット名が並び、その大半を Disallow: / で全面拒否して⁠い⁠る⁠。すべてのクローラーには Crawl-delay: 10 (10 秒の間隔) を求めており、政府機関のサイトも同じ仕組みで運用されていることが分かる
  • Amazon: 商品ページのクロールは許可しつつ、カート、アカウント、内部検索結果などを除外している

robots.txt と AI クローラーの新たな戦い

2023 年以降、robots.txt は生成 AI の学習データ収集を断る手段として機能してい⁠ま⁠す⁠。OpenAI が学習用クローラー GPTBot の名前と拒否のしかたを公表した 2023 年を境に、ニュースサイトや出版社が AI 向けの記述を robots.txt へ書き加え始めま⁠し⁠た⁠。下のコード例にある CCBot は生成 AI ブームより前から動いている Common Crawl の収集ボットですが、その公開アーカイブが学習に使われるため、あわせて拒否対象に挙げられることがあり⁠ま⁠す⁠。

紛らわしいのが Google-Extended で⁠す⁠。同じ並びで語られがちですが、これは独立したクローラーではありま⁠せ⁠ん⁠。専用のユーザーエージェントを持たず、すでに集められた内容を Gemini などの学習や回答の裏付けに使わせるかどうかだけを robots.txt から指定するための名前で、Google 検索への掲載には影響しま⁠せ⁠ん⁠。

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

しかし、RFC 9309 として標準化されたあとも、robots.txt が「お願い」である点は変わりま⁠せ⁠ん⁠。すべての AI クローラーがこれを尊重する保証はなく、著作権法との関係も含めて、2026 年 8 月時点でも AI 時代の robots.txt の位置づけは議論が続いてい⁠ま⁠す⁠。AI クローラーによるデータ収集が気になる方は、プライバシー重視の検索エンジンの利用も検討してみてくだ⁠さ⁠い⁠。

まとめ

robots.txt は、1994 年の提案から 2022 年の標準化 (RFC 9309) までを経て、インターネットの「礼儀作法」として使われ続けている仕組み⁠で⁠す⁠。法的拘束力はなく、セキュリティ対策にもなりませんが、検索エンジンとの関係を管理する手段の一つ⁠で⁠す⁠。IP 確認さんの robots.txt も、検索エンジンに適切にクロールしてもらうため、そして AI 向けのボットごとに可否を書き分けるために設定されてい⁠ま⁠す⁠。誰でも読めるファイルなので、気になったら実物を確かめてみてくだ⁠さ⁠い⁠。

この記事の関連用語

ボット robots.txt が制御対象とする自動化プログ⁠ラ⁠ム⁠。検索エンジンのクローラーから悪意のあるスクレイパー⁠ま⁠で⁠。 DNS クローラーがサイトにアクセスする際、最初に DNS でドメインを解決⁠す⁠る⁠。 HTTPS robots.txt 自体は HTTPS で配信され、改ざんから保護さ⁠れ⁠る⁠。 IP アドレス クローラーのアクセス元 IP。悪意のあるボットは IP ベースでブロックされることも⁠あ⁠る⁠。

よくある質問

robots.txt とは何で⁠す⁠か⁠?

Web サイトのルートに置くテキストファイルで、検索エンジンのクローラーに「このページはクロールしないで」と伝える仕組み⁠で⁠す⁠。1994 年の提案がもとになり 2022 年 9 月に RFC 9309 として標準化されましたが、従うかどうかはクローラー側に委ねられた紳士協定で、法的拘束力はありま⁠せ⁠ん⁠。

robots.txt はセキュリティ対策になりま⁠す⁠か⁠?

い⁠い⁠え⁠。robots.txt は善良なボットへの「お願い」であり、悪意のあるボットは無視し⁠ま⁠す⁠。むしろ Disallow で指定したパスが攻撃者に管理画面や内部 API の存在を教えてしまうリスクがあり⁠ま⁠す⁠。

AI クローラーを robots.txt でブロックできま⁠す⁠か⁠?

GPTBot や CCBot など主要な AI クローラーは robots.txt を尊重すると表明していますが、すべての AI クローラーが従う保証はありま⁠せ⁠ん⁠。同じ並びで語られる Google-Extended は独立したクローラーではなく、すでに集められた内容を学習や回答の裏付けに使わせるかどうかを示す名前⁠で⁠す⁠。2026 年 8 月時点でも法的な位置づけの議論は続いてい⁠ま⁠す⁠。