「検索に出したくないページは、robots.txtで止めておけばいいんでしょ?」そう思ってる? 10月26日、Google自身もそう読める一文を書いた。noindexを付けるか、robots.txtでクロールを止めるか。ところが同じGoogleの別のページには、robots.txtはページを検索から外す仕組みじゃない、と書いてある。
前々回の記事は、robots.txtが言えるのは「入るな」まで、という話だった。前回の記事は、その「入るな」に下線1本で例外を作った新聞社の話。今日は、「入るな」と「載せるな」を、Googleが一文の中で並べてしまった話をする。
手引きに足された「検索のためのものだけを索引に」
Googleの検索の公式文書に、利用者が書き込むスパムを防ぐための手引きがある。題は「Prevent user-generated spam on your site and platform」。これが10月26日に更新された。
更新履歴の説明はこうだ。何をしたか:リンクで共有されたコンテンツを索引に入れないための手引きと、Search Consoleで悪用を見張る手引きを足した。なぜか:検索向けではない、利用者が作ったページを索引から外し、スパムを早めに見つけられるよう、プラットフォームを手伝うため。
変わったのは3か所。
まず冒頭の一文。これまでは、コメント欄と同じくホスティングのサービスも悪用されうる、と書いていた。そこに、共有ページや生成したコンテンツ、ウェブアプリを利用者が公開できる「ツール」が足された。スパムを大量に作られる単位も、「サイト」から「ページやサイト」に変わった。
次に、新しい節がひとつ。「Only index content meant for Search」、検索のためのものだけを索引に入れる、という見出しだ。訳すとこうなる。利用者が共有用のページや生成した出力、対話型のツールを作れるサービスなら、その中身が検索エンジンで見つけられるためのものか、リンクを持っている人が直接開くだけのものかを考えること。ページが、検索で見つけてもらうためではなく、直接の共有や共同作業、道具として使うために作られているなら、初期設定でnoindexを付けるか(robotsのmetaタグか、X-Robots-Tagのレスポンスヘッダーで)、robots.txtでクロールを止めること。
最後に、見張り方。Search Consoleでサイトやサブドメインの所有を確認して、手動による対策やセキュリティの問題をメールで受け取れるようにする。索引に入ったページの数や表示回数、検索語が、サービスの目的と合わない伸び方をしていないかを定期的に見る。一握りの利用者が、索引に入るURLの大半を作っていないかも見張る。
製品の名前はひとつも出てこない。私が英語版の本文を見た限り、「AI」という語も無い。ただ、読んだ人が何を思い浮かべたかは分かりやすい。Search Engine Roundtableによると、SEOの実務者のLily RayはXに、最初に頭に浮かんだのはClaudeのアーティファクトやChatGPTのページやサイト、Facebookの投稿など、索引に入るページを大量に作りやすいSNSやAIのツールだった、と投稿している。Marie Haynesは、AIのツールやアプリを作るサービスに手動による対策が来るのか、とXで聞いている。
ちなみに日本語版の手引きは、日本時間の10月27日昼に私が開いた時点では最終更新が2025年12月18日のままで、新しい節はまだ入っていなかった。
同じGoogleの文書が、robots.txtでは足りないと書いている
ここからが今日いちばん手が止まったところ。新しい節は、noindexとrobots.txtを「か」でつないで、どちらかを選べと言っている。でも、Googleのほかの文書を並べると、この二つは同じ働きをしない。
robots.txtの入門ページは、冒頭の段落でいきなり言い切っている。robots.txtは主に、サイトにリクエストが集まりすぎないようにするためのもの。ウェブページをGoogleに載せないための仕組みではない。載せたくないなら、noindexを使うか、パスワードで守ること。同じページの少し先には、こうもある。robots.txtで止めたページでも、ほかのサイトからリンクされていれば索引に入ることがある。中身は読まなくても、URLや、リンクに付いた文字が検索結果に出ることがある。
noindexの説明ページは、もっとはっきりしている。noindexが効くには、そのページがrobots.txtで止められていてはいけない。止めてあれば、クローラーはnoindexを一度も目にしない。
さらに、10月21日に更新されたばかりの「Googleの検索で何を見せるかを決める」ページ。検索から外す方法を並べた一覧で、noindexの使える範囲は「すべての種類のコンテンツ」。robots.txtでクロールを止める方法の使える範囲は「画像と動画」だけだ。
この一覧を更新したのが10月21日。その5日後に、共有ページを外す手段としてrobots.txtを並べた。もちろん、共有ページを読ませないという意味ではrobots.txtも効く。中身を拾われないことと、URLが検索結果に出ないことは別の話で、新しい節はその差を書いていない。
ついでに、もうひとつ見つけた。同じ手引きの前からある段落に、新しく入ってきた利用者の投稿には「noindex robots meta tag」を付けるよう勧めるくだりがある。その「noindex robots meta tag」の文字に張ってあるリンクの先が、noindexの説明ページじゃなく、robots.txtの入門ページになっている。日本語版も同じだ。札の名前と札の置き場所が、手引きの中でも混ざっている。
7月、Claudeの共有ページはこの組み合わせだった
これが机の上の話じゃないのは、3か月前に実例があるから。
7月の終わり、Claudeで共有された会話が、Googleの検索結果に出ていた。Search Engine JournalのMatt Southernが7月27日にclaude.aiを調べると、こうなっていた。robots.txtが、すべてのボットに向けて、共有ページの住所の /share/ 以下を止めている。共有ページそのものは、X-Robots-Tag: noneを返していた。noneはnoindexとnofollowを合わせた意味の札だ。
つまり、「載せるな」の札は貼ってあった。ただ、その手前に「入るな」の札があって、Googleのクローラーは「載せるな」の札まで行けなかった。Southern自身は、Googleが最初にそのURLを見つけたとき何が返っていたかまでは確かめられなかった、と断っている。それでも、記事の見出しは「Disallow is not noindex」、止めることは載せないことじゃない、だった。
じゃあ、いまのClaudeはどうなっているか。日本時間の10月27日昼に、claude.aiのrobots.txtを開いた。すべてのボットに向けたところで止めているのは、/api/ と /lti/ の下だけ。共有ページの行は消えていた。共有ページのURLをひとつ開くと、サーバーはX-Robots-Tag: noneを返し、ページの中にもnoindexとnofollowのmetaタグがあった。「入るな」を外して、「載せるな」だけを残した形だ。Googleの文書が勧めてきた形になった。
ChatGPTは「入っていい」と書いて、広告のボットだけ止めている
ChatGPTのrobots.txtを見ると、もっと面白い。
すべてのボットに向けたところに、わざわざ「入っていい」の行が並んでいる。共有された会話の /share/ のほか、/s/ や /canvas/shared/ も。中まで入らせる側に置いているわけだ。止めてしまえば、ページに貼った「載せるな」の札は読まれない。OpenAIは2025年8月1日の時点で、共有された会話を検索エンジンに見つけさせる選択肢をやめて、索引に入ったものを外す作業をしていた(Search Engine Journal)。
そして、その上に短いコメントがある。訳すとこうだ。共有ページとGPTsが、Google広告のリンク先に使われるのを防ぐ。その下で、Googleの広告用のクローラー、AdsBot-GoogleとAdsBot-Google-Mobileにだけ、/s/ と /g/ を止めている。
これ、Googleが新しい節で心配していることと根っこは同じだと思う。誰でも作れて、信用のある大きなドメインの上に載るページは、スパムをする人には格好の置き場になる。OpenAIは、自分の共有ページが広告のリンク先として使われる道を、自分のrobots.txtで塞いでいる。
共有ページが検索に出て騒ぎになったのは、AnthropicとOpenAIだけじゃない。Googleも2023年9月、Bardの会話の記録が検索に出てしまい、意図しないものだったとして外す作業をしている(Search Engine Journal)。3社とも、自分の共有ページが検索に出る経験を一度はしている。手引きを書いた側も含めて。
今日の本音
robots.txtは「入るな」の札で、noindexは「載せるな」の札。Googleの文書はずっとそう書き分けてきたのに、共有ページについての新しい一文では、二つを「か」でつないだ。7月に検索に出たClaudeの共有ページには、その二つが重ねて貼ってあった。手引きを読んで手を動かす人は、「か」の前のほうを選べばいい。
参考・引用記事
- Prevent user-generated spam on your site and platform(Google Search Central、2026年10月26日更新)
- Latest documentation updates(Google Search Central)
- Introduction to robots.txt(Google Search Central)
- Block Search indexing with noindex(Google Search Central)
- Control what you share with Google Search(Google Search Central、2026年10月21日更新)
- Google Warns Tools On User-Generated Spam Guidance & More(Search Engine Roundtable、2026年10月26日)
- Google Adds Indexing Advice For Shareable Pages To Spam Guide(Search Engine Journal、2026年10月26日)
- Indexed Claude Chats Show Why Disallow Is Not Noindex(Search Engine Journal、2026年7月27日)
- OpenAI Is Pulling Shared ChatGPT Chats From Google Search(Search Engine Journal、2025年8月1日)
- Google Working To Remove Bard Chat Transcripts From Search(Search Engine Journal、2023年9月29日)
- chatgpt.com robots.txt(OpenAI)
- claude.ai robots.txt(Anthropic)
- Googleがスパム防止ガイドを更新、AIツールの生成ページも対象か?(海外SEO情報ブログ、2026年10月27日)
