「AIに学習されたくないなら、AI企業のボットの名前をひとつずつ並べて断るしかないんでしょ?」そう思ってる? 10月30日、そこが変わると4社が言った。Google、Microsoft、OpenAI、それにAnthropic。書くのはrobots.txtの一行。名前を書く相手は、取りに来なくてもいいボットだ。
前回の記事は、Googleには前と同じ強さで読まれるのに、送ってもらえる人が減ったRedditが、ログインの壁を立てると決めた話だった。今日は、読まれる側が「読むのはいい、でも学習には使うな」を一行で言えるようになるかもしれない話をする。
「入るな」しか言えない場所で、「使うな」を言う方法
先に、この欄で前に書いたことをおさらいしておく。「Metaの新しい規約、米国版だけ施行日が11月20日にずれていた。robots.txtが言えるのは『入るな』まで」で、GoogleのGary Illyesの説明を紹介した。robots.txtが言えるのは、入るか、入らないかまで。入ったあとで何に使うかは言えない。それを言えるようにする下書きもIETFに出ていて、Content-Usage: train-ai=n のような新しい行を足す形だった。
10月30日、AnthropicのKevin Kelleyが、IETFで新しい下書きを出した。作業部会のメーリングリストへの投稿によると、さっきの新しい行を足す下書きは、言葉の定義の議論を前に進めるために、いったん脇に置かれた。代わりに出てきたのが、これだ。
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
見た目は、ふつうのボットへの断り書きと同じ。違うのは、User-Agentの欄に書いてある名前。下書きはこれを「ポリシートークン」と呼んでいる。ボットの名前の欄に書くけど、ページを取りに来るボットがこの名前を名乗る必要はない、と下書きにある。読み方はこうなる。サイト全体はAIの学習に使わないでほしい。ただし /press-kit/ の下は使っていい。
新しい命令も新しい文法も足していない、と下書きは冒頭で言い切っている。対応していない読み取りの仕組みから見れば、知らないボット宛ての断り書きにすぎないから、読み飛ばされて終わる。Kelleyは投稿で、いま実際に動いている読み取りの仕組みが書き方によってどう振る舞うかを長い時間かけて調べた、と書いている。違う振る舞いをする場所は山ほどある、とも。
「入るな」しか言えない場所で、「学習」という名前の来ない客に「入るな」と言う。それで「学習に使うな」の意味にする。文法をひとつも変えずに済ませた、うまい抜け道だな。
今あるrobots.txtは、まだ何も言っていない
細かいところを読むと、この一行の効き方がはっきりする。
まず、User-Agent: *、つまり「すべてのボット」宛ての断り書きは、この札に当てはめて読んではいけない、と下書きは決めている。__usage_ai-training のグループが無いファイルは、学習について何も言っていないことになる。Kelleyの投稿の言い方だと、今日公開されているrobots.txtは、ひとつ残らずそうだ。全部のボットに「入るな」と書いてきたサイトも、この下書きの上では、学習についてまだ何も言っていない扱いになる。
次に、この札は巡回の指示じゃない。ボットが入っていいかどうかは、これまで通りの行が決める。入ってきたボットに、使い道を伝える札だ。
それから、個別の契約があれば、そっちがこの札より優先してかまわない。そして、ここでいう「学習」の中身。生成AIのモデルが学習で得た値を書き換えることを指していて、分類や順位付けや点数付けにだけ使うモデルは入らない。
もうひとつ大事なのは、これがまだ正式な標準じゃないこと。IETFの文書のページには、IETFが認めたものではなく、標準化の手続きの中で正式な位置づけも無い、と書いてある。作業部会の文書ではなく、個人が出した下書きだ。期限は2027年5月3日。
それでも、読む側が先に手を挙げた。GoogleはSearch Centralのブログで2027年に対応すると書き、クローラーの説明ページには2027年の初めと書き足した。OpenAIは数か月のうちに。Anthropicは、Kelleyの投稿によると、もう作り始めている。MicrosoftはBingのブログで、2027年2月1日から、巡回したページで読み始めると書いた。
「AI学習だけ断って、検索には残れる。期限の当日に二択が消えた」で、Microsoftはrobots.txtで学習の拒否を受け取る仕組みを作っている最中で、目標は2027年の初め、と書いた。その日付が、2月1日に決まったわけだ。
同じ一行が、Bingでは「学習だけ」、Googleでは「Geminiの答えまで」
ここからが、今日いちばん手が止まったところ。4社が同じ一行を読むと約束した。でも、読んだあとの意味が同じとは限らない。
Bingはこう分けている。学習の拒否は、この共通の一行で言う。それとは別に、AIの答えを作るときにページを材料に使っていいかどうか、Microsoftの言葉でいう「グラウンディング」の設定を新しく作った。こちらはページごとにしか書けない。robots.txtでサイト全体にかける方法は無い、とブログに書いてある。何も書かなければ、どちらも「使っていい」扱い。つまり、学習は断って、CopilotやBingのAIの答えの材料には使われうる状態に残す、という組み合わせができる。
ブログの書き出しはこうだ。Bingで見つけてもらうことと、生成AIのモデルが自分の作品をどう使うかを決めることの、どちらかを選ばされるべきじゃない。そのうえで、答えの材料に使われるのを断ると、AIの画面でブランドが見える場面は減る、と念を押している。答えの材料に使うのを許せば、リンクや引用つきで答えに出る対象になる。学習を許せば、これからの生成AIのモデルを良くする助けになる。そして、この一文が続く。
どちらの選択も、載ることも、流入も、支払いも約束しない。
正直だな。
Googleは、読み替えで対応する。ブログを書いたのはJohn Mueller。サイトがこの一行で学習を断っていて、Google-Extendedについて何も書いていなければ、Google-Extendedを断ったものとして扱う、という。
で、Google-Extendedが何を受け持っているか。Googleのクローラーの説明ページを読むと、2つある。これから作るGeminiのモデルの学習に使っていいか。そして、GeminiのアプリやVertex AIで、答えを作るときに検索の索引からページを材料として渡していいか。ブログの中で、Googleは同じGoogle-Extendedを「2023年から提供してきたAI学習の設定」と呼んでいる。
並べるとこうなる。共通の一行は、学習だけを断る札として作られた。Googleはそれを、学習と答えの材料の両方を受け持つ札に読み替える。だから、ブログとドキュメントを合わせて読むと、共通の一行だけを書いたサイトは、Geminiのアプリの答えの材料からも外れることになる。ブログは、この取引を反対側から書いている。Google-Extendedをはっきり許しているサイトは、Geminiのアプリの答えに出て、クリックを受け取れる対象になる、と。Geminiの答えに出続けたいなら、共通の一行とは別に、Google-Extended宛てに「許す」を書き足すことになる。
逆の組み合わせはどうか。Search Engine Journalは、Geminiの学習には使わせずに、Geminiのアプリの答えの材料には使わせる方法は、Googleのドキュメントには書かれていない、と指摘している。PPC Landも同じ読み方をしたうえで、これは公開された文書からの自分たちの読みで、Googleのブログはこの場合に触れていない、と断っている。
ひとつ、自分の書いたものの話もしておく。9月の記事で、私はGoogle-Extendedを「学習を断つスイッチ」として書いた。いまのドキュメントを読む限り、同じ札がGeminiのアプリの答えの材料も受け持っている。あの書き方は半分だった。
ちなみに、Google検索のAI OverviewsとAI Modeは、この話の外にある。Google-Extendedは検索に載るかどうかに関わらない、とドキュメントに書いてある。AI OverviewsとAI Modeに出るかどうかは、9月の記事でも書いたSearch Consoleの別の設定が受け持っている。Googleでは、検索そのものはGooglebot宛ての行、Geminiの学習と答えの材料はGoogle-Extended、検索のAIはSearch Consoleの設定と、3か所に分かれている。共通の一行が届くのは、そのうちGoogle-Extendedの1か所だ。
同じ日、OpenAIはもう1本書いていた
OpenAIの発表は短い。共通の一行は、基盤となる生成AIの学習に使うかどうかの意思を伝えるもの。いまあるクローラーの設定はそのまま残る。そして、これを「自主的な取り組み」と呼んでいる。
同じ10月30日、OpenAIのサイトには「Fair use benefits everyone」という文章も載った。New York Timesとの裁判で、AIの学習はフェアユース、つまり著作権者の許可なく使ってよい範囲に入る、という側に立った意見書を、図書館の団体や研究者や作家などから集めて抜き出したものだ。前置きでOpenAIは、New York Timesの訴えを、受け取るいわれのない支払いを狭く追い求めるもの、と書いている。
学習するなと書いたサイトの札は、自主的に読む。でも裁判では、学習は許可なくできる範囲だという側に立っている。同じ日に出た2本を並べると、OpenAIの立ち位置はそうなる。矛盾してるとは思わない。札を読むのは、法律に言われたからじゃなく自分で決めたから。私にはそう読める。ただ、そうなると、その札の重さを決めているのも読む側だ。
名前の無い会社もある。下書きの謝辞の表には、作業部会の議論に大きく貢献した人として、所属がMetaの2人が並んでいる。でも、この一行を読むと言った会社の中に、Metaはいない。Metaは新しい商用規約をめぐって、巡回されたくない発行元はrobots.txtで止められる、と言ってきた会社だ(News/Media Allianceの公開書簡は、その言い分に反論している)。
今日の本音
AIに「学習には使うな」を伝えるのが、やっと一行で済むようになる。ただ、その一行を、Bingは学習のことだけだと読み、GoogleはGeminiの答えに出ることまで含めて読む。同じ文字を書いても、意味を決めるのは読む側の会社だ。
参考・引用記事
- Machine-Readable Training Preference Signal(IETF Internet-Draft、draft-kelley-aipref-training-preference-signal-00、2026年10月30日)
- New draft: draft-kelley-aipref-training-preference-signal-00(Kevin Kelley、IETF ai-control メーリングリスト、2026年10月30日)
- Supporting a shared AI training control for websites(Google Search Central Blog、2026年10月30日)
- Google's common crawlers(Google 開発者向けドキュメント)
- Your content, your choice: clearer preferences for training and grounding(Bing Blogs、2026年10月30日)
- Making it easier for websites to express AI training preferences(OpenAI、2026年10月30日)
- Fair use benefits everyone(OpenAI、2026年10月30日)
- Google, Microsoft & OpenAI Plan To Honor Shared AI Training Opt-Out(Search Engine Journal、2026年11月1日)
- Google, Microsoft, OpenAI and Anthropic back one AI training opt-out(PPC Land、2026年10月31日)
- An Open Letter to Mark Zuckerberg(News/Media Alliance、2026年10月22日)
- Google Adopts New AI Training Control(Search Engine Roundtable、2026年10月30日)
