分析

AI学習拒否の共通robots.txtシグナル：OpenAI、Google、Microsoft、Anthropicが支持

あるドラフトが、AI学習を拒否するrobots.txtのトークン__usage_ai-trainingを提案している。対象と対象外、Microsoft側の開始時期を整理する。

執筆： Audryk · 2026年10月31日

• 新しいAI技術
• #OpenAI
• #Google
• #Microsoft
• #Anthropic
• #robots.txt
• #IETF

2026年10月31日時点で、提案されているのは__usage_ai-trainingという名前のrobots.txtグループであり、10月30日付のIETFドラフトに記されている。SiliconANGLEによると、Google、Microsoft、Anthropic、OpenAIはこれに基づく今後の標準を支持している。ただし、まだ標準ではない。ドラフトは個人提出のもので、IETFの承認を受けておらず、このシグナルは、クローラーの運営者が自発的に従う「希望」の表明にとどまる。

要点

• 何か：名前が__usage_ai-trainingである通常のrobots.txtグループ。新しいディレクティブは追加されない。
• 対象：AI学習へのコンテンツの利用。クロール、検索、グラウンディングは制御しない。
• 現状：個人ドラフトの段階。Microsoftは自社の日程を確認している(2027年2月1日)。報道によると、Googleは2027年、OpenAIは今後数か月以内に続く。Metaは約束していない。
• 限界：表明されるのは希望である。従うかどうかは任意で、学習からの除外は保証されない。

これらの企業は具体的に何を支持しているのか

文書は「Machine-Readable Training Preference Signal」(draft-kelley-aipref-training-preference-signal-00)で、著者はAnthropicのKevin Kelleyである。日付は2026年10月30日、有効期限は2027年5月3日。Standards Trackを目指す「Individual Internet-Draft」であり、ドラフト自身がIETFの承認を受けていないと明記している(IETF Datatracker)。

SiliconANGLE(2026年10月30日)によると、Google、Microsoft、Anthropic、OpenAIは今後の標準を支持している。robots.txtへの1つの記述で、生成モデル向けに学習データを収集するすべてのクローラーをブロックできるという。「exclusively non-generative tasks」(もっぱら非生成のタスク)を行うモデルには適用されない。Metaはこの考え方への支持を表明したが、約束はしていない(SiliconANGLE)。

私たちが読んだ一次情報で日程が確認できるのは、Microsoftのものだけである。

robots.txtにはどう書くのか

ドラフト自身の例は次のとおり。

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Disallowは学習へのコンテンツ利用に反対する希望を、Allowは賛成する希望を表す。規則はRFC 9309のもので、最も長く一致したものが優先される。ドラフトの4.2節は、汎用のUser-Agent: *グループはこのトークンには適用されないとしているため、グループを明示的に書く必要がある。

意味は、IETFのAI Preferencesワーキンググループによる「AI Training」の定義に従う(IETF AI Preferences)。

出典：IETFドラフト(2026年10月30日)、Bingブログ（確認日：2026-10-31）。

何が対象で、何が対象外なのか

3つを区別する必要がある。学習(生成モデルの学習済みパラメータを変更すること)、検索(インデックス作成とランキング)、グラウンディング(ページを質問への回答に使うこと)である。

ドラフトは、このトークンは「not a directive for crawling behavior」(クロール動作に関する指示ではない)と述べている。クロールを制限するには、GPTBotなどのクローラー別グループを使うよう案内している。個別の契約が優先される場合もある(4.5節)。

MicrosoftもBingブログで同じ線引きをしている。「AI Training」と「AI Grounding」を区別し、従来の検索のインデックス作成とランキングはグラウンディングではないとする。学習には__usage_ai-trainingトークンを使い、既定はAllow、拒否はDisallowである。グラウンディングにはrobots.txtの設定がなく、メタタグ(name="Bingbot")またはX-Robots-Tagヘッダーにより、ai-grounding:disallowやai-grounding:disallowextendedなどの値でページごとに設定する。2つの設定は独立しており、ページ単位の設定はrobots.txtに優先する(Bingブログ)。

Microsoftはさらに、これらの設定は従来のBing検索結果の対象となる条件を変えず、Bingbotをブロックするrobots.txtは引き続きクロールを遮断すると述べている。設定が管理するのは利用であって、アクセスではない。グラウンディングを拒否すると、AI体験でのブランドの可視性が下がる可能性がある。掲載、トラフィック、支払いは保証されず、ライセンスも生じない。

OpenAIについては、報道によると、このトークンは既存の制御に取って代わらない。OpenAIの既存のドキュメントによると、GPTBotを拒否すれば、そのコンテンツを同社の生成基盤モデルの学習に使うべきでないという意思表示になる。OAI-SearchBotは検索を別に扱い、ユーザーの依頼で動作するChatGPT-Userはrobots.txtに従わない場合がある(OpenAI)。

このシグナルには、それ自体では法的効力がなく、各国の法律に左右される。すでに使われたコンテンツを消去することもない。

いつ有効になるのか

Microsoft側では、同社のブログによると、2026年12月15日にBing Webmaster Toolsで一時的なグラウンディング設定が提供される。対象は、その日にNoArchiveまたはNoCacheを使用しているサイトのみ。学習とグラウンディングの新しい設定は、2027年2月1日からクロールのたびに適用され始める。2027年3月1日には、NoArchiveとNoCacheが学習やグラウンディングの設定として読まれなくなる。一時的なグラウンディング設定は2027年9月30日に終了する。

それ以外の企業については、報道だけが根拠である。SiliconANGLEによると、Googleは「next year」(来年、つまり2027年)に続き、OpenAIは「in the coming months」(今後数か月以内)に同様の制御を導入する予定だ。Anthropicによる実装の表明は、私たちが読んだ出典では見つからなかったため、何も述べない。

出典：IETFドラフト、Bingブログ、SiliconANGLE（確認日：2026-10-31）。過去の事実は塗りつぶし、予定の日付は輪郭のみで示している。

比較表

よくある質問

今すぐrobots.txtを変更すべきか

読んだ出典には、すぐに従うという約束は一切ない。このトークンはGPTBotなどのクローラー別の規則に代わるものではないため、既存のグループは引き続き意味を持つ。これは法的助言ではない。

このシグナルはクロールをブロックするか

ブロックしない。ドラフトの4.4節は、クロール動作に関する指示ではないとしている。クロールを制限するには、クローラー別のグループを使う。

これは標準なのか

まだ標準ではない。IETFの承認を受けていない個人のInternet-Draftで、正式な位置づけはなく、2027年5月3日に失効する。

方法と限界

この記事は、2026年10月31日に読んだIETFドラフト、Bingブログ、SiliconANGLE、OpenAIのボット関連ドキュメントに基づく。報道が引用しているOpenAIの発表ページは403エラーを返し、読めなかった。OpenAIの計画についての記述は、SiliconANGLEと既存のドキュメントによる。Googleの「来年」とOpenAIの「今後数か月以内」も、企業のページではなく報道によるものである。これは法的助言ではない。

出典

• IETF: Machine-Readable Training Preference Signal (draft)（確認日：2026-10-31）
• Microsoft, Bing blog: clearer preferences for training and grounding（確認日：2026-10-31）
• SiliconANGLE: Google, Anthropic and others to support a new AI crawling opt-out standard, October 30, 2026（確認日：2026-10-31）
• OpenAI: bot documentation（確認日：2026-10-31）
• IETF: AI Preferences working group, vocabulary draft（確認日：2026-10-31）

この記事の誤りに気づかれましたか？ 報告する · 訂正ポリシー