분석
robots.txt 신호 하나로 AI 학습 거부: OpenAI, Google, Microsoft, Anthropic이 지지하는 것
초안이 AI 학습 거부용 robots.txt 토큰 __usage_ai-training을 제안한다. 범위와 한계, Microsoft 쪽 시작 시점을 정리한다.
2026년 10월 31일 현재 제안은 10월 30일자 IETF 초안에 기술된 __usage_ai-training이라는 robots.txt 그룹이다. SiliconANGLE에 따르면 Google, Microsoft, Anthropic, OpenAI는 이를 토대로 한 향후 표준을 지지한다. 아직 표준은 아니다. 초안은 개인 초안이며 IETF의 승인을 받지 않았고, 이 신호는 크롤러 운영자가 자발적으로 따르는 선호 표시일 뿐이다.
핵심 정리
- 정체: 이름이
__usage_ai-training인 평범한 robots.txt 그룹이다. 새 지시어는 추가되지 않는다. - 범위: 콘텐츠를 AI 학습에 쓰는 것이다. 크롤링, 검색, 그라운딩(grounding)은 통제하지 않는다.
- 현황: 개인 초안이다. Microsoft는 자사 일정(2027년 2월 1일)을 확인했다. 언론에 따르면 Google은 2027년에, OpenAI는 앞으로 몇 달 안에 뒤따른다. Meta는 확약하지 않았다.
- 한계: 선호를 밝힐 뿐이다. 준수는 자발적이며 학습에서의 제외를 보장하는 것은 없다.
이 기업들은 정확히 무엇을 지지하나?
문서는 Anthropic의 Kevin Kelley가 쓴 "Machine-Readable Training Preference Signal"(draft-kelley-aipref-training-preference-signal-00)이다. 2026년 10월 30일자이며 2027년 5월 3일에 만료된다. 표준화 트랙(Standards Track)을 목표로 한 "Individual Internet-Draft"이고, 초안은 IETF의 승인을 받지 않았다고 명시한다(IETF Datatracker).
SiliconANGLE(2026년 10월 30일)에 따르면 Google, Microsoft, Anthropic, OpenAI는 향후 표준을 지지한다. robots.txt 항목 하나로 생성형 모델의 학습 데이터를 수집하는 모든 크롤러를 차단할 수 있게 된다. "exclusively non-generative tasks"만 수행하는 모델에는 적용되지 않는다. Meta는 이 구상에 지지를 표명했지만 확약하지는 않았다(SiliconANGLE).
직접 읽은 1차 출처로 일정이 확인된 곳은 Microsoft뿐이다.
robots.txt에는 어떻게 쓰나?
초안에 실린 예시는 다음과 같다.
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/Disallow는 콘텐츠를 학습에 쓰는 것에 반대하는 선호를, Allow는 찬성하는 선호를 나타낸다. 규칙은 RFC 9309를 따르며 가장 길게 일치하는 규칙이 우선한다. 초안 4.2절은 범용 User-Agent: * 그룹이 이 토큰에는 적용되지 않는다고 밝히므로 그룹을 명시적으로 써야 한다.
의미는 IETF AI Preferences 워킹 그룹의 "AI Training" 정의를 따른다(IETF AI Preferences).
출처: IETF 초안(2026년 10월 30일), Bing 블로그, (확인일: 2026-10-31).
무엇을 다루고 무엇을 다루지 않나?
세 가지를 구분해야 한다. 학습(생성형 모델이 학습한 파라미터를 바꾸는 것), 검색(색인과 순위 매기기), 그라운딩(질문에 답하려고 페이지를 쓰는 것)이다.
초안은 이 토큰이 "not a directive for crawling behavior"라고 밝힌다. 크롤링을 제한하려면 GPTBot 같은 크롤러별 그룹을 쓰라고 안내한다. 개별 계약이 우선할 수 있다(4.5절).
Microsoft도 Bing 블로그에서 같은 선을 긋는다. "AI Training"과 "AI Grounding"을 구분하며, 기존 검색의 색인과 순위 매기기는 그라운딩이 아니다. 학습에는 __usage_ai-training 토큰을 쓰며 기본값은 Allow, 거부는 Disallow다. 그라운딩에는 robots.txt 설정이 없다. meta 태그(name="Bingbot")나 X-Robots-Tag 헤더로 페이지별로 설정하며 ai-grounding:disallow, ai-grounding:disallowextended 같은 값을 쓴다. 두 설정은 서로 독립적이고, 페이지 단위 설정이 robots.txt보다 우선한다(Bing 블로그).
Microsoft는 이 선호가 기존 Bing 결과의 노출 자격을 바꾸지 않으며, Bingbot을 차단하는 robots.txt는 여전히 크롤링을 막는다고 덧붙인다. 설정은 접근이 아니라 사용을 다룬다. 그라운딩을 거부하면 AI 경험에서 브랜드 가시성이 줄어들 수 있다. 포함, 트래픽, 대가를 보장하지 않으며 라이선스를 만들지도 않는다.
OpenAI에 대해 언론은 이 토큰이 기존 통제를 대체하지 않는다고 전한다. OpenAI의 기존 문서에 따르면 GPTBot을 거부하면 콘텐츠를 생성형 파운데이션 모델 학습에 쓰지 말라는 뜻이고, OAI-SearchBot은 검색을 별도로 처리하며, 사용자 요청에 따라 움직이는 ChatGPT-User는 robots.txt를 따르지 않을 수 있다(OpenAI).
이 신호 자체는 법적 효력이 없으며 이는 각 나라의 법에 달려 있다. 이미 사용된 콘텐츠를 지우지도 않는다.
언제부터 효력이 생기나?
Microsoft는 블로그에 따르면 2026년 12월 15일 Bing Webmaster Tools에 임시 그라운딩 설정이 도입되며, 이는 그날 NoArchive나 NoCache를 쓰는 사이트에만 해당한다. 새 학습 및 그라운딩 선호는 2027년 2월 1일부터 크롤링이 이뤄지는 대로 적용되기 시작한다. 2027년 3월 1일부터 NoArchive와 NoCache는 더 이상 학습 또는 그라운딩 선호로 해석되지 않는다. 임시 그라운딩 설정은 2027년 9월 30일에 끝난다.
나머지 기업은 언론의 보도뿐이다. SiliconANGLE에 따르면 Google은 "next year"(2027년), OpenAI는 "in the coming months" 비슷한 통제를 도입할 계획이다. Anthropic의 시행 관련 발표는 읽은 출처에서 찾지 못했으므로 아무 내용도 단정하지 않는다.
출처: IETF 초안, Bing 블로그, SiliconANGLE, (확인일: 2026-10-31). 이미 일어난 사실은 채워서, 예상 날짜는 윤곽선으로 표시했다.
비교표
| 기업 | 2026년 10월 31일 현황 | 일정 | 출처 |
|---|---|---|---|
| Microsoft | __usage_ai-training 토큰과 별도의 그라운딩 설정을 문서화 | 2027년 2월 1일: 선호 적용 시작 | Bing 블로그 |
| 언론에 따르면 향후 표준을 지지 | 언론에 따르면 "내년"(2027년) | SiliconANGLE | |
| OpenAI | 지지. 언론에 따르면 비슷한 통제를 계획하며 기존 통제를 대체하지는 않음 | 언론에 따르면 "앞으로 몇 달 안에" | SiliconANGLE |
| Anthropic | 언론에 따르면 지지. 소속 직원이 초안의 저자 | 시행 관련 발표 없음 | SiliconANGLE, IETF 초안 |
| Meta | 구상에 지지를 표명, 확약 없음 | 없음 | SiliconANGLE |
자주 묻는 질문
지금 robots.txt를 바꿔야 하나?
읽은 출처 중 즉시 준수를 약속하는 것은 없다. 이 토큰은 GPTBot 같은 크롤러별 규칙을 대체하지 않으므로 기존 그룹은 그대로 의미가 있다. 법률 자문이 아니다.
이 신호는 크롤링을 막나?
아니다. 초안 4.4절은 이것이 크롤링 동작에 대한 지시어가 아니라고 밝힌다. 크롤링을 제한하려면 크롤러별 그룹을 쓴다.
표준인가?
아직 아니다. IETF의 승인을 받지 않은 개인 Internet-Draft이며 공식 지위가 없고 2027년 5월 3일에 만료된다.
방법과 한계
이 글은 2026년 10월 31일에 읽은 IETF 초안, Bing 블로그, SiliconANGLE, OpenAI의 봇 문서에 근거한다. 언론이 인용한 OpenAI 발표 페이지는 403 오류를 반환해 읽지 못했다. OpenAI의 계획에 대한 내용은 SiliconANGLE와 기존 문서에서 가져왔다. Google의 "내년"과 OpenAI의 "앞으로 몇 달 안에"도 직접 읽은 기업 페이지가 아니라 언론 보도에서 나왔다. 법률 자문이 아니다.
출처
- IETF: Machine-Readable Training Preference Signal (draft) (확인일: 2026-10-31)
- Microsoft, Bing blog: clearer preferences for training and grounding (확인일: 2026-10-31)
- SiliconANGLE: Google, Anthropic and others to support a new AI crawling opt-out standard, 2026년 10월 30일 (확인일: 2026-10-31)
- OpenAI: bot documentation (확인일: 2026-10-31)
- IETF: AI Preferences working group, vocabulary draft (확인일: 2026-10-31)
