분석
METR: Anthropic이 AI가 자사 연구를 약 2배로 가속한다는 평가에서 METR이 가장 유익하다고 본 증거의 대부분을 가렸다
METR의 11월 5일 보고서: Anthropic의 모델 개선은 약 2배 빠르고 주로 AI 덕분이지만, Anthropic이 가장 유익한 증거의 대부분을 가렸다.
2026년 11월 5일 평가 단체 METR은 Anthropic의 AI 연구개발 가속에 대한 평가를 공개했다. 결론은 Anthropic이 명확히 정의된 과제에서 모델을 2024년 3월~2025년 10월의 약 2배 속도로 개선하고 있을 가능성이 높으며, 가속의 대부분이 AI 활용에서 온다는 것이다. METR은 또 자신들이 가장 유익하다고 본 증거의 대부분을 Anthropic이 가렸다고 밝혔다. 공개: Anthropic은 Claude를 만들며, Claude는 이 사이트의 기사 작성을 돕는다. METR의 글은 검색 발췌와 언론 전달로만 읽었다.
핵심 요약
- 가림의 범위: METR이 가장 유익하다고 본 증거의 대부분이지, 전체 증거의 대부분이 아니다. 삭제된 것으로는 단계별 가속 추정, 병목 분석, 향후 모델 전망, 벤치마크 이름 등이 보도된다.
- 결정한 주체: Anthropic은 METR과의 합의에 따라 가림(편집) 권한을 가졌다. Anthropic이 밝힌 이유는 상업적으로 민감하고 다른 AI 개발자에게 도움이 될 수 있다는 것.
- 결론은 METR의 판단: 명확히 정의된 과제에서 약 2배, 불확실성 큼(1.3~3배 가능). METR은 가속의 과반, 아마 약 80%가 AI 때문이라고 추측한다.
- 이후: Anthropic이 몇 주 안에 자체 보고서를 낼 계획이라고 전해진다.
증거가 검열됐나
이 표현은 부분적으로만 맞는다. 읽은 보도에 따르면 Anthropic은 일방적인 가림 권한을 크게 행사했지만 METR의 결론은 통제하지 못했다. METR은 공개판이 자체 투명성 기준에 미달하므로 독자가 평소보다 METR의 판단에 더 의존해야 한다고 말한다. Anthropic 공동 창업자 Sam McCandlish는 X에서 삭제가 타인의 검증을 어렵게 한다고 인정하면서도 상업적 민감성을 이유로 옹호했다고 전해진다.
약 2배는 무엇을 뜻하나
METR은 명확히 정의된 과제에서의 역량 향상 속도를 2024년 3월~2025년 10월의 약 2배로 추정한다. 2025년 10월에 변곡점을 둔 추세 적합은 1.9배(95% 구간 1.5~2.8배)를 낸다고 언론이 전한다. 직원 자기 보고는 훨씬 높아 최대 12배지만 METR은 느슨한 증거라 하며, 개인의 속도 향상이 연구소 전체의 가속과 같지 않다고 지적한다. METR은 또 2배 기준선을 넘지 않았다는 Anthropic의 주장이 과장됐다고 본다. Anthropic의 8월 위험 보고서는 7월 15일까지 2배 미만이라고 했다.
확립되지 않은 점
- 가려진 증거의 내용: 단계별 추정, 병목 분석, 전망은 외부에서 검증할 수 없다.
- Anthropic의 자체 보고서가 더 많은 것을 공개할지, 같은 수치에 이를지.
- 가속이 계속 누적될지: METR은 12개월간 큰 병목을 보지 못했지만 확신은 없고 견해가 여러 번 바뀌었다고 말한다.
- 어떤 독립 재현이 가능한지: 보고된 사례는 없다.
비교 표
| 항목 | 2026년 11월 6일 기준 공표 내용 | 출처 |
|---|---|---|
| 핵심 추정 | 명확히 정의된 과제에서 2024년 3월~2025년 10월의 약 2배, 1.3~3배 가능 | METR(Tech Times, DEV Community 경유) |
| AI에 기인한 비중 | 과반, 아마 약 80%(METR의 추측) | FourWeekMBA, METR 발췌 |
| 가림 | METR이 가장 유익하다고 본 증거의 대부분 | AlphaSignal, DEV Community |
| 제시된 이유 | 상업적으로 민감, 다른 개발자에게 도움 될 수 있음 | FourWeekMBA, AlphaSignal |
| 직원 자기 보고 | 최대 12배, METR은 느슨한 증거로 평가 | FourWeekMBA |
| Anthropic의 후속 조치 | 몇 주 안에 자체 보고서 예정 | FourWeekMBA |
자주 묻는 질문
METR은 AI가 혼자 Anthropic의 모델을 훈련한다고 말하나
아니다. 보도는 AI 지원 작업이며 완전 자율적 기여는 초기 징후에 그친다고 전한다.
Anthropic은 2배를 인정하나
읽은 자료에서는 아니다. 8월 위험 보고서는 7월 15일까지 2배 미만이라 했고, METR은 그 주장을 과장으로 본다.
수치를 검증할 수 있나
부분적으로만 가능하다. 주요 수치는 공개됐지만 뒷받침하는 증거의 상당 부분이 가려져 있다.
방법과 한계
출처는 2026년 11월 6일에 확인했다. METR의 글은 검색 발췌로만 보았고 전문은 읽지 못했으며, 다른 수치는 언론 전달을 통해 확인해 표현이 조금씩 다르다. Anthropic의 자체 보고서와 가림 없는 METR 보고서는 읽지 못했다. 투자나 보안에 관한 조언이 아니다.
출처
- METR: Independent Assessment of AI R&D Acceleration at Anthropic in October 2026 (확인일: 2026-11-06)
- Tech Times: Anthropic AI Acceleration Hits 1.9x on Benchmarks; METR Calls Anthropic Threshold Defense Overstated (확인일: 2026-11-06)
- DEV Community: METR: Anthropic's Pace Roughly Doubled, Mostly From AI. Most Key Evidence Is Redacted (확인일: 2026-11-06)
- FourWeekMBA: METR: Anthropic Likely Improving Models at 2x Its Old Rate (확인일: 2026-11-06)
- Resultsense: METR finds AI is roughly doubling Anthropic's R&D pace (확인일: 2026-11-06)
- AlphaSignal: METR Finds Anthropic's AI-Assisted R&D Moving Twice as Fast (확인일: 2026-11-06)
