분석
METR, Anthropic 모델 개선 속도가 2024~2025년의 약 2배라고 추정… 가속의 약 80%는 AI 활용 덕분
METR은 Anthropic 모델이 명확한 과제에서 2024~2025년의 약 2배 속도로 개선된다고 추정하고 가속의 약 80%를 AI 활용 덕으로 봤다. 불확실성이 크다.
2026년 11월 5일 비영리 평가 기관 METR은 Anthropic의 AI 연구개발 가속에 대한 평가를 발표했다. 추정에 따르면 2026년 10월 현재 Anthropic은 명확히 정의된 과제에서 모델을 2024년 3월부터 2025년 10월 사이의 약 2배 속도로 개선하고 있다. METR의 주관적 견해는 현재 가속의 "아마도" 80%가 AI 활용에서 나온다는 것이다. METR 스스로 이 수치가 매우 불확실하다고 하고, 팀이 합의에 이르지 못했으며, 가장 유익하다고 본 증거의 대부분을 Anthropic이 가렸다고 밝혔다.
핵심 요약
- 추정치: 약 2배. 벤치마크 기반 주된 수치는 1.9배이고 95% 구간은 1.5~2.8배다. METR은 1.3배나 3배여도 놀랍지 않다고 했다.
- 80%: 현재 가속의 "아마도" 80%라는 주관적 판단으로, METR은 매우 불확실하다고 본다. 진전의 80%도, 80% 확신도 아니다.
- 측정 대상: Anthropic 자체의 AECI. 자동 채점 가능한 여러 벤치마크로 만든 종합 지표다.
- 유보 사항: 제한된 접근, 가려진 증거, 팀 내 의견 불일치, 실제 가속을 과장할 수 있는 벤치마크.
METR은 실제로 무엇을 측정했나?
8월부터 METR 팀은 Anthropic 내부 정보를 활용해 약 11주간 평가했다(AlphaSignal). 주된 정량 증거는 AECI로, Epoch Capabilities Index의 Anthropic 버전이며 여러 벤치마크 결과에 종합 점수를 맞춘다. AECI는 정답을 확인할 수 있는 수학, 소프트웨어 공학, 과학, 멀티모달, 언어 과제를 다룬다. METR은 깔끔하고 검증 가능한 과제에 치우친 점이 실제 가속을 과장할 수 있다고 지적한다.
"80%가 AI 덕분"은 얼마나 믿을 만한가?
METR의 주관적 견해이며 팀도 매우 불확실하다고 본다. METR은 2025년 말 가속의 일부는 AI 외 요인이었을 가능성이 높고, 2025년 10월 이후 누적 AI 기여분은 현재의 순간 기여분보다 낮을 것이라고도 말한다. 인터뷰와 설문은 AI 주도의 두 배 가속과 부합하지만, 2026년 10월 약 12배에 이른 직원 자체 보고 향상은 매우 느슨한 증거로 설명된다.
무엇이 확립되지 않았나?
METR은 훈련 단계별 AI의 정확한 기여는 추정치가 가려져 확립하지 못했다고 말한다. 성장이 더 가속하는지, AECI가 실제 연구개발 진전을 안정적으로 추적하는지, 향후 12개월 동안 병목이 없을지도 확립되지 않았다. 가장 중요한 훈련 작업에 대한 완전 자율 AI의 기여는 아직 크지 않지만 "조짐"은 봤다고 덧붙인다.
비교 표
| 항목 | 2026년 11월 5일 기준 METR의 설명 | 출처 |
|---|---|---|
| 가속 | 명확한 과제에서 2024년 3월~2025년 10월 대비 약 2배 | METR |
| 벤치마크 추정 | 1.9배, 95% 구간 1.5~2.8배 | METR |
| AI 기인 비중 | "아마도" 80%, 매우 불확실 | METR |
| 사용 지표 | Anthropic의 AECI(벤치마크 종합 지표) | METR |
| 증거 | 핵심 증거 대부분을 Anthropic이 가림 | METR |
| 팀 견해 | METR 내 합의 없음 | METR |
자주 묻는 질문
Claude 모델의 능력이 두 배라는 뜻인가?
아니다. 명확히 정의되고 벤치마크로 측정 가능한 과제에서의 개선 속도이지 능력 수준이 아니며, 실제 업무에 그대로 적용되지 않을 수도 있다.
80%는 측정된 결과인가?
아니다. METR은 주관적이고 매우 불확실한 판단이라고 말한다.
방법과 한계
출처는 2026년 11월 5일 기준이다. METR이 발표한 평가는 페이지 요약을 통해서만 읽었고, 맥락을 위해 The Information, Runtimewire, AlphaSignal을 인용했다. Anthropic이 대부분 가린 기반 데이터는 검토하지 않았다. 우리는 아무것도 직접 검증하지 않았다.
출처
- METR: Independent assessment of AI R&D acceleration at Anthropic in October 2026 (확인일: 2026-11-05)
- The Information: Anthropic's R&D speed may have doubled due to AI, researchers find (확인일: 2026-11-05)
- Runtimewire: METR says Anthropic's AI capability growth rate has roughly doubled (확인일: 2026-11-05)
- AlphaSignal: METR finds Anthropic's AI-assisted R&D moving twice as fast (확인일: 2026-11-05)
