분석
RoboColosseum, 휴머노이드 Unitree G1에서 어떤 정책도 과제를 완수하지 못해… 1만 시간 무료 평가 제공
로봇 4종에서 8개 모델을 평가했고, 휴머노이드 G1에서는 VLA 정책 5개 모두 과제를 완수하지 못했다. 연구실 대상 1만 시간 무료 평가.
2026년 11월 5일, Hugging Face, BitRobot Network, Singapore Embodied AI Centre, 연구자 Jiafei Duan 등이 시작한 개방형 로봇 평가 이니셔티브 RoboColosseum이 첫 논문을 공개하고 1만 시간 무료 평가 신청을 열었다. 제목에 대한 정정: 평가된 모델은 5개가 아니라 8개(비전·언어·행동(VLA) 정책 5개와 최첨단 AI 에이전트 3개)였고, 로봇은 4종이다. "어떤 정책도 과제를 완수하지 못했다"는 미세조정 부문에서 휴머노이드 Unitree G1을 구동한 VLA 정책 5개의 결과를 가리킨다.
핵심 요약
- 평가 대상: VLA 정책 5개와 최첨단 AI 에이전트 3개를 SO-101, Franka, Bimanual-YAM, 휴머노이드 Unitree G1의 4종에서 평가.
- 휴머노이드 결과: G1에서는 5개 정책 모두 5개 과제 중 어느 것도 완수하지 못했지만, 평균 진행률은 13.3%에서 23.2%로 차이가 났고, 기준의 4분의 1이라도 충족한 시도는 40% 미만.
- 더 넓은 발견: 정책 순위는 로봇이 바뀌면 이어지지 않는다(켄들의 W 0.24).
- 제공 내용: 학술 연구실과 파트너가 나눠 쓰는 1만 시간 무료 평가. RoboColosseum 팀이 신청을 심사해 배정.
- 스냅샷: 저자들은 이 연구를 로봇 파운데이션 모델의 포괄적 평가가 아니라 초기 스냅샷이라고 설명한다.
무엇이 평가되었나?
벤치마크에는 두 부문이 있다. 오픈 부문에서는 과제별 적응 없이 모델을 현지 조건을 맞춘 블라인드 쌍대 비교로 평가한다(124개 장소에서 5,699회 비교). 미세조정 부문에서는 각 VLA 정책을 과제당 같은 100개의 시연으로 20개 과제(로봇당 5개)에 적응시킨 뒤 과제당 25회 시도하며, 완전 성공과 단계별 진행률을 보고한다. 프로젝트는 140개 이상의 장면에서 수백 대의 로봇을 운영한다고 밝힌다.
휴머노이드 G1에서는 무슨 일이 있었나?
논문은 G1의 5개 과제 중 어느 것도 어떤 정책도 완수하지 못했다고 말한다. 그래도 부분 진행률은 정책마다 평균 13.3%에서 23.2%로 달랐고, 저자들이 성공 여부만이 아닌 단계별 채점을 주장하는 이유가 여기에 있다. 이 실패는 이 설정에 한정된다: 과제 5개, 각 100개 시연, 휴머노이드 1종. 휴머노이드가 이런 과제를 할 수 없다거나 다른 로봇에서도 정책이 실패한다는 뜻은 아니다.
순위는 무엇을 말하나?
미세조정 후 SO-101에서는 GR00T N1.7이, Franka와 Bimanual-YAM에서는 pi0.5가 앞서, 승자는 로봇 몸체에 따라 달라진다. 오픈 부문에서는 적응 없는 최첨단 에이전트가 전문 VLA 정책에 맞먹었지만, 모든 시스템이 개방 환경 과제를 안정적으로 해내는 데 어려움을 겪었다. 우리가 읽은 요약은 최첨단 에이전트 3개의 이름도 에이전트별 점수도 밝히지 않는다.
1만 시간 무료 평가란?
프로젝트 사이트에 따르면, 자사 로봇용 정책이 있는 팀은 신청할 수 있고, RoboColosseum 팀이 모든 신청을 검토해 연락한다. 시간은 학술 파트너 전체가 나눠 쓰는 것이며 신청자마다 보장되지 않는다. 사이트는 Unitree G1 휴머노이드, 양팔 YAM 스테이션, DROID 구성의 Franka 팔, SO-ARM101 팔을 열거한다. 발표를 전한 매체는 실패 사례를 포함한 롤아웃 데이터를 Hugging Face에 공개한다고 전한다. Unitree는 프로젝트를 지원하며 G1이 주된 휴머노이드 기체라고 공개적으로 밝혔다.
확립되지 않은 점
- 시연이 더 많거나 다른 과제, 다른 휴머노이드일 때 정책이 어떻게 될지.
- 평가된 최첨단 에이전트 3개가 무엇이며 각 점수는 얼마인지.
- 롤아웃 데이터가 이미 공개되었는지. 우리가 본 것은 발표이지 데이터셋이 아니다.
- 신청이 어떻게 순위 매겨지는지, 연구실마다 몇 시간을 받는지.
- 결과의 독립적 재현.
비교 표
| 항목 | 2026년 11월 6일 기준 공표 내용 | 출처 |
|---|---|---|
| 모델 | VLA 정책 5개 + 최첨단 에이전트 3개 | arXiv, Hugging Face |
| 기체 | SO-101, Franka, Bimanual-YAM, Unitree G1 | arXiv |
| G1 결과 | 완수한 과제 없음, 진행률 13.3%~23.2% | arXiv, AI Weekly |
| 오픈 부문 | 5,699회 비교, 124개 장소 | Hugging Face, AI Weekly |
| 순위 이전 | 켄들의 W 0.24 | AI Weekly |
| 무료 시간 | 1만 시간, 신청 심사 | RoboColosseum 사이트 |
자주 묻는 질문
모델 5개가 휴머노이드에서 실패했나?
VLA 정책 5개가 과제당 100개 시연으로 미세조정한 뒤 G1 과제를 하나도 완수하지 못했습니다. 다른 에이전트 3개는 다른 부문에서 평가되었습니다.
1만 시간은 누구에게나 열려 있나?
학술 연구실과 파트너 대상이며 신청 심사를 거칩니다.
휴머노이드가 쓸모 있기까지 멀었다는 증거인가?
아닙니다. 제한된 과제와 학습 데이터로 한 벤치마크의 결과입니다.
방법과 한계
2026년 11월 6일 기준 정보입니다. 논문(arXiv, Hugging Face 페이지), 프로젝트 사이트, AI Weekly, 뉴스 2건은 검색 결과 발췌를 읽었습니다. 논문 전문과 데이터셋은 읽지 않았습니다. 수치는 저자들의 것입니다.
출처
- arXiv: RoboColosseum, Evaluating Physical Intelligence at Scale In-The-Wild (확인일: 2026-11-06)
- Hugging Face papers: RoboColosseum (확인일: 2026-11-06)
- RoboColosseum 프로젝트 사이트 (확인일: 2026-11-06)
- AI Weekly: RoboColosseum, policy rankings don't transfer across robots (확인일: 2026-11-06)
- TechFlow: RoboColosseum launches robot evaluation program (확인일: 2026-11-06)
- X의 Unitree: RoboColosseum 지원 (확인일: 2026-11-06)
