Análisis
RoboColosseum: ninguna política completa una tarea en el humanoide Unitree G1, y el benchmark ofrece 10.000 horas de evaluación gratis
Ocho modelos probados en cuatro robots; en el humanoide G1 ninguna de las cinco políticas VLA terminó una tarea. 10.000 horas gratis para laboratorios.
- Modelos
- #RoboColosseum
- #Unitree G1
- #VLA
- #Hugging Face
- #BitRobot Network
- #benchmark
- #GR00T
- #robots humanoides
El 5 de noviembre de 2026, RoboColosseum, una iniciativa abierta de evaluación de robots lanzada por Hugging Face, BitRobot Network, el Singapore Embodied AI Centre y el investigador Jiafei Duan, publicó su primer artículo y abrió las solicitudes para 10.000 horas de evaluación gratuitas. Una precisión sobre el titular: el estudio probó ocho modelos, no cinco (cinco políticas visión-lenguaje-acción y tres agentes de IA de frontera) en cuatro tipos de robot. «Ninguna política completa una tarea» describe las cinco políticas VLA en el humanoide Unitree G1 en la pista de ajuste fino.
Lo esencial
- Quién se probó: cinco políticas VLA y tres agentes de IA de frontera, en cuatro cuerpos: SO-101, Franka, Bimanual-YAM y el humanoide Unitree G1.
- El resultado del humanoide: en el G1, ninguna de las cinco políticas completó ninguna de las cinco tareas, aunque el progreso medio va del 13,3 % al 23,2 %; menos del 40 % de los intentos cumplieron siquiera una cuarta parte de los criterios.
- El hallazgo general: los rankings de políticas no se transfieren de un robot a otro (W de Kendall de 0,24).
- La oferta: 10.000 horas de evaluación gratuitas compartidas entre laboratorios académicos y socios, asignadas tras la revisión de cada solicitud por el equipo de RoboColosseum.
- Una instantánea: los autores describen el estudio como una instantánea inicial, no una evaluación exhaustiva de los modelos fundacionales de robótica.
¿Qué se probó?
El benchmark tiene dos pistas. En la pista abierta, los modelos se comparan sin adaptación a la tarea, en pruebas por pares a ciegas bajo condiciones locales equivalentes: 5.699 comparaciones en 124 sitios. En la pista de ajuste fino, cada política VLA se adapta a 20 tareas (cinco por cuerpo) con las mismas 100 demostraciones por tarea y luego hace 25 intentos por tarea; se informan los éxitos completos y el progreso por hitos. El proyecto dice operar cientos de robots en más de 140 escenas.
¿Qué pasó con el humanoide G1?
El artículo dice que ninguna política completó ninguna de las cinco tareas del G1. Aun así, el progreso parcial difirió entre políticas, del 13,3 % al 23,2 % de media, y por eso los autores defienden una puntuación graduada y no solo el éxito. El fallo es específico de este montaje: cinco tareas, 100 demostraciones cada una, un modelo de humanoide. No dice que los humanoides no puedan hacer esas tareas ni que las políticas fallen en otros robots.
¿Qué dicen los rankings?
Tras el ajuste fino, GR00T N1.7 lideró en SO-101 mientras pi0.5 lideró en Franka y Bimanual-YAM: el ganador depende del cuerpo. En la pista abierta, los agentes de frontera sin adaptación igualaron a las políticas VLA especializadas, pero todos los sistemas tuvieron dificultades para terminar de forma fiable tareas en entornos abiertos. Los resúmenes que leímos no nombran a los tres agentes de frontera ni dan puntuaciones por agente.
¿Qué son las 10.000 horas gratis?
Según el sitio del proyecto, los equipos con una política para uno de sus robots pueden solicitarlas; el equipo de RoboColosseum revisa cada solicitud y responde. Las horas se reparten entre todos los socios académicos, no están garantizadas a cada solicitante. El sitio enumera humanoides Unitree G1, estaciones YAM bimanuales, brazos Franka en el montaje DROID y brazos SO-ARM101. Un medio que retransmite el anuncio dice que los datos de las pruebas, incluidos los fallos, serán públicos en Hugging Face. Unitree dijo públicamente que apoya el proyecto y que el G1 es el cuerpo humanoide principal.
Lo que no está establecido
- Cómo rendirían las políticas con más demostraciones, otras tareas u otro humanoide.
- Cuáles son los tres agentes de frontera probados y su puntuación.
- Si los datos de las pruebas ya están publicados; vimos el anuncio, no el conjunto de datos.
- Cómo se ordenan las solicitudes o cuántas horas recibirá cada laboratorio.
- Una replicación independiente de los resultados.
Tabla resumen
| Punto | Lo que se afirma a 6 de noviembre de 2026 | Fuente |
|---|---|---|
| Modelos | 5 políticas VLA + 3 agentes de frontera | arXiv, Hugging Face |
| Cuerpos | SO-101, Franka, Bimanual-YAM, Unitree G1 | arXiv |
| Resultado en G1 | Ninguna tarea completada; progreso 13,3 %–23,2 % | arXiv, AI Weekly |
| Pista abierta | 5.699 comparaciones, 124 sitios | Hugging Face, AI Weekly |
| Transferencia del ranking | W de Kendall 0,24 | AI Weekly |
| Horas gratis | 10.000, previa revisión de solicitud | Sitio de RoboColosseum |
Preguntas frecuentes
¿Fallaron cinco modelos en un humanoide?
Cinco políticas VLA no completaron ninguna tarea del G1 tras el ajuste fino con 100 demostraciones; otros tres agentes se probaron en una pista distinta.
¿Están abiertas a todos las 10.000 horas?
Se dirigen a laboratorios académicos y socios, previa revisión de una solicitud.
¿Demuestra esto que los humanoides están lejos de ser útiles?
No: es un solo benchmark, con un conjunto limitado de tareas y datos de entrenamiento.
Método y límites
Fuentes verificadas el 6 de noviembre de 2026. Leímos extractos de búsqueda del artículo (arXiv, página de Hugging Face), del sitio del proyecto, de AI Weekly y de dos medios que lo retransmiten; no leímos el artículo completo ni el conjunto de datos. Las cifras son de los autores.
Fuentes
- arXiv: RoboColosseum, Evaluating Physical Intelligence at Scale In-The-Wild (verificado el 2026-11-06)
- Hugging Face papers: RoboColosseum (verificado el 2026-11-06)
- Sitio del proyecto RoboColosseum (verificado el 2026-11-06)
- AI Weekly: RoboColosseum, policy rankings don't transfer across robots (verificado el 2026-11-06)
- TechFlow: RoboColosseum launches robot evaluation program (verificado el 2026-11-06)
- Unitree en X: apoyo a RoboColosseum (verificado el 2026-11-06)
¿Ha detectado un error en este artículo? Comuníquenoslo · Nuestra política de correcciones
