Análise
RoboColosseum: nenhuma política conclui uma tarefa no humanoide Unitree G1, e o benchmark oferece 10.000 horas de avaliação grátis
Oito modelos testados em quatro robôs; no humanoide G1, nenhuma das cinco políticas VLA terminou uma tarefa. 10.000 horas grátis para laboratórios.
Em 5 de novembro de 2026, o RoboColosseum, iniciativa aberta de avaliação de robôs lançada por Hugging Face, BitRobot Network, Singapore Embodied AI Centre e o pesquisador Jiafei Duan, publicou seu primeiro artigo e abriu inscrições para 10.000 horas de avaliação gratuitas. Uma precisão sobre a manchete: o estudo testou oito modelos, não cinco (cinco políticas visão-linguagem-ação e três agentes de IA de ponta) em quatro tipos de robô. «Nenhuma política conclui uma tarefa» descreve as cinco políticas VLA no humanoide Unitree G1 na trilha de ajuste fino.
O essencial
- Quem foi testado: cinco políticas VLA e três agentes de IA de ponta, em quatro corpos: SO-101, Franka, Bimanual-YAM e o humanoide Unitree G1.
- O resultado do humanoide: no G1, nenhuma das cinco políticas concluiu qualquer das cinco tarefas, mas o progresso médio vai de 13,3% a 23,2%; menos de 40% das tentativas cumpriram sequer um quarto dos critérios.
- O achado mais amplo: os rankings de políticas não se transferem de um robô para outro (W de Kendall de 0,24).
- A oferta: 10.000 horas de avaliação gratuitas divididas entre laboratórios acadêmicos e parceiros, alocadas depois que a equipe do RoboColosseum analisa cada inscrição.
- Um retrato: os autores descrevem o estudo como um retrato inicial, não uma avaliação exaustiva dos modelos de base para robótica.
O que foi testado?
O benchmark tem duas trilhas. Na trilha aberta, os modelos são comparados sem adaptação à tarefa, em testes pareados às cegas sob condições locais equivalentes: 5.699 comparações em 124 locais. Na trilha de ajuste fino, cada política VLA é adaptada a 20 tarefas (cinco por corpo) com as mesmas 100 demonstrações por tarefa e depois faz 25 tentativas por tarefa; relatam-se os sucessos completos e o progresso por marcos. O projeto diz operar centenas de robôs em mais de 140 cenas.
O que aconteceu no humanoide G1?
O artigo diz que nenhuma política concluiu qualquer das cinco tarefas do G1. Ainda assim, o progresso parcial diferiu entre políticas, de 13,3% a 23,2% em média, e é por isso que os autores defendem pontuação graduada e não só o sucesso. A falha é específica deste arranjo: cinco tarefas, 100 demonstrações cada, um modelo de humanoide. Não diz que humanoides não conseguem fazer essas tarefas, nem que as políticas falham em outros robôs.
O que dizem os rankings?
Após o ajuste fino, o GR00T N1.7 liderou no SO-101 enquanto o pi0.5 liderou no Franka e no Bimanual-YAM: o vencedor depende do corpo. Na trilha aberta, agentes de ponta sem adaptação rivalizaram com políticas VLA especializadas, mas todos os sistemas tiveram dificuldade para concluir com confiabilidade tarefas em ambiente aberto. Os resumos que lemos não nomeiam os três agentes de ponta nem dão pontuações por agente.
O que são as 10.000 horas grátis?
Segundo o site do projeto, equipes com uma política para um de seus robôs podem se inscrever; a equipe do RoboColosseum analisa cada inscrição e retorna o contato. As horas são compartilhadas entre todos os parceiros acadêmicos, não garantidas a cada candidato. O site lista humanoides Unitree G1, estações YAM bimanuais, braços Franka na configuração DROID e braços SO-ARM101. Um veículo que retransmite o anúncio diz que os dados dos testes, incluindo falhas, serão públicos no Hugging Face. A Unitree disse publicamente que apoia o projeto e que o G1 é o corpo humanoide principal.
O que não está estabelecido
- Como as políticas se sairiam com mais demonstrações, outras tarefas ou outro humanoide.
- Quais são os três agentes de ponta testados e a pontuação de cada um.
- Se os dados dos testes já foram publicados; vimos o anúncio, não o conjunto de dados.
- Como as inscrições são ordenadas ou quantas horas cada laboratório receberá.
- Uma replicação independente dos resultados.
Tabela-resumo
| Ponto | O que está declarado em 6 de novembro de 2026 | Fonte |
|---|---|---|
| Modelos | 5 políticas VLA + 3 agentes de ponta | arXiv, Hugging Face |
| Corpos | SO-101, Franka, Bimanual-YAM, Unitree G1 | arXiv |
| Resultado no G1 | Nenhuma tarefa concluída; progresso 13,3%–23,2% | arXiv, AI Weekly |
| Trilha aberta | 5.699 comparações, 124 locais | Hugging Face, AI Weekly |
| Transferência do ranking | W de Kendall 0,24 | AI Weekly |
| Horas grátis | 10.000, mediante análise de inscrição | Site do RoboColosseum |
Perguntas frequentes
Cinco modelos falharam em um humanoide?
Cinco políticas VLA não concluíram nenhuma tarefa do G1 após ajuste fino com 100 demonstrações; outros três agentes foram testados em outra trilha.
As 10.000 horas estão abertas a todos?
Destinam-se a laboratórios acadêmicos e parceiros, mediante análise de uma inscrição.
Isso prova que os humanoides estão longe de ser úteis?
Não: é um único benchmark, com um conjunto limitado de tarefas e dados de treinamento.
Método e limites
Fontes verificadas em 6 de novembro de 2026. Lemos trechos de busca do artigo (arXiv, página do Hugging Face), do site do projeto, da AI Weekly e de dois veículos que retransmitem a notícia; não lemos o artigo completo nem o conjunto de dados. Os números são dos autores.
Fontes
- arXiv: RoboColosseum, Evaluating Physical Intelligence at Scale In-The-Wild (verificado em 2026-11-06)
- Hugging Face papers: RoboColosseum (verificado em 2026-11-06)
- Site do projeto RoboColosseum (verificado em 2026-11-06)
- AI Weekly: RoboColosseum, policy rankings don't transfer across robots (verificado em 2026-11-06)
- TechFlow: RoboColosseum launches robot evaluation program (verificado em 2026-11-06)
- Unitree no X: apoio ao RoboColosseum (verificado em 2026-11-06)
Encontrou um erro neste artigo? Avise-nos · Nossa política de correções
