Analisi
RoboColosseum: nessuna policy completa un compito sull'umanoide Unitree G1, e il benchmark offre 10.000 ore di valutazione gratuite
Otto modelli provati su quattro robot; sull'umanoide G1 nessuna delle cinque policy VLA ha finito un compito. 10.000 ore gratuite per i laboratori.
Il 5 novembre 2026 RoboColosseum, iniziativa aperta di valutazione dei robot lanciata da Hugging Face, BitRobot Network, Singapore Embodied AI Centre e dal ricercatore Jiafei Duan, ha pubblicato il primo articolo e aperto le candidature per 10.000 ore di valutazione gratuite. Una precisazione sul titolo: lo studio ha provato otto modelli, non cinque (cinque policy visione-linguaggio-azione e tre agenti di IA di frontiera) su quattro tipi di robot. «Nessuna policy completa un compito» descrive le cinque policy VLA sull'umanoide Unitree G1 nella pista di fine-tuning.
L'essenziale
- Chi è stato provato: cinque policy VLA e tre agenti di IA di frontiera, su quattro corpi: SO-101, Franka, Bimanual-YAM e l'umanoide Unitree G1.
- Il risultato dell'umanoide: sul G1 nessuna delle cinque policy ha completato alcuno dei cinque compiti, ma il progresso medio va dal 13,3% al 23,2%; meno del 40% delle prove ha soddisfatto anche solo un quarto dei criteri.
- Il quadro più ampio: le classifiche delle policy non si trasferiscono da un robot all'altro (W di Kendall 0,24).
- L'offerta: 10.000 ore di valutazione gratuite da dividere tra laboratori accademici e partner, assegnate dopo l'esame di ogni candidatura da parte del team RoboColosseum.
- Un'istantanea: gli autori descrivono lo studio come un'istantanea iniziale, non una valutazione esaustiva dei modelli di base per la robotica.
Che cosa è stato provato?
Il benchmark ha due piste. Nella pista aperta i modelli sono confrontati senza adattamento al compito, in prove a coppie in cieco in condizioni locali equivalenti: 5.699 confronti in 124 siti. Nella pista di fine-tuning ogni policy VLA viene adattata a 20 compiti (cinque per corpo) con le stesse 100 dimostrazioni per compito, poi fa 25 tentativi per compito; si riportano i successi completi e l'avanzamento per tappe. Il progetto dice di gestire centinaia di robot in più di 140 scene.
Che cosa è successo sull'umanoide G1?
L'articolo dice che nessuna policy ha completato alcuno dei cinque compiti del G1. L'avanzamento parziale però differisce tra le policy, dal 13,3% al 23,2% in media, ed è per questo che gli autori sostengono un punteggio graduato e non il solo successo. Il fallimento è specifico di questa configurazione: cinque compiti, 100 dimostrazioni ciascuno, un modello di umanoide. Non dice che gli umanoidi non possano svolgere questi compiti, né che le policy falliscano su altri robot.
Che cosa dicono le classifiche?
Dopo il fine-tuning GR00T N1.7 è in testa su SO-101 mentre pi0.5 è in testa su Franka e Bimanual-YAM: il vincitore dipende dal corpo. Nella pista aperta gli agenti di frontiera senza adattamento reggono il confronto con le policy VLA specializzate, ma tutti i sistemi faticano a completare in modo affidabile compiti in ambienti aperti. I riassunti che abbiamo letto non nominano i tre agenti di frontiera né danno punteggi per agente.
Che cosa sono le 10.000 ore gratuite?
Secondo il sito del progetto, i team con una policy per uno dei suoi robot possono candidarsi; il team RoboColosseum esamina ogni candidatura e dà seguito. Le ore sono condivise tra tutti i partner accademici, non garantite a ogni candidato. Il sito elenca umanoidi Unitree G1, stazioni YAM bimanuali, bracci Franka nella configurazione DROID e bracci SO-ARM101. Un rilancio dell'annuncio dice che i dati delle prove, fallimenti compresi, saranno pubblici su Hugging Face. Unitree ha dichiarato pubblicamente di sostenere il progetto e che il G1 è il corpo umanoide principale.
Che cosa non è accertato
- Come andrebbero le policy con più dimostrazioni, altri compiti o un altro umanoide.
- Quali sono i tre agenti di frontiera provati e il loro punteggio.
- Se i dati delle prove sono già pubblicati; abbiamo visto l'annuncio, non il dataset.
- Come sono ordinate le candidature o quante ore riceverà ciascun laboratorio.
- Una replica indipendente dei risultati.
Tabella riassuntiva
| Punto | Che cosa risulta al 6 novembre 2026 | Fonte |
|---|---|---|
| Modelli | 5 policy VLA + 3 agenti di frontiera | arXiv, Hugging Face |
| Corpi | SO-101, Franka, Bimanual-YAM, Unitree G1 | arXiv |
| Risultato su G1 | Nessun compito completato; avanzamento 13,3%–23,2% | arXiv, AI Weekly |
| Pista aperta | 5.699 confronti, 124 siti | Hugging Face, AI Weekly |
| Trasferimento della classifica | W di Kendall 0,24 | AI Weekly |
| Ore gratuite | 10.000, previo esame della candidatura | Sito RoboColosseum |
FAQ
Cinque modelli hanno fallito su un umanoide?
Cinque policy VLA non hanno completato alcun compito del G1 dopo il fine-tuning su 100 dimostrazioni; altri tre agenti sono stati provati in un'altra pista.
Le 10.000 ore sono aperte a tutti?
Sono rivolte a laboratori accademici e partner, previo esame di una candidatura.
Questo dimostra che gli umanoidi sono lontani dall'essere utili?
No: è un solo benchmark, con un insieme limitato di compiti e dati di addestramento.
Metodo e limiti
Fonti verificate il 6 novembre 2026. Abbiamo letto estratti di ricerca dell'articolo (arXiv, pagina Hugging Face), del sito del progetto, di AI Weekly e di due rilanci di notizie; non abbiamo letto l'articolo completo né il dataset. Le cifre sono degli autori.
Fonti
- arXiv: RoboColosseum, Evaluating Physical Intelligence at Scale In-The-Wild (verificato il 2026-11-06)
- Hugging Face papers: RoboColosseum (verificato il 2026-11-06)
- Sito del progetto RoboColosseum (verificato il 2026-11-06)
- AI Weekly: RoboColosseum, policy rankings don't transfer across robots (verificato il 2026-11-06)
- TechFlow: RoboColosseum launches robot evaluation program (verificato il 2026-11-06)
- Unitree su X: sostegno a RoboColosseum (verificato il 2026-11-06)
Avete notato un errore in questo articolo? Segnalatelo · La nostra politica sulle correzioni
