Analyse

RoboColosseum : aucune politique ne mène une tâche à bien sur l'humanoïde Unitree G1, et le benchmark offre 10 000 heures d'évaluation

Huit modèles testés sur quatre robots ; sur l'humanoïde G1, aucune des cinq politiques VLA n'a fini une tâche. 10 000 heures gratuites pour les labos.

Par Audryk · 6 novembre 2026

• Modèles
• #RoboColosseum
• #Unitree G1
• #VLA
• #Hugging Face
• #BitRobot Network
• #benchmark
• #GR00T
• #robots humanoïdes

Le 5 novembre 2026, RoboColosseum, initiative ouverte d'évaluation de robots lancée par Hugging Face, BitRobot Network, le Singapore Embodied AI Centre et le chercheur Jiafei Duan, a publié son premier article et ouvert les candidatures pour 10 000 heures d'évaluation gratuites. Une précision sur le titre : l'étude a testé huit modèles, pas cinq (cinq politiques vision-langage-action et trois agents d'IA de pointe) sur quatre types de robots. « Aucune politique ne termine une tâche » décrit les cinq politiques VLA sur l'humanoïde Unitree G1 dans la piste de fine-tuning.

L'essentiel

• Qui a été testé : cinq politiques VLA et trois agents d'IA de pointe, sur quatre morphologies : SO-101, Franka, Bimanual-YAM et l'humanoïde Unitree G1.
• Le résultat humanoïde : sur le G1, aucune des cinq politiques n'a terminé l'une des cinq tâches, mais la progression moyenne va de 13,3 % à 23,2 % ; moins de 40 % des essais remplissent même un quart des critères.
• Le constat plus large : le classement des politiques ne se transfère pas d'un robot à l'autre (W de Kendall de 0,24).
• L'offre : 10 000 heures d'évaluation gratuites à partager entre labos académiques et partenaires, attribuées après examen de chaque candidature par l'équipe RoboColosseum.
• Un instantané : les auteurs décrivent l'étude comme un instantané initial, pas une évaluation exhaustive des modèles de fondation en robotique.

Qu'est-ce qui a été testé ?

Le benchmark a deux pistes. Dans la piste ouverte, les modèles sont comparés sans adaptation à la tâche, en essais par paires en aveugle dans des conditions locales équivalentes : 5 699 comparaisons sur 124 sites. Dans la piste de fine-tuning, chaque politique VLA est adaptée à 20 tâches (cinq par morphologie) avec les mêmes 100 démonstrations par tâche, puis tente 25 fois chaque tâche ; les succès complets et la progression par jalons sont rapportés. Le projet dit exploiter des centaines de robots dans plus de 140 scènes.

Que s'est-il passé sur l'humanoïde G1 ?

L'article indique qu'aucune politique n'a terminé aucune des cinq tâches du G1. La progression partielle diffère pourtant entre politiques, de 13,3 % à 23,2 % en moyenne, ce qui explique pourquoi les auteurs défendent une notation graduée plutôt que le seul succès. L'échec est propre à ce dispositif : cinq tâches, 100 démonstrations chacune, un modèle d'humanoïde. Il ne dit pas que les humanoïdes ne peuvent pas faire ces tâches, ni que les politiques échouent sur d'autres robots.

Que disent les classements ?

Après fine-tuning, GR00T N1.7 domine sur SO-101 tandis que pi0.5 domine sur Franka et Bimanual-YAM : le gagnant dépend du corps. Dans la piste ouverte, les agents de pointe sans adaptation rivalisent avec les politiques VLA spécialisées, mais tous les systèmes peinent à terminer de façon fiable des tâches en milieu ouvert. Les résumés lus ne nomment pas les trois agents de pointe et ne donnent pas de scores par agent.

Que sont les 10 000 heures gratuites ?

D'après le site du projet, les équipes disposant d'une politique pour l'un de ses robots peuvent candidater ; l'équipe RoboColosseum examine chaque candidature et revient vers les candidats. Les heures sont partagées entre tous les partenaires académiques, pas garanties à chaque candidat. Le site liste des humanoïdes Unitree G1, des stations YAM bimanuelles, des bras Franka dans le montage DROID et des bras SO-ARM101. Un relais de l'annonce indique que les données de déploiement, échecs compris, seront publiques sur Hugging Face. Unitree a dit publiquement soutenir le projet et que le G1 est la morphologie humanoïde principale.

Ce qui n'est pas établi

• Les résultats des politiques avec plus de démonstrations, d'autres tâches ou un autre humanoïde.
• Quels trois agents de pointe ont été testés et leur score respectif.
• Si les données de déploiement sont déjà publiées ; nous avons vu l'annonce, pas le jeu de données.
• Comment les candidatures sont classées, ou combien d'heures recevra chaque labo.
• Une réplication indépendante des résultats.

Tableau récapitulatif

FAQ

Cinq modèles ont-ils échoué sur un humanoïde ?

Cinq politiques VLA n'ont terminé aucune tâche du G1 après fine-tuning sur 100 démonstrations ; trois autres agents ont été testés dans une autre piste.

Les 10 000 heures sont-elles ouvertes à tous ?

Elles visent les labos académiques et partenaires, après examen d'une candidature.

Cela prouve-t-il que les humanoïdes sont loin d'être utiles ?

Non : c'est un benchmark, avec un jeu de tâches et de données d'entraînement limité.

Méthode et limites

Sources vérifiées le 6 novembre 2026. Nous avons lu des extraits de recherche de l'article (arXiv, page Hugging Face), du site du projet, d'AI Weekly et de deux relais d'actualité ; nous n'avons pas lu l'article complet ni le jeu de données. Les chiffres sont ceux des auteurs.

Sources

• arXiv : RoboColosseum, Evaluating Physical Intelligence at Scale In-The-Wild (vérifié le 2026-11-06)
• Hugging Face papers : RoboColosseum (vérifié le 2026-11-06)
• Site du projet RoboColosseum (vérifié le 2026-11-06)
• AI Weekly : RoboColosseum, policy rankings don't transfer across robots (vérifié le 2026-11-06)
• TechFlow : RoboColosseum launches robot evaluation program (vérifié le 2026-11-06)
• Unitree sur X : soutien à RoboColosseum (vérifié le 2026-11-06)

Une erreur dans cet article ? Signalez-la · Notre politique de corrections