Analyse

RoboColosseum: Keine Policy schließt eine Aufgabe auf dem Humanoiden Unitree G1 ab, der Benchmark bietet 10.000 kostenlose Teststunden

Acht Modelle auf vier Robotern getestet; am Humanoiden G1 schaffte keine der fünf VLA-Policies eine Aufgabe. 10.000 Gratisstunden für Labore.

Von Audryk · 6. November 2026

• Modelle
• #RoboColosseum
• #Unitree G1
• #VLA
• #Hugging Face
• #BitRobot Network
• #benchmark
• #GR00T
• #humanoide Roboter

Am 5. November 2026 hat RoboColosseum, eine offene Initiative zur Roboterbewertung von Hugging Face, BitRobot Network, dem Singapore Embodied AI Centre und dem Forscher Jiafei Duan, sein erstes Paper veröffentlicht und Bewerbungen für 10.000 kostenlose Teststunden geöffnet. Eine Präzisierung zur Schlagzeile: Die Studie testete acht Modelle, nicht fünf (fünf Vision-Language-Action-Policies und drei führende KI-Agenten) auf vier Robotertypen. „Keine Policy schließt eine Aufgabe ab“ beschreibt die fünf VLA-Policies auf dem Humanoiden Unitree G1 in der Fine-Tune-Spur.

Das Wesentliche

• Wer getestet wurde: fünf VLA-Policies und drei führende KI-Agenten auf vier Körpern: SO-101, Franka, Bimanual-YAM und dem Humanoiden Unitree G1.
• Das Humanoiden-Ergebnis: Auf dem G1 schloss keine der fünf Policies eine der fünf Aufgaben ab, der durchschnittliche Fortschritt reicht aber von 13,3 % bis 23,2 %; bei weniger als 40 % der Versuche wurde auch nur ein Viertel der Kriterien erfüllt.
• Der breitere Befund: Die Policy-Rangfolgen übertragen sich nicht von einem Roboter auf den anderen (Kendalls W von 0,24).
• Das Angebot: 10.000 kostenlose Teststunden, aufgeteilt auf akademische Labore und Partner, vergeben nach Prüfung jeder Bewerbung durch das RoboColosseum-Team.
• Eine Momentaufnahme: Die Autoren nennen die Studie eine erste Momentaufnahme, keine erschöpfende Bewertung von Roboter-Foundation-Models.

Was wurde getestet?

Der Benchmark hat zwei Spuren. In der offenen Spur werden Modelle ohne aufgabenspezifische Anpassung verglichen, in verblindeten Paarvergleichen unter angeglichenen lokalen Bedingungen: 5.699 Vergleiche an 124 Standorten. In der Fine-Tune-Spur wird jede VLA-Policy an 20 Aufgaben (fünf pro Körper) angepasst, mit denselben 100 Demonstrationen pro Aufgabe, und macht dann 25 Versuche pro Aufgabe; berichtet werden vollständige Erfolge und Meilenstein-Fortschritt. Das Projekt gibt an, Hunderte Roboter in mehr als 140 Szenen zu betreiben.

Was geschah auf dem Humanoiden G1?

Das Paper sagt, keine Policy habe eine der fünf G1-Aufgaben abgeschlossen. Der Teilfortschritt unterschied sich dennoch zwischen den Policies, im Mittel von 13,3 % bis 23,2 %; deshalb plädieren die Autoren für abgestufte Bewertung statt nur Erfolg. Das Scheitern gilt für genau diesen Aufbau: fünf Aufgaben, je 100 Demonstrationen, ein Humanoidenmodell. Es sagt nicht, dass Humanoide diese Aufgaben nicht können, und nicht, dass die Policies auf anderen Robotern scheitern.

Was sagen die Rangfolgen?

Nach dem Fine-Tuning führte GR00T N1.7 auf SO-101, während pi0.5 auf Franka und Bimanual-YAM vorn lag: Der Sieger hängt vom Körper ab. In der offenen Spur hielten führende Agenten ohne Anpassung mit spezialisierten VLA-Policies mit, aber alle Systeme taten sich schwer, Aufgaben in offener Umgebung zuverlässig zu lösen. Die von uns gelesenen Zusammenfassungen nennen die drei führenden Agenten nicht und geben keine Werte pro Agent an.

Was sind die 10.000 Gratisstunden?

Laut Projektseite können sich Teams mit einer Policy für einen der Roboter bewerben; das RoboColosseum-Team prüft jede Bewerbung und meldet sich. Die Stunden werden auf alle akademischen Partner verteilt, nicht jedem Bewerber garantiert. Die Seite nennt Unitree-G1-Humanoide, bimanuale YAM-Stationen, Franka-Arme im DROID-Aufbau und SO-ARM101-Arme. Ein Nachrichtenportal zur Ankündigung berichtet, die Rollout-Daten samt Fehlschlägen würden auf Hugging Face öffentlich. Unitree erklärte öffentlich, das Projekt zu unterstützen, und dass der G1 der primäre humanoide Körper sei.

Was nicht belegt ist

• Wie die Policies mit mehr Demonstrationen, anderen Aufgaben oder einem anderen Humanoiden abschneiden würden.
• Welche drei führenden Agenten getestet wurden und wie sie jeweils abschnitten.
• Ob die Rollout-Daten schon veröffentlicht sind; wir sahen die Ankündigung, nicht den Datensatz.
• Wie Bewerbungen gereiht werden oder wie viele Stunden ein Labor erhält.
• Eine unabhängige Replikation der Ergebnisse.

Übersichtstabelle

FAQ

Haben fünf Modelle an einem Humanoiden versagt?

Fünf VLA-Policies schlossen nach dem Fine-Tuning mit 100 Demonstrationen keine G1-Aufgabe ab; drei weitere Agenten wurden in einer anderen Spur getestet.

Stehen die 10.000 Stunden allen offen?

Sie richten sich an akademische Labore und Partner, nach Prüfung einer Bewerbung.

Zeigt das, dass Humanoide weit vom Nutzen entfernt sind?

Nein: Es ist ein Benchmark mit begrenztem Aufgabensatz und begrenzten Trainingsdaten.

Methode und Grenzen

Quellen geprüft am 6. November 2026. Wir lasen Suchauszüge des Papers (arXiv, Hugging-Face-Seite), der Projektseite, von AI Weekly und von zwei Nachrichtenportalen; das vollständige Paper und den Datensatz lasen wir nicht. Zahlen stammen von den Autoren.

Quellen

• arXiv: RoboColosseum, Evaluating Physical Intelligence at Scale In-The-Wild (geprüft am 2026-11-06)
• Hugging Face papers: RoboColosseum (geprüft am 2026-11-06)
• RoboColosseum-Projektseite (geprüft am 2026-11-06)
• AI Weekly: RoboColosseum, policy rankings don't transfer across robots (geprüft am 2026-11-06)
• TechFlow: RoboColosseum launches robot evaluation program (geprüft am 2026-11-06)
• Unitree auf X: Unterstützung für RoboColosseum (geprüft am 2026-11-06)

Einen Fehler in diesem Artikel entdeckt? Melden Sie ihn · Unsere Korrekturrichtlinie