分析
RoboColosseum、ヒューマノイドUnitree G1ではどのポリシーも課題を完了できず、1万時間の無料評価を提供
4種のロボットで8モデルを評価。ヒューマノイドG1では5つのVLAポリシーのいずれも課題を完了できず。研究室向けに1万時間の無料評価枠。
2026年11月5日、Hugging Face、BitRobot Network、Singapore Embodied AI Centre、研究者Jiafei Duan氏らが立ち上げたオープンなロボット評価の取り組みRoboColosseumが、最初の論文を公開し、1万時間の無料評価枠の申請受付を始めた。見出しについての補足：評価されたのは5つではなく8つのモデル（5つのビジョン・言語・行動（VLA）ポリシーと3つの最先端AIエージェント）で、ロボットは4種類。「どのポリシーも課題を完了できない」は、ファインチューニング部門でヒューマノイドUnitree G1を動かした5つのVLAポリシーの結果を指す。
要点
- 評価対象：5つのVLAポリシーと3つの最先端AIエージェントを、SO-101、Franka、Bimanual-YAM、ヒューマノイドUnitree G1の4種で評価。
- ヒューマノイドの結果：G1では5つのポリシーのいずれも5つの課題のどれも完了できなかったが、平均進捗は13.3%から23.2%の幅があり、基準の4分の1すら満たした試行は40%未満。
- より広い知見：ポリシーの順位はロボットが変わると引き継がれない（ケンドールのWは0.24）。
- 提供内容：学術研究室とパートナーで分け合う1万時間の無料評価。RoboColosseumチームが申請を審査して割り当てる。
- スナップショット：著者は、この研究をロボット基盤モデルの網羅的評価ではなく初期のスナップショットと位置づけている。
何が評価されたのか
ベンチマークには2つの部門がある。オープン部門では、課題固有の適応なしにモデルを、現地条件をそろえた盲検のペア比較で評価する（124拠点で5,699回の比較）。ファインチューニング部門では、各VLAポリシーを課題ごとに同じ100件のデモで20課題（1種のロボットにつき5課題）に適応させ、課題ごとに25回試行して、完全成功とマイルストーン進捗を報告する。プロジェクトは、140以上のシーンで数百台のロボットを運用していると述べている。
ヒューマノイドG1では何が起きたか
論文は、G1の5課題のいずれもどのポリシーも完了しなかったと述べる。それでも部分的な進捗はポリシー間で異なり、平均で13.3%から23.2%だった。著者が成功のみでなく段階的な採点を主張する理由はここにある。この失敗はこの設定に固有のものだ：5課題、各100件のデモ、ヒューマノイド1機種。ヒューマノイドがこれらの課題をできないとか、他のロボットでもポリシーが失敗するとか、そういうことを示すものではない。
順位は何を示すか
ファインチューニング後、SO-101ではGR00T N1.7が首位、FrankaとBimanual-YAMではpi0.5が首位で、勝者は身体によって変わる。オープン部門では、適応なしの最先端エージェントが専門のVLAポリシーに匹敵したが、どのシステムもオープンワールドの課題を確実にこなすのに苦労した。読んだ要約は3つの最先端エージェントの名前もエージェントごとのスコアも示していない。
1万時間の無料枠とは
プロジェクトのサイトによると、同社のロボット向けのポリシーを持つチームは申請でき、RoboColosseumチームが全申請を審査して連絡する。時間は学術パートナー全体で分け合うもので、各申請者に保証されるものではない。サイトは、Unitree G1ヒューマノイド、双腕YAMステーション、DROID構成のFrankaアーム、SO-ARM101アームを挙げている。発表を伝えた報道は、失敗例を含むロールアウトデータをHugging Faceで公開するとしている。Unitreeはプロジェクトを支援すること、G1が主要なヒューマノイド機体であることを公に表明した。
確立されていない点
- デモが増えた場合、別の課題や別のヒューマノイドでポリシーがどうなるか。
- 評価された3つの最先端エージェントが何か、各スコアはいくつか。
- ロールアウトデータがすでに公開されているか。確認したのは発表であり、データセットではない。
- 申請がどう順位づけされるか、各研究室が何時間受け取れるか。
- 結果の独立した再現。
比較表
| 項目 | 2026年11月6日時点で示されている内容 | 出典 |
|---|---|---|
| モデル | VLAポリシー5＋最先端エージェント3 | arXiv、Hugging Face |
| 機体 | SO-101、Franka、Bimanual-YAM、Unitree G1 | arXiv |
| G1の結果 | 完了した課題なし、進捗13.3%〜23.2% | arXiv、AI Weekly |
| オープン部門 | 5,699回の比較、124拠点 | Hugging Face、AI Weekly |
| 順位の引き継ぎ | ケンドールのW 0.24 | AI Weekly |
| 無料時間 | 1万時間、申請審査による | RoboColosseumサイト |
よくある質問
5つのモデルがヒューマノイドで失敗したのか
5つのVLAポリシーが、課題ごと100件のデモでのファインチューニング後にG1の課題を1つも完了できませんでした。ほかの3つのエージェントは別の部門で評価されています。
1万時間は誰でも使えるのか
学術研究室とパートナー向けで、申請の審査があります。
ヒューマノイドが実用からほど遠いという証拠か
いいえ。限られた課題と学習データによる1つのベンチマークの結果です。
方法と限界
2026年11月6日時点の情報です。論文（arXiv、Hugging Faceのページ）、プロジェクトサイト、AI Weekly、ニュース2件は検索結果の抜粋を読みました。論文全文とデータセットは読んでいません。数値は著者によるものです。
出典
- arXiv：RoboColosseum, Evaluating Physical Intelligence at Scale In-The-Wild（確認日：2026-11-06）
- Hugging Face papers：RoboColosseum（確認日：2026-11-06）
- RoboColosseumプロジェクトサイト（確認日：2026-11-06）
- AI Weekly：RoboColosseum, policy rankings don't transfer across robots（確認日：2026-11-06）
- TechFlow：RoboColosseum launches robot evaluation program（確認日：2026-11-06）
- XのUnitree：RoboColosseumへの支援（確認日：2026-11-06）
