OpenAI、Anthropic、Googleという三大AI巨頭のフラッグシップモデルが同じ舞台で決戦するとき、よりロボットをうまく操作できるのはどれか。
10月20日、覓蜂科技、Hugging Face、NVIDIA、清華大学など世界の約20の大学・企業・研究機関が共同で発起した具身角斗场RoboColiseumは今回の評価結果を公表した。Claude Opus 5.5が4つのフラッグシップモデルの中で総合1位となり、GPT-6 Astraがそれに続いた。
項目別に見ると、4つのフラッグシップモデルのうち、GPT-6 Astraは指示追従と全体の撹乱適応でリードし、指示追従のスコアは99.35に達した。Opusは空間理解と汎用操作でより優れた性能を示し、全ラウンド評価で最少のトークン消費によりフラッグシップ組の総合1位を獲得した。画像品質が撹乱されたテストでは、GPT-6.1 Solが他の3モデルに明らかに後れを取り、視覚情報の変化に対する安定性にモデル間で差があることを示した。
しかし今回の総合ランキング上位2位は、依然として具身策略モデルが占め、特に汎用操作の次元で優位を保っている。
この同台の競い合いは、業界が汎用大規模モデルと具身策略モデルの能力上の強みと弱点を直感的に把握するための参考を提供した。
RoboColiseumは指示追従、空間理解、撹乱適応、汎用操作の4つを中心に、4種類の能力サブランキングと78の高忠実度シミュレーション評価タスクを打ち出し、モデルの項目別性能を示すだけでなく、タスク完了の手順と失敗位置も記録し、開発者がモデルの能力上の弱点を迅速に特定できるよう支援する。
共同発起者として、覓蜂はRoboColiseumに高忠実度の物体アセットとシミュレーションシーンを提供し、複雑なロボット操作タスクの評価環境の構築を支援するとともに、異なる物体の相互作用、空間配置、環境条件の下でのモデル能力テストに基礎リソースを提供する。
シミュレーションにおけるモデルの成績が実際の操作性能を反映できるかどうかも、評価の鍵である。プラットフォームが公表した実測結果によると、RoboColiseumのシミュレーション評価と実機展開の相関は89.5%に達し、同一モデルのシミュレーションと実世界での評価差は10%未満であり、開発者が実機テストに入る前のモデル選別と問題特定の参考を提供できる。
覓蜂科技は「網羅的で高品質かつ迅速」なデータ供給体系を提供し、実機、シミュレーション、非 embodied の三大データパラダイムをカバーしている。シミュレーション面では、覓蜂は物体アセットと環境アセットの2種類のリソースを提供し、多様な日用品や屋内シーンをカバーするとともに、シーン再構築、専門家軌跡データの取得、評価結果の可視化などの機能を提供し、モデルチームが多様な訓練と評価を行えるよう支援する。
Coliseumはもともと古代ローマの円形闘技場を指し、RoboColiseumはこれをイメージとして多次元の体系的評価体系を構築し、実機性能と高度に一致するシミュレーション評価により、具身知能モデルに公開・中立・再現可能な「競技場」と「訓練場」を築く。任何の大学、研究機関、企業の開発者も、自分のモデルを提出し、標準化された「試験」を受けることができる。8月のサービス開始以来、国内外の100以上のチームがプラットフォームでモデル訓練と評価を行っている。
RoboColiseumは現在、世界の開発者向けに公開されており、モデルチームの評価参加を歓迎している。
