Принцип работы бенчмарка
WorldOracle сравнивает сгенерированное моделью видео с реальным записью выполнения задачи. Обе последовательности начинаются с одного и того же кадра и следуют идентичной серии команд. Это позволяет точно оценить, насколько корректно нейросеть предсказывает физическое взаимодействие.
Платформа открыта для разработчиков с 16 октября. Она принимает как открытые, так и закрытые модели. Разработчики загружают начальные кадры и последовательности действий, а система автоматически сравнивает результат с эталонной записью.
Точность предсказания движений
Тестирование семи моделей, включая DreamDojo, Cosmos 3, IRASim и GE-Sim 2.0, показало систематическую ошибку. Траектории движения манипуляторов роботов предсказываются достаточно точно, но положение и перемещение захваченных объектов часто отклоняются от реальности.
Например, модель может корректно показать, как рука робота закрывает захват, но ошибочно предсказать, что объект был успешно поднят. В одном из кейсов робот промахнулся, но модель сгенерировала сценарий успешного захвата. Разрыв в точности между предсказанием движения руки и объекта достигает критических значений: у IRASim оценка за манипулятор составила 78.8, а за объект — лишь 29.1.
Деградация точности во времени
Вторая проблема связана с длиной горизонта предсказания. При выполнении сложных задач, требующих нескольких захватов и перемещений, ошибки накапливаются. Состояние объекта после одного действия становится начальным условием для следующего, что усложняет прогноз.
Оценка WorldOracle-SV демонстрирует падение качества при переходе от первых 30 секунд к полному циклу операции. DreamDojo снизил балл с 50.56 до 27.08, Cosmos 3 — с 53.99 до 26.60. Модель GE-Sim 2.0 показала наибольшую устойчивость, сохранив наивысший балл (63.33) на длинных последовательностях.
Оценка провалов и разнообразие задач
Важной особенностью бенчмарка является учет неудачных действий. Если в реальности робот уронил предмет или промахнулся, точное предсказание этого сбоя считается верным ответом. Это выявляет модели, которые склонны генерировать «идеальный» сценарий, игнорируя реальные физические ограничения.
Тестовый набор включает данные с роботов AgiBot G2 и YAM, а также манипуляции человеческой рукой. Задачи охватывают работу с твердыми, деформируемыми, жидкими и шарнирными объектами: сбор фруктов, вешание полотенца, налив воды и открытие ящика. Для моделей, работающих с эгоцентрическими данными, тест проводится в режиме zero-shot без дополнительной адаптации.
