NVIDIA Cosmos 3 отримала чотири відкриті чекпойнти на базі Cosmos 3 Nano з 16B параметрів: два для симуляції водіння, один для рендеру з фізичного симулятора і один для дворуких роботів. Про це йдеться за даними Hugging Face.
Для білдера важливий розподіл ролей. Sim-Transfer лишає фізику й істинний стан симулятору та лише генерує RGB-спостереження. Для власного набору камер і LiDAR Transfer-Auto доведеться адаптувати, а для замкненого циклу потрібні ще симуляційний рантайм і WSM-рендерер.
Що саме випустила NVIDIA?
Cosmos3-Nano-Transfer-Auto, Sim-Auto, Sim-Transfer і Sim-Bimanual є post-trained прикладами Cosmos 3 Nano, і всі чотири мають ліцензію OpenMDW1.1, яка дозволяє комерційне й некомерційне використання на її умовах. Сама Cosmos 3, за даними NVIDIA, доступна на build.nvidia.com і Hugging Face, а також як NIM-мікросервіс. Лінійка містить Super, Nano і Edge (останній обіцяно пізніше).
Як отримати стрімінгову симуляцію водіння для власних сенсорів?
Cosmos3-Nano-Transfer-Auto генерує синхронне відео з до 11 камер, зокрема fisheye, і вміє спільну генерацію RGB та LiDAR. Структуру сцени й рух трафіку задають контролі World Scenario Map для кожної камери, а вигляд сцени задає текстовий промпт. Для LiDAR додатково потрібні контролі HD-map range map, узгоджені з камерами.
Cosmos3-Nano-Sim-Auto є causal-дистильованим стрімінговим варіантом Transfer-Auto: він видає послідовні невеликі шматки відео й LiDAR за кілька кроків денойзингу. Для замкненого циклу потрібні симуляційний рантайм і WSM-рендерер, які оновлюють контролі з водійських команд. Для нового rig NVIDIA радить спершу адаптувати Transfer-Auto, а потім дистилювати його в Sim-Auto.
Що роблять Sim-Transfer і Sim-Bimanual?
Cosmos3-Nano-Sim-Transfer бере просторові контролі із симулятора (глибину, сегментацію, краї, розмиття) і текстовий промпт та віддає RGB-кадри для політики. Фізику й істинний стан, як зазначено в блозі, веде симулятор.
Cosmos3-Nano-Sim-Bimanual передбачає відео за діями дворуких роботів YAM і AgiBot, якими керує політика або джойстики. У прикладі зі змішаними діями є 59 контрольних значень, які під час тренування доповнюють до 64. Для T переходів потрібні T+1 спостережень.
Наскільки довіряти заявам про лідерство?
NVIDIA стверджує, що серед відкритих моделей Cosmos 3 посідає перше місце в Artificial Analysis, Physics-IQ, PAI-Bench і R-Bench, а також у RoboLab та RoboArena. Це заяви самої компанії, і вони стосуються сімейства, а не окремих Nano-чекпойнтів. У блозі Hugging Face самі автори пишуть, що ще треба виміряти, де моделі достовірно підтримують навчання й оцінку політик, і зрозуміти їхні межі.
Що робити зараз
- Якщо у вас власний набір камер і LiDAR, починайте з post-training Transfer-Auto на своїх даних, а не з Sim-Auto: стрімінговий варіант створюють уже з адаптованої моделі.
- Для Sim-Bimanual звіряйте дані зі схемою дій (системи координат, обертання, калібрування грипера, маски валідності) і перевіряйте, що на T переходів є T+1 спостережень.
