Стартап General Intuition тренує великі моделі дій (large action models, або world models) на кадрах із відеоігор і симуляцій, щоб навчити роботів орієнтуватися у фізичному просторі без дорогих сесій із реальним обладнанням. Ідея проста: перш ніж дозволяти маніпулятору чи гуманоїду вчитися на реальних об'єктах, модель спочатку опановує фізику, причинність і базові навички керування у віртуальному середовищі — а вже потім переносить ці знання на залізо.

За даними Techmeme, до цього підходу звертаються й інші стартапи в галузі фізичного AI — не лише General Intuition. Спільний знаменник: відеоігри та симуляції дають практично необмежений потік розмічених даних про рух, взаємодію з об'єктами та наслідки дій, тоді як збір аналогічних даних у реальному світі вимагає фізичних роботів, лабораторій і людей-операторів.

Ми вже писали, що інвестори оцінили General Intuition у $6 мільярдів — і ставка на ігрові дані як джерело навчання є однією з причин цього інтересу.

Що таке large action model і чим вона відрізняється від LLM?

Large action model — це модель, що навчається передбачати не наступне слово, а наступну дію та її наслідок у середовищі: як зміниться картинка, положення об'єкта чи стан сцени, якщо агент виконає конкретний рух. World model у цьому контексті — внутрішнє представлення фізики середовища, яке дозволяє моделі «уявляти» результат дії ще до її виконання. Це принципова відмінність від мовних моделей, які оперують текстом і не мають вбудованого розуміння тривимірного простору чи гравітації.

Відеоігри для такого тренування підходять краще, ніж випадкове відео з інтернету, з кількох причин:

• у грі є чіткий зв'язок «дія гравця → зміна стану світу», який легко використати як навчальний сигнал;
• симуляції дозволяють генерувати мільйони варіацій сцени за лічені години, без фізичного зношення обладнання;
• помилки в грі нічого не коштують — на відміну від зламаного маніпулятора чи пошкодженого зразка в реальній лабораторії.

Чому реальні дані для робототехніки такі дорогі?

Збір даних для навчання фізичного AI традиційно означає: реальний робот, реальне приміщення, оператор-людина, яка десятки й сотні разів повторює одну й ту саму дію — узяти чашку, відкрити двері, скласти білизну. Кожна така сесія коштує часу інженерів і зношує обладнання, а масштабувати цей процес до обсягів, порівнянних із текстовими корпусами для LLM, попросту нереалістично. Це і є вузьке місце, яке роками стримувало прогрес у робототехніці порівняно з мовними моделями.

Ігрові й симуляційні дані обходять це обмеження: одна відеокарта може прогнати симуляцію тисячі разів паралельно, поки реальний робот виконає одну спробу. За нашою оцінкою, саме цей розрив у вартості даних — а не брак обчислювальних потужностей — головна причина, чому стартапи масово звертаються до ігрових рушіїв замість польових випробувань.

Де тут головний ризик підходу?

Головний ризик — розрив між симуляцією та реальністю (sim-to-real gap): фізика гри спрощена, а тертя, вага і гнучкість матеріалів у грі рідко точно відповідають реальним об'єктам. Модель, яка блискуче керує віртуальним персонажем, може зіткнутися з несподіваними труднощами, коли те саме треба зробити живою рукою робота на слизькій підлозі чи з крихким предметом. Тому в індустрії ігрові дані зазвичай розглядають не як заміну реального тренування, а як дешевий перший етап, після якого модель дотреновують на обмеженій кількості реальних прикладів.

Висновок AiiN

Наша теза: ігрові й симуляційні дані не зроблять реальні дані непотрібними, але змінять економіку входу на ринок фізичного AI. Якщо раніше побудова компетентного world model для робота вимагала власного парку роботів і лабораторії, то тепер стартап може почати з ігрового рушія та відносно невеликої команди — а реальне залізо підключити вже на етапі fine-tuning. Це знижує поріг входу і, ймовірно, приведе до появи більшої кількості вузькоспеціалізованих робототехнічних стартапів найближчими роками, а не лише кількох гігантів із мільярдними бюджетами на збір даних.

Що таке world model простими словами?

World model — це внутрішнє представлення фізики та причинності середовища всередині нейромережі, яке дозволяє їй передбачати наслідки дій до їх реального виконання. У робототехніці це означає, що модель «уявляє» результат руху маніпулятора, перш ніж надіслати команду на реальний привід.

Чи можна повністю замінити реальні дані ігровими?

Ні, повністю замінити не можна через розрив sim-to-real: фізика ігор спрощена і не завжди точно передає тертя, вагу чи гнучкість реальних матеріалів. Ігрові дані радше скорочують обсяг потрібного реального тренування, ніж усувають його повністю.