Уявіть, що ви просите домашнього робота помити посуд. Він «бачить» брудну тарілку, розуміє команду — але зависає: яку саме губку взяти, і яку ділянку поверхні терти першою? Ця двоетапна невизначеність — «котрий» і «де» — роками залишалась ахіллесовою п'ятою практичної робототехніки. Нова робота, опублікована на arXiv, пропонує систему GROW², яка вирішує обидві проблеми в єдиному фреймворку.

На відміну від попередніх підходів, що зосереджувались або на виборі інструменту, або на локалізації точки застосування, GROW² розглядає ці питання як взаємозалежні. Вибір молотка без знання, куди вдарити, — марна трата. Знати потрібну точку без правильного інструменту — теж глухий кут. Саме це поєднання робить дослідження цікавим для всіх, хто будує автономних агентів у фізичному світі.

Чому tool grounding — досі відкрита задача

Останні три роки великі мовні та мультимодальні моделі зробили гігантський стрибок у розумінні тексту й зображень. GPT-4o, Gemini, Claude — всі вони вже здатні описати сцену, розпізнати об'єкти, відповісти на питання про зображення. Але перейти від «бачу молоток і цвях» до «беру молоток за рукоять і б'ю по шляпці цвяха в ці координати» — зовсім інша задача.

Традиційно цю проблему ділили на два окремих пайплайни:

Обидва напрями мають окремі датасети, benchmarks і моделі. Але на практиці роботу потрібна відповідь одночасно — і тут між двома пайплайнами виникає семантичний розрив, який знижує надійність у реальних умовах.

Що робить GROW² по-іншому

За даними arXiv, GROW² пропонує об'єднаний підхід до grounding: система одночасно вирішує, який інструмент використати («which»), і де саме його застосувати («where»). Назва — акронім від Grounding Which and Where, і квадрат у ній натякає на подвійний характер задачі.

Ключова ідея: замість двоетапного пайплайну (спочатку вибери інструмент, потім шукай точку застосування) автори пропонують спільний простір уявлень, де обидві відповіді формуються разом. Вибір інструменту впливає на те, де саме взаємодіяти з об'єктом — і навпаки. Система отримує зображення сцени та природномовну команду («відкрий пляшку»), а повертає два виходи:

Обидва виходи генеруються в єдиному forward pass, що дозволяє їм взаємно обмежувати одне одного під час навчання — і потенційно підвищує точність порівняно з послідовними підходами.

Практичне значення для розробників агентів

Для тих, хто будує embodied AI або роботизовані системи, GROW² відкриває кілька конкретних перспектив.

Мінімізація каскадних помилок. У традиційних пайплайнах помилка на першому етапі (неправильний інструмент) автоматично псує другий (точку застосування). Об'єднана архітектура дає моделі можливість самокоригуватись у межах одного inference.

Узагальнення на нові інструменти. Якщо система розуміє функцію інструменту через мовний опис, а не лише через зовнішній вигляд, вона може узагальнюватись на об'єкти, яких не бачила під час навчання — суттєва перевага для нестандартних середовищ.

Потенціал для довгих агентних ланцюжків. Реальні завдання — приготування їжі, складання меблів, хірургічна асистенція — складаються з послідовних кроків. GROW²-подібний модуль може стати стабільним компонентом у таких ланцюжках.

Важливо для практиків: система навчається на відносно невеликих датасетах людської демонстрації. Це відкриває можливість fine-tune під специфічні домени без надвеликих обчислювальних витрат.

Погляд AiiN

Дослідження GROW² виходить у момент, коли ринок embodied AI переживає значний підйом — від гуманоїдів Figure та Boston Dynamics до промислових маніпуляторів нового покоління. Головне питання завжди було одне: як перетворити «розуміння» vision-language моделі на конкретні, надійні фізичні дії?

Подвійне grounding — «котрий» і «де» — це не академічна абстракція. Це саме той пробіл, що відділяє ефектне лабораторне демо від реального розгортання на виробництві чи у побуті. Якщо GROW² підтвердить ефективність у незалежних тестах і на різних платформах, він може стати стандартним компонентом у стеку embodied-агентів — так само, як CLIP свого часу став основою для більшості image-language задач.

Для розробників: перші незалежні відтворення та порівняльні результати з'являться в найближчі місяці. Саме тоді буде видно, чи витримує архітектура перевірку поза власними датасетами авторів — і чи готова вона до практичного застосування у реальних продуктах.