У препринті на arXiv, опублікованому в серпні 2026 року, дослідники описали метод Reflection-Guided On-Policy Self-Evolution — спосіб змусити моделі GUI visual grounding покращувати власну точність прямо під час інференсу, без жодного нового розміченого датасету. GUI visual grounding — це задача, коли модель за текстовою інструкцією («натисни кнопку «Зберегти»») має знайти точні координати відповідного елемента на скріншоті інтерфейсу.

Це базова здатність для будь-якого агента, що керує комп'ютером чи телефоном замість людини — від режиму computer use до автономних RPA-ботів, що клікають по CRM. Проблема в тому, що моделі, натреновані на фіксованому наборі скріншотів популярних застосунків, губляться, щойно бачать незнайомий дизайн: інший шрифт іконок, нестандартне розташування меню, локалізований інтерфейс.

Досі відповіддю на це було або дороге дозамітчування нових інтерфейсів вручну, або сподівання, що модель узагальнить достатньо добре сама. Новий підхід пропонує третій шлях: агент вчиться на власних спробах просто в момент роботи, без учителя ззовні.

Що таке GUI visual grounding і чому саме тут вузьке місце?

GUI visual grounding — це міст між мовною інструкцією агента і фізичною дією миші чи пальця: модель отримує скріншот і команду, а на виході повертає координати або bounding box елемента, по якому треба клікнути. Це один з найкрихкіших компонентів усього ланцюга computer-use агента — навіть якщо мовна модель правильно спланувала послідовність кроків, помилка в кілька пікселів при наведенні означає натиснуту не ту кнопку і зірваний сценарій.

Як працює reflection-guided самонавчання без розмітки?

Ідея on-policy self-evolution полягає в тому, що модель сама генерує кандидатів-передбачень (де клікнути), а потім окремий рефлексивний крок перевіряє ці передбачення без звернення до людської розмітки — наприклад, звіряючи очікуваний результат дії зі станом екрана після кліку або оцінюючи узгодженість кількох власних спроб. Передбачення, які проходять таку самоперевірку з високою впевненістю, стають псевдорозміткою для швидкого донавчання моделі — і цикл «передбач → відрефлексуй → відфільтруй → онови» повторюється прямо в процесі роботи агента, без окремої офлайн-стадії тренування.

Ключова відмінність від класичного fine-tuning: тут немає зовнішнього вчителя і зафіксованого датасету — сигналом слугує власна ж політика моделі (on-policy), відфільтрована через рефлексію. Це наближає підхід до self-training і test-time adaptation, які останніми роками активно досліджують і для мовних моделей.

Кому це реально здешевить розробку агентів?

Найбільше виграють команди, що будують computer-use агентів для змінного середовища — internal-tools автоматизація, QA-боти, які тестують UI після кожного релізу, RPA для legacy-софту без API. Замість того щоб щоразу після редизайну інтерфейсу замовляти нову партію розмітки, модель адаптується сама за кілька проходів по реальному екрану.

Що з цим робити AI-білдерам вже зараз?

За даними arXiv, метод показує приріст точності саме на невідомих раніше інтерфейсах — тобто там, де класичні бенчмарки з фіксованим тестовим набором традиційно найслабші. Наша теза в AiiN проста: тест-тайм самонавчання зміщує конкуренцію GUI-моделей з «хто краще запам'ятав ScreenSpot» на «хто швидше адаптується до незнайомого екрана за кілька спроб» — і саме ця метрика ближча до реальної роботи агента в проді.

Водночас довіряти моделі, яка сама собі вчитель, варто обережно: без зовнішнього ground truth рефлексія теж може помилятися і закріплювати власні хиби — класична проблема self-training, де шум у псевдорозмітці накопичується циклами. Для production-агентів розумний підхід — тримати test-time self-evolution як шар адаптації поверх базової моделі, а не єдине джерело істини, і додавати дешеву перевірку результату дії (чи справді відкрилося те вікно, яке очікувалось) як зовнішній запобіжник проти self-reinforcing помилок.

Чим on-policy self-evolution відрізняється від звичайного дообучення?

Звичайний fine-tuning використовує заздалегідь зібраний і перевірений людьми датасет. On-policy self-evolution генерує навчальний сигнал із власних передбачень моделі просто під час роботи, відфільтрованих через рефлексивну самоперевірку, — без окремої офлайн-стадії й без нової людської розмітки.

Чи можна довіряти агенту, який сам себе перенавчає?

Частково. Рефлексія без зовнішнього еталона може підтверджувати власні помилки моделі, тому для критичних сценаріїв (фінансові операції, видалення даних) варто додавати незалежну перевірку результату дії, а не покладатися лише на самооцінку моделі.

Чи не сповільнює self-evolution роботу агента в реальному часі?

Так, ітерація «передбачити → відрефлексувати → оновити» додає обчислювальні витрати порівняно зі звичайним інференсом, тому практичний баланс — запускати повний цикл самонавчання не на кожному кліку, а періодично або при виявленні низької впевненості моделі.