Команда ServiceNow CoreAI показала AutoSynthData — генератор, що перетворює провали агентів у середовищі на нові тренувальні завдання з описом системи, запитом користувача та перевіркою результату.
Підприємствам потрібні агенти, які працюють саме в їхніх системах: знають регламенти, інструменти й стан даних. Модель може бути загалом здатною й водночас провалювати конкретний процес, неправильно поєднувати інструменти чи порушувати обмеження. За даними Hugging Face, AutoSynthData бере помилки цільової моделі й успіхи сильнішої вчительської моделі, щоб вирішити, чого вчитися далі.
Що робить завдання корисним для тренування агента?
Навчальне середовище описує світ, у якому працює агент: стан, який він бачить і змінює, інструменти й API, які викликає, та переходи стану, спричинені його діями. Кожне завдання AutoSynthData складається зі специфікації системи, запиту користувача та перевірки.
Специфікація системи фіксує системні інструкції, політики середовища й, за потреби, стартовий стан завдання — заповнену базу або добірку статей бази знань. Вона має відповідати інструментам і підтримуваним діям та не додавати довільних обмежень заради штучної складності.
До запиту користувача генератор ставить три вимоги:
- Здійсненність: у середовищі є принаймні одна траєкторія, що виконує запит і не порушує специфікацію системи.
- Реалістичність: запит схожий на те, що користувач справді поставив би в цьому середовищі, бо простір можливих дій набагато ширший за простір реалістичних робочих сценаріїв.
- Складність: завдання відкриває слабке місце поточного агента, бо те, що він розвʼязує надійно, дає мало нового сигналу.
Корисна зона — завдання, які реалістичні й здійсненні, але ще не розвʼязуються стабільно.
Як система перевіряє, чи агент упорався?
Перевірка визначає, чи завершила траєкторія завдання. AutoSynthData висуває до неї три вимоги:
- Узгодженість: перевірка відповідає запиту, специфікації системи та стану середовища для цього завдання.
- Коректність: перевірка відсікає траєкторії, що не виконали завдання або порушили обмеження.
- Повнота: перевірка приймає валідні розвʼязки, а не лише одну еталонну траєкторію.
Помилка у вердикті дорого коштує під час тренування: мʼяка перевірка нагороджує неправильні дії, а надто жорстка карає коректні розвʼязки, що не збігаються з еталоном.
Як провали стають програмою навчання?
AutoSynthData спершу оцінює цільову модель у середовищі діагностичними завданнями й шукає закономірності в тих, які модель не доводить до кінця. Поруч на тих самих завданнях працює сильніша вчительська модель: вона показує, які завдання взагалі розвʼязні та як виглядає успішна поведінка. Далі генерація перетворює знайдені прогалини на нові завдання, перевіряє кожне в середовищі й віддає прийняті зразки на поствавчання. Повторна оцінка оновленої моделі показує, які прогалини лишилися, і задає наступний цикл.
Команда ServiceNow ілюструє пайплайн на EnterpriseOps Gym (Malay et al., 2026) та опублікованому наборі даних. Аналізуючи провали й успіхи, система фіксує, яку навичку перевіряло завдання, які інструменти й структура робочого процесу задіяні, де цільова модель помиляється, які властивості мають правильний фінальний стан і за якими вимірами завдання можна варіювати. Ці спостереження зводяться до очищених карток специфікацій навичок. Генератор не отримує оригінальні промпти, сутності, траєкторії чи деталі перевірок — на основі карток він створює завдання з іншими формулюваннями, станами й шляхами розвʼязання.
Що зробити команді на практиці?
Практичний сценарій для білдерів виглядає так:
- Зберіть реальні провали агентів у ваших системах і згрупуйте їх за навичкою, задіяними інструментами та місцем зриву.
- Письмово опишіть для кожної групи перевірку: що має бути у фінальному стані, які порушення неприпустимі, які різні розвʼязки приймаються.
- Згенеруйте варіації цих завдань зі зміненими сутностями, стартовими даними й формулюваннями, але з тією ж навичкою.
- Прогнайте кожне завдання в реальному середовищі й залиште в донавчанні лише ті, що пройшли перевірку: у пайплайні AutoSynthData саме відсікання непідтверджених зразок робить наступний раунд корисним.
