Річард Саттон, співавтор канонічного підручника з reinforcement learning і лауреат премії Тюрінга 2024 року (разом з Ендрю Барто), назвав ставку індустрії ШІ на синтетичні дані «великою помилкою». За словами дослідника, підхід, коли моделі навчають переважно на даних, згенерованих іншими моделями, не витримує зіткнення з нескінченно складним реальним світом.

Заява прозвучала на тлі того, що синтетичні датасети стали де-факто стандартом для тренування великих мовних моделей — від дистиляції відповідей флагманських моделей до генерації синтетичних діалогів і код-прикладів для файнтюнингу. Саттон, чиї роботи заклали теоретичний фундамент сучасного reinforcement learning, підходить до критики з позиції людини, яка десятиліттями досліджувала, як агенти вчаться взаємодіяти саме з реальним, а не змодельованим середовищем.

За даними The Decoder, головний аргумент Саттона зводиться до масштабу: світ занадто складний, щоб його можна було адекватно відтворити в синтетичних сценаріях, згенерованих іншою моделлю. Це ставить під сумнів усю логіку «навчання моделі на даних іншої моделі» як шлях до загального інтелекту.

Чому думка Саттона важить для індустрії?

Саттон — один із двох людей, чиє ім'я стоїть на обкладинці «Reinforcement Learning: An Introduction», книги, яка десятиліттями формувала те, як дослідники думають про навчання агентів через взаємодію із середовищем, а не через імітацію готових прикладів. Премія Тюрінга 2024 року, яку він отримав разом з Ендрю Барто, підтвердила статус RL як окремого напряму, рівнозначного глибинному навчанню. Коли така людина публічно критикує домінантний тренд, це сигнал не для хайпу, а для перевірки припущень, на яких побудовані пайплайни.

У чому суть претензії до синтетичних даних?

Ключова теза — синтетичні дані є похідною від уже наявних моделей, а отже успадковують їхні обмеження й «сліпі плями». Якщо модель А генерує дані для тренування моделі Б, Б не може дізнатися нічого, чого немає (явно чи неявно) в А. Це принципово інша річ, ніж навчання через взаємодію з реальним світом, де середовище постійно постачає нову, непередбачувану інформацію.

У дослідницькій літературі це явище отримало назву «model collapse» — поступова деградація якості моделі, якщо вона навчається переважно на виводі попередніх поколінь моделей, а не на первинних даних людського чи природного походження.

Чому індустрія все одно масово переходить на синтетичні дані?

Причина насамперед прагматична: якісних розмічених реальних даних для нових поколінь моделей фізично не вистачає, а деякі домени (розмови, код, reasoning-ланцюжки) простіше й дешевше генерувати синтетично, ніж збирати вручну. Компанії, що навчають LLM-агентів для роботи з кодом чи діалогами, будують значну частину файнтюнинг-пайплайнів саме на synthetic data distillation. Ймовірно, повна відмова від синтетичних даних для індустрії зараз економічно нереалістична — питання радше в тому, де саме проходить межа їхньої корисності.

Показовий контраст — підхід, за яким агенти вчаться напряму з реальної взаємодії з невеликою кількістю прикладів: наприклад, GEN-1.5 від Generalist AI навчає роботів з однієї реальної демонстрації замість тисяч синтетичних симуляцій. Це саме той напрям, який ближчий до філософії Саттона: менше даних, але з реального, а не змодельованого джерела.

Висновок AiiN: що робити тим, хто будує на синтетичних датасетах?

Наша теза: критика Саттона — це не заклик відмовитися від синтетичних даних, а нагадування тримати в пайплайні джерело реального сигналу — хоч невелике, хоч дороге в отриманні. На практиці це означає: не покладатися на 100% синтетичний файнтюнинг там, де продукт стикається з відкритим, непередбачуваним середовищем (агенти, робототехніка, довгі діалоги з реальними користувачами), і закладати регулярну звірку моделі з реальними даними як окремий етап оцінки якості, а не опціональний бонус.

Хто такий Річард Саттон?

Річард Саттон — дослідник reinforcement learning, співавтор підручника «Reinforcement Learning: An Introduction» і лауреат премії Тюрінга 2024 року разом з Ендрю Барто за фундаментальний внесок у розвиток цього напряму машинного навчання.

Що таке синтетичні дані в контексті навчання ШІ?

Синтетичні дані — це навчальні приклади, згенеровані однією моделлю ШІ для тренування іншої, а не зібрані з реальних людських взаємодій чи спостережень за фізичним світом.

Чи означає критика Саттона, що синтетичні дані шкідливі?

Ні, теза радше в тому, що покладатися виключно на синтетичні дані ризиковано для задач з високою складністю та варіативністю реального світу; для вузьких, добре окреслених задач вони залишаються корисним і дешевим інструментом.