AI world models, натреновані прогнозувати дії людей лише за спостережуваною поведінкою, систематично дають хибний прогноз саме там, де реальні переконання людини про стан середовища розходяться з фактами. За даними The Decoder, нове дослідження порівняло такі "поведінкові" world models з моделями, що спершу оцінюють переконання людини, а вже з них виводять прогноз дії, — і моделі другого типу виявилися точнішими саме в ситуаціях, де в людини була неповна чи застаріла інформація про навколишній стан.

Для галузі, яка останні два роки будує AI-агентів — від персональних помічників до роботів і колаборативних систем, — це не абстрактна академічна деталь. Якщо агент прогнозує дію людини, спираючись лише на патерни її минулої поведінки, він регулярно помилятиметься саме в тих ситуаціях, де людина діє на основі неповної чи хибної інформації про світ, а не на основі того, що "об'єктивно" правильно чи очевидно ззовні.

Наш погляд у AiiN: це важливий сигнал для команд, що будують агентів, які взаємодіють із людьми напряму — від customer-service ботів до колаборативних роботів. Моделювання поведінки без моделювання переконань — це технічний борг, який виявляється саме в edge-кейсах, де ціна помилки найвища.

Що саме показало дослідження?

Дослідники протиставили два підходи до побудови world models: прогноз дії напряму з історії поведінки людини — і прогноз через проміжний крок, де модель спершу оцінює, у що людина, ймовірно, вірить про поточний стан середовища, а вже потім виводить із цього дію. Модель другого типу точніше передбачала дії людей саме в ситуаціях, де їхні переконання відрізнялися від фактичного стану речей.

Це узгоджується з давнішою ідеєю в когнітивній науці, відомою як theory of mind — моделювання психічного стану іншого агента. Щоб точно передбачити дію людини, недостатньо знати, що вона зазвичай робить у схожих ситуаціях: треба знати, що вона думає про ситуацію зараз.

Чому моделювання самої лише поведінки дає збій?

Поведінкові патерни — це компресія реальності, яка працює, доки світ навколо людини не змінюється швидше, ніж вона встигає це помітити. Модель, натренована на тому, "що людина зазвичай робить", неявно припускає: людина завжди діє з повним і актуальним знанням ситуації. Це припущення руйнується, щойно:

• людина не помітила зміну в середовищі — наприклад, об'єкт перемістили, а вона про це не знає;
• людина отримала суперечливу або застарілу інформацію про поточний стан речей;
• дії людини раціональні з її власної точки зору, але виглядають нелогічними ззовні — саме тому, що спостерігач бачить більше, ніж вона.

Модель, яка враховує переконання, натомість прогнозує дію в два кроки: спершу — у що імовірно вірить людина, потім — яка дія логічно випливає з цієї віри. Це ближче до того, як люди інтуїтивно читають наміри одне одного в повсякденному житті.

Кого це найбільше зачепить у розробці агентів?

Найгостріше це відчують команди, що будують агентів для прямої взаємодії з людьми в динамічних середовищах, а не для генерації тексту в контрольованому чаті. Йдеться передусім про:

• роботів і автономні системи, що прогнозують намір людини поруч — на складі, дорозі чи в спільному робочому просторі;
• переговорні та колаборативні агенти, де успіх залежить від правильного припущення про те, що знає й чого хоче співрозмовник;
• асистентів, які діють від імені користувача на основі його попередніх дій, а не поточного стану знань цього користувача.

Ймовірно, найменше це стосується вузьких задач класифікації чи генерації тексту без взаємодії із зовнішнім змінним середовищем — там розрив між "поведінкою" та "переконаннями" рідко проявляється настільки гостро. Це узгоджується з тезою, яку ми розбирали раніше: якість агентної системи частіше впирається в оточення навколо моделі, ніж у саму модель, — і моделювання переконань людини є частиною цього оточення.

Що з цим робити зараз — погляд AiiN

Наша теза: для будь-якого агента, що діє в середовищі зі спільним контекстом із людиною, прогноз дії лише на основі "що людина зазвичай робить" — недостатня основа, і думати про це варто вже на етапі дизайну, а не після першого серйозного збою в проді. Практично це означає явно розділити в архітектурі агента два кроки: оцінку того, що людина, ймовірно, знає й у що вірить, і окремий крок виведення дії з цієї оцінки — замість одного наскрізного прогнозу "поведінка → поведінка". Ми вже писали, що сліпі плями в тестуванні AI-систем часто виникають там, де тестувальники не моделюють психологію людини поруч із моделлю, — цей висновок про world models лягає в той самий патерн.

Для команд, що вже мають агентів у проді, найдешевша перевірка — не переписувати архітектуру, а провести аудит: у яких сценаріях агент прогнозує дію користувача чи третьої сторони, і чи закладено в цей прогноз хоч якесь уявлення про те, що ця людина знає в цей момент. Якщо відповідь "ні" — саме там варто шукати систематичні помилки.

Що таке AI world model?

Це модель, яку AI-система використовує, щоб прогнозувати, як зміниться середовище чи як діятимуть інші агенти, зокрема люди, у відповідь на певні умови чи дії. World models лежать в основі планування в робототехніці, автономних системах і частині агентних архітектур.

Чим переконання людини відрізняються від її поведінки в цьому контексті?

Поведінка — це те, що людина фактично робить і робила раніше; переконання — це те, у що вона вірить про поточний стан світу, і це переконання може бути неповним або хибним. Модель, що прогнозує дію напряму з поведінки, ігнорує цей проміжний шар і тому помиляється саме тоді, коли переконання людини розходяться з реальністю.

Чи означає це, що всім потрібно переробляти агентів під theory-of-mind моделі?

Ні, не всім і не одразу. Це найважливіше там, де агент прогнозує дії людини чи іншого агента в змінному середовищі зі спільним контекстом; для чат-задач без зовнішнього фізичного чи інформаційного середовища ризик нижчий.