Наукова робота на arXiv під номером 2609.04194, опублікована на початку вересня 2026 року, перевірила базове припущення, на якому тримається половина індустрії AI-агентів: що ланцюжок міркувань (chain-of-thought, CoT), який модель показує користувачу, відображає реальний хід її внутрішніх обчислень. Висновок дослідників різкий — читабельність CoT і його інтерпретованість це дві різні речі, і одне не гарантує іншого.

Йдеться про розрив між двома множинами кроків: тими, які люди-оцінювачі позначають як «важливі» для відповіді, читаючи текст міркувань, і тими, які насправді причинно впливають на те, що модель видає в кінці. За даними arXiv, ці дві множини систематично не збігаються — судження людини про логіку моделі та реальна причинність усередині моделі це різні графи.

Для команд, які будують AI-суддів (LLM-as-judge) або автономних агентів і покладаються на CoT як на журнал прийняття рішень, це не абстрактна філософська проблема. Це пряме попередження: переконливий текст пояснення не є доказом того, що модель дійсно розмірковувала саме так.

Що саме показало дослідження?

Дослідники зіставили дві оцінки одного й того ж ланцюжка міркувань: суб'єктивну (людина читає CoT і відмічає кроки, які здаються ключовими для висновку) і об'єктивну (виміряний вплив кожного кроку на фінальну відповідь моделі). Збіг між ними виявився низьким — кроки, які люди вважають вирішальними, часто не є тими, що реально визначають результат, і навпаки: непомітні, «технічні» рядки тексту можуть мати найбільшу причинну вагу.

Практично це означає, що читання CoT-логу дає оцінювачу відчуття прозорості, яке не підкріплене фактичною відповідністю. Модель може писати переконливий, логічно стрункий текст міркувань, який людина оцінить як «правильний хід думки», а сам фінальний токен-відповідь при цьому визначили зовсім інші, непроговорені фактори.

Чому це небезпечно саме зараз?

Індустрія за останній рік масово перейшла на схему «reasoning-модель + CoT-логи як пояснення» — і CoT став де-факто інтерфейсом довіри: рев'юери коду, AI-судді для оцінки інших моделей, автономні агенти з human-in-the-loop контролем усі читають ланцюжок міркувань як пояснення «чому саме так». Дослідження arXiv руйнує це припущення на рівні механізму, а не лише на рівні окремих прикладів галюцинацій.

• AI-судді (LLM-as-judge), які оцінюють якість чи безпечність відповіді іншої моделі за її CoT, можуть систематично хвалити переконливі, але причинно нерелевантні пояснення.
• Агенти з рев'ю кроків людиною (human-in-the-loop) створюють хибне відчуття контролю: оператор затверджує крок, що виглядає логічним, тоді як рішення вже ухвалено іншими, невидимими для нього обчисленнями.
• Автоматизовані пайплайни, які фільтрують чи виправляють CoT на основі «нелогічних» кроків, ризикують видаляти саме ті рядки, які реально впливають на відповідь.

Що з цим робити командам, які будують агентів і AI-суддів?

Перше — перестати ставитися до читабельності CoT як до синоніма аудиту. Якщо ланцюжок міркувань легко читається і звучить переконливо, це говорить про якість тексту, а не про те, що саме ці рядки визначили відповідь.

Друге — там, де ставки високі (модерація контенту, фінансові рішення, медичні рекомендації), варто перевіряти причинність, а не текст: наприклад, через ablation-тести, коли окремі кроки CoT видаляють чи змінюють і дивляться, чи зміниться фінальна відповідь. Це дорожче за просте читання логів, але це єдиний спосіб відрізнити пояснення від причини.

Третє, і це вже наша оцінка, а не пряма теза дослідження: ймовірно, компаніям, що навчають reasoning-моделі через RL на самих ланцюжках міркувань (подібно до підходів на кшталт GRPO, де ми вже розбирали контроль дрейфу політик), варто окремо вимірювати, чи оптимізація за «якістю» CoT-тексту випадково не підсилює саме розрив між видимістю та причинністю, а не усуває його.

Висновок AiiN: довіра до CoT — це UX-рішення, а не аудиторський стандарт

Наша теза проста: індустрія плутає дві різні властивості одного артефакту. Читабельний CoT добре продає продукт користувачу і оцінювачу — він створює відчуття прозорості. Але як інструмент аудиту чи безпеки він працює лише тоді, коли хтось окремо перевірив, що прочитані кроки й причинні кроки це одне й те саме. Поки такої перевірки немає, CoT варто трактувати як UX-шар довіри, а не як лог рішень, придатний для комплаєнсу чи безпекового аудиту.

Що таке «інтерпретованість» на відміну від «читабельності» в контексті LLM?

Читабельність CoT означає, що текст міркувань граматично зв'язний і виглядає логічним для людини. Інтерпретованість означає, що цей текст дійсно відповідає внутрішнім обчисленням моделі, які привели до відповіді. Перше — властивість стилю тексту, друге — властивість причинного механізму, і, за даними джерела, вони не корелюють автоматично.

Чи означає це, що CoT марний для AI-агентів?

Ні, CoT лишається корисним для дебагінгу і для покращення якості відповіді через reasoning, але його не можна використовувати як єдине джерело довіри без додаткової верифікації причинності. Для критичних сценаріїв варто поєднувати читання CoT з ablation-тестами чи іншими методами перевірки впливу окремих кроків.