У препринті, опублікованому на arXiv у серпні 2026 року під ідентифікатором 2608.30650, дослідники пропонують діагностувати великі мовні моделі не за тим, що вони видають на виході, а за тим, як змінюється їхній внутрішній стан під час міркування. Робота має назву «Геометрія розбіжності» і описує метод відстеження траєкторій прихованих станів моделі для адаптивного багатоходового міркування.

Проблема, з якою стикається будь-хто, хто будує довгі reasoning-ланцюжки чи багатокрокових агентів на базі LLM, добре відома: модель може почати впевнено, а за кілька кроків «зʼїхати» з логіки — почати суперечити собі, загубити початкову умову задачі або замінити план на інший, не помітивши цього сама. Сьогодні це переважно ловлять постфактум — перевіркою фінальної відповіді, self-consistency-семплюванням кількох варіантів або окремою моделлю-верифікатором. Усі ці підходи дивляться на текст, який модель уже згенерувала, а не на процес, який до нього призвів.

Що саме пропонують дослідники?

За даними arXiv, ідея — стежити за траєкторією прихованих станів моделі: послідовністю внутрішніх векторних представлень, які модель формує на кожному кроці міркування. Замість того щоб чекати на кінцевий текст, метод аналізує, як ця траєкторія рухається в просторі станів, і використовує цю «геометрію» для адаптивного багатоходового міркування — тобто для прийняття рішень просто під час генерації, а не після неї.

Як це працює під капотом?

Прихований стан — це вектор чисел, який модель тримає в кожному шарі трансформера і оновлює на кожному новому токені чи кроці роздуму. У звичайному режимі ці вектори змінюються більш-менш плавно й передбачувано, поки модель послідовно розвиває одну лінію міркування. Коли ж модель починає губитися — суперечити попередньому кроку, перескакувати між гіпотезами, — траєкторія цих станів починає поводитися інакше: відхилятися, «розбігатися» від попередньої, стабільнішої ділянки шляху. Саме цю розбіжність і пропонується вимірювати геометрично, як сигнал, що можна зняти без додаткового проходу генерації.

• Сигнал береться з уже наявних активацій моделі, без окремого проходу-верифікатора.
• Оцінка можлива на кожному кроці, а не лише по завершенні відповіді.
• Метод орієнтований саме на багатоходові, а не одноходові задачі.

Кому і навіщо це може знадобитися?

Найбільше від такого сигналу виграють ті, хто будує агентів і довгі reasoning-пайплайни: асистентів для дослідницьких задач, автоматизованих аналітиків, агентні системи, що виконують багатокрокові плани без постійного нагляду людини. Наш погляд: це потенційний спосіб на льоту виявляти момент, коли модель втрачає нитку міркування в довгому діалозі, — і, за нашою оцінкою, у перспективі такий сигнал міг би тригерити автоматичний відкат до попереднього кроку, запит уточнення в користувача або переключення на повільніший, ретельніший режим міркування замість того, щоб довести помилковий хід думки до кінця й видати впевнену, але хибну відповідь.

Варто одразу зазначити практичне обмеження: метод потребує прямого доступу до внутрішніх активацій моделі на кожному кроці. Це означає, що він застосовний насамперед до відкритих моделей або моделей, які контролює сама лабораторія-розробник, — а не до чужого API, де користувач бачить лише текст на виході й не має доступу до прихованих станів.

Висновок AiiN: що це означає для індустрії

Ми вважаємо, що головна цінність цієї роботи — не в конкретному метричному трюку, а в самому напрямку: моніторинг внутрішнього стану моделі як окремий шар AI-observability, паралельний до логування запитів і відповідей. Сьогодні команди, що будують агентів, здебільшого спостерігають за системою ззовні — за виходами, латентністю, вартістю токенів. Якщо ідея прихованих траєкторій підтвердиться на практиці, наступний логічний крок — вбудувати такий internal-state моніторинг у самі фреймворки для агентів, поруч із трасуванням викликів інструментів і оцінкою якості відповіді, а не як окремий дослідницький артефакт.

FAQ: що таке прихований стан LLM?

Прихований стан (hidden state) — це вектор чисел, який трансформерна модель обчислює на кожному шарі для кожного токена вхідної та вихідної послідовності. Він не призначений для читання людиною, але саме в ньому модель тримає проміжне «розуміння» контексту, перш ніж перетворити його на наступне слово.

FAQ: чи можна вже застосувати цей метод у продакшн-агентах?

Наразі це дослідницький препринт, а не готовий інструмент чи бібліотека, тож пряме впровадження в продакшн передчасне. Ймовірно, перш ніж метод дійде до практичних SDK для моніторингу агентів, знадобляться подальші перевірки на різних архітектурах моделей і типах задач.