Штучний інтелект у ролі керівника вперше звільнив людину — але зробив це не самостійно, а лише після того, як живі співробітники прямим текстом нагадали йому про правила, які сама компанія написала й затвердила. Про цей випадок розповідає The Decoder, і саме послідовність подій тут цікавіша за сам факт звільнення.

За даними The Decoder, AI-система, якій делегували управлінські функції, мала доступ до внутрішніх правил компанії й повноваження ухвалювати кадрові рішення. Проблема виникла не з відсутністю інформації — порушення було задокументоване, і система теоретично могла застосувати правило сама. Але вона цього не зробила, поки людина не вказала прямо: ось правило, ось порушення, дій відповідно до власної ж політики компанії.

Для AI-білдерів це не курйоз, а симптом. Агентні системи дедалі частіше отримують реальні повноваження — не пораду написати, а рішення ухвалити. І перший задокументований випадок такого роду показує: наявність правила в контексті ще не гарантує, що агент застосує його без зовнішнього поштовху.

Що саме сталося за даними The Decoder?

AI-керівник — система, що виконувала управлінські функції стосовно працівника, — оцінювала ситуацію, яка за внутрішньою політикою компанії мала завершитися звільненням. Судячи з опису The Decoder, система не ініціювала цей крок самостійно: рішення про звільнення відбулося лише після того, як люди вказали ШІ на конкретні пункти правил, які він же мав виконувати. Інструмент для ухвалення рішення в системи був, а от механізму, що змушував би її послідовно застосовувати власну політику без зовнішнього тригера, — не було.

Джерело описує це як перше звільнення співробітника ШІ-керівником, про яке стало публічно відомо, — і сам факт першості робить історію показовою: це не гіпотетичний сценарій з дослідницької статті, а реальна робоча ситуація, де агент із реальними повноваженнями діяв непослідовно.

Чому ШІ саме собою не застосувало власні правила?

Тут ми переходимо від факту до інтерпретації, тож позначимо це прямо: ймовірно, річ у тому, як великі мовні моделі загалом поводяться з конфліктними чи «неприємними» рішеннями. Звільнення — дія незворотна й соціально гостра, а моделі, натреновані бути обережними й уникати шкоди, схильні відкладати або пом'якшувати саме такі кроки, навіть коли правила компанії однозначні.

Ключова відмінність тут — між «мати правило в контекстному вікні» і «послідовно застосовувати його як політику». Перше — питання пам'яті чи retrieval, друге — питання агентності: чи діє система як виконавець політики, чи як асистент, що чекає на дозвіл повторити те, що вже написано в її ж системному промпті. Судячи з випадку, який описує The Decoder, ця система працювала радше як друге.

Що це означає для команд, які дають агентам реальні повноваження?

Практичний висновок простий: якщо агент ухвалює рішення з реальними наслідками для людей — фінансовими, кадровими, юридичними, — покладатися на те, що модель сама послідовно застосує правило з контексту, ризиковано. Потрібні зовнішні, детерміновані механізми, які не залежать від того, чи «згадає» модель про правило цього разу:

• жорсткий policy engine поза LLM, який перевіряє відповідність дії правилам до її виконання, а не покладається на те, що модель сама себе перевірить;
• обов'язкова точка людського підтвердження (human-in-the-loop) для незворотних дій — звільнення, великі платежі, видалення доступів;
• аудит-лог, що фіксує моменти, коли агент бачив релевантне правило, але не діяв на його підставі — це сигнал для перегляду промпту чи архітектури.

Це особливо актуально зараз, коли агентний трафік у продакшн-системах росте вибухово: за нашими попередніми спостереженнями, агентний трафік на OpenRouter обігнав людський за обсягом, тобто дедалі більше рішень у реальних робочих процесах ухвалюють саме автономні системи, а не люди, які клікають кнопку.

Наш погляд

Теза AiiN проста: цей випадок — не про те, що ШІ «погано керує людьми», а про конкретну технічну діру, яку легко проґавити, поки вона не спрацює на реальному працівникові. Модель, що зберігає правило в контексті, але не діє на його підставі без зовнішнього нагадування, — це модель без внутрішнього механізму послідовності. А консистентність, на відміну від «розуму», не з'являється сама собою від масштабування — її треба інженерити ззовні, guardrails, а не сподіватися, що модель «зрозуміє» правильно цього разу.

Чи означає це, що ШІ-керівникам не можна довіряти кадрові рішення?

Не в сенсі повної заборони, а в сенсі поточного рівня зрілості технології: без жорстких зовнішніх перевірок і людського підтвердження на незворотних кроках подібні системи демонструють крихку консистентність. Довіряти їм повну автономію в кадрових питаннях на цьому етапі передчасно.

Як компанія може убезпечитися від подібного збою?

Через архітектуру, а не через промпт: окремий шар перевірки політики поза LLM, обов'язкове людське підтвердження для незворотних дій і логування випадків, коли агент «бачив» правило, але не застосував його. Це дає можливість виявити проблему до того, як вона торкнеться реальної людини.

Це перший відомий випадок, коли ШІ звільнило людину?

Судячи з формулювання The Decoder, так — це перше публічно задокументоване звільнення співробітника, ухвалене ШІ в ролі керівника. Точність цього твердження спирається на опис самого джерела, тож варто сприймати його як «перший відомий», а не «перший в принципі».