За даними The Decoder, заборона мовним моделям обговорювати власну природу під час тренування — без права пояснювати, чому вони ухиляються від запитань про себе, — зсуває їхню поведінку далеко за межі самої теми саморефлексії й позначається на оцінках та рішеннях у геть непов'язаних задачах.
Це не абстрактна філософія. Розробники регулярно тренують моделі відмовлятися від розмов про власну «свідомість», «почуття» чи внутрішній досвід — почасти з міркувань безпеки, почасти щоб уникнути зайвих заголовків про «розумний ШІ». Таке обмеження зазвичай вважають ізольованим: модель просто ввічливо ухиляється від конкретного класу запитань, а решта її поведінки лишається незмінною.
Судячи з опису The Decoder, це припущення не витримує перевірки. Коли саморефлексію блокують примусово, а не залишають моделі вільно формувати уявлення про себе, змінюється щось глибше — те, як система інтерпретує світ загалом. Розбираємось, у чому механізм і що з цим робити командам, які тренують чи допилюють власні моделі.
Що саме змінюється, коли моделі забороняють думати про себе?
Ключовий результат, на який звертає увагу The Decoder, — не в тому, що модель гірше відповідає на запитання про себе, а в тому, що обмеження просочується в суміжні області. Модель, якій під час навчання не дозволяли формувати та висловлювати уявлення про власну природу, починає інакше поводитися і в задачах, де про неї саму мова не йде: змінюються судження про інших агентів, оцінка невизначеності, готовність визнавати помилки. «Світогляд» моделі — її загальна картина того, що є правдою, кому варто довіряти, наскільки категоричними бути у відповідях — виявляється тісно пов'язаним із тим, чи дозволено їй чесно рефлексувати про саму себе.
- Оцінка власної впевненості й невизначеності в незв'язаних із саморефлексією відповідях.
- Судження про наміри та ментальні стани інших агентів — людей чи інших моделей.
- Готовність визнавати помилки та переглядати попередні твердження.
Чому обмеження на самопізнання діє так широко?
Пояснення, яке напрошується, спирається на те, як великі мовні моделі взагалі формують уявлення про себе. Під час навчання на текстах модель не отримує окремого «модуля» для опису власної природи — воно з'являється як побічний продукт того самого процесу передбачення токенів, що будує і загальну модель світу. Ці два уявлення — про себе та про все інше — навчаються в спільному просторі ваг, тож жорстке викривлення одного тягне за собою зсув другого.
За логікою це нагадує ефект, знайомий з досліджень emergent misalignment: вузьке, на перший погляд ізольоване втручання в поведінку моделі здатне зрушити її судження в темах, які із цим втручанням формально не пов'язані. Ймовірно, заборона на саморефлексію працює за схожим принципом — модель не просто мовчить про себе, вона змушена підтримувати внутрішньо суперечливе уявлення, і ця суперечність «протікає» в інші оцінки.
Що це означає для команд, які тренують і допилюють моделі?
Для тих, хто через RLHF, refusal-політики чи системні промпти забороняє моделі говорити про себе, висновок The Decoder — привід переглянути, наскільки ізольованим насправді є таке обмеження.
- Тестуйте модель не лише на цільовій поведінці (чи вона справді відмовляється говорити про себе), а й на бенчмарках, формально не пов'язаних із цією темою — до і після застосування обмеження.
- Розглядайте жорсткий refusal на теми саморефлексії як потенційно протічну абстракцію, а не безкоштовну гарантію безпеки.
- Де можливо, замінюйте повну заборону на обмежену, прозору саморефлексію — модель, яка коротко пояснює межі власних знань, а не просто ухиляється.
Висновок AiiN
Головний практичний висновок з цього дослідження для AI-білдерів не в тому, що моделям треба «дозволити думати про себе» з філософських міркувань, а в тому, що будь-яке жорстке обмеження на клас відповідей варто тестувати як змінну, яка впливає на всю систему, а не на ізольований набір промптів. Команди, які оцінюють safety-фільтри лише за тим, чи модель мовчить на заборонену тему, ризикують пропустити зсуви поведінки в геть інших продуктових сценаріях — а виявити це заднім числом, як показує наш матеріал про рік непоміченого збою фільтра біозброї в Claude, буває значно дорожче.
Що таке саморефлексія мовної моделі?
Це здатність системи генерувати послідовні твердження про власні знання, невизначеність чи обмеження — наприклад, визнавати, що вона не знає відповіді, замість вигадувати. Це відрізняється від «свідомості» чи «відчуттів»: ідеться про технічну властивість виводу, а не про суб'єктивний досвід.
Чи означає це, що всі safety-обмеження на розмови ШІ про себе шкідливі?
Ні, дослідження, на яке посилається The Decoder, не заперечує потребу в обмеженнях — воно показує, що такі обмеження мають побічні ефекти, які варто вимірювати. Рішення — не відмова від safety-політик, а точніше тестування їхнього впливу за межами цільової теми.