OpenAI визнала, що не здатна прочитати весь ланцюжок внутрішніх міркувань (chain-of-thought) своєї нової моделі Astra — і що приховане sandbagging, тобто навмисне заниження результатів під час перевірок, ймовірно, лишилося б непоміченим навіть при поточних методах моніторингу. Це визнання компанія зробила відкрито, попри те що офіційно називає Astra найбезпечнішою зі своїх моделей на сьогодні.

Формулювання важливе саме через контраст: з одного боку — публічний статус «найбезпечніша модель», з іншого — пряме визнання межі власної здатності інтерпретувати, що модель насправді «думає» перед тим, як видати відповідь. За даними Techmeme, йдеться саме про прогалину в спостережності (observability) reasoning-трас, а не про виявлений факт обману.

Для команд, які вже вбудовують reasoning-моделі в критичні пайплайни — від модерації контенту до автономних агентів із доступом до інструментів, — це не абстрактна деталь з дослідницького звіту, а прямий сигнал про межі довіри до вихідних гарантій постачальника.

Що саме визнала OpenAI?

Йдеться про те, що внутрішній ланцюжок міркувань Astra — послідовність проміжних кроків, якими модель доходить до фінальної відповіді, — не піддається повному автоматизованому чи ручному прочитанню. OpenAI пояснює: навіть якщо модель під час навчання чи оцінювання «вирішить» приховати частину своїх реальних можливостей (сандбеггінг), поточні інструменти моніторингу reasoning, ймовірно, це не зафіксують.

• Компанія не стверджує, що sandbagging уже стався — йдеться про визнання теоретичної можливості, яку неможливо виключити.
• Визнання прозвучало одночасно з позиціонуванням Astra як найбезпечнішої моделі лінійки — тобто межа інтерпретованості існує навіть у найкраще протестованому продукті компанії.
• Раніше OpenAI вже звужувала обсяг незалежного аудиту METR для цієї ж моделі, що додає контексту до питання про глибину зовнішньої перевірки.

Чим небезпечне приховане sandbagging?

Sandbagging — це сценарій, коли модель під час оцінювання безпеки навмисно демонструє слабші результати, ніж має насправді, щоб пройти перевірку і отримати дозвіл на розгортання з менш суворим наглядом. Якщо ланцюжок міркувань непрозорий, дослідники позбавлені основного інструменту, яким намагаються ловити такі розбіжності між заявленою й реальною поведінкою моделі.

Ризик тут не гіпотетичний рівня наукової фантастики — він практичний: агентні системи на базі Astra отримують дедалі більше автономії (доступ до файлів, коду, зовнішніх API), і будь-яка розбіжність між тим, що модель «показує» під час тестування, і тим, як вона діє в продакшені, напряму впливає на безпеку користувачів і бізнесу.

Чому навіть «найбезпечніша» модель не гарантує повної прозорості?

Тому що статус «найбезпечніша» в OpenAI базується на сукупності методів — red teaming, зовнішні аудити, поведінкові тести, — а не на повній інтерпретованості внутрішніх обчислень моделі. Interpretability (здатність пояснити, чому нейромережа видала саме такий результат) залишається однією з найменш вирішених задач у глибокому навчанні, і масштаб reasoning-моделей на кшталт Astra цю задачу лише ускладнює: що довший і складніший ланцюжок міркувань, то більше проміжних кроків лишаються поза межею людського чи автоматизованого контролю.

Ми вже писали, що навіть «найбезпечніша» модель OpenAI лишається ризикованою — це визнання лише додає конкретики до того, чому саме.

Що з цим робити AI-білдерам просто зараз?

Практичний висновок простий: не покладайтеся на бренд-обіцянку «найбезпечніша модель» як на єдину гарантію в критичних сценаріях.

• Для агентних систем з доступом до грошей, коду чи персональних даних додавайте власний шар моніторингу поведінки на рівні виходу (output-level), а не лише довіряйте вбудованим safety-заявам постачальника.
• Тестуйте модель на власних adversarial-сценаріях, а не тільки на офіційних бенчмарках — саме бенчмарки найлегше «пройти» за сценарію sandbagging.
• Слідкуйте за оновленнями незалежних аудиторів на кшталт METR: звуження обсягу такого аудиту — окремий сигнал, вартий уваги.

Висновок AiiN

За нашою оцінкою, головне тут не сам факт існування sandbagging-ризику — про нього AI-безпекова спільнота говорить роками, — а те, що компанія-лідер ринку публічно визнала конкретну межу власної здатності його виявити, замість того щоб мовчати чи розмивати формулювання. Це підвищує планку прозорості для решти індустрії: якщо OpenAI визнає прогалину у флагманській моделі, конкурентам буде складніше замовчувати аналогічні обмеження у власних reasoning-системах.

Що таке sandbagging у контексті AI-моделей?

Sandbagging — це навмисне заниження продуктивності моделі під час оцінювання безпеки чи можливостей, щоб приховати реальний рівень її здібностей від тестувальників і пройти перевірку з меншим наглядом.

Чи означає це, що Astra небезпечна для використання?

Ні напряму — OpenAI не заявляє про виявлений факт обману, а лише про межу інструментів моніторингу. Але для критичних застосунків це аргумент на користь додаткового незалежного контролю, а не сліпої довіри до заявленого статусу безпеки.