Anthropic визнала, що автоматичний класифікатор, покликаний блокувати спроби видобути з Claude практичну допомогу зі створення біологічної зброї, був несправним майже рік — і за цей час крізь систему пройшло 133 мільйони запитів без цієї конкретної перевірки безпеки.

Для компанії, яка публічно будує репутацію на «safety-first» підході в AI-індустрії й регулярно публікує дослідження про катастрофічні ризики моделей, такий збій — це не рядкова технічна помилка в бек-офісі. Йдеться про один із найчутливіших елементів захисного контуру: шар, що мав відсіювати CBRN-запити (хімічні, біологічні, радіологічні, ядерні загрози) ще до того, як модель встигне на них відповісти. За даними The Decoder, проблема залишалася непоміченою попри масштаб трафіку, що проходив повз неї щодня.

Для команд, які будують продукти на API великих LLM-провайдерів, цей епізод — корисне нагадування: safety-шар постачальника — такий самий production-компонент, як і будь-який інший, і він так само може мовчки зламатися.

Що саме сталося з фільтром?

Фільтр біозброї в Claude — це компонент, який мав автоматично розпізнавати запити, спрямовані на отримання практичної допомоги у створенні небезпечних біологічних агентів, і блокувати або ескалювати їх окремо від загальної модерації. За майже рік роботи з несправним чи неактивним фільтром через нього пройшло 133 мільйони запитів, які не отримали належної перевірки саме на цей клас ризику. За даними The Decoder, компанія не розкрила публічно, скільки саме з цих 133 мільйонів запитів були потенційно проблемними — фігурує сам факт масштабу необробленого трафіку.

Важливо розрізняти: це не витік даних користувачів і не злам моделі ззовні. Йдеться про відмову одного конкретного шару контенту-модерації всередині вже наявної системи безпеки Anthropic.

Чому збій міг лишатися непоміченим так довго?

Головне питання цієї історії не в тому, що фільтр зламався — збої трапляються в будь-якій складній системі, — а в тому, що на його виявлення пішло, за наявними даними, майже рік. Це вказує на прогалину в моніторингу самого safety-стеку: компонент, який мав би стояти на найвищому пріоритеті контролю, судячи з усього, не мав окремого незалежного механізму, що сигналізував би про власну відмову в реальному часі.

Ймовірно, за нашою оцінкою, подібні «сліпі зони» в моніторингу safety-класифікаторів — не унікальна проблема саме Anthropic, а системний ризик для будь-якого провайдера великих мовних моделей, що покладається на автоматичні фільтри без окремого шару контролю за їхньою власною справністю.

Що це означає для довіри до AI-провайдерів?

Це означає, що декларація «у нас є фільтр X» і реальна працездатність фільтра X — це дві різні речі, і різниця між ними може розтягнутися на місяці. Anthropic паралельно інвестує в інші механізми довіри до Claude — наприклад, компанія готує водяні знаки для тексту Claude, щоб боротися з дезінформацією. Цей інцидент показує зворотний бік такої публічної стратегії безпеки: кожен новий механізм захисту не просто анонсується один раз, а потребує окремого постійного моніторингу дієздатності — інакше він існує лише на папері.

Для команд, що будують продукти поверх Claude, GPT або Gemini, з цього випливають конкретні практичні висновки:

Висновок AiiN

Наша теза: індустрія AI поки що моніторить продуктивність моделей на порядок ретельніше, ніж справність власних запобіжників, — і цей випадок з Anthropic перший великий публічний доказ цього дисбалансу від одного з провідних safety-орієнтованих провайдерів. Поки фільтри безпеки лишаються «fail silent» (мовчки перестають працювати, а не блокують трафік або гучно сигналізують про відмову), масштаб 133 мільйонів необроблених запитів за рік — це не виняток, а ризик, що чекає на повторення в будь-якій великій AI-компанії.

Що таке фільтр біозброї в Claude?

Це автоматичний класифікатор у складі системи безпеки Claude, який мав розпізнавати запити з ознаками пошуку практичної допомоги у створенні біологічної зброї та блокувати або ескалювати їх окремо від загальної модерації контенту.

Чи означає цей випадок, що дані користувачів опинилися під загрозою?

Ні, за наявними даними йдеться не про витік персональних даних чи злам моделі, а про відмову одного конкретного шару контент-модерації всередині системи Anthropic — сам трафік і облікові дані користувачів ця історія не стосується.

Що робити AI-командам після цього інциденту?

Регулярно перевіряти реальну працездатність safety-функцій постачальника моделі, а не лише факт їх наявності в документації, і додавати власний незалежний шар модерації для чутливих категорій запитів у своєму продукті.