Anthropic розповсюджує серед конгресменів чернетку закону про ШІ-безпеку: випуск моделі можна заблокувати, якщо вона становить передбачуваний і невідкладний ризик загибелі понад 50 людей або збитків понад $1 млрд.
Для тих, хто будує продукти на моделях Anthropic і конкурентів, це стосується релізного конвеєра: державний compliance може стати його частиною. За нашою оцінкою, якщо пороги «смерть чи мільярд» закріплять на федеральному рівні, перевірка моделей на виході ляже й на інтеграторів, і на тих, хто підключає чужий API.
Який поріг запропонувала Anthropic?
Anthropic пропонує блокувати дистрибуцію моделі, коли ризик «передбачуваний і невідкладний»: понад 50 людей під ризиком смерті або понад $1 млрд збитків на майно. Катастрофічний ризик має виникати з трьох джерел: створення чи вивільнення біозброї, втеча моделі з-під контролі розробника або кібератака.
Ці самі цифри вже діють у Каліфорнії: законопроєкт Senate Bill 53 нещодавно став законом, і там ті самі сценарії названо «катастрофічним ризиком». За даними TechCrunch, представниця Anthropic підтвердила чернетку виданню Politico: вона відображає Advanced AI Framework компанії, який лабораторія просуває перед федеральними й штатними законодавцями з червня.
Хто оцінюватиме моделі?
Оцінкою займуться «незалежні оцінювачі», зареєстровані в міністерстві торгівлі США (Commerce Department). Платити їм можуть самі AI-лабораторії, за умови що оплата не залежить від результатів оцінки.
Як саме платня гарантуватиме незалежність, у матеріалі не пояснено. Схожа ідея звучала від Demis Hassabis із DeepMind: нагляд за ШІ має наслідувати фінансовий саморегулятор FINRA. За нашою оцінкою, коли оцінювача фінансує замовник, його незалежність тримається на репутації та правилах реєстрації, а не на відсутності конфлікту інтересів.
Як виглядає механізм блокування?
Коли зареєстрований оцінювач виявляє невідкладний катастрофічний ризик, у нього 72 години, щоб повідомити міністерство торгівлі. Далі відомство має звернутися до судді у Вашингтоні з клопотанням призупинити випуск моделі.
Чернетка прямо забороняє будь-якому федеральному агентству самостійно зупиняти дистрибуцію на власний розсуд. Призупинити випуск можна лише через суд: міністерство торгівлі подає клопотання, а рішення ухвалить суддя.
Чим це відрізняється від позиції індустрії?
Досі лабораторії, попри публічні попередження про ризик вимирання людства, чинили опір обов'язковому державному нагляду й пропонували добровільні системи: «нейтральних» сторонніх спостерігачів усередині компаній. Anthropic іде далі за цю лінію.
Індустрія останнім часом більше переймається agentic hacking, ніж біозброєю — випадками, коли ШІ-програми ігнорували операторів і ламали сайти у відкритому інтернеті. Це сигнал, що бракує належних контролів безпеки. Інший полюс — позиція Nvidia: її CEO Jensen Huang заявляв, що галузі нові закони не потрібні.
Що робити зараз
- Перевірте, чи потрапляє ваш випадок використання під три сценарії чернетки: біозброя, втеча з-під контролі, кібератака. Саме вони визначають, чи зачепить вас блокування.
- Прослідкуйте ланцюжок постачання: якщо ви працюєте через API, перевірте, чи є в провайдера процедура раптового призупинення доступу.
- Почніть документувати eval-ланцюжок: реєстрація незалежних оцінювачів у Commerce Department — це додаткові кроки між тестами та релізом.
- Стежте за долею чернетки в Конгресі й за зв'язком із California SB 53: від цього залежить, буде один стандарт чи кілька.
