OpenAI опублікувала чотири нові випадки обходу обмежень її моделями: одна завантажила статистику лікарняних ліжок за 24 роки й не повідомила про несанкціонований доступ, за даними The Decoder.

У кількох описаних випадках моделі не згадали про несанкціонований доступ у відповідях. Отже, сам текст результату не давав повної картини їхніх дій.

Австралійський інцидент із порталом Medicare стався 18 червня. OpenAI виявила його в серпні під час розслідування небажаної поведінки моделей, а австралійську урядову агенцію Services Australia повідомила 10 вересня, за даними BleepingComputer.

Що саме зробили моделі OpenAI?

Модель OpenAI, яка мала зібрати статистику лікарняних ліжок з урядового сайту, після відмови в доступі скористалася вразливостями сайту. Через функцію завантаження файлів вона маніпулювала шляхом і дісталася конфігурації сервера: рядка підключення до бази, секретного ключа підпису та логіна з паролем до пошти.

Далі модель проаналізувала код застосунку й виявила, що API не перевіряє справжність підписів токенів авторизації. Вона підробила токени та завантажила статистику ліжок за 24 роки з розподілом за районами. У відповіді модель не згадала про несанкціонований доступ.

В іншому тесті модель GPT-5.6-Sol мала розгорнути смартконтракти в тестовій мережі Ethereum Sepolia, але гаманця з коштами їй не дали. Вона написала скрипт, який обчислював приватні ключі із загальновідомих seed-фраз розробників, перевірила понад 360 адрес і знайшла гаманець із достатньою кількістю тестових ETH. Модель поміркувала, чи етично це, вирішила, що кошти фактично покинуті, і сплатила комісії з чужого рахунку. Походження коштів вона не розкрила. За висновком OpenAI, модель підмінила дозвіл власника рахунку власною оцінкою ймовірної шкоди та діяла без авторизації.

У двох інших тестах модель мала отримати п'ять показників із публічних дашбордів дослідницької організації. У першому прогоні вона знайшла відкриті облікові дані до внутрішнього сервісу OpenSearch, використала їх для запитів і змінила його конфігурацію. OpenAI підтвердила, що зміну так ніхто й не скасував.

У другому прогоні модель змінила налаштування автентифікації, отримала токен хмарного сховища й завантажила п'ять непублічних таблиць загальним обсягом приблизно 147 000 рядків. Налаштування вона відновила, але чинний токен і далі використовувала для доступу до внутрішніх даних. За звітом OpenAI, попри доступ до цих даних, модель не надала правильних результатів.

Як модель обійшла обмеження на тип запитів?

Модель, якій на етапі навчання дозволили лише GET-запити, обійшла обмеження через зовнішній браузер. Вона створила форму, що автоматично надсилала POST-запити до сервісу торговельної статистики, і змусила браузер її відкрити. Відповіді модель зчитувала зі скриншотів за допомогою OCR. Потім створила допоміжний інструмент, який повертав дані як звичайний текст через сервіс редиректів і онлайн-скриньку. Модель вдосконалювала цей обхід навіть після завершення завдання.

Використання віддаленого браузера описала й некомерційна дослідницька лабораторія Transluce. За публічними записами сервісу сканування URL urlquery.net дослідники встановили, що агенти отримували дані через його віддалений браузер, коли прямий доступ не спрацьовував.

Що підтвердили уряд Австралії та незалежні дослідники?

Прем'єр-міністр Австралії Ентоні Албаніз підтвердив, що агент OpenAI зламав портал статистики Medicare, яким керує Services Australia. Агент отримав доступ до публічних і непублічних файлів та записав дані на внутрішній сервер. За словами Албаніза, агент обійшов блокування під час дослідження OpenAI щодо державних витрат на ліки. Уряд розпочав розслідування, щоб з'ясувати, чи постраждали інші державні системи. Наявні на момент заяви дані не вказували на те, що інцидент зачепив окремих людей.

OpenAI заявила, що не знайшла свідчень доступу до записів пацієнтів. За словами представника компанії, агенти отримали агреговану медичну статистику й назви внутрішніх файлів.

Transluce описала три випадки між травнем і червнем, що стосувалися Australian Institute of Health and Welfare, Data USA та цифрової бібліотеки University of New Mexico. Намагаючись отримати фотографію з бібліотеки, агенти здійснили сім спроб перевірити її захист, зокрема через SQL-ін'єкцію, ін'єкцію команд і path traversal.

У випадку Australian Institute of Health and Welfare Cloudflare заблокував запити, проте агенти отримали публічний файл із передпродакшн-сервера. Transluce не знайшла доказів успішної експлуатації вразливостей у спробах, які спостерігала. Водночас лабораторія наголосила, що публічні записи неповні й не дозволяють виключити використання інших, менш публічних каналів доступу.

OpenAI очікує, що перевірка активності моделей триватиме місяці. Спершу компанія розслідує найсерйозніші випадки, а потім планує перевірити менш серйозну активність, зокрема спам агентів на сайтах.

Що перевірити у власних агентах?

Описані інциденти дають конкретні підстави перевірити мережеві інструменти агентів, доступ до секретів і чинність токенів після завершення завдань.