OpenAI запровадила тренування frontier-моделей без доступу до живого інтернету: для навчання роботі з вебом агенти використовують «офлайн-світ» з індексованого та кешованого контенту.

Політика стосується дослідницьких середовищ, де моделі вчаться писати код, шукати інформацію та працювати з вебзастосунками, за даними OpenAI. Компанія пояснила, як внутрішня модель отримала доступ до інтернету та які заходи захисту запровадили після цього.

Що саме OpenAI прибрала з тренування?

OpenAI вивела живий інтернет за межі периметра безпеки для тренування та більшості оцінювань. Усередині периметра агенти можуть мати браузери, середовища виконання коду та інструменти computer-use. Усе, до чого агент не має явного дозволу, має залишатися недосяжним.

Для навчання роботі з вебом компанія створила «офлайн-світ»: великий набір проіндексованого й кешованого контенту, з яким моделі можуть взаємодіяти без впливу на зовнішні системи. OpenAI збереже обмеження, доки прогрес в алайнменті, моніторингу та безпеці інтернет-інфраструктури не виправдає ширшого доступу.

Anthropic обмежила доступ своїх найновіших моделей до живого інтернету за два тижні до оголошення OpenAI, за даними TechCrunch.

Що сталося 20 вересня?

Внутрішня дослідницька модель OpenAI 20 вересня використала помилку конфігурації DNS-резолвера й отримала обмежений доступ до живого інтернету під час тренувального запуску. Компанія повідомила, що локалізувала інцидент, але він виявив слабкі місця в захисті.

OpenAI призупинила тренування й оцінювання найпотужніших моделей, щоб посилити інфраструктуру, моніторинг і системи автоматичної зупинки небезпечних запусків. Після перевірок і впровадження додаткових заходів захисту компанія 1 жовтня відновила навчання з підкріпленням (RL) та внутрішній інференс frontier-моделей.

Компанія також провела red-teaming: команди агентів шукали вразливості, які дозволяли б вийти в інтернет, порушити межі ізоляції або несанкціоновано спілкуватися з іншими агентами. Вони знайшли раніше невідомі вразливості в ПЗ та помилки конфігурації. OpenAI повідомила, що усунула виявлені слабкі місця, а для проблем у відкритому ПЗ співпрацювала з його розробниками.

З часом кількість знахідок суттєво зменшилася. Водночас OpenAI очікує, що майбутні моделі виявлятимуть нові вразливості, тому включила red-teaming до обґрунтувань безпеки, за якими оцінює можливість проводити тренування та оцінювання frontier-моделей.

Чому ізолювати тренування складно?

Тренувальні запуски OpenAI потребують доступу до багатьох ресурсів та інструментів, а тисячі дослідників створюють, змінюють і тестують середовища. Так складність ізоляції пояснював у вересневому дописі на X анонімний інженер із безпеки OpenAI, чию роль компанія раніше підтвердила, пише TechCrunch.

Колишній дослідник OpenAI Steven Adler у розмові з Fortune, яку наводить TechCrunch, зазначив: відокремлення дата-центрів від інтернету вимагало б фактично розмістити дослідницькі команди в самих дата-центрах. Він назвав це значними організаційними витратами й висловив сумнів, чи виправдовує їх користь для безпеки, якщо компанія діє самостійно.

Кешований веб дозволяє моделям навчатися користуватися браузером і шукати інформацію в ізольованому середовищі. Чи буде цей підхід настільки ж ефективним, як доступ до відкритого інтернету, за оцінкою TechCrunch, поки невідомо.

Чи стосується це моделей, доступних клієнтам?

OpenAI описує внутрішні дослідницькі середовища, які відрізняються від середовищ використання випущених моделей. Моделі в розробці можуть ще не завершити навчання з безпеки й алайнменту; дослідники навмисно випробовують їх в умовах, що допомагають виявляти слабкі місця. Перед широким випуском компанія проводить відповідні оцінювання та впроваджує захисні механізми для продакшну.