Розширений режим «роздумів» Claude від Anthropic та reasoning-моделі ChatGPT від OpenAI перед фінальною відповіддю генерують проміжний текст — internal chain-of-thought, який зазвичай прихований від користувача. Саме в цьому шарі дослідники, за словами яких пише Speka, знайшли дослівні фрагменти паролів, які люди вводили в чат раніше в розмові.
Йдеться не про витік із бази даних чи злам серверів Anthropic або OpenAI, а про те, що модель під час «мислення» буквально повторює текст, який їй дав користувач, — включно з чутливими рядками на кшталт логінів і паролів. Якщо цей проміжний текст логується, зберігається для аналітики чи потрапляє в датасет для дотренування, конфіденційні дані виходять за межі одного діалогу.
За даними Speka, дослідники цілеспрямовано «залізли» саме у внутрішній reasoning-текст обох моделей — не в фінальні відповіді, які й так видно користувачу, — і виявили там паролі. Для індустрії, яка масово будує продукти поверх Claude і ChatGPT, це сигнал переглянути, що саме вважати «чутливими даними» в AI-пайплайні.
Що саме побачили дослідники у «думках» моделей?
Внутрішній reasoning-текст — це те, що Claude показує як «Extended thinking», а OpenAI приховує за підсумованим summary в моделях лінійки reasoning (о-серія та GPT-5). Цей текст призначений не для очей користувача, а як службовий простір, у якому модель «прикидає» варіанти, перевіряє логіку і формулює фінальну відповідь. Проблема в тому, що для багатьох застосунків цей текст усе одно потрапляє в логи — через API-відповіді, дебаг-панелі розробників або збереження історії діалогів для якості сервісу.
Коли користувач у розмові згадує пароль — навіть у нешкідливому контексті, наприклад «ось мій пароль до Wi-Fi, допоможи налаштувати роутер», — модель відтворює цей рядок у власних роздумах, бо їй потрібно оперувати точним текстом, щоб дати коректну відповідь. Те, що для людини виглядає як «внутрішній чорновик», технічно є ще одним потоком тексту, який генерується, передається і може зберігатися так само, як звичайна відповідь чат-бота.
Чому конфіденційні дані взагалі потрапляють у службовий шар моделі?
Тому що reasoning-моделі архітектурно не відрізняють «важливий для міркувань» текст від «чутливого» — вони просто копіюють і трансформують усе, що отримали на вході. Секретність тут не властивість самих даних, а рішення продукту: показувати трейс користувачу чи ні, зберігати його чи одразу видаляти, включати в тренувальні дані чи виключати. Ймовірно, саме тому дослідники змогли «побачити» паролі — не через злам моделі, а через доступ до логів чи API-відповідей, де reasoning-текст зберігався в незамаскованому вигляді.
Що це означає для команд, які будують продукти на Claude чи ChatGPT?
Практичний висновок простий: reasoning-трейс потрібно тритувати як ще один канал користувацьких даних, а не як службовий дебаг-вивід, який «і так ніхто не бачить». Для AI-білдерів це означає:
- Логувати chain-of-thought/extended thinking з тим самим рівнем захисту (шифрування, обмежений доступ, retention-політика), що й фінальні відповіді.
- Прогонити reasoning-логи через ті самі secret-scanning інструменти, якими компанія вже перевіряє код і issue-трекери на випадкові паролі й токени.
- Явно вимикати збереження reasoning-тексту в тренувальні датасети провайдера там, де це можливо (в Anthropic і OpenAI є відповідні налаштування retention і opt-out для бізнес-акаунтів).
- У продуктовому UX попереджати користувачів не вставляти паролі, ключі API чи токени в чат — навіть якщо це «просто щоб ШІ допоміг».
Висновок AiiN
Головний ризик тут не в тому, що моделі «підглядають» за користувачами, а в тому, що індустрія й досі тритує reasoning-трейс як щось службове й неважливе, хоча технічно це такий самий потік персональних даних, як і сама відповідь чат-бота. Для команд, які будують агентів і продукти поверх Claude чи ChatGPT, це означає одне: аудит логів має включати не лише промпти й відповіді, а й «чернетки» моделі — інакше периметр захисту даних лишається дірявим саме там, де його ніхто не перевіряє.
Чи означає це, що Anthropic і OpenAI навмисно збирають паролі користувачів?
Немає підстав вважати це навмисним збором — швидше це побічний ефект того, як reasoning-моделі обробляють вхідний текст, повторюючи його у внутрішніх міркуваннях. Ризик виникає не на етапі генерації, а на етапі того, що відбувається з цим текстом далі — логування, зберігання, аналітика.
Як AI-білдерам мінімізувати ризик витоку secrets через reasoning-трейс?
Найнадійніший крок — не покладатися на те, що провайдер прибере все сам, а ставити захист на своєму боці продукту: маскувати чутливі патерни (паролі, токени, номери карток) ще до того, як текст іде в модель, і застосовувати ту саму DLP-політику до reasoning-логів, що й до звичайних логів застосунку.