У судовому процесі в США захисна сторона виявила, що позивач вставив невидимі текстові інструкції для штучного інтелекту прямо в судові документи — спробу непомітно вплинути на систему автоматичного огляду матеріалів справи. Випадок вже отримав розголос у профільних медіа як задокументований приклад prompt injection, спрямованого саме проти юридичного процесу.

Йдеться про техніку, знайому розробникам AI-систем: текст, невидимий для людського ока (замаскований форматуванням, кольором чи розміром шрифту), але цілком читабельний для мовної моделі, яка обробляє документ. Якщо автоматизована система рев'ю документів у суді читає такий текст як частину контенту, а не як мета-команду ззовні, вона може виконати вбудовану інструкцію — наприклад, оцінити документ як релевантний, нешкідливий чи такий, що не потребує додаткової перевірки людиною.

За даними The Decoder, сам факт виявлення прихованих інструкцій підняв питання про те, наскільки взагалі безпечно довіряти ШІ-системам автономний огляд судових документів без пильного людського контролю — і чи готове законодавство реагувати на такі маніпуляції.

Що саме сталося в цій справі?

Один з учасників судового процесу вставив у власні документи текст, який людина не бачить під час звичайного перегляду, але який алгоритм автоматичного рев'ю зчитує як звичайний вміст сторінки. За задумом, це мало вплинути на те, як система класифікує чи оцінює документ, — фактично обійти контроль стороннім кодом, замаскованим під частину офіційного filing.

Це класичний приклад prompt injection — атаки, добре відомої в індустрії ШІ ще з часів перших LLM-агентів, які читають зовнішній контент (вебсторінки, email, PDF) і виконують інструкції, знайдені в ньому, замість того щоб відрізняти команду розробника від даних користувача.

Чому автоматичний рев'ю документів вразливий саме до цього?

Бо такі системи зазвичай побудовані на LLM, яка отримує весь текст документа одним блоком — без чіткого розмежування між «змістом, який треба оцінити» і «інструкціями, яким треба підкоритися». Це вроджена архітектурна слабкість більшості сучасних LLM-пайплайнів, а не помилка конкретного постачальника.

За нашою оцінкою, схожі вразливості, ймовірно, вже присутні в інших системах, що покладаються на LLM для масової обробки документів без верифікації джерела тексту — суди тут не унікальні.

Що це означає для юридичної системи та регулювання?

Розгляд справи вже підняв питання про те, чи потрібні судам окремі стандарти перевірки документів на приховані інструкції для ШІ — на кшталт того, як суди вже вимагають розкриття, коли текст filing був згенерований штучним інтелектом. Сам розгляд справи може стати поштовхом до змін у законодавстві щодо використання ШІ в судових процедурах.

Для юридичних фірм і судів, які вже впровадили AI-інструменти для рев'ю доказів, це означає практичний ризик: без окремого шару перевірки вхідного тексту на приховані команди будь-яка сторона процесу теоретично може спробувати маніпулювати результатом автоматичного аналізу. За аналогією, схожі побоювання вже лунали щодо автоматизованого скринінгу резюме та модерації контенту — сфер, де зацікавлена сторона має пряму мотивацію підлаштувати вхідні дані під алгоритм.

Висновок AiiN

Ця справа — не курйоз, а сигнал: щойно автоматизація починає приймати рішення (навіть попередні, «чорнові») на основі документів від зацікавлених сторін, сама можливість вставити приховану команду перетворюється на юридичний важіль. Наша теза проста: компаніям і судовим системам, що впроваджують LLM для обробки вхідних матеріалів від третіх осіб, потрібен окремий шар санітизації тексту (виявлення прихованого чи невидимого контенту, розмежування «даних» і «інструкцій») ще до того, як документ взагалі потрапляє в контекст моделі. Довіра до вхідних даних — а не лише якість самої моделі — стає головним вузьким місцем безпеки для будь-якого AI-рев'ю в юриспруденції, HR, фінансах чи будь-якій іншій сфері, де сторони процесу зацікавлені у результаті. Про схожу проблему довіри до автоматизованих систем ми вже писали в матеріалі про те, як ШІ вихолощує людську експертизу — коли людина перестає критично перевіряти результат автоматизації, вразливості на кшталт цієї стають непомітними.

Що таке prompt injection у контексті судових документів?

Це вставка прихованого тексту-команди в документ, який AI-система читає і сприймає як інструкцію для себе, а не як звичайний зміст файлу, що потребує аналізу.

Чи можна технічно виявити такі приховані інструкції?

Так — перевіркою на невидимий текст (нульовий розмір шрифту, збіг кольору тексту з фоном) та скануванням файлів на приховані шари й метадані, не помітні при звичайному перегляді.

Чи стосується це лише судової системи?

Ні. Та сама вразливість актуальна для будь-якого AI-пайплайна, що автоматично обробляє документи від третіх сторін — резюме-скринінг, страхові заявки, комплаєнс-перевірки.