Судді пакистанських судів отримали для оцінки не типові справи, а вердикти, згенеровані штучним інтелектом: дослідницький проєкт під назвою JudgeGPT поставив реальних суддів у роль екзаменаторів системи, яка претендує писати судові рішення. За даними IEEE Spectrum AI, саме такий формат — «суддя оцінює ШІ-суддю» — і став основою експерименту.

Формат сам по собі показовий: замість чергової демонстрації «ШІ пише резюме справи за 10 секунд» дослідники запросили людей, чия кваліфікація і полягає в оцінці юридичних аргументів, винести вердикт щодо якості машинного вердикту. Це принципово інший рівень перевірки, ніж бенчмарки на кшталт LegalBench чи тести на проходження адвокатського іспиту — там оцінює алгоритм, тут оцінює практик, який щодня відповідає за долю позивача.

Для AiiN цей кейс цікавий не сам собою, а як індикатор: він показує, наскільки далеко LLM просунулися в одній із найбільш стрес-тестових доменних задач — генерації тексту, що має юридичну силу і наслідки для конкретної людини.

Що саме перевіряв експеримент JudgeGPT?

В основі експерименту — класична схема сліпої оцінки: судді аналізували вердикти, не знаючи наперед, які з них написані людиною, а які — системою JudgeGPT, і виносили власне судження про якість аргументації, відповідність фактам справи та юридичну коректність. Такий дизайн знімає головну проблему попередніх демонстрацій «ШІ-юристів» — упередженість розробників, які самі оцінюють власний продукт.

Практика Пакистану тут невипадкова. Країна роками бореться з величезним накопиченням незавершених справ у судах усіх рівнів — від міських до Верховного суду, і саме хронічне перевантаження системи робить будь-яку технологію, здатну пришвидшити підготовку рішень, предметом серйозного, а не суто академічного інтересу.

Чому саме перевантажені судові системи стають полігоном для ШІ?

Пакистан — далеко не перший приклад. У 2023 році колумбійський суддя Хуан Мануель Паділья публічно визнав, що використав ChatGPT під час підготовки рішення у справі про оплату лікування дитини з аутизмом, що спричинило гучну дискусію про межі допустимого. Естонія роками обговорює (і частково відкладає) ідею автоматизованого розгляду дрібних позовів без участі людини-судді. Індійський Верховний суд тестує внутрішній інструмент SUPACE для швидкого пошуку релевантних прецедентів — це вже прийнятий, обережніший підхід: ШІ як помічник, а не як автор рішення.

Спільний знаменник усіх цих кейсів — не технологічна цікавість, а банальна економіка часу: там, де черга розгляду справи розтягується на роки, будь-яка автоматизація виглядає привабливо навіть із ризиками.

Де в судовому застосуванні ховаються найбільші ризики LLM?

Головна небезпека — не грубі помилки, які легко відловити, а правдоподібні, стилістично бездоганні тексти з хибним юридичним змістом: вигаданими посиланнями на прецеденти, неточним трактуванням статей закону чи упередженістю, успадкованою з тренувальних даних. У судовій практиці США вже фіксували випадки, коли адвокати подавали до суду документи з вигаданими ChatGPT судовими справами — і отримували санкції за це.

Друга проблема — підзвітність. Коли рішення пише людина-суддя, є персональна відповідальність, апеляційний механізм і прозорий хід міркувань. Коли чернетку генерує модель, а суддя лише підписує, межа відповідальності розмивається, а перевірити, чому система дійшла саме такого висновку, часто неможливо без спеціальних інструментів. Про схожу проблему непрозорості внутрішніх міркувань моделей ми вже писали, розбираючи, як перевірити узгодженість ймовірнісних тверджень ШІ — той самий принцип «довіряй, але перевіряй» напряму застосовний і до судових чернеток.

Що з цим робити AI-білдерам просто зараз?

Якщо ви розробляєте юридичний AI-продукт — чи то для судів, чи для корпоративного compliance, — експеримент із JudgeGPT дає практичний орієнтир, а не привід для паніки чи ейфорії.

Висновок AiiN

Наша теза: цінність експерименту з JudgeGPT не в тому, пройшла система тест чи ні, а в самому факті, що методологію перевірки нарешті звели до правильного стандарту — оцінки практиками в сліпому форматі, а не маркетинговою демонстрацією розробника. Для індустрії юридичного AI це важливіший прецедент, ніж будь-який конкретний бал, який отримала модель: він задає планку, за якою тепер муситимуть звітувати всі наступні «судові» LLM-продукти.

Чи означає це, що ШІ скоро замінить суддів?

Ні. Навіть найуспішніші експерименти на кшталт пакистанського тестують ШІ як генератора чернеток або асистента, а не як заміну людини з юридичними повноваженнями ухвалювати обов'язкове до виконання рішення — це питання не лише якості тексту, а й правового статусу відповідальності.

Чи можна довіряти вердикту, згенерованому LLM, без перевірки людиною?

Ні, і жоден серйозний судовий чи юридичний проєкт зараз цього не пропонує: ризик вигаданих посилань на прецеденти й прихованих упереджень у навчальних даних робить незалежну перевірку практиком обов'язковою умовою, а не опцією.