Уявіть: ви запитуєте медичну LLM про симптоми редкісної ендокринної патології. Модель відповідає впевнено, з посиланнями на «клінічні рекомендації», наводить дозування, диференціальний діагноз. Все виглядає переконливо. А потім з'ясовується, що половина цих «рекомендацій» — вигадка. Модель галюцинувала. І найстрашніше тут не сама галюцинація, а те, що вона виглядала як правда.

Це не гіпотетичний сценарій. Це системна проблема будь-якого медичного AI-продукту, і до цього тижня ми не мали нормального інструменту, щоб її виміряти. За даними arXiv, нова дослідницька робота представила спеціалізований бенчмарк саме для діагностики галюцинацій у медичних моделях — і це змінює правила гри для всіх, хто будує у цьому просторі.

Чому загальні бенчмарки тут не працюють

Якщо ви хоч раз намагалися оцінити якість медичної LLM, ви вже стикалися з проблемою: більшість існуючих бенчмарків — MedQA, USMLE-style тести, PubMedQA — перевіряють правильність відповіді, але не достовірність генерації. Це різні речі.

Модель може правильно відповісти на питання з тесту, але при цьому в реальному клінічному сценарії генерувати правдоподібні, але хибні твердження. Наприклад, вона знає, що «метформін — препарат першої лінії при діабеті 2 типу», але в контексті конкретного пацієнта з нирковою недостатністю може впевнено порекомендувати його без жодного застереження.

Загальні бенчмарки на кшталт TruthfulQA теж не рятують — вони заточені під загальний домен і не розуміють специфіки клінічної медицини: ієрархію доказів, контекстну залежність рекомендацій, різницю між «прийнятим стандартом» і «актуальними гайдлайнами».

Що робить новий бенчмарк особливим

Ключова інновація — не просто набір запитань, а типологія галюцинацій, специфічна для медицини. Дослідники виділяють декілька категорій, з якими варто познайомитися кожному AI-білдеру в цій сфері:

• Фактичні галюцинації — модель вигадує препарати, синдроми, або дозування, яких не існує в таких конфігураціях.
• Контекстні галюцинації — технічно правильна інформація, але застосована до неправильного контексту пацієнта (вік, коморбідності, взаємодія ліків).
• Часові галюцинації — посилання на застарілі гайдлайни як на актуальні, особливо критично в онкології та інфектології де рекомендації змінюються швидко.
• Цитатні галюцинації — вигадані посилання на реальні журнали або неіснуючі дослідження.

Така класифікація практично цінна тому, що різні типи галюцинацій вимагають різних мітигацій. Фактичні — це питання RAG і knowledge base. Контекстні — питання prompt engineering і структурованого збору анамнезу. Часові — питання freshness ваших даних і дати cut-off моделі.

Стан ринку: де зараз болить

Медичний AI — один з найгарячіших секторів венчурного фінансування останніх двох років. Med-PaLM 2, GPT-4 з медичними fine-tune, спеціалізовані моделі на кшталт BioMedLM, Meditron — усі вони претендують на клінічну застосовність. Але регуляторний тиск зростає: FDA вже почав дивитися на AI-assisted diagnosis як на Software as a Medical Device (SaMD), ЄС через AI Act вимагає документованого тестування для high-risk систем.

І тут виникає парадокс: компанії хочуть деплоїти медичний AI, регулятори хочуть доказів безпеки, але загального стандарту оцінки галюцинацій не існувало. Кожен вендор вигадував свої тести, порівняти результати між командами було неможливо. Новий бенчмарк потенційно вирішує саме цю проблему — стає спільною мовою для галузі.

Практичне застосування: що це означає для білдера

Якщо ви зараз будуєте будь-що медичне — від чат-бота для пацієнтів до системи підтримки клінічних рішень — ось конкретні висновки:

1. Аудит вашої поточної моделі

Перш за все — запустіть власну модель через цей бенчмарк (або аналогічний фреймворк) і подивіться, де вона найбільше «плаває». Швидше за все, найслабше місце буде в контекстних галюцинаціях — там де модель не враховує специфіку конкретного кейсу. Це дасть вам пріоритети для роботи.

2. RAG не є панацеєю

Популярна відповідь на галюцинації в медицині — Retrieval-Augmented Generation: підключаєш модель до актуальної бази знань і проблема нібито вирішена. Але дослідження показують, що навіть з RAG моделі можуть галюцинувати в синтезі між отриманим контекстом і власними «знаннями». Бенчмарк дозволяє виміряти, наскільки ваш RAG-пайплайн реально знижує частоту галюцинацій — а не просто вірити, що знижує.

3. Людина в петлі — не опція, а архітектура

Навіть якщо ваша модель показує хороші результати на бенчмарку, для клінічно значущих рішень людський контроль залишається обов'язковим. Практична рекомендація: використовуйте бенчмарк не щоб довести, що модель «безпечна», а щоб точно зрозуміти, де саме вона потребує людської верифікації. Це допомагає проектувати UI і workflow — де показувати «confidence score», де примусово вимагати підтвердження лікаря.

4. Тестування як частина CI/CD

Якщо ви регулярно оновлюєте модель або дані — інтегруйте медичний hallucination-бенчмарк в pipeline. Fine-tune на новому датасеті може несподівано збільшити частоту галюцинацій в областях, яких ви не торкалися. Регресійне тестування тут таке ж критичне, як у звичайному software.

Обмеження, про які варто знати

Було б нечесно не згадати слабкі сторони. По-перше, будь-який статичний бенчмарк з часом застаріває — медичні знання оновлюються, з'являються нові гайдлайни, і те що «правда» сьогодні, завтра може стати outdated. По-друге, бенчмарк тестує модель в ізольованому режимі, а не в реальному клінічному workflow з усією його складністю — шумом в даних пацієнта, неповними анамнезами, мультидисциплінарними запитами.

За даними arXiv, автори самі визнають ці обмеження і розглядають роботу як відправну точку, а не кінцеве рішення. Що є правильним і чесним підходом.

Гарний бенчмарк не говорить вам, що ваша модель безпечна. Він говорить вам, де саме шукати небезпеку.

Висновок редакції AiiN

Медичний AI зараз знаходиться в тій самій точці, де autonomous vehicles були кілька років тому: технологія вже достатньо хороша, щоб вражати в демо, але ще не достатньо передбачувана для реального deployment без жорсткого контролю. І так само як для автопілотів знадобилися стандартизовані crash tests, для медичних LLM потрібні стандартизовані hallucination benchmarks.

Ця робота — крок у правильному напрямку. Не революція, але важливий інструмент в тулбоксі. Якщо ви будуєте щось у медицині — додайте цей бенчмарк до свого evaluation suite, навіть якщо ваш продукт поки що далекий від клінічного застосування. Краще виявити проблеми на стадії розробки, ніж пояснювати їх регулятору або, що гірше, постраждалому пацієнту.

Головний меседж: не питайте «чи галюцинує моя модель» — питайте «де, як часто, і в яких сценаріях». Відповідь на перше питання завжди «так». Відповідь на друге — це вже робочий план.