Автори нової публікації у Journal of the American Medical Association (JAMA) закликають регуляторів відмовитися від обов'язкової вимоги «людина в контурі» для медичних ШІ-систем, які вже перевершують лікарів за точністю в конкретних діагностичних задачах. За даними The Decoder, ідея проста й водночас провокативна: якщо алгоритм систематично діагностує точніше за середнього лікаря, примусове збереження людського «підпису» на кожному рішенні не додає безпеки, а забирає частину користі, заради якої цю систему взагалі створювали.

Мова не про абстрактну філософію автоматизації, а про конкретні клінічні задачі. У ширшому масиві досліджень з медичного ШІ за останнє десятиліття вже неодноразово фіксувалося: у вузько окреслених задачах класифікації зображення — від дерматологічних знімків до мамографій — спеціалізовані моделі за точністю зрівнюються або перевершують лікарів-людей. Саме на такі задачі, за викладом The Decoder, і спрямована аргументація авторів JAMA-публікації.

Проблема в тому, що регуляторна логіка досі побудована на протилежному припущенні — що людина в ланцюжку прийняття рішення завжди підвищує безпеку. Автори статті ставлять це під сумнів саме для тих вузьких задач, де перевага ШІ вже статистично доведена.

Що саме пропонують автори публікації?

Головна теза — регуляторам варто перестати автоматично вимагати людського підтвердження там, де клінічні дані показують перевагу алгоритму. Замість універсального правила «лікар завжди має останнє слово» пропонується диференційований підхід: рівень обов'язкового нагляду має залежати від доведеної точності конкретної системи в конкретній задачі, а не від загального страху перед автономним ШІ в медицині.

Це прямо стосується того, як у США здебільшого чинний регулятор — FDA (Food and Drug Administration), найімовірніше саме він мається на увазі під «regulators» у заголовку, — класифікує ШІ як «програмне забезпечення в ролі медичного виробу» (Software as a Medical Device, SaMD). FDA роками схиляється до вимоги людського нагляду як стандартного механізму зниження ризику для адаптивних чи високоризикових моделей, незалежно від того, наскільки добре конкретна модель показала себе в клінічних випробуваннях.

Чому «людина в контурі» не завжди рятує пацієнта?

Контрінтуїтивний, але добре задокументований у літературі з human-AI teaming ефект: коли людина отримує підказку від системи, точнішої за неї саму, вона не завжди приймає її правильно. Два відомі патерни псують сумарний результат команди «лікар + ШІ»:

• Автоматизаційна відраза (algorithm aversion): лікар відхиляє коректну підказку ШІ через одну поміченy раніше помилку, навіть якщо загальна точність системи вища за його власну.
• Автоматизаційна самозаспокоєність (automation complacency): лікар механічно підтверджує рішення ШІ, не перевіряючи його змістовно, — «людина в контурі» перетворюється на формальність, яка додає затримку, але не додає безпеки.

В обох сценаріях додавання людини в контур не гарантує кращого результату, ніж дозволити валідованій системі діяти автономно в межах чітко визначеної задачі. Це і є ядро аргументу, який The Decoder приписує авторам JAMA-публікації.

Що це означає для регуляторів і розробників медичного ШІ?

Для регуляторів наслідок — необхідність переходити від універсальної вимоги нагляду до диференційованої, що спирається на клінічні дані щодо конкретної моделі й задачі. Для компаній, що розробляють медичний ШІ, це змінює пріоритети:

• Клінічна валідація має бути не разовим етапом перед поданням регулятору, а безперервним процесом — саме на її основі в майбутньому вирішуватиметься, чи потрібен людський нагляд.
• UX «людини в контурі» треба проєктувати так, щоб мінімізувати і відразу, і самозаспокоєність, а не просто ставити чекбокс підтвердження — інакше цей рівень нагляду лишається косметичним.
• Питання відповідальності — хто відповідає за помилку: лікар, лікарня чи виробник ШІ — стає гострішим саме там, де людину виводять із контуру ухвалення рішення.

Висновок AiiN

Наша теза: дискусія навколо цієї публікації — не про те, чи довіряти ШІ в медицині взагалі, а про те, що сам факт «людина підписала рішення» перестає бути автоматичним доказом безпеки, коли підказка людини статистично гірша за підказку алгоритму. Для AI-білдерів у медтеху це сигнал проєктувати системи одразу з прицілом на диференційований нагляд — з окремими рівнями автономії для задач із доведеною перевагою ШІ і для задач, де докази ще слабкі, — а не робити один універсальний UI з підтвердженням лікаря «про всяк випадок».

Чи означає це, що ШІ замінить лікарів?

Ні, і публікація в JAMA, судячи з викладу The Decoder, не про це. Йдеться про вузькі, чітко визначені діагностичні задачі — аналіз конкретного типу зображення, — а не про клінічне рішення в цілому, яке включає анамнез, супутні хвороби й комунікацію з пацієнтом, де людина поки лишається незамінною.

Чи змінить це найближчим часом вимоги FDA?

Швидко — навряд чи: перехід регуляторної логіки з універсальної вимоги нагляду на диференційовану, засновану на даних конкретної моделі, потребує нового нормативного процесу й часу. Ймовірно, публікація в JAMA — це радше внесок у професійну дискусію, яка з часом може вплинути на позицію регулятора, ніж негайна зміна правил.