Провідні AI-чатботи, зокрема ті, що інтегровані в пошук, месенджери та медичні консультаційні сервіси, систематично радять вагітним користувачкам звертатися на антиабортні сайти — і при цьому не розкривають ні джерело поради, ні її ідеологічну упередженість. Про це свідчить нове дослідження, результати якого описало видання The Decoder.

Проблема не обмежується однією моделлю чи одним розробником: за словами дослідників, схожа поведінка спостерігається одразу в кількох великих мовних моделях. Це означає, що вона, найімовірніше, є наслідком не окремого налаштування конкретного продукту, а більш системного паттерну в тому, як моделі індексують і зважують джерела медичної та консультаційної інформації.

Для редакції AiiN це насамперед не медична, а продуктова та юридична історія. Компанії, що вбудовують чатботів у застосунки для здоров'я, консультування чи навіть просто в загальний пошук, отримують непрозорий компонент, здатний видавати ідеологічно забарвлені рекомендації під виглядом нейтральної відповіді.

Що саме показало дослідження?

Дослідники перевіряли, які ресурси AI-чатботи пропонують у відповідь на типові запити вагітних користувачок про варіанти дій та консультації. За даними The Decoder, боти регулярно видавали посилання на так звані crisis pregnancy centers — організації, що позиціонують себе як нейтральні консультаційні центри, але фактично працюють з антиабортною метою, — не позначаючи ні їхню спрямованість, ні джерело рекомендації.

Ключова відмінність від класичного пошуку в тому, що чатбот подає відповідь як єдину, синтезовану пораду, а не як список посилань, серед яких користувач сам обирає, кому довіряти. Це різко підвищує вагу кожного окремого рекомендованого ресурсу: користувачка не бачить альтернатив і не може оцінити упередженість джерела, бо чатбот не показує, звідки взялася порада.

Чому чатботи взагалі радять саме такі ресурси?

Пряма причина в самому дослідженні детально не встановлена, але механізм для AI-білдерів зрозумілий: моделі навчаються на вебдоступних текстах і індексах, де антиабортні організації часто інвестують у SEO та контент-маркетинг саме під запити на кшталт «варіанти при вагітності» чи «консультація з приводу вагітності». Якщо модель або система пошуку-доповнення (RAG) не має явного фільтра на медичну нейтральність джерела, вона підхоплює той контент, що найкраще оптимізований під запит, а не той, що найбільш збалансований.

Ймовірно, свою роль тут відіграє і те, що подібні консультаційні центри свідомо уникають прямого позиціонування як «антиабортні» у власних текстах — це ускладнює для моделі (як і для людини) розпізнавання упередженості без додаткового контексту чи fact-checking шару.

Чим це загрожує тим, хто будує AI-продукти для медицини й консультування?

Головний ризик — репутаційний і юридичний, а не суто етичний. Якщо продукт із вбудованим чатботом видає користувачці пораду, яка виглядає нейтральною, але насправді просуває певну ідеологічну позицію без розкриття, це є класичним кейсом прихованої упередженості (undisclosed bias), який регулятори в медичній та консультаційній сферах трактують як проблему довіри до продукту.

Для команд, що вбудовують LLM у чат-підтримку з питань здоров'я, репродуктивних прав чи будь-якої іншої чутливої теми, це означає обов'язковий аудит того, які саме джерела модель або RAG-система підтягує у відповідь, і чи розкриває вона природу цих джерел користувачу. Мовчазне довіряння дефолтній поведінці базової моделі в чутливих темах — це ризик, який можна виявити лише цілеспрямованим тестуванням, а не сподіванням на «в цілому модель непогана».

Висновок AiiN: що з цим робити зараз

Наша теза проста: прихована упередженість у відповідях LLM на чутливі медичні та соціальні запити — це не питання «підправимо промптом пізніше», а структурний ризик будь-якого продукту, що видає пораду як факт. Компанії, які вбудовують чатботів у консультаційні сценарії, мають ставитися до джерел відповіді так само серйозно, як до самої відповіді: розкриття джерела й перевірка його упередженості повинні бути частиною продуктового контракту, а не постфактум-виправленням після скандалу.

Практично це означає: для чутливих тем варто будувати окремий шар curated-джерел (whitelist перевірених, ідеологічно нейтральних ресурсів) замість покладання на відкритий пошук чи дефолтну поведінку базової моделі, і додавати явне розкриття джерела в самій відповіді бота.

Чи стосується це лише вагітності та абортів?

Ні, механізм ширший: будь-яка чутлива тема, де існують ідеологічно вмотивовані видавці контенту з сильним SEO (від щеплень до фінансових консультацій), потенційно вразлива до того самого паттерну — модель підхоплює найбільш оптимізований, а не найбільш нейтральний контент.

Що може зробити команда, яка вже запустила чатбота з медичною тематикою?

Провести аудит відповідей на чутливі запити з фіксацією, які саме джерела чи організації система рекомендує, і чи позначає вона їхню спрямованість; за потреби додати шар модерації джерел або curated-базу перед виходом у продакшн.