# Чому post-hoc пояснення ML-моделей часто вводять в оману

> Дослідники arXiv розбирають, де SHAP, LIME та attention-методи дають збій — і що з цим робити

- Опубліковано: 30 червня 2026 р. (2026-06-30T01:24:55.375081+00:00)
- Розділ: AI-дослідження
- На основі публікації: [arXiv](http://arxiv.org/abs/2606.29346v1)
- Видання: AiiN (https://aiin.news)
- URL: https://aiin.news/article?slug=%D1%87%D0%BE%D0%BC%D1%83-post-hoc-%D0%BF%D0%BE%D1%8F%D1%81%D0%BD%D0%B5%D0%BD%D0%BD%D1%8F-ml-%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B5%D0%B9-%D1%87%D0%B0%D1%81%D1%82%D0%BE-%D0%B2%D0%B2%D0%BE%D0%B4%D1%8F%D1%82%D1%8C-%D0%B2-%D0%BE%D0%BC%D0%B0%D0%BD%D1%83

---

Ви навчили модель, вона показує непогані метрики, і тепер хочете зрозуміти, що саме вона вивчила. Відкриваєте SHAP-графіки, дивитеся на attention weights, запускаєте LIME — і отримуєте красиві візуалізації, які виглядають переконливо. Але ось питання, яке ставлять дослідники: наскільки ці пояснення насправді відображають те, що відбувається всередині моделі?

[За даними arXiv](http://arxiv.org/abs/2606.29346v1), нова робота аналізує саме цю прогалину — між тим, що post-hoc методи пояснення демонструють, і тим, що модель робить насправді. Результати мають пряме значення для всіх, хто будує продукти на ML: від кредитного скорингу до рекомендаційних систем і медичної діагностики.

## Post-hoc пояснення: зручність, що може вводити в оману

Post-hoc методи — LIME, SHAP, Grad-CAM, attention maps — називаються так, тому що вони аналізують вже навчену «чорну скриньку» ззовні. Вони не змінюють архітектуру й не дивляться у ваги напряму. Натомість будують наближення: «якби ця ознака змінилася так, то прогноз би змінився отак».

Ця логіка має очевидну привабливість. Не потрібно переосмислювати архітектуру, не потрібно навчати interpretable surrogate-модель з нуля — просто запускаєш готову бібліотеку і отримуєш «пояснення». Це зручність, але вона ж і є джерелом ризику.

## Вірність: чи пояснення справді пояснює?

Вірність (faithfulness) у контексті XAI означає: наскільки точно пояснення відображає реальну логіку обчислень усередині моделі? Відповідь дослідників часто невтішна. Ось де конкретно ламається вірність:

- **LIME** будує лінійну апроксимацію локально навколо точки. Якщо модель нелінійна (а нейронні мережі завжди нелінійні), ця апроксимація є наближенням наближення — і може суттєво спотворювати реальний внесок ознак.
- **Attention weights** у трансформерах часто трактуються як «модель звертає увагу на це слово, отже воно важливе». Але численні роботи показали, що attention — механізм маршрутизації, а не пояснення рішень. Два прогони з однаковими вхідними даними можуть давати різний розподіл уваги при однаковому виході.
- **SHAP** теоретично має міцне математичне підґрунтя (теорія Шеплі з теорії ігор), але реалізації для глибоких мереж роблять апроксимації, що порушують вихідні гарантії методу.

Важливо пам'ятати: «пояснення виглядає розумно» не дорівнює «пояснення відповідає логіці моделі».

## Надійність: чи отримаємо те саме пояснення двічі?

Надійність (reliability) — інший вимір: чи дає метод стабільні результати при незначних змінах вхідних даних або параметрів самого алгоритму пояснення? Тут дослідники фіксують серйозні проблеми:

- LIME залежить від випадкової вибірки сусідів. Запустіть двічі на тих самих даних — отримаєте різні пояснення.
- Деякі методи чутливі до гіперпараметрів (розмір neighborhood, кількість ітерацій) більше, ніж до реальних властивостей моделі.
- Так звані adversarial attacks на пояснення дозволяють спеціально побудувати модель, яка поводиться шкідливо, але її post-hoc пояснення виглядають бездоганно.

Останній пункт — найбільш критичний для продуктів із вимогами до регуляторного compliance. Якщо аудитор перевіряє систему прийняття рішень через SHAP-пояснення, і ці пояснення не відображають реальну логіку, — перевірка є марною.

## Що це означає для AI-розробників

Висновок не в тому, що XAI-інструменти марні. Він у тому, що їх потрібно використовувати із розумінням обмежень:

- **Не довіряйте одному методу.** Використовуйте кілька паралельно і порівнюйте — якщо LIME і SHAP дають суперечливі результати, це сигнал для додаткового дослідження.
- **Валідуйте пояснення через interventions.** Якщо SHAP каже, що ознака X найважливіша, перевірте: що станеться з прогнозом, якщо видалити або зашумити X? Це sanity check вірності.
- **Для регуляторних контекстів** (кредитний скоринг, медична діагностика, HR-рішення) post-hoc пояснення може бути недостатнім. Варто розглянути intrinsically interpretable моделі: лінійні моделі, дерева рішень, GAM-мережі.
- **Документуйте обмеження.** «Ми використовуємо SHAP для інтерпретації, але ці пояснення є наближеннями» — чесніша позиція, ніж мовчазне припущення, що пояснення дорівнює правді.

Розвиток поля XAI іде в бік методів, що вбудовують інтерпретованість в архітектуру моделі, а не накладають її зовні. Це складніше інженерно, але надійніше по суті. Поки більшість практиків працює з post-hoc методами — і це нормально, якщо розуміти: ви отримуєте наближення, а не рентгенівський знімок моделі.

---

Теги: XAI, ML, ШІ, machinelearning, пояснення, AIбілдери

Джерело: AiiN — https://aiin.news/article?slug=%D1%87%D0%BE%D0%BC%D1%83-post-hoc-%D0%BF%D0%BE%D1%8F%D1%81%D0%BD%D0%B5%D0%BD%D0%BD%D1%8F-ml-%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B5%D0%B9-%D1%87%D0%B0%D1%81%D1%82%D0%BE-%D0%B2%D0%B2%D0%BE%D0%B4%D1%8F%D1%82%D1%8C-%D0%B2-%D0%BE%D0%BC%D0%B0%D0%BD%D1%83. Цитуючи, посилайтесь на канонічний URL.