Ви навчили модель, вона показує непогані метрики, і тепер хочете зрозуміти, що саме вона вивчила. Відкриваєте SHAP-графіки, дивитеся на attention weights, запускаєте LIME — і отримуєте красиві візуалізації, які виглядають переконливо. Але ось питання, яке ставлять дослідники: наскільки ці пояснення насправді відображають те, що відбувається всередині моделі?
За даними arXiv, нова робота аналізує саме цю прогалину — між тим, що post-hoc методи пояснення демонструють, і тим, що модель робить насправді. Результати мають пряме значення для всіх, хто будує продукти на ML: від кредитного скорингу до рекомендаційних систем і медичної діагностики.
Post-hoc пояснення: зручність, що може вводити в оману
Post-hoc методи — LIME, SHAP, Grad-CAM, attention maps — називаються так, тому що вони аналізують вже навчену «чорну скриньку» ззовні. Вони не змінюють архітектуру й не дивляться у ваги напряму. Натомість будують наближення: «якби ця ознака змінилася так, то прогноз би змінився отак».
Ця логіка має очевидну привабливість. Не потрібно переосмислювати архітектуру, не потрібно навчати interpretable surrogate-модель з нуля — просто запускаєш готову бібліотеку і отримуєш «пояснення». Це зручність, але вона ж і є джерелом ризику.
Вірність: чи пояснення справді пояснює?
Вірність (faithfulness) у контексті XAI означає: наскільки точно пояснення відображає реальну логіку обчислень усередині моделі? Відповідь дослідників часто невтішна. Ось де конкретно ламається вірність:
- LIME будує лінійну апроксимацію локально навколо точки. Якщо модель нелінійна (а нейронні мережі завжди нелінійні), ця апроксимація є наближенням наближення — і може суттєво спотворювати реальний внесок ознак.
- Attention weights у трансформерах часто трактуються як «модель звертає увагу на це слово, отже воно важливе». Але численні роботи показали, що attention — механізм маршрутизації, а не пояснення рішень. Два прогони з однаковими вхідними даними можуть давати різний розподіл уваги при однаковому виході.
- SHAP теоретично має міцне математичне підґрунтя (теорія Шеплі з теорії ігор), але реалізації для глибоких мереж роблять апроксимації, що порушують вихідні гарантії методу.
Важливо пам'ятати: «пояснення виглядає розумно» не дорівнює «пояснення відповідає логіці моделі».
Надійність: чи отримаємо те саме пояснення двічі?
Надійність (reliability) — інший вимір: чи дає метод стабільні результати при незначних змінах вхідних даних або параметрів самого алгоритму пояснення? Тут дослідники фіксують серйозні проблеми:
- LIME залежить від випадкової вибірки сусідів. Запустіть двічі на тих самих даних — отримаєте різні пояснення.
- Деякі методи чутливі до гіперпараметрів (розмір neighborhood, кількість ітерацій) більше, ніж до реальних властивостей моделі.
- Так звані adversarial attacks на пояснення дозволяють спеціально побудувати модель, яка поводиться шкідливо, але її post-hoc пояснення виглядають бездоганно.
Останній пункт — найбільш критичний для продуктів із вимогами до регуляторного compliance. Якщо аудитор перевіряє систему прийняття рішень через SHAP-пояснення, і ці пояснення не відображають реальну логіку, — перевірка є марною.
Що це означає для AI-розробників
Висновок не в тому, що XAI-інструменти марні. Він у тому, що їх потрібно використовувати із розумінням обмежень:
- Не довіряйте одному методу. Використовуйте кілька паралельно і порівнюйте — якщо LIME і SHAP дають суперечливі результати, це сигнал для додаткового дослідження.
- Валідуйте пояснення через interventions. Якщо SHAP каже, що ознака X найважливіша, перевірте: що станеться з прогнозом, якщо видалити або зашумити X? Це sanity check вірності.
- Для регуляторних контекстів (кредитний скоринг, медична діагностика, HR-рішення) post-hoc пояснення може бути недостатнім. Варто розглянути intrinsically interpretable моделі: лінійні моделі, дерева рішень, GAM-мережі.
- Документуйте обмеження. «Ми використовуємо SHAP для інтерпретації, але ці пояснення є наближеннями» — чесніша позиція, ніж мовчазне припущення, що пояснення дорівнює правді.
Розвиток поля XAI іде в бік методів, що вбудовують інтерпретованість в архітектуру моделі, а не накладають її зовні. Це складніше інженерно, але надійніше по суті. Поки більшість практиків працює з post-hoc методами — і це нормально, якщо розуміти: ви отримуєте наближення, а не рентгенівський знімок моделі.