Дослідники опублікували на arXiv роботу (серпень 2026), яка ставить під сумнів надійність метрики FID (Fréchet Inception Distance) — інструмента, яким розробники генеративних моделей майже десятиліття звіряють якість згенерованих зображень. За даними arXiv, автори пропонують метод, що виявляє й ранжує відхилення якості, які стандартний розрахунок FID просто не фіксує.

FID — не просто ще одна метрика в списку бенчмарків. Це число, за яким команди обирають чекпоінт моделі для релізу, порівнюють архітектури в наукових статтях і звітують прогрес інвесторам. Якщо частина реальних дефектів залишається за межами розрахунку, модель може виглядати кращою в таблиці лідерів, ніж є насправді — а гірша за іншими критеріями модель випадково перемагає конкурента лише тому, що її вади FID не бачить.

За нашою оцінкою, головна проблема тут не в самій метриці, а у звичці команд покладатися на одне скалярне число там, де рішення варте мільйонів доларів обчислень. Розберемо, що саме приховує FID і що з цим тепер робити.

Що таке FID і чому на нього досі покладаються?

FID обчислює відстань між двома розподілами зображень — реальних і згенерованих — у просторі ознак нейромережі Inception-v3, порівнюючи середні значення та коваріації цих розподілів за формулою Фреше. Що менше число, то ближче розподіл згенерованих зображень до реальних. Метрику прийняли як індустріальний стандарт для GAN та дифузійних моделей, бо вона дешевша за людську оцінку і краще за попередників (як-от Inception Score) корелює з тим, що люди справді вважають якісним зображенням. Завдяки цьому FID закріпився в майже кожному академічному бенчмарку для генеративних моделей — від класичних GAN до сучасних дифузійних систем.

Які саме відхилення FID залишає непоміченими?

Ключова вразливість — у самій математиці. FID зводить весь розподіл зображень до двох чисел: середнього і коваріації, а тоді порівнює лише ці узагальнені показники. Це означає, що:

Саме на цей клас прихованих розбіжностей і націлена нова робота: замість одного агрегованого числа автори пропонують метод, який виявляє конкретні відхилення та ранжує їх за значущістю.

Що це змінює для команд, які будують генеративні моделі?

Судячи з постановки задачі в роботі, головний практичний наслідок — перехід від «FID = 12.3» до розкладеної діагностики: списку конкретних типів вад із оцінкою їхньої ваги. Для команди, що обирає між двома чекпоінтами перед релізом, це принципова різниця: не просто «модель А краща за модель Б», а «модель А краща в загальному, але провалюється саме в тій підгрупі сценаріїв, яка критична для нашого продукту».

Практично це означає, що:

Висновок AiiN

Наша теза: проблема не в тому, що FID «поганий» — він і далі лишається зручним і дешевим орієнтиром на ранніх етапах розробки. Проблема в тому, що індустрія за майже десять років перетворила одне сумарне число на єдиний критерій прийняття рішень там, де ставки давно виросли до продакшн-релізів і мільйонних бюджетів на тренування. Метод ранжування відхилень, запропонований у роботі, — це не заміна FID, а сигнал, що епоха «одна метрика на все» добігає кінця: генеративні моделі стають достатньо складними, тож оцінювати їх без розкладеної, багатовимірної діагностики стає просто небезпечно для якості продукту.

Що таке FID (Fréchet Inception Distance)?

Це метрика, яка вимірює, наскільки розподіл ознак згенерованих зображень (у просторі нейромережі Inception-v3) відрізняється від розподілу ознак реальних зображень. Що нижче значення, то ближча згенерована вибірка до реальних даних за статистикою першого і другого порядку.

Чи означає це дослідження, що FID більше не варто використовувати?

Ні. Дослідники не пропонують відмовитися від FID, а показують, що покладатися виключно на нього — ризиковано. FID лишається корисним швидким індикатором на ранніх ітераціях, але для фінальних рішень варто додавати більш деталізовану діагностику, як-от метод ранжування відхилень із цієї роботи.