Новий бенчмарк оцінки зорового сприйняття ще раз підтвердив те, на що дедалі частіше натрапляють AI-білдери на практиці: мультимодальні моделі, які показують високі результати на текстових і математичних тестах, спотикаються на елементарних задачах із зображеннями — там, де людині достатньо просто уважно подивитися.

За даними The Decoder, результати нового тесту знову фіксують розрив між тим, як моделі розмірковують про складні сцени у відповідь на промпт, і тим, наскільки точно вони насправді сприймають прості візуальні деталі — кількість об'єктів, їхнє взаємне розташування, перетини ліній чи фігур.

Для індустрії, яка щодня продає мультимодальність як ключову перевагу нового покоління моделей, це незручний сигнал. Популярні бенчмарки на кшталт MMMU чи MMBench перевіряють здатність розуміти й міркувати про зображення в цілому, але майже не тестують базове, «тупе» сприйняття — те, з чим людське око справляється без жодних роздумів.

Що саме показав новий тест?

Подібні перевірки зазвичай будують за однаковим принципом: моделі показують зображення з простими, однозначними деталями — порахувати предмети, визначити, які лінії перетинаються, помітити, що одна фігура заступає іншу — і звіряють відповідь із перевіреним, очевидним результатом. Людина в таких завданнях майже не помиляється; сучасні мультимодальні моделі — систематично, а не випадково.

Ймовірно, новий бенчмарк лише додає ще одне підтвердження до вже відомої картини: попередні дослідження зорового сприйняття мультимодальних моделей фіксували схожий розрив між «розумінням» і «баченням» ще з середини 2020-х років.

Чому мультимодальні моделі не бачать очевидного?

Річ у тому, як влаштовані сучасні vision-language моделі. Зображення на вході перетворюється не на пікселі, а на компактний набір векторних токенів через vision-encoder — найчастіше варіації CLIP чи ViT, навчені зіставляти картинки з текстовими описами, а не рахувати чи вимірювати. Така токенізація стискає зображення до розмитого семантичного відбитка: модель добре «знає», що на фото кіт і диван, але втрачає точні геометричні деталі — скільки саме предметів у кадрі, як вони перетинаються, де саме проходить межа між ними.

Мовна частина моделі додає ще один шар неточності. LLM схильні відповідати правдоподібно, спираючись на статистичні патерни з тексту, а не на те, що модель справді «побачила» на зображенні. Тому питання на кшталт «скільки ліній перетинається на малюнку» провокує модель радше вгадувати типову відповідь, ніж рахувати наявне.

Кому і чому це важливо просто зараз?

Розрив між семантичним розумінням і точним сприйняттям напряму впливає на продукти, де модель «дивиться» на екран чи зображення у проді, а не просто описує картинку користувачу:

• Агенти, що керують інтерфейсом за скриншотами (agentic browsing, десктопна автоматизація), можуть неправильно порахувати елементи чи неточно визначити межі кнопок і полів.
• Системи контролю якості у виробництві чи рітейлі, де важлива точна кількість або розташування об'єктів на фото, потребують окремої верифікації, а не покладання на «модель побачила й підтвердила».
• Продукти з розпізнаванням документів, таблиць і діаграм ризикують отримувати правдоподібні, але фактично хибні відповіді там, де критична геометрична точність.

Схожу логіку — що новий бенчмарк не завжди означає новий прорив, а часто лише уточнює вже відомі межі можливостей моделі — ми розбирали, коли писали про причини появи QuoteBench.

Висновок AiiN: що робити з цим зараз?

Наша теза проста: для будь-якого продукту, де модель «дивиться» на зображення в проді — від агентів автоматизації UI до аналізу документів чи знімків, — оцінка за загальними мультимодальними лідербордами нічого не гарантує саме там, де ціна помилки найвища: точний підрахунок, вимірювання, розпізнавання дрібних деталей. Правильний висновок для команд — тримати окремий, вузький набір перевірок на «тупе» сприйняття для власного домену і не покладатися на загальний скор моделі як на гарантію точності.

Чи означає це, що мультимодальні моделі марні для роботи з зображеннями?

Ні. Вони добре справляються із семантичним розумінням — описом сцени, розпізнаванням об'єктів, інтерпретацією контексту. Слабке місце — саме точне, «підрахункове» сприйняття дрібних геометричних деталей, а не робота із зображеннями загалом.

Як перевірити, чи модель годиться для задачі з точним зором?

Найнадійніший спосіб — зібрати невеликий власний набір тестів із заздалегідь відомою правильною відповіддю для вашого домену (кількість об'єктів, їхнє розташування, межі), а не покладатися на загальний скор моделі в публічних лідербордах мультимодальності.

Чи покращується ситуація з новими версіями моделей?

Провідні лабораторії регулярно оновлюють vision-encoder-и та методи навчання, тому точкові покращення можливі. Але судячи з того, що подібні розриви фіксують бенчмарки рік у рік, це радше поступовий процес, ніж різкий стрибок в межах одного релізу.