У серпні 2026 року дослідники опублікували на arXiv роботу про PACE — уніфікований метод стиснення і вилучення інформації, покликаний прискорити інференс vision-language моделей (VLM) за рахунок скорочення кількості візуальних токенів, які модель обробляє на кожному кроці генерації.

Проблема, яку вирішує PACE, добре знайома всім, хто деплоїть мультимодальні моделі на кшталт LLaVA, Qwen-VL чи внутрішніх VLM-пайплайнів: зображення перед подачею в трансформер розбивається на сотні, а іноді й тисячі візуальних токенів, і кожен з них бере участь у самоувазі нарівні з текстовими токенами. Чим більша роздільна здатність картинки чи довше відео, тим довший контекст і тим дорожчий інференс — а квадратична складність attention робить цю проблему особливо болючою.

За даними arXiv, PACE поєднує стиснення візуальних токенів із вилученням найінформативнішої частини даних в єдиному підході — і, за заявленими результатами, робить це без суттєвої втрати якості відповідей моделі.

Що саме зробили дослідники?

Автори PACE запропонували уніфікований пайплайн, який одночасно стискає й фільтрує візуальні токени ще до того, як вони потрапляють у важкі шари трансформера. Замість того, щоб обробляти повний набір токенів зображення на кожному кроці, метод залишає компактніше представлення, яке зберігає інформацію, критичну для відповіді.

У попередніх роботах стиснення токенів зазвичай реалізовували одним із двох шляхів: або відкидали частину токенів (token pruning), або зливали схожі токени в один (token merging). PACE, судячи з опису, поєднує обидва принципи в одному кроці, а не застосовує їх послідовно як окремі евристики.

Ключова відмінність від простого «обрізання» токенів — уніфікованість: стиснення і вилучення інформації працюють як єдиний механізм, а не як два окремі етапи препроцесингу, додані одне до одного.

Як це знижує обчислювальні витрати?

Менше токенів на вході — менше операцій у шарах self-attention та feed-forward, а отже менше пам'яті під KV-кеш і коротший час до першого токена відповіді. Для VLM це особливо відчутно, бо саме візуальні токени зазвичай становлять левову частку контексту порівняно з текстовим промптом.

Кому це реально здешевить інференс?

Найбільше виграють команди, які деплоять VLM на масштабі — обробка документів, скріншотів, відеокадрів чи product-фото у продакшн-пайплайнах, де кожен зайвий токен множиться на кількість запитів. За нашою оцінкою, ефект буде помітнішим саме на задачах з великою кількістю зображень на запит або високою роздільною здатністю, де частка візуальних токенів у контексті найбільша.

Для одиничних, рідкісних запитів через API великих провайдерів виграш менш відчутний — там вартість токенів вже оптимізована на стороні постачальника моделі.

Що з цим робити AI-білдеру вже зараз?

Якщо ваш продукт впирається у бюджет на інференс VLM, має сенс стежити за появою реалізацій подібних методів стиснення токенів у відкритих фреймворках інференсу — vLLM, TensorRT-LLM, SGLang — і тестувати їх на власних даних, а не одразу переписувати пайплайн під конкретну статтю.

Практичний чекліст перед тим, як інтегрувати будь-який метод стиснення токенів у продакшн:

Висновок AiiN

PACE — ще один сигнал того, що індустрія рухається від «більше параметрів» до «менше зайвих токенів» як основного важеля здешевлення інференсу мультимодальних моделей. Для команд, що рахують кожен долар на GPU, це означає: варто інвестувати не лише в підбір моделі, а й у препроцесинг візуального входу — саме там зараз ховається найдешевший виграш у latency і вартості.

Що таке стиснення токенів у vision-language моделях?

Стиснення токенів — це техніка, яка зменшує кількість візуальних токенів, що модель обробляє в шарах self-attention, шляхом об'єднання, вилучення чи фільтрації найменш інформативних з них ще до основного проходу трансформера.

Чи можна вже використати PACE у власному проєкті?

Станом на публікацію це дослідницька робота на arXiv, тож перш ніж інтегрувати підхід у продакшн, варто дочекатися офіційної реалізації або відтворити метод самостійно за описом авторів і перевірити його на власних даних.