Next-Concept Modeling (NCM) працює в 21 раз швидше за найсильнішу дифузійну модель на LM1B і в 31 раз швидше на XSum, за даними arXiv. На LM1B перплексія краща, на XSum ROUGE-L такий самий.

Для білдера важливо, з чим саме порівняли. Усі множники швидкості стосуються дифузійних мовних моделей (DLM). Множників проти авторегресійних моделей в абстракті немає: є лише твердження, що на Sudoku NCM потребує менше викликів моделі. Тож висновок, що це одразу здешевить чат-інтерфейс, поки лише припущення.

Як NCM генерує текст швидше?

NCM замінює послідовне передбачення токенів генерацією за рівнями від грубого до точного. Спершу multiscale residual VQ-VAE кодує текст в ієрархію дискретних кодів. Потім трансформер видає по одному рівню за раз, а всі коди всередині рівня передбачає паралельно.

Автори пояснюють наслідок за даними HazyResearch: на кожен рівень потрібне одне пряме обчислення моделі. Кожен наступний рівень довший за попередній, тож відповідь уточнюється від начерку до повного тексту за кілька кроків.

Що саме показали заміри?

На LM1B NCM дає кращу generative perplexity, ніж найсильніша DLM, при тій самій кількості параметрів і працює в 21 раз швидше. На OpenWebText він «конкурентний» і швидший у 10 разів. На XSum збігається за ROUGE-L і швидший у 31 раз.

Формулювання розходяться. Абстракт називає окремі множники (10×, 21×, 31×), а сторінка репозиторію говорить про діапазон 9-31×. Нижню межу 9× в абстракті не вказано, тож орієнтуйтеся на конкретну задачу, а не на заголовкову цифру.

Ще один результат стосується Sudoku. Автори пишуть, що NCM перевершує авторегресійні та дифузійні бази на всіх рівнях складності й робить це з меншою кількістю викликів моделі.

Чого в цих даних немає?

У абстракті немає perplexity по задачах, розмірів моделей і порівняння з прийомами авторегресійного сервінгу на кшталт speculative decoding, як зазначає за даними AI Weekly. Тести охоплюють безумовну генерацію, переклад, підсумовування й головоломки. Чат з інструкціями й довгим контекстом у джерелах не згадується.

За нашою оцінкою, поки не з'явиться заміру проти оптимізованого авторегресійного сервінгу, 31× не можна переносити на вартість токена у вашому продукті.

Що робити зараз?

Код у репозиторії під ліцензією MIT, ваги й токенізовані датасети лежать у колекції NCM на Hugging Face, тож заяви можна перевірити самому. Репозиторій радить Python 3.10 або новіший і PyTorch з CUDA.

Скрипт запускає по одному шарду генерації на кожну видиму GPU. Для TinyStories, OpenWebText і LM1B він рахує perplexity під GPT-2 large на 5 seeds по 256 безумовних зразків. Заміряйте час на своєму залізі поруч зі своєю поточною авторегресійною моделлю: саме цього порівняння в джерелах бракує.