# NCM генерує текст до 31× швидше за дифузійні моделі

> Next-Concept Modeling генерує текст рівнями паралельно: 21× швидше за дифузійні моделі на LM1B і 31× на XSum. Множників проти авторегресії в абстракті немає.

- Опубліковано: 9 листопада 2026 р. (2026-11-09T17:05:14.115590+00:00)
- Розділ: AI-дослідження
- На основі публікації: [HackerNews](https://arxiv.org/abs/2610.14162)
- Видання: AiiN (https://aiin.news)
- URL: https://aiin.news/article?slug=ncm-%D0%B3%D0%B5%D0%BD%D0%B5%D1%80%D1%83%D1%94-%D1%82%D0%B5%D0%BA%D1%81%D1%82-%D0%B4%D0%BE-31-%D1%88%D0%B2%D0%B8%D0%B4%D1%88%D0%B5-%D0%B7%D0%B0-%D0%B4%D0%B8%D1%84%D1%83%D0%B7%D1%96%D0%B9%D0%BD%D1%96-%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D1%96

---

Next-Concept Modeling (NCM) працює в 21 раз швидше за найсильнішу дифузійну модель на LM1B і в 31 раз швидше на XSum, [за даними arXiv](https://arxiv.org/abs/2610.14162). На LM1B перплексія краща, на XSum ROUGE-L такий самий.

Для білдера важливо, з чим саме порівняли. Усі множники швидкості стосуються дифузійних мовних моделей (DLM). Множників проти авторегресійних моделей в абстракті немає: є лише твердження, що на Sudoku NCM потребує менше викликів моделі. Тож висновок, що це одразу здешевить чат-інтерфейс, поки лише припущення.

## Як NCM генерує текст швидше?

NCM замінює послідовне передбачення токенів генерацією за рівнями від грубого до точного. Спершу multiscale residual VQ-VAE кодує текст в ієрархію дискретних кодів. Потім трансформер видає по одному рівню за раз, а всі коди всередині рівня передбачає паралельно.

Автори пояснюють наслідок [за даними HazyResearch](https://github.com/HazyResearch/ncm/wiki): на кожен рівень потрібне одне пряме обчислення моделі. Кожен наступний рівень довший за попередній, тож відповідь уточнюється від начерку до повного тексту за кілька кроків.

## Що саме показали заміри?

На LM1B NCM дає кращу generative perplexity, ніж найсильніша DLM, при тій самій кількості параметрів і працює в 21 раз швидше. На OpenWebText він «конкурентний» і швидший у 10 разів. На XSum збігається за ROUGE-L і швидший у 31 раз.

Формулювання розходяться. Абстракт називає окремі множники (10×, 21×, 31×), а сторінка репозиторію говорить про діапазон 9-31×. Нижню межу 9× в абстракті не вказано, тож орієнтуйтеся на конкретну задачу, а не на заголовкову цифру.

Ще один результат стосується Sudoku. Автори пишуть, що NCM перевершує авторегресійні та дифузійні бази на всіх рівнях складності й робить це з меншою кількістю викликів моделі.

## Чого в цих даних немає?

У абстракті немає perplexity по задачах, розмірів моделей і порівняння з прийомами авторегресійного сервінгу на кшталт speculative decoding, як зазначає [за даними AI Weekly](https://aiweekly.co/alerts/next-concept-modeling-claims-31-speedup-over-diffusion-lms). Тести охоплюють безумовну генерацію, переклад, підсумовування й головоломки. Чат з інструкціями й довгим контекстом у джерелах не згадується.

За нашою оцінкою, поки не з'явиться заміру проти оптимізованого авторегресійного сервінгу, 31× не можна переносити на вартість токена у вашому продукті.

## Що робити зараз?

Код у репозиторії під ліцензією MIT, ваги й токенізовані датасети лежать у колекції NCM на Hugging Face, тож заяви можна перевірити самому. Репозиторій радить Python 3.10 або новіший і PyTorch з CUDA.

- Клонуйте _HazyResearch/ncm_ і завантажте чекпойнти командою _hf download hazyresearch/ncm-checkpoints --local-dir artifacts_.
- Запустіть _evaluate.py_ з конфігом для xsum, wmt14, sudoku-easy, sudoku-medium, sudoku-hard, tinystories, owt або lm1b (small, medium, large).
- Для XSum і WMT14 додайте _--cfg_: у репозиторії для рядка WMT14 з guidance використано _--cfg 1.0_.

Скрипт запускає по одному шарду генерації на кожну видиму GPU. Для TinyStories, OpenWebText і LM1B він рахує perplexity під GPT-2 large на 5 seeds по 256 безумовних зразків. Заміряйте час на своєму залізі поруч зі своєю поточною авторегресійною моделлю: саме цього порівняння в джерелах бракує.

---

Теги: AI, NCM, DiffusionLM, LLM, інференс, ШІ

Джерело: AiiN — https://aiin.news/article?slug=ncm-%D0%B3%D0%B5%D0%BD%D0%B5%D1%80%D1%83%D1%94-%D1%82%D0%B5%D0%BA%D1%81%D1%82-%D0%B4%D0%BE-31-%D1%88%D0%B2%D0%B8%D0%B4%D1%88%D0%B5-%D0%B7%D0%B0-%D0%B4%D0%B8%D1%84%D1%83%D0%B7%D1%96%D0%B9%D0%BD%D1%96-%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D1%96. Цитуючи, посилайтесь на канонічний URL.