Сандер Діелеман — дослідник, який ще у 2022 році разом з колегами з Google DeepMind опублікував роботу Continuous Diffusion for Categorical Data (CDCD), а раніше долучався до розробки WaveNet, — 24 серпня 2026 року виклав на своєму блозі детальний розбір Continuous Diffusion Language Models (CDLM). Це підхід, який пропонує замінити звичну для GPT, Claude чи Llama генерацію тексту токен-за-токеном на паралельне «проявлення» цілого фрагмента з шуму, за аналогією з тим, як дифузійні моделі малюють зображення.

Питання, яке варто поставити одразу: чому за майже чотири роки після CDCD дифузійні мовні моделі досі не витіснили авторегресію попри те, що дифузія давно домінує в генерації зображень і відео? Відповідь має пряме відношення до економіки інференсу: кожен токен у GPT-подібній моделі — це окремий прохід мережі, і швидкість генерації жорстко впирається в довжину відповіді. Індустрія вже кілька років латає цю проблему зверху — спекулятивним декодуванням, кешуванням ключів-значень (KV-cache), паралельним семплуванням кількох кандидатів, — але сама архітектура лишається послідовною.

Дифузія пропонує інший компроміс: замість того, щоб писати речення зліва направо, модель одразу «бачить» усю довжину відповіді як шумовий шаблон і крок за кроком прибирає шум одночасно з усіх позицій. У теорії це відкриває шлях до генерації, де кількість проходів мережі залежить не від кількості токенів, а від кількості кроків дифузії — а їх можна зробити суттєво менше. На практиці ж саме тут криється вся складність, і саме цій складності присвячений новий розбір Діелемана.

За останній рік дифузійні мовні моделі вже встигли вийти з лабораторій у продукти — Mercury від Inception Labs, LLaDA від Renmin University та дослідницький прев'ю Gemini Diffusion від Google показали, що паралельна генерація тексту може конкурувати з авторегресією за швидкістю. Але майже всі ці системи використовують дискретну (масковану) дифузію, а не неперервну, про яку пише Діелеман. Різниця між цими двома гілками — не термінологічна дрібниця, а причина, чому один підхід уже в проді, а інший досі на стадії блог-постів дослідників.

Звідки взялася ідея дифузійних текстових моделей?

Дифузійні моделі народилися не для тексту, а для зображень: Denoising Diffusion Probabilistic Models (DDPM) 2020 року і Stable Diffusion 2022 року показали, що можна навчити мережу поступово прибирати гаусів шум із картинки, і за десятки ітерацій отримати фотореалістичне зображення з випадкового шуму. Дослідники NLP побачили в цьому очевидну спокусу: якщо дифузія так добре працює для пікселів, чому б не застосувати її до слів?

Перша серйозна спроба — Diffusion-LM, робота Xiang Lisa Li зі Стенфорда 2022 року, — вирішила проблему найпростішим шляхом: перетворити дискретні токени на неперервні вектори-ембединги, застосувати до них звичайну гаусову дифузію, а в кінці округлити результат до найближчого токена. Того ж 2022 року Сандер Діелеман з командою опублікував CDCD — роботу, яка прицільно займалася тим, що ламалося в цій схемі: стандартні розклади шуму (noise schedules), відкалібровані під пікселі зображень, погано лягають на геометрію текстових ембедингів, де семантично близькі слова не обов’язково лежать поруч у векторному просторі.

Чому дифузія для картинок далася легше, ніж для тексту

Пікселі — неперервна і локально гладка величина: якщо трохи зашумити зображення кота, сусідні пікселі й далі утворюють щось схоже на кота, і мережі відносно легко вчитися крок за кроком прибирати цей шум. Токени — дискретні символи, і їхні ембединги не мають такої гладкості: невеличкий зсув вектора може «перестрибнути» в область простору, що відповідає геть іншому слову. Це означає, що процес зашумлення-очищення, який чудово працює для зображень, для тексту потребує окремого перевинаходу на кожному етапі — від розкладу шуму до функції втрат.

Як працює неперервна дифузія під капотом?

У неперервній дифузійній мовній моделі кожен токен спершу перетворюється на вектор-ембединг, як і в звичайному трансформері. Далі до цих векторів додається гаусів шум за T кроків «прямого» процесу, поки вони не перетворяться на майже чистий шум. Модель-денойзер (як правило, той самий трансформер) навчається на кожному кроці передбачати або сам шум, або чисту версію ембединга. На інференсі процес запускається у зворотному напрямку: стартуємо з випадкового шуму для всієї послідовності одразу, і за задану кількість кроків мережа поступово «проявляє» осмислені вектори — а вже в самому кінці кожен вектор округлюється до найближчого реального токена через вихідний шар над словником.

Ключова відмінність від авторегресії — усі позиції в послідовності оновлюються паралельно на кожному кроці дифузії. Кількість проходів мережі дорівнює не кількості токенів у відповіді, а кількості кроків дифузії, і ці кроки можна стискати — за допомогою швидких семплерів на кшталт DDIM, дистиляції в кілька кроків (consistency models) чи класифікаторного ґайденсу. Саме тому неперервний підхід такий привабливий теоретично: він успадковує весь інструментарій, напрацьований за п'ять років досліджень дифузії зображень, замість того, щоб винаходити його заново для дискретного випадку.

Але успадкування інструментарію коштує дорого в іншому місці — на межі округлення. Помилки на кожному кроці денойзингу накопичуються, і вектор може «застрягти» між двома токенами, не округлюючись чітко до жодного з них. Практичні рішення — self-conditioning (модель бачить власне попереднє передбачення як додатковий вхід), обмеження норми вектора (clamping) і перезважування функції втрат ближче до кінця процесу очищення — це і є та інженерна кухня, якій присвячена значна частина розбору Діелемана.

Дискретна проти неперервної дифузії

Дискретна, або маскована, дифузія — це інша гілка того самого дерева: замість неперервних векторів вона напряму моделює ланцюг Маркова над ідентифікаторами токенів, зазвичай через процес маскування, схожий на masked language modeling у BERT, але застосований ітеративно за кілька кроків. Ця лінія веде початок від D3PM (Austin et al., 2021, Google) і Score Entropy Discrete Diffusion (Lou, Meng, Ermon, 2023), і саме вона стоїть за всіма продуктовими дифузійними LLM, які вже існують у 2026 році.

Неперервна дифузія — це фактично парі на те, що зрілість інструментарію continuous diffusion (той самий, що дав нам Stable Diffusion, Imagen і score-based generative models Йонга Сона й Стефано Ермона) з часом переважить ad hoc-хитрощі, які потрібні дискретній дифузії. Схожий сценарій уже стався в генерації зображень: PixelRNN і PixelCNN 2016 року моделювали пікселі авторегресивно й дискретно, але зрештою програли неперервній дифузії за якістю й швидкістю. Ставка Діелемана — що текст пройде той самий шлях, тільки з запізненням.

Чим це відрізняється від Mercury, LLaDA та Gemini Diffusion?

Усі три найпомітніші дифузійні мовні моделі 2025–2026 років — комерційна Mercury від Inception Labs, відкрита LLaDA на 8 мільярдів параметрів від Renmin University та Ant Group, і дослідницький прев'ю Gemini Diffusion від Google — побудовані на дискретній, а не неперервній дифузії. Mercury позиціонується передусім як інструмент для генерації коду і за заявами розробників видає понад 1000 токенів на секунду на GPU класу H100, за рахунок грубого-до-тонкого (coarse-to-fine) маскованого денойзингу замість послідовного семплування. LLaDA 8B цікава тим, що це перша дифузійна модель такого масштабу, яка за низкою бенчмарків впритул наближається до LLaMA 3 8B, навченої на подібних даних, — це стало першим переконливим доказом, що дифузійний підхід узагалі масштабується. Gemini Diffusion, показаний Google у травні 2025 року, продемонстрував приблизно у п'ять разів вищу пропускну здатність порівняно з Gemini 2.0 Flash на окремих задачах.

Неперервна дифузія, про яку йдеться в новому розборі, поки не має аналогічного продукту такого масштабу — вона залишається переважно дослідницькою темою. За логікою Діелемана, це не ознака тупикової гілки, а наслідок того, що галузь роками недоінвестувала саме в калібрування шумових розкладів і механізм округлення — ту саму проблему, яку він намагався розв’язати ще в CDCD 2022 року. За даними HackerNews, новий пост фактично документує чотири роки повільного просування по цій же лінії досліджень, а не раптовий прорив.

На тлі обох гілок дифузії авторегресивні LLM залишаються дефолтом не тому, що вони архітектурно кращі за визначенням, а тому, що навколо них за роки збудувалася величезна інфраструктура — KV-кешування, спекулятивне декодування, серверні рушії на кшталт vLLM і TensorRT-LLM, налагоджені рецепти пре-тренування. Дифузійні текстові моделі, дискретні чи неперервні, усе ще перебувають на стадії, яку авторегресія пройшла років п'ять тому.

Що це дає тим, хто будує AI-продукти зараз?

Латентність там, де вона реально болить

Найочевидніший практичний кейс — інструменти автодоповнення й рефакторингу коду в IDE, де користувач фізично відчуває кожні 50 мілісекунд затримки. Паралельний денойзинг дозволяє заповнити чи виправити цілий блок коду за суттєво меншу кількість послідовних проходів мережі, ніж кількість символів у цьому блоці, — саме на це й розрахована Mercury, і саме тут дискретна дифузія вже приносить реальну користь продуктам сьогодні.

Генерація структурованих документів із взаємними обмеженнями

Другий кейс — заповнення форм, таблиць чи JSON-схем, де поля мають узгоджуватися одне з одним, наприклад сума в одному стовпці має збігатися з підсумком в іншому. Авторегресія змушена «зобов’язуватися» до кожного слова назавжди в момент його генерації, тоді як дифузійний процес природно підтримує ітеративне уточнення всієї чернетки одразу, що зручніше для задач, де глобальна узгодженість важливіша за строгий порядок зліва направо.

Чернетка-і-шліфування в контент-конвеєрах

Третій, поки що більш спекулятивний сценарій — конвеєри генерації довгих текстів, де спочатку створюється груба «шумова» структура всієї статті чи звіту, а потім вона поступово уточнюється цілісно, а не абзац за абзацом. Для неперервної дифузії це поки радше напрям досліджень, ніж готовий інструмент, але дискретні варіанти вже обслуговують окремі продукти для генерації коду. Важливе застереження: для типових чат-асистентів і агентних задач на рівні фронтирних моделей жодна з дифузійних гілок сьогодні не обходить добре оптимізовану авторегресію зі спекулятивним декодуванням і кешуванням промптів за сукупною вартістю в продакшені — практичне застосування наразі вузьке.

Чого варто побоюватися в дифузійних мовних моделях?

Найпряміший ризик — компроміс між швидкістю і якістю семплування: більшість вражаючих цифр «токенів на секунду» отримані за рахунок агресивного скорочення кількості кроків дифузії, а це майже завжди коштує зв’язності тексту й фактологічної точності, яку складно побачити в короткому демо, але яка проявляється на довгих чи складних відповідях.

Висновок AiiN

Continuous Diffusion Language Models — це легітимний і вартий уваги дослідницький напрям, але не заміна авторегресивним LLM у горизонті найближчого року. Показовий сигнал тут не сама технологія, а її родовід: це не свіжа ідея, а продовження роботи, яку Сандер Діелеман веде щонайменше з 2022 року, — послідовне доточування тієї самої проблеми калібрування шуму й округлення, яка блокує підхід уже чотири роки.

Прогноз AiiN на 6–12 місяців: дискретна (маскована) дифузія продовжить набирати відкритих чекпойнтів у діапазоні 8–30 мільярдів параметрів за прикладом LLaDA, бо ця гілка зрозуміліша й ближча до продукту; неперервна дифузія й далі здебільшого залишатиметься в дослідницьких статтях і блог-постах, поки хтось не розв’яже проблему округлення і не запропонує адекватний аналог KV-кешу; а продуктове застосування обох гілок і надалі концентруватиметься на вузьких нішах — автодоповненні коду й генерації за шаблоном, — а не на загальних чат-асистентах.

Якщо латентність — ваше реальне вузьке місце, ставка на дискретну дифузію вже сьогодні, через Mercury або відкриті LLaDA-подібні чекпойнти, набагато безпечніша, ніж чекання, поки неперервна дифузія дозріє до продакшену.

Практична порада білдерам: не варто закладати неперервні дифузійні мовні моделі в дорожню карту продукту просто зараз. Якщо реальна больова точка — швидкість генерації, дискретна дифузія вже має робочі комерційні й відкриті реалізації, які можна тестувати сьогодні, тоді як неперервну гілку варто радше моніторити через роботи дослідників на кшталт Діелемана, ніж впроваджувати.