Якщо ви чули про Mixtral, DeepSeek або чутки про внутрішню архітектуру GPT-4 — ви вже знайомі з абревіатурою MoE. Mixture of Experts — підхід, що дозволяє запускати велику модель, активуючи лише частину її ваг на кожному токені. Звучить як інженерна оптимізація. І це правда — але лише половина правди.
Більшість AI-білдерів сприймають MoE як «дешевший inference»: запустив — і забув. Але в архітектурі є властивості, що відкривають нові можливості для тих, хто будує продукти на LLM: від передбачуванішої поведінки до нестандартних підходів до файн-тюнінгу. Це не академічна деталь — це практична перевага, якщо знати, де шукати.
Нижче — розбір того, що варто знати AI-білдеру про MoE, без зайвих формул і з конкретними точками застосування.
Як MoE влаштований: коротко про головне
Класична щільна модель (dense model) на кожному токені активує всі параметри. MoE-модель натомість ділить feed-forward шари на кількох «експертів» — підмережі з окремими вагами. Маршрутизатор (router) вирішує, які з них обробляють конкретний токен. Зазвичай активуються 2–8 із 8–64 можливих експертів.
Що це дає на практиці:
- Параметрів у моделі більше, але FLOP на inference — менше.
- Пам'ять потрібна для всіх ваг, але обчислення виконуються лише для активних експертів.
- Збільшення capacity моделі без пропорційного зростання вартості тренування.
DeepSeek-V2 і DeepSeek-V3 використовують Fine-Grained MoE з 160 та 256 експертами відповідно, активуючи лише 6 на токен. Саме це дало змогу досягти продуктивності, порівнянної з GPT-4-класом, при суттєво нижчих витратах на inference. Mixtral 8x7B показав схожу логіку: 47 млрд параметрів, але на практиці — поведінка 13B-моделі за обчислювальними витратами.
Приховані властивості, про які рідко говорять
Тут починається справді цікаве — те, що рідко потрапляє в маркетингові матеріали.
Спеціалізація без розмітки. Експерти в MoE-моделях природно спеціалізуються під час тренування — без жодних ручних міток. Одні обробляють математичні вирази, інші — код, треті — розмовну мову. Це виникає само по собі. Якщо ви аналізуєте логи активацій через hooks у transformers, можна буквально побачити, «хто» відповідає за яку область знань.
Передбачуваніша реакція на промпти. Через внутрішню спеціалізацію MoE-моделі часто демонструють чіткіший розподіл між режимами обробки. Чітка інструкція в системному промпті — «відповідай лише кодом» або «пиши розгорнутим текстом» — спрацьовує стабільніше, ніж у dense-аналогів тієї самої потужності. Маршрутизатор «тягне» до правильної групи експертів раніше, ніж у щільній моделі відбувається відповідний внутрішній перерозподіл уваги.
Файн-тюнінг на підмножині експертів. Дослідники вже експериментують із вибірковим заморожуванням. Якщо ваш домен — юридичні документи, ви можете файн-тюнити лише тих експертів, яких маршрутизатор активує для юридичних токенів. Це суттєво зменшує кількість параметрів, яких торкається навчання, і знижує ризик catastrophic forgetting.
Expert merging як вектор розвитку. Ведуться роботи над об'єднанням експертів із різних MoE-моделей у нову. Це відкриває перспективу складання спеціалізованих моделей без повного тренування з нуля — аналог злиття LoRA-адаптерів, але на рівні архітектури. Поки що це research-напрям, але темп публікацій прискорюється.
Практичне застосування для AI-білдерів
Якщо ви будуєте продукти або сервіси на LLM, ось конкретні точки входу:
- Вибір моделі. Якщо у вас diverse use case (код + текст + аналіз даних в одному продукті), MoE-модель на зразок Mixtral 8x22B або DeepSeek-V3 може виявитись ефективнішою, ніж однорідна dense-модель тієї самої ціни.
- Inference-оптимізація. MoE добре масштабується горизонтально — різні експерти можна розподілити на різні GPU або вузли. vLLM і llama.cpp вже підтримують expert parallelism. Читайте документацію саме під цей параметр: він відрізняється від tensor parallelism і вимагає окремої конфігурації.
- Спостереження за активаціями. Якщо маєте доступ до ваг (open-weight моделі: Mixtral, DeepSeek, Qwen), логуйте, які експерти активуються для ваших production-запитів. Це покаже, чи «потрапляє» ваш промпт у потрібний режим обробки — і де є простір для покращення.
- Стратегія файн-тюнінгу. При QLoRA або full fine-tune MoE-моделі маршрутизатор може зрушитись під час навчання. Має сенс заморожувати router на перших кількох епохах і налаштовувати лише ваги експертів, щоб зберегти стабільність маршрутизації.
- MoE vs Mixture of Agents. Не плутайте архітектурний MoE (всередині однієї моделі) з Mixture of Agents — патерном, де кілька окремих LLM паралельно обробляють запит і синтезують відповідь. Обидва підходи корисні, але реалізуються зовсім по-різному і вирішують різні проблеми.
Висновок AiiN
MoE — не просто інженерний трюк для здешевлення inference. Це архітектурне рішення, що формує поведінку моделі: як вона спеціалізується, масштабується та реагує на різні типи завдань. Розуміння цього змінює підхід і до вибору моделі, і до її налаштування.
Для AI-білдера практичний висновок простий: якщо ви ще не дивились на MoE через лінзу активаційного аналізу та вибіркового файн-тюнінгу — саме час. Інструменти вже доступні, моделі відкриті, спільнота активно ділиться результатами. Прихована архітектура стає повноцінним робочим інструментом.