Якщо ви зараз обираєте модель для нового проєкту, шанси великі, що переможець у вашому шорт-листі виявиться MoE-архітектурою — і ви про це навіть не знатимете. Mixtral 8x7B, DeepSeek-V2, DeepSeek-V3, Gemini 1.5 Pro, Grok-1 — всі вони побудовані на принципі Mixture of Experts. Ця архітектура перестала бути академічною концепцією і стала промисловим стандартом.

Для AI-білдера це не просто технічна деталь під капотом. MoE змінює логіку вибору моделі, вимоги до self-hosting і поведінку, яку ви можете очікувати від API. Якщо ви досі обираєте між моделями лише за кількістю параметрів або бенчмарком — ви втрачаєте важливу частину картини.

Що таке MoE і як це працює зсередини

У звичайній (щільній) трансформерній моделі кожен токен проходить через всі шари та нейрони — повністю. MoE розриває цей принцип: замість одного великого FFN-блоку (feed-forward network) є N незалежних «експертів» — окремих підмереж. Для кожного токена router (гейтингова мережа) обирає лише K із них — зазвичай 2 з 8 або 2 з 64.

Наслідок: модель зберігає величезну кількість параметрів, але під час інференсу активує лише їх малу частку. Mixtral 8x7B технічно має 47 млрд параметрів, проте на кожен токен активно задіяні лише ~13 млрд — як у значно меншої моделі. DeepSeek-V3 іде ще далі: 671 млрд загальних параметрів, але активних під час forward pass — близько 37 млрд.

Ключова ідея: ємність знань зберігається в усіх експертах, а обчислювальна вартість залишається керованою. Router навчається неявно спеціалізувати експертів — деякі краще обробляють код, інші — природну мову чи математику, хоча ця спеціалізація не задається вручну і не є абсолютною.

Що MoE означає для швидкості та вартості

Практичний наслідок для розробника — нижча вартість inference при порівнянній або кращій якості. Провайдери можуть тримати меншу ціну за токен на MoE-моделях, бо GPU-час на один токен менший. Але є нюанси:

• Швидкість генерації (TPS): MoE-моделі зазвичай швидші на токен, бо активується менше параметрів. Це критично для стрімінгових інтерфейсів та агентних сценаріїв із довгими ланцюжками викликів.
• Споживання пам'яті: Навпаки — вимоги до RAM/VRAM вищі, бо всі експерти мають бути завантажені одночасно. Mixtral 8x7B потребує ~90 ГБ VRAM у fp16. Квантизація рятує, але врахуйте це при self-hosting.
• Latency першого токена (TTFT): У хмарних провайдерів зазвичай нормальна, але при локальному запуску з CPU-офлоадингом може зростати через переміщення ваг між RAM і VRAM.

Висновок простий: MoE вигідний для хмарного використання з великими обсягами токенів. Для локального self-hosting на одному GPU — складніший, і тут щільна модель меншого розміру може виграти за практичністю.

Практичні рішення для AI-білдера

Вибір моделі для production API. Коли ви порівнюєте, наприклад, Mistral Large (щільна) та Mixtral 8x22B (MoE), не орієнтуйтесь лише на бенчмарк. MoE-моделі іноді демонструють вищу варіативність відповідей через стохастичний routing. Для задач, де потрібна висока передбачуваність — тестуйте temperature=0 окремо й перевіряйте на ваших конкретних промптах, не на синтетичних тестах.

Локальний запуск через Ollama або vLLM. Для Mixtral 8x7B квантизована версія Q4_K_M займає ~26 ГБ — реально на MacBook Pro M2 Max або одному A100. vLLM має нативну підтримку MoE з expert parallelism — для multi-GPU серверів це правильний вибір. Якщо ваш сервер має 2×A100 80 ГБ, DeepSeek-V3 у 4-bit квантизації вже запускається.

Fine-tuning MoE-моделей. Fine-tuning MoE потребує уваги до load balancing loss — без нього після навчання більшість токенів може «застрягти» в одному-двох експертах, що руйнує їхню спеціалізацію. Бібліотеки LLaMA-Factory та Axolotl вже мають підтримку MoE-специфічних налаштувань. Якщо використовуєте LoRA для MoE — є сенс адаптувати лише router або лише конкретних експертів залежно від задачі.

Агентні системи та довгий контекст. DeepSeek-V3 і Gemini 1.5 Pro — обидва MoE — сьогодні найбільш доступні варіанти для роботи з вікном контексту від 128K токенів. Для RAG-пайплайнів, де потрібно передавати великі документи або тримати тривалу пам'ять агента, це практично безальтернативний вибір за співвідношенням ціна/якість/контекст.

Висновок AiiN

MoE — це не чергова маркетингова характеристика моделі. Це архітектурне рішення, яке безпосередньо визначає, скільки ви платите за inference, як модель поводиться під навантаженням і чи можна її запустити локально на вашому обладнанні. Розуміння різниці між щільною і розрідженою моделлю вже сьогодні дозволяє обирати правильний інструмент під конкретне завдання — а не покладатися лише на розмір параметрів або загальні рейтинги.

Практична порада: при наступному виборі моделі додайте до чеклисту два пункти — архітектура (MoE чи щільна) та кількість активних параметрів. Разом із бенчмарком це дає значно точніший прогноз реальної поведінки в production.