# Microsoft вклала економію на навчанні у модель на 2,8 трлн параметрів

> MAI-Base-2, за оцінкою Microsoft, у 4–12 разів ефективніша щодо FLOPs, ніж DeepSeek-V4-Pro-Base. Але це економія на навчанні, а не на інференсі.

- Опубліковано: 16 жовтня 2026 р. (2026-10-16T02:58:46.196977+00:00)
- Розділ: AI-дослідження
- На основі публікації: [Techmeme](https://www.techmeme.com/261015/p59#a261015p59)
- Видання: AiiN (https://aiin.news)
- URL: https://aiin.news/article?slug=microsoft-%D0%B2%D0%BA%D0%BB%D0%B0%D0%BB%D0%B0-%D0%B5%D0%BA%D0%BE%D0%BD%D0%BE%D0%BC%D1%96%D1%8E-%D0%BD%D0%B0-%D0%BD%D0%B0%D0%B2%D1%87%D0%B0%D0%BD%D0%BD%D1%96-%D1%83-%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D1%8C-%D0%BD%D0%B0-2-8-%D1%82%D1%80%D0%BB%D0%BD-%D0%BF%D0%B0%D1%80%D0%B0%D0%BC%D0%B5%D1%82%D1%80%D1%96%D0%B2

---

Microsoft AI завершила попереднє навчання MAI-Base-2: MoE-модель на 2,8 трлн параметрів, з яких 80 млрд активні. За оцінкою компанії, її рецепт у 4,2–12,3 раза ефективніший щодо FLOPs, ніж у DeepSeek-V4-Pro-Base.

Ця економія стосується навчання, а не роботи готової моделі. [За даними Microsoft AI](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/), зекономлені FLOPs пішли на більшу модель. Вартість інференсу, ймовірно, визначають 80 млрд активних параметрів, а ціни чи дати доступу компанія не назвала.

## Що означає «у 4,2–12,3 раза ефективніше»?

Microsoft AI оцінила, скільки обчислень знадобилося б її рецепту, щоб досягти якості DeepSeek-V4-Pro-Base, і порівняла це з обчисленнями, які реально витрачено на цю модель.

Для кожної з чотирьох held-out оцінок команда підігнала окремий закон масштабування BPB від FLOPs. Так вийшов діапазон 4,2–12,3 раза. Відносно власної MAI-Base-1, випущеної в червні, приріст ефективності становить 6,3–12,7 раза.

## Наскільки цим цифрам можна вірити?

Усі результати — оцінки самої Microsoft: код перевіряли на власній кодовій базі, а STEM, математику й Q&A замовили у сторонніх вендорів. Усі набори компанія також очистила від перетину з тренувальними даними. Метрика — bits-per-byte: вона не залежить від токенізатора.

Є й застереження. Для Kimi K3, Qwen3.8-2.4T-A95B і MiMo-V2.6-Pro-RL доступні лише post-trained чекпойнти, тож Microsoft наводить їхні результати з поправкою, що post-training міг вплинути на оцінки. DeepSeek-V4-Pro-Base — єдина опублікована базова модель понад трильйон параметрів, і її навчали на значно меншій кількості FLOPs, ніж MAI-Base-2.

## Як навчали модель?

Microsoft AI тренувала MAI-Base-2 на 16 000 GPU GB200 протягом 38 днів у серпні й вересні 2026 року, тобто приблизно 14,6 млн GPU-годин (16 000 × 38 × 24). Середня MFU, тобто частка використаних обчислень, склала 21% від теоретичного максимуму GB200 у 2,5 PFLOPS у BF16. Частка часу, коли навчання реально рухалося вперед, становила 89%.

Одне з технічних рішень — «source scaling» на менших моделях драбини. Компанія штучно обмежує набір унікальних зразків так, щоб датасет повторювався однакову кількість разів незалежно від довжини запуску. Приклад із блогу: якщо повний запуск на 50T токенів повторює дані 8 разів, запуск на 5T пройде 8 кіл по 1/10 даних. Без цього малі експерименти можуть віддавати перевагу недорегуляризованим архітектурам, які переобучуються на великому масштабі.

Серед інших напрямів компанія називає покращені реалізації MoE і Muon, обрізання градієнтів активацій (activation gradient clipping) та розширені пайплайни даних із візуальними даними.

## Чи можна завантажити ваги MAI-Base-2?

Microsoft планує ліцензувати ваги MAI-Base-2 довіреним партнерам через Foundry, а про публічне завантаження в блозі не йдеться.

Аргумент компанії — походження даних: претренінг на органічних даних без дистиляції з інших моделей. Це аргумент для корпоративних клієнтів Foundry.

Протилежний підхід показала Meta. [За даними Techmeme](https://www.techmeme.com/261015/p59#a261015p59), вона випустила Muse Spark Open з відкритими вагами: 816 млрд параметрів загалом, 42 млрд активних, контекст 1 млн токенів. Meta називає її найпотужнішою відкритою моделлю зі США.

MAI-Base-2 більша: 2,8 трлн проти 816 млрд загальних параметрів (у 3,4 раза) і 80 проти 42 млрд активних (майже вдвічі). Прямо порівнювати їх не можна: Muse Spark Open уже доступна, MAI-Base-2 ще проходить post-training, а моделі Meta немає в переліку, з яким порівнювала Microsoft.

Результати post-training Microsoft обіцяє «незабаром», без дат і цін. Поки що заявлену якість зовні перевірити важко: ваги не публічні, тож незалежно відтворити заявлені результати поки неможливо.

---

Теги: AI, Microsoft, MoE, LLM, ШтучнийІнтелект, MAIBase2

Джерело: AiiN — https://aiin.news/article?slug=microsoft-%D0%B2%D0%BA%D0%BB%D0%B0%D0%BB%D0%B0-%D0%B5%D0%BA%D0%BE%D0%BD%D0%BE%D0%BC%D1%96%D1%8E-%D0%BD%D0%B0-%D0%BD%D0%B0%D0%B2%D1%87%D0%B0%D0%BD%D0%BD%D1%96-%D1%83-%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D1%8C-%D0%BD%D0%B0-2-8-%D1%82%D1%80%D0%BB%D0%BD-%D0%BF%D0%B0%D1%80%D0%B0%D0%BC%D0%B5%D1%82%D1%80%D1%96%D0%B2. Цитуючи, посилайтесь на канонічний URL.