Reflection AI випустила Beam — відкриту MoE-модель на 501 млрд параметрів для кодингу й агентних задач. Вона підтримує контекст до 1 млн токенів і доступна під ліцензією Apache 2.0.

Що означає чекпоінт Beam обсягом близько 1 ТБ?

Beam у BF16 має чекпоінт обсягом близько 1 ТБ у форматі safetensors, за даними Hugging Face. Це розмір файлів ваг, а не повна вимога до пам’яті для запуску: додатково потрібна пам’ять під KV-кеш.

На кожен токен Beam активує близько 23 млрд параметрів: маршрутизатор обирає 8 із 256 експертів у кожному MoE-шарі. Однак усі експерти залишаються в пам’яті. Тому кількість активних параметрів не можна використовувати як оцінку обсягу пам’яті під ваги.

Крім BF16, доступні чекпоінти NVFP4 і FP8. NVFP4 зберігає більшість параметрів із 4-бітною точністю для NVIDIA Blackwell, а частину — у BF16 для збереження точності моделі. FP8 Hugging Face рекомендує для Hopper і Ampere. Розмірів цих чекпоінтів і готових конфігурацій GPU в наведеному фрагменті джерела немає, тож визначити за ним повні вимоги до обладнання неможливо.

Як довгий контекст впливає на пам’ять?

KV-кеш Beam зростає на 36 КіБ із кожним додатковим токеном, оскільки повну послідовність зберігають лише 9 шарів. Інші 43 шари працюють із вікном останніх 512 токенів: після його заповнення їхній кеш більше не зростає.

Якби всі 52 шари зберігали повну послідовність, приріст становив би 208 КіБ на токен. Така архітектура зменшує приріст кешу для довгого контексту, але не усуває його. До змінної частини також додається фіксований кеш шарів із ковзним вікном.

Які інструменти підтримують розгортання й донавчання?

Beam із першого дня релізу підтримують transformers, vLLM і SGLang. Hugging Face разом із Reflection підготували рецепти інференсу, донавчання з учителем (SFT) і навчання з підкріпленням (RL).

Для власного розгортання Hugging Face спрямовує розробників до рецептів vLLM або SGLang. Це дає білдеру відправну точку для запуску на своїй інфраструктурі; рецепти SFT і RL призначені для адаптації моделі до власних задач. Beam також постачається з окремим відкритим harness на Rust.

Що відомо про якість Beam порівняно з іншими моделями?

Reflection називає Beam «конкурентним» щодо GLM-5.2 від Z.ai і таким, що «наближається» до Qwen3.8-Max від Alibaba у кодингу й агентних сценаріях, за даними South China Morning Post. Kimi K3 від Moonshot AI, за оцінкою Reflection, залишається попереду за загальними можливостями.

Це порівняння від розробника Beam. SCMP також згадує ранні сторонні тести ефективності за кількістю токенів, але наведений фрагмент не містить назв тестів, методики чи числових результатів. Цих відомостей недостатньо, щоб незалежно підтвердити перевагу Beam. Alibaba володіє SCMP.