SGLang-Neuron v0.1.0 від RadixArk і Annapurna Labs (AWS) дозволяє запускати SGLang на чипах AWS Trainium без зміни API. Це публічне прев'ю з відкритим кодом.

Про вихід за даними AWS ML оголосили в блозі компанії, а за даними AICoder, реліз відбувся 12 листопада на SGLang Summit. Звичний інтерфейс справді лишається, але версії треба тримати суворо, а цифр швидкості поки немає.

Що змінюється для коду, який уже працює на SGLang?

Код на SGLang майже не зміниться: сервер запускається так само, а модель викликається тими самими API генерації. Плагін реєструє платформу neuron через entry points SGLang, і її вмикає змінна SGLANG_PLATFORM=neuron.

Ядро SGLang відповідає за API-сервер, життєвий цикл запитів, RadixAttention і облік префіксного кешу. Плагін додає моделі, attention, MoE і graph runner для Trainium. Під капотом працює нативний PyTorch через TorchNeuron, а для продуктивності використано NKI-ядра, які компілюються через torch.compile.

Є й PD disaggregation: prefill-сервер рахує KV-кеш промпта й передає його decode-серверу через NIXL поверх Elastic Fabric Adapter (EFA).

Де встановлювати плагін і які версії потрібні?

Пакет sglang-neuron з PyPI встановлювати не варто: за даними PyPI, сторінка містить напис «WRONG PACKAGE» і відсилає до репозиторію pip.repos.neuron.amazonaws.com. Файли там важать 2,4 кБ, тож це, ймовірно, заглушка.

За даними AICoder, для збірки з вихідного коду потрібні Neuron SDK 2.33.0 і SGLang на коміті 43881a7, інакше плагін відмовляється запускатися. Тег готового образу за тим самим джерелом: v0.1.0-neuron-py314-sdk-2.33.0.

Є дрібна розбіжність у назвах: блог AWS згадує контейнер pytorch-inference-sglang-neuronx, а AICoder наводить образ public.ecr.aws/neuron/pytorch-inference-sglang-neuron. Перед автоматизацією звірте точну назву в getting started guide.

Які моделі працюють і чи є цифри продуктивності?

SGLang-Neuron підтримує 8 архітектур LLM на Trn3, зокрема GPT-OSS-120B, родину Qwen3, Qwen3.5-397B-A17B, GLM-5.2 з контекстом 1M і Kimi-K3. Kimi-K3 працює розділено: 1 prefill-вузол і 2 decode-вузли. Дифузійні моделі (FLUX.1-dev, Wan2.2 A14B та інші) запускаються на trn2.48xlarge, це також дані AICoder.

Єдиного порівняння з GPU немає ні в анонсі, ні в блозі AWS. README, за описом AICoder, обіцяє виміряні результати в кожному рецепті моделі й перевірку точності на GSM8K. Заяви про продуктивність, за оцінкою того ж видання, варто відкласти до незалежних тестів.

Що це означає для України?

Жодне з джерел не називає Україну чи регіони доступності, тож офіційно доступність в Україні не вказана. Ціни на Trn3-інстанси в джерелах теж немає, тому перерахунку в гривні не буде. Оплату українською карткою AiiN не перевіряв.

Що робити зараз