# SGLang-Neuron тримає звичний API, але жорстко прив'язаний до версій > Плагін SGLang-Neuron v0.1.0 запускає моделі на AWS Trainium через звичний SGLang, але це прев'ю з жорсткими версіями й без порівняння з GPU. - Опубліковано: 13 листопада 2026 р. (2026-11-13T08:10:55.794372+00:00) - Розділ: AI-інструменти - На основі публікації: [AWS ML](https://aws.amazon.com/blogs/machine-learning/deploy-frontier-ai-models-on-aws-trainium-with-sglang-neuron/) - Видання: AiiN (https://aiin.news) - URL: https://aiin.news/article?slug=sglang-neuron-%D1%82%D1%80%D0%B8%D0%BC%D0%B0%D1%94-%D0%B7%D0%B2%D0%B8%D1%87%D0%BD%D0%B8%D0%B9-api-%D0%B0%D0%BB%D0%B5-%D0%B6%D0%BE%D1%80%D1%81%D1%82%D0%BA%D0%BE-%D0%BF%D1%80%D0%B8%D0%B2-%D1%8F%D0%B7%D0%B0%D0%BD%D0%B8%D0%B9-%D0%B4%D0%BE-%D0%B2%D0%B5%D1%80%D1%81%D1%96%D0%B9 --- SGLang-Neuron v0.1.0 від RadixArk і Annapurna Labs (AWS) дозволяє запускати SGLang на чипах AWS Trainium без зміни API. Це публічне прев'ю з відкритим кодом. Про вихід [за даними AWS ML](https://aws.amazon.com/blogs/machine-learning/deploy-frontier-ai-models-on-aws-trainium-with-sglang-neuron/) оголосили в блозі компанії, а [за даними AICoder](https://aicoder.com/news/news-20261113-sglang-neuron-v0-1-0-open-source-public-preview-aws-trainium-trn3-kimi-k3-glm-5-2-pd-efa), реліз відбувся 12 листопада на SGLang Summit. Звичний інтерфейс справді лишається, але версії треба тримати суворо, а цифр швидкості поки немає. ## Що змінюється для коду, який уже працює на SGLang? Код на SGLang майже не зміниться: сервер запускається так само, а модель викликається тими самими API генерації. Плагін реєструє платформу neuron через entry points SGLang, і її вмикає змінна SGLANG_PLATFORM=neuron. Ядро SGLang відповідає за API-сервер, життєвий цикл запитів, RadixAttention і облік префіксного кешу. Плагін додає моделі, attention, MoE і graph runner для Trainium. Під капотом працює нативний PyTorch через TorchNeuron, а для продуктивності використано NKI-ядра, які компілюються через torch.compile. Є й PD disaggregation: prefill-сервер рахує KV-кеш промпта й передає його decode-серверу через NIXL поверх Elastic Fabric Adapter (EFA). ## Де встановлювати плагін і які версії потрібні? Пакет sglang-neuron з PyPI встановлювати не варто: [за даними PyPI](https://pypi.org/project/sglang-neuron/), сторінка містить напис «WRONG PACKAGE» і відсилає до репозиторію pip.repos.neuron.amazonaws.com. Файли там важать 2,4 кБ, тож це, ймовірно, заглушка. За даними AICoder, для збірки з вихідного коду потрібні Neuron SDK 2.33.0 і SGLang на коміті 43881a7, інакше плагін відмовляється запускатися. Тег готового образу за тим самим джерелом: v0.1.0-neuron-py314-sdk-2.33.0. Є дрібна розбіжність у назвах: блог AWS згадує контейнер pytorch-inference-sglang-neuronx, а AICoder наводить образ public.ecr.aws/neuron/pytorch-inference-sglang-neuron. Перед автоматизацією звірте точну назву в getting started guide. ## Які моделі працюють і чи є цифри продуктивності? SGLang-Neuron підтримує 8 архітектур LLM на Trn3, зокрема GPT-OSS-120B, родину Qwen3, Qwen3.5-397B-A17B, GLM-5.2 з контекстом 1M і Kimi-K3. Kimi-K3 працює розділено: 1 prefill-вузол і 2 decode-вузли. Дифузійні моделі (FLUX.1-dev, Wan2.2 A14B та інші) запускаються на trn2.48xlarge, це також дані AICoder. Єдиного порівняння з GPU немає ні в анонсі, ні в блозі AWS. README, за описом AICoder, обіцяє виміряні результати в кожному рецепті моделі й перевірку точності на GSM8K. Заяви про продуктивність, за оцінкою того ж видання, варто відкласти до незалежних тестів. ## Що це означає для України? Жодне з джерел не називає Україну чи регіони доступності, тож офіційно доступність в Україні не вказана. Ціни на Trn3-інстанси в джерелах теж немає, тому перерахунку в гривні не буде. Оплату українською карткою AiiN не перевіряв. ## Що робити зараз - Якщо вже сидите на SGLang і маєте доступ до Trn3, імовірно, простіше взяти готовий образ, ніж збирати з коду: так не доведеться підбирати коміт SGLang вручну. - Ставте плагін лише з pip.repos.neuron.amazonaws.com, не з PyPI. - Для першого запуску візьміть gpt-oss-120b: за описом AICoder, саме на ньому побудований приклад в AWS (TP8 і EP8, запит на /v1/chat/completions). - Фіксуйте версії: у v0.1.0 API і список моделей можуть змінитися, а збірка з коду вимагає SGLang на коміті 43881a7. --- Теги: AI, AWS, Trainium, SGLang, інференс, LLM Джерело: AiiN — https://aiin.news/article?slug=sglang-neuron-%D1%82%D1%80%D0%B8%D0%BC%D0%B0%D1%94-%D0%B7%D0%B2%D0%B8%D1%87%D0%BD%D0%B8%D0%B9-api-%D0%B0%D0%BB%D0%B5-%D0%B6%D0%BE%D1%80%D1%81%D1%82%D0%BA%D0%BE-%D0%BF%D1%80%D0%B8%D0%B2-%D1%8F%D0%B7%D0%B0%D0%BD%D0%B8%D0%B9-%D0%B4%D0%BE-%D0%B2%D0%B5%D1%80%D1%81%D1%96%D0%B9. Цитуючи, посилайтесь на канонічний URL.