TorchNeuron підтримує 89% зі 100 найуживаніших архітектур генерації тексту проти 46% в Optimum Neuron v0.4.5, за даними Hugging Face. Компанія рекомендує користуватися її бібліотеками напряму замість Optimum Neuron.

Публічна бета TorchNeuron стане доступною 20 жовтня 2026 року. Hugging Face наводить команду встановлення pip install torch-neuronx. Назва пакета залишилася тією самою, що й у попередньої реалізації на базі XLA, хоча TorchNeuron — новий нативний бекенд PyTorch.

Що TorchNeuron змінює порівняно з Optimum Neuron?

TorchNeuron додає neuron як нативний пристрій PyTorch, тож Transformers, Diffusers, Accelerate, PEFT і TRL працюють на Trainium з тими самими класами й скриптами, що й на інших акселераторах.

Раніше інтеграцію бібліотек Hugging Face забезпечувала optimum-neuron на базі torch-neuronx і PyTorch XLA. Hugging Face описує цей підхід як роботу з lazy-тензорами замість eager-виконання, лише статичними формами та перекомпіляцією після кожного graph break. Optimum Neuron приховував цю складність за власними класами моделей і трейнерами. TorchNeuron підтримує eager mode, torch.compile та стандартні розподілені API PyTorch, зокрема DTensor і FSDP2.

Для перенесення підтримуваної моделі на пристрій Neuron у Transformers Hugging Face пропонує передати device_map="neuron". У прикладі інференсу модель Qwen/Qwen3.8-27B працює з tensor parallelism: tp_size дорівнює кількості процесів, кеш статичний, а максимальна довжина послідовності — 1024 токени.

Чи зникли обмеження щодо динамічних форм?

Бекенд Neuron поки не вміє компілювати автоматичні динамічні форми Dynamo — це обмеження прямо зазначене в прикладі навчання Hugging Face. Тому скрипт із SFTTrainer вимикає torch._dynamo.config.automatic_dynamic_shapes; коментар посилається на issue 7660 у репозиторії TRL.

Для генерації Hugging Face наполегливо рекомендує статичний кеш, щоб уникати частих перекомпіляцій. У прикладі CompileConfig містить dynamic=False, а вхід доповнюється до довжини, кратної 512 токенам.

Описи попередньої реалізації в джерелах відрізняються за охопленням. Hugging Face говорить про статичні форми в контексті інтеграції через Optimum Neuron. Водночас XLA-реалізація torch-neuronx підтримує динамічні форми й control flow, за даними AWS Neuron. Наведені тексти не пояснюють, як узгоджуються ці описи.

На яких інстансах працює TorchNeuron?

AWS називає цільовими платформами TorchNeuron інстанси Trn2 і Trn3. Trn1 та Inf2 у цьому переліку немає; для них документація описує XLA-реалізацію torch-neuronx.

За документацією AWS, PyTorch 2.9 — остання версія, для якої torch-neuronx базується на PyTorch/XLA. Перехід пакета на нативну реалізацію TorchNeuron заплановано разом із підтримкою PyTorch 2.10 у майбутньому релізі Neuron. Подальшу підтримку Trn1 та Inf2 після цього переходу наведений текст не уточнює.

Коли TorchNeuron стане доступним?

Hugging Face оголосила початок публічної бети на 20 жовтня 2026 року. Водночас AWS зазначає, що TorchNeuron анонсували в грудні 2025 року на AWS re:Invent, а початкову версію випустили у складі Neuron 2.27.0. Отже, дата публічної бети в повідомленні Hugging Face не є датою першого анонсу чи початкового релізу.

Які налаштування врахувати в скриптах?

Приклади Hugging Face містять конкретні налаштування для генерації тексту й навчання через TRL.