# TorchNeuron підтримує 89% топ-100 архітектур генерації тексту

> Hugging Face анонсує публічну бету TorchNeuron на 20 жовтня 2026 року. Бібліотеки працюватимуть на Trainium напряму; AWS вказує платформи Trn2 і Trn3.

- Опубліковано: 19 жовтня 2026 р. (2026-10-19T19:27:56.557033+00:00)
- Розділ: AI-інструменти
- На основі публікації: [Hugging Face](https://huggingface.co/blog/hf-torchneuron)
- Видання: AiiN (https://aiin.news)
- URL: https://aiin.news/article?slug=torchneuron-%D0%BF%D1%96%D0%B4%D1%82%D1%80%D0%B8%D0%BC%D1%83%D1%94-89-%D1%82%D0%BE%D0%BF-100-%D0%B0%D1%80%D1%85%D1%96%D1%82%D0%B5%D0%BA%D1%82%D1%83%D1%80-%D0%B3%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%86%D1%96%D1%97-%D1%82%D0%B5%D0%BA%D1%81%D1%82%D1%83

---

TorchNeuron підтримує 89% зі 100 найуживаніших архітектур генерації тексту проти 46% в Optimum Neuron v0.4.5, [за даними Hugging Face](https://huggingface.co/blog/hf-torchneuron). Компанія рекомендує користуватися її бібліотеками напряму замість Optimum Neuron.

Публічна бета TorchNeuron стане доступною 20 жовтня 2026 року. Hugging Face наводить команду встановлення pip install torch-neuronx. Назва пакета залишилася тією самою, що й у попередньої реалізації на базі XLA, хоча TorchNeuron — новий нативний бекенд PyTorch.

## Що TorchNeuron змінює порівняно з Optimum Neuron?

TorchNeuron додає neuron як нативний пристрій PyTorch, тож Transformers, Diffusers, Accelerate, PEFT і TRL працюють на Trainium з тими самими класами й скриптами, що й на інших акселераторах.

Раніше інтеграцію бібліотек Hugging Face забезпечувала optimum-neuron на базі torch-neuronx і PyTorch XLA. Hugging Face описує цей підхід як роботу з lazy-тензорами замість eager-виконання, лише статичними формами та перекомпіляцією після кожного graph break. Optimum Neuron приховував цю складність за власними класами моделей і трейнерами. TorchNeuron підтримує eager mode, torch.compile та стандартні розподілені API PyTorch, зокрема DTensor і FSDP2.

Для перенесення підтримуваної моделі на пристрій Neuron у Transformers Hugging Face пропонує передати device_map="neuron". У прикладі інференсу модель Qwen/Qwen3.8-27B працює з tensor parallelism: tp_size дорівнює кількості процесів, кеш статичний, а максимальна довжина послідовності — 1024 токени.

## Чи зникли обмеження щодо динамічних форм?

Бекенд Neuron поки не вміє компілювати автоматичні динамічні форми Dynamo — це обмеження прямо зазначене в прикладі навчання Hugging Face. Тому скрипт із SFTTrainer вимикає torch._dynamo.config.automatic_dynamic_shapes; коментар посилається на issue 7660 у репозиторії TRL.

Для генерації Hugging Face наполегливо рекомендує статичний кеш, щоб уникати частих перекомпіляцій. У прикладі CompileConfig містить dynamic=False, а вхід доповнюється до довжини, кратної 512 токенам.

Описи попередньої реалізації в джерелах відрізняються за охопленням. Hugging Face говорить про статичні форми в контексті інтеграції через Optimum Neuron. Водночас XLA-реалізація torch-neuronx підтримує динамічні форми й control flow, [за даними AWS Neuron](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/frameworks/torch/about/index.html). Наведені тексти не пояснюють, як узгоджуються ці описи.

## На яких інстансах працює TorchNeuron?

AWS називає цільовими платформами TorchNeuron інстанси Trn2 і Trn3. Trn1 та Inf2 у цьому переліку немає; для них документація описує XLA-реалізацію torch-neuronx.

За документацією AWS, PyTorch 2.9 — остання версія, для якої torch-neuronx базується на PyTorch/XLA. Перехід пакета на нативну реалізацію TorchNeuron заплановано разом із підтримкою PyTorch 2.10 у майбутньому релізі Neuron. Подальшу підтримку Trn1 та Inf2 після цього переходу наведений текст не уточнює.

## Коли TorchNeuron стане доступним?

Hugging Face оголосила початок публічної бети на 20 жовтня 2026 року. Водночас AWS зазначає, що TorchNeuron анонсували в грудні 2025 року на AWS re:Invent, а початкову версію випустили у складі Neuron 2.27.0. Отже, дата публічної бети в повідомленні Hugging Face не є датою першого анонсу чи початкового релізу.

## Які налаштування врахувати в скриптах?

Приклади Hugging Face містять конкретні налаштування для генерації тексту й навчання через TRL.

- Для генерації використовуйте статичний кеш: Hugging Face рекомендує його, щоб уникати частих перекомпіляцій.
- У наведеному прикладі інференсу вхід доповнюється до довжини, кратної prefill_chunk_size. Значення 512 — налаштування цього прикладу.
- У прикладі навчання через TRL встановлено torch._dynamo.config.automatic_dynamic_shapes = False через зазначене обмеження бекенду Neuron.

---

Теги: AI, AWS, Trainium, HuggingFace, PyTorch, TorchNeuron

Джерело: AiiN — https://aiin.news/article?slug=torchneuron-%D0%BF%D1%96%D0%B4%D1%82%D1%80%D0%B8%D0%BC%D1%83%D1%94-89-%D1%82%D0%BE%D0%BF-100-%D0%B0%D1%80%D1%85%D1%96%D1%82%D0%B5%D0%BA%D1%82%D1%83%D1%80-%D0%B3%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%86%D1%96%D1%97-%D1%82%D0%B5%D0%BA%D1%81%D1%82%D1%83. Цитуючи, посилайтесь на канонічний URL.