# Zyphra ZHA обіцяє 373x на 1B токенів, але це лише модель

> Zyphra ZHA тримає якість Qwen3.6-35B-A3B на 256K, але швидкість лише змодельована: кернелів немає, а виграш над dense на 256K сягає до 2,28x

- Опубліковано: 3 листопада 2026 р. (2026-11-03T02:56:54.557851+00:00)
- Розділ: AI-дослідження
- На основі публікації: [MarkTechPost](https://www.marktechpost.com/2026/11/02/zyphra-hierarchical-attention-zha-sparse-attention/)
- Видання: AiiN (https://aiin.news)
- URL: https://aiin.news/article?slug=zyphra-zha-%D0%BE%D0%B1%D1%96%D1%86%D1%8F%D1%94-373x-%D0%BD%D0%B0-1b-%D1%82%D0%BE%D0%BA%D0%B5%D0%BD%D1%96%D0%B2-%D0%B0%D0%BB%D0%B5-%D1%86%D0%B5-%D0%BB%D0%B8%D1%88%D0%B5-%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D1%8C

---

Zyphra випустила Zyphra Hierarchical Attention (ZHA): розріджену увагу з деревом замість повного сканування ключів. На Qwen3.6-35B-A3B вона близька до dense-уваги на 256K контексту, доучуючи лише 81 920 параметрів, [за даними MarkTechPost](https://www.marktechpost.com/2026/11/02/zyphra-hierarchical-attention-zha-sparse-attention/).

Для білдера важливо розрізняти дві частини заяви. Якість виміряна на бенчмарках. Швидкість, яка виглядає найефектніше, отримана з моделі затримки, а не із запуску на GPU. Тому ZHA поки що варто читати як доказ концепції, а не як метод, готовий до продакшену.

## Яку проблему розвʼязує ZHA?

ZHA прибирає з розрідженої уваги вузьке місце: індексатор, який вибирає токени, досі переглядає весь контекст. Методи на кшталт DSA і MSA роблять фінальну увагу розрідженою, але самі оцінюють кожен минулий токен. У [статті Zyphra на arXiv](https://arxiv.org/html/2610.42112) зазначено, що близько 1M токенів на індексацію йде 60-90% часу в таких шарах.

ZHA будує дерево стиснутих підсумкових ключів над KV-кешем. Запит іде зверху вниз і розгортає лише ті гілки, що тримають частку p оціненої маси уваги. Повний KV-кеш зберігається, дерево лише вирішує, які ключі читати.

## Що ZHA показує на якості?

ZHA на Qwen3.6-35B-A3B майже не втрачає якість: широке дерево (чанк 256, один рівень) дає 96,2% на RULER-13 при 256K проти 96,0% у dense. Глибоке дерево (чанк 4, 6 рівнів) на LongBench v2 отримує 63,4% проти 58,0% у dense, читаючи близько 1,1% ключів.

Порівняння з MSA показове. Індексатор MSA навчали на 40B токенів, у 10 разів більше, ніж ZHA, і він упав до 77,1% на RULER-13, тоді як обидва дерева ZHA лишилися вище 93%. Усі цифри Zyphra наводить самостійно.

Навчання дешеве: базова модель заморожена, тренуються лише опорні запити. Це 3,98B токенів, 1 900 кроків на контексті 32K. Моделі менші за 1B параметрів важко піддавалися конвертації, а з 4B і більше результати помітно кращі.

## Наскільки швидкий ZHA насправді?

Швидкість ZHA наразі існує лише в моделі: Zyphra не випустила кернелів і порахувала затримку декодування одного шару при batch size 1 за roofline для H100 BF16. У легкому режимі (1 опорний запит, чанк 8, p = 0,75) ZHA обганяє dense близько 48K токенів, а MSA близько 0,48M.

На 1B токенів прогноз сягає 373-417x над dense і 52-58x над MSA, на 10M токенів це 32-35x і 4,7-5,1x. На 256K усе скромніше: налаштування на фронті Парето дають від 1,93x до 2,28x над dense при 92,7-96,4% на RULER-13. Маршрутизація й вибір ключів додають власну вартість, а модельовано лише один шар.

## Де ZHA ламається?

Найгірший результат ZHA показала на Nemotron-3.5-Lightning-30B-A3B, який працює без позиційних кодувань (NoPE): глибоке дерево втрачає на RULER-13 25,3 пункта порівняно з dense.

Перевірка геометрії дерева виглядає надійніше: на 28 варіантах точність RULER трималася, поки увага читала 10-30% ключів. Чотирипараметрична модель передбачає точність за геометрією з RMSE 1,44 пункта.

---

Теги: AI, Zyphra, ZHA, SparseAttention, довгийконтекст, LLM

Джерело: AiiN — https://aiin.news/article?slug=zyphra-zha-%D0%BE%D0%B1%D1%96%D1%86%D1%8F%D1%94-373x-%D0%BD%D0%B0-1b-%D1%82%D0%BE%D0%BA%D0%B5%D0%BD%D1%96%D0%B2-%D0%B0%D0%BB%D0%B5-%D1%86%D0%B5-%D0%BB%D0%B8%D1%88%D0%B5-%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D1%8C. Цитуючи, посилайтесь на канонічний URL.