Zyphra випустила Zyphra Hierarchical Attention (ZHA): розріджену увагу з деревом замість повного сканування ключів. На Qwen3.6-35B-A3B вона близька до dense-уваги на 256K контексту, доучуючи лише 81 920 параметрів, за даними MarkTechPost.

Для білдера важливо розрізняти дві частини заяви. Якість виміряна на бенчмарках. Швидкість, яка виглядає найефектніше, отримана з моделі затримки, а не із запуску на GPU. Тому ZHA поки що варто читати як доказ концепції, а не як метод, готовий до продакшену.

Яку проблему розвʼязує ZHA?

ZHA прибирає з розрідженої уваги вузьке місце: індексатор, який вибирає токени, досі переглядає весь контекст. Методи на кшталт DSA і MSA роблять фінальну увагу розрідженою, але самі оцінюють кожен минулий токен. У статті Zyphra на arXiv зазначено, що близько 1M токенів на індексацію йде 60-90% часу в таких шарах.

ZHA будує дерево стиснутих підсумкових ключів над KV-кешем. Запит іде зверху вниз і розгортає лише ті гілки, що тримають частку p оціненої маси уваги. Повний KV-кеш зберігається, дерево лише вирішує, які ключі читати.

Що ZHA показує на якості?

ZHA на Qwen3.6-35B-A3B майже не втрачає якість: широке дерево (чанк 256, один рівень) дає 96,2% на RULER-13 при 256K проти 96,0% у dense. Глибоке дерево (чанк 4, 6 рівнів) на LongBench v2 отримує 63,4% проти 58,0% у dense, читаючи близько 1,1% ключів.

Порівняння з MSA показове. Індексатор MSA навчали на 40B токенів, у 10 разів більше, ніж ZHA, і він упав до 77,1% на RULER-13, тоді як обидва дерева ZHA лишилися вище 93%. Усі цифри Zyphra наводить самостійно.

Навчання дешеве: базова модель заморожена, тренуються лише опорні запити. Це 3,98B токенів, 1 900 кроків на контексті 32K. Моделі менші за 1B параметрів важко піддавалися конвертації, а з 4B і більше результати помітно кращі.

Наскільки швидкий ZHA насправді?

Швидкість ZHA наразі існує лише в моделі: Zyphra не випустила кернелів і порахувала затримку декодування одного шару при batch size 1 за roofline для H100 BF16. У легкому режимі (1 опорний запит, чанк 8, p = 0,75) ZHA обганяє dense близько 48K токенів, а MSA близько 0,48M.

На 1B токенів прогноз сягає 373-417x над dense і 52-58x над MSA, на 10M токенів це 32-35x і 4,7-5,1x. На 256K усе скромніше: налаштування на фронті Парето дають від 1,93x до 2,28x над dense при 92,7-96,4% на RULER-13. Маршрутизація й вибір ключів додають власну вартість, а модельовано лише один шар.

Де ZHA ламається?

Найгірший результат ZHA показала на Nemotron-3.5-Lightning-30B-A3B, який працює без позиційних кодувань (NoPE): глибоке дерево втрачає на RULER-13 25,3 пункта порівняно з dense.

Перевірка геометрії дерева виглядає надійніше: на 28 варіантах точність RULER трималася, поки увага читала 10-30% ключів. Чотирипараметрична модель передбачає точність за геометрією з RMSE 1,44 пункта.