# Push-режим у vLLM покращив TTFT до 3 разів у тесті AWS

> AWS представила push-передачу KV-кешу у vLLM: у тесті Qwen3-32B вона покращила TTFT до 3 разів і TPOT до 30%. Результати залежать від навантаження та конфігурації.

- Опубліковано: 19 жовтня 2026 р. (2026-10-19T17:03:58.588742+00:00)
- Розділ: AI-інструменти
- На основі публікації: [AWS ML](https://aws.amazon.com/blogs/machine-learning/push-based-kv-transfer-to-improve-ttft-and-tpot-for-disaggregated-inference-in-vllm/)
- Видання: AiiN (https://aiin.news)
- URL: https://aiin.news/article?slug=push-%D1%80%D0%B5%D0%B6%D0%B8%D0%BC-%D1%83-vllm-%D0%BF%D0%BE%D0%BA%D1%80%D0%B0%D1%89%D0%B8%D0%B2-ttft-%D0%B4%D0%BE-3-%D1%80%D0%B0%D0%B7%D1%96%D0%B2-%D1%83-%D1%82%D0%B5%D1%81%D1%82%D1%96-aws

---

AWS представила push-режим передачі KV-кешу у vLLM. У тесті Qwen3-32B на Amazon EC2 P5en з EFA він покращив час до першого токена до 3 разів проти pull-режиму.

У тому самому бенчмарку час на один вихідний токен (TPOT) покращився до 30%, [за даними AWS ML](https://aws.amazon.com/blogs/machine-learning/push-based-kv-transfer-to-improve-ttft-and-tpot-for-disaggregated-inference-in-vllm/). Автори тестували конфігурацію 1P1D — з одним prefill-інстансом і одним decode-інстансом. Результат залежить від навантаження та конфігурації.

## Що саме прискорює push-режим?

Push-режим скорочує очікування між обробкою вхідного запиту та генерацією відповіді. У розділеному інференсі prefill-інстанс обробляє запит і створює KV-кеш, а decode-інстанс використовує цей кеш для генерації токенів. Передача кешу між ними впливає на час до першого токена (TTFT).

У стандартному pull-режимі NIXL-конектора декодер чекає завершення prefill і метаданих від роутера, а вже потім виділяє цільові блоки та готує передачу. У push-режимі декодер заздалегідь реєструє ці блоки, поки prefill ще обчислює кеш. Щойно кеш і реєстрація готові, prefill-інстанс запускає запис через NIXL WRITE.

Окремий фоновий потік на prefill-воркері готує дескриптори пам’яті та запускає передачу, [за даними vLLM](https://vllm.ai/blog/2026-10-14-nixl-push-connector). Декодер не витрачає на цю підготовку ресурси під час генерації. Автори пов’язують із цим нижчий TTFT і вищу пропускну здатність за вихідними токенами.

## Для яких розгортань це має значення?

Push-режим стосується розгортань vLLM, у яких prefill і decode працюють на окремих інстансах та передають KV-кеш через NIXL. Автори особливо виділяють високу частоту запитів. Отже, для білдера ця зміна має значення насамперед тоді, коли його архітектура вже потребує передачі кешу між цими етапами.

Наведений тест використовує EFA — мережу з підтримкою RDMA. На підтримуваних типах інстансів NIXL може передавати кеш безпосередньо між пам’яттю GPU або Trainium, без проміжного копіювання в пам’ять хоста. Розробники спочатку перевірили функцію на AWS Trainium, а потім внесли її у vLLM як незалежну від типу акселератора; опубліковані результати стосуються GPU-кластера P5en.

Надані тексти не вказують потрібної версії vLLM, прапорців або команди ввімкнення push-режиму. Вони пояснюють механізм і сценарій застосування, але не дають достатньо даних для інструкції з налаштування.

## Що цифри 3x і 30% означають для власного сервісу?

Бенчмарк показує виграш проти pull-режиму для Qwen3-32B у конкретній конфігурації, але не дає підстав прогнозувати затримку власного сервісу. У наданих текстах немає абсолютних TTFT і TPOT та частоти запитів, за якої отримано максимальне покращення. Автори відсилають до розділу Performance data оригінального матеріалу.

Без цих значень не можна визначити, скільки мілісекунд заощадить push-режим або за якого навантаження повториться заявлений результат. Цифри також не доводять, що перехід на розділені prefill і decode сам собою прискорить будь-яке розгортання: у цьому порівнянні автори змінювали спосіб передачі кешу в уже розділеній конфігурації.

---

Теги: vLLM, інференс, AI, KVcache, AWS, LLMінфраструктура

Джерело: AiiN — https://aiin.news/article?slug=push-%D1%80%D0%B5%D0%B6%D0%B8%D0%BC-%D1%83-vllm-%D0%BF%D0%BE%D0%BA%D1%80%D0%B0%D1%89%D0%B8%D0%B2-ttft-%D0%B4%D0%BE-3-%D1%80%D0%B0%D0%B7%D1%96%D0%B2-%D1%83-%D1%82%D0%B5%D1%81%D1%82%D1%96-aws. Цитуючи, посилайтесь на канонічний URL.