Ще рік тому дата-центри готувалися до хвилі генеративного AI — великих батч-запитів на генерацію тексту й зображень. Сьогодні ситуація кардинально змінилась: замість одноразових викликів до LLM інфраструктура отримала нескінченні ланцюжки агентних задач, де модель самостійно ухвалює рішення, викликає інструменти й запускає нові підзадачі — і так по колу.
Перехід до agentic AI — це не еволюція, а зміна парадигми навантаження. За даними Speka, дата-центри вже зіткнулися з тим, що класична інфраструктура просто не розрахована на такий профіль споживання. Проблема не лише у кількості GPU — вона системна.
Чому агентний AI — це не просто «більше запитів»
Класичний inference-запит до LLM — це спринт: завантажили модель, згенерували відповідь, звільнили пам'ять. Агентний workload — марафон із непередбачуваною дистанцією. Агент тримає контекст відкритим, постійно звертається до зовнішніх інструментів (API, бази даних, браузер), запускає паралельні підзадачі й очікує їхніх результатів.
Це означає принципово інший профіль навантаження:
- Висока конкурентність при низькій пакетності — десятки агентів виконують різні задачі одночасно, але кожен із малим batch size, що знижує ефективність GPU
- Нерівномірне споживання пам'яті — KV-cache для довгих контекстів займає гігабайти VRAM і не звільняється між кроками агента
- Непередбачувана тривалість сесії — агент може виконувати задачу 30 секунд або 30 хвилин залежно від складності ланцюжка
- Інтенсивний I/O — постійні звернення до зовнішніх систем створюють додаткове навантаження на мережу і CPU, яке не враховується в класичних GPU-бенчмарках
Три фронти ресурсного дефіциту
Дата-центри, що намагаються підтримувати масштабні агентні розгортання, стикаються з викликами одночасно на декількох рівнях.
GPU і відеопам'ять. NVIDIA H100 і H200 залишаються дефіцитними, а агентні системи з довгими контекстами (128k+ токенів) споживають VRAM значно агресивніше, ніж традиційний inference. Один агент із контекстом на 128k токенів може займати стільки ж пам'яті, скільки десятки звичайних запитів одночасно.
Енергетика й охолодження. GPU-кластери для AI споживають до 10–20 кВт на стійку — у 3–5 разів більше за стандартне серверне обладнання. Більшість наявних дата-центрів не мають ані достатніх електричних потужностей, ані систем рідинного охолодження для такої щільності навантаження. Будівництво нових об'єктів займає роки, а попит зростає щоквартально.
Мережева затримка. Агенти не лише споживають compute — вони потребують надшвидкого доступу до зовнішніх даних. Кожна зайва мілісекунда на зверненні до бази знань чи API накопичується в ланцюжку з десятків кроків і перетворюється на секунди очікування для кінцевого користувача.
Стратегії, які вже застосовуються
Індустрія виробила кілька підходів до вирішення ресурсного дефіциту — і AI-білдерам варто розуміти їх не лише теоретично, але й при виборі провайдера або проектуванні власних систем.
- Спеціалізований inference-silicon. Компанії на кшталт Groq і Cerebras будують кастомне залізо, оптимізоване під inference, а не тренування. Для агентних задач із жорсткими вимогами до latency це може бути економічно вигідніше за класичні GPU-хмари
- Disaggregated prefill/decode. Нові архітектури відокремлюють фазу prefill (обробка вхідного контексту) від decode (генерація токенів) на різні апаратні вузли — це дозволяє оптимально використовувати ресурси під конкретний профіль навантаження
- Edge та гібридне розгортання. Частину агентних задач, особливо пов'язаних із чутливими даними або вимогами до latency, переносять на edge-інфраструктуру поближче до користувача
- Смарт-оркестрація. Системи на кшталт Ray Serve і vLLM навчились ефективніше планувати агентні сесії: пріоритизувати короткі задачі, «заморожувати» довгі контексти на диск між кроками, балансувати між різними типами обладнання в рамках одного кластера
Висновок AiiN: що будувати зараз
Ресурсний дефіцит у дата-центрах — це не тимчасова турбулентність ринку. Це структурна проблема, яка виникла через те, що AI-індустрія перейшла до agentic парадигми значно швидше, ніж інфраструктура встигла адаптуватись. І найближчі два-три роки розрив лише зростатиме.
Для AI-білдерів це означає кілька конкретних висновків:
- При виборі LLM-провайдера запитуйте про P50/P99 latency під агентні workloads — не лише про throughput на батч-запитах
- Проектуйте агентів із мінімально необхідним контекстним вікном — кожен зайвий токен у контексті збільшує і вартість, і latency
- Розглядайте гібридні архітектури: малі швидкі моделі для рутинних кроків + потужні моделі лише для складного reasoning
- Слідкуйте за розвитком спеціалізованого inference-silicon — він уже змінює economics агентних розгортань
Революція агентного AI відбувається зараз. Перемагатимуть не ті, хто має найбільше GPU, а ті, хто навчиться ефективніше використовувати ресурси, що є.