Intel розширює набір матричних інструкцій AMX у серверних процесорах Xeon, AMD вбудовує AI-блоки в EPYC, а хмарні провайдери нарощують парк ARM-чипів на кшталт AWS Graviton — і все це ознаки того, що звичайні центральні процесори (CPU) повертаються в розмову про інфраструктуру штучного інтелекту, яку останнє десятиліття практично одноосібно вели графічні прискорювачі (GPU).

Тренд не випадковий. З моменту буму трансформерів після 2017 року індустрія звикла думати про AI-обчислення як про «GPU-only» задачу: навчання великих моделей і справді неможливе без масового паралелізму відеокарт. Але інференс — момент, коли модель вже навчена і просто відповідає на запити, — це інша історія, і саме тут CPU відвойовують позиції.

За даними IEEE Spectrum AI, розвиток нових архітектур процесорів здатний суттєво підняти продуктивність AI-систем — видання прямо називає це «поверненням» CPU у сферу, яку вважали закритою для них.

Чому GPU перестали бути єдиним варіантом?

Бо для більшості production-навантажень GPU — це оверкіл. Топові прискорювачі коштують десятки тисяч доларів і роками перебувають у дефіциті, а їхня пам'ять — найдорожчий ресурс дата-центру — часто простоює, коли модель невелика або запити приходять рідко й поодинці, а не батчами по сотні. Квантизація (перехід моделей у int8/int4) знизила вимоги до обчислень настільки, що матричні блоки в сучасних CPU — AMX в Intel Xeon, аналогічні розширення в AMD EPYC — почали давати прийнятну швидкість інференсу для моделей середнього розміру без окремої відеокарти.

Додатковий фактор — ціна володіння. Оренда GPU-інстансу в хмарі коштує в рази дорожче за еквівалентний CPU-інстанс, а для сервісів з непередбачуваним чи низьким трафіком (внутрішні чат-боти, класифікатори, RAG-пошук) це різниця між прибутковим продуктом і збитковим.

Що конкретно змінилося в самих процесорах?

Головна зміна — поява вбудованих матричних прискорювачів там, де раніше стояла лише універсальна арифметико-логічна логіка. Замість того щоб ганяти множення матриць через звичайні AVX-регістри, нові покоління CPU роблять це через спеціалізовані блоки, схожі за ідеєю на tensor-ядра GPU, але вбудовані в загальний процесор.

Друга перевага CPU — обсяг оперативної пам'яті. Сервер на Xeon чи EPYC легко комплектується терабайтом DRAM, тоді як GPU обмежені десятками гігабайтів дорогої HBM-пам'яті на карту. Для моделей, які не влазять у пам'ять однієї відеокарти без розбиття на кілька GPU (а це саме по собі додає складності й затримки), CPU з великим об'ємом RAM іноді виявляється простішим і дешевшим рішенням, навіть якщо кожна окрема операція повільніша.

Це не скасовує GPU-кластери для навчання — компанії на кшталт Mistral продовжують нарощувати обчислювальну потужність до гігаватного масштабу саме на прискорювачах. Йдеться про іншу частину циклу — інференс, де вимоги інші.

Кому це змінить економіку вже зараз?

В першу чергу — командам, які деплоять AI на власній інфраструктурі (on-prem) з міркувань приватності даних чи регуляторних вимог і не хочуть тримати GPU-парк заради рідких запитів. Друга група — edge- і периферійні сценарії: ритейл, промислові лінії, медичні пристрої, де фізично немає місця чи енергобюджету для дискретної відеокарти, а завдання — не генерація тексту в реальному часі, а класифікація, детекція аномалій чи невеликі RAG-запити.

За нашою оцінкою, для навчання великих моделей і high-throughput продакшн-інференсу (мільйони запитів на день) GPU лишиться безальтернативним ще довго — розмова про CPU стосується конкретно ніші «помірний інференс, важлива вартість».

Висновок AiiN

Наша теза: поворот до CPU — це не «GPU програли», а нормалізація ринку, де раніше був лише один інструмент на всі задачі. Коли єдиний доступний молоток — GPU, кожна задача виглядає як цвях, навіть якщо це насправді шуруп. Поява життєздатної CPU-альтернативи для інференсу означає, що AI-командам варто перестати автоматично закладати GPU-бюджет у кожен проєкт і спершу питати: чи це навчання чи інференс, який батч-розмір і яка допустима затримка. Для багатьох внутрішніх і low-traffic сценаріїв відповідь тепер може бути — звичайний сервер.

CPU замінить GPU для AI повністю?

Ні. Навчання великих моделей і високонавантажений інференс з батчингом залишаються задачею GPU — паралелізм і пропускна здатність пам'яті там критичні. CPU відвойовує саме нішу помірного, непередбачуваного або приватного інференсу.

Чи треба вже зараз переходити на CPU-інференс?

Варто протестувати на конкретному навантаженні: якщо модель квантизована, трафік нерівномірний, а затримка в кілька сотень мілісекунд прийнятна — CPU-варіант часто виявляється дешевшим без втрати якості відповіді.