Copilot+ PC — специфікація Microsoft, що з травня 2024 року вимагає від виробника вбудувати в ноутбук NPU (Neural Processing Unit) продуктивністю щонайменше 40 TOPS (трильйонів операцій за секунду), — за два роки перетворила окремий ШІ-чип із маркетингової фічі на технічну норму. Сьогодні майже кожен новий флагманський ноутбук на Windows чи macOS має третій обчислювальний блок поруч із CPU і GPU, і саме він відповідає за розпізнавання мовлення, розмиття фону на відео чи локальний запуск невеликих мовних моделей.

За даними Speka, розробники ноутбуків розглядають окремий ШІ-чип як важливий крок у розвитку галузі — насамперед тому, що він відкриває нові сценарії застосунків, які раніше вимагали або потужної відеокарти, або постійного підключення до хмари.

Для розробників AI-продуктів це не абстрактна залізна деталь, а фактично нова платформа: якщо ноутбук користувача вміє рахувати нейромережу локально й дешево по енергії, з'являється сенс проєктувати фічі під on-device inference, а не лише під API-виклики до хмарних моделей.

Чим NPU відрізняється від GPU й навіщо він узагалі потрібен?

NPU — це спеціалізований кремній, заточений під один тип обчислень: матричні множення, з яких складається inference нейромереж, при мінімальному енергоспоживанні. На відміну від GPU, який універсальний і тягне і графіку, і навчання моделей, і майнінг, NPU не вміє майже нічого, крім множення матриць, — але робить це на порядок ефективніше з погляду ватів на операцію. Для ноутбука, де батарея й тепловідведення обмежені фізичним розміром корпусу, це ключова перевага: ту саму задачу розпізнавання мовлення GPU виконає швидше в абсолютних цифрах, але NPU виконає її, не з'ївши половину заряду за годину.

Практично це означає, що функції на кшталт живих субтитрів із перекладом, розмиття фону в відеодзвінках або локальних текстових асистентів можуть працювати безперервно у фоні, поки решта системи простоює в енергоощадному режимі.

Чому виробники ноутбуків роблять ставку на це саме зараз?

Головна причина — конкуренція виробників CPU за нову метрику. Intel (лінійка Core Ultra), AMD (Ryzen AI) і Qualcomm (Snapdragon X) за останні два роки випустили процесори, в яких NPU інтегрований прямо в кристал, а не додається окремою мікросхемою, — і кожне наступне покоління змагається за вищий показник TOPS. Apple пройшла цей шлях раніше: Neural Engine є в чипах серії M з 2020 року й зараз обробляє значну частину функцій на кшталт транскрипції чи розпізнавання об'єктів на фото без звернення до хмари.

Другий чинник — вартість хмарного inference. Кожен запит до хмарної моделі коштує грошей провайдеру й вимагає мережевого з'єднання; перенесення частини задач на локальний NPU знижує ці витрати й водночас вирішує питання приватності — дані користувача не залишають пристрій.

Що це змінює для тих, хто розробляє AI-застосунки?

Ключовий практичний наслідок — зʼявляється економічно виправданий сценарій для гібридної архітектури: важкі задачі (генерація довгого тексту, складне міркування) залишаються в хмарі, а легкі й часті (транскрипція, класифікація, локальний RAG над невеликим обсягом даних) переїжджають на NPU користувача.

Висновок AiiN

Наша теза: окремий ШІ-чип у ноутбуці — це не про швидкість, а про те, що виробники залізо готують під сценарій, де ШІ-функції працюють постійно й непомітно у фоні, а не запускаються по кліку користувача. Це створює тиск на розробників софту: якщо платформа вже вміє рахувати нейромережу локально й майже без енергетичних витрат, конкурентна перевага переходить до тих застосунків, які цим користуються, а не тримають усе на хмарному API. За нашою оцінкою, найближчим часом варто очікувати не стрибка у продуктивності NPU, а швидше — появи стандартизованих SDK, що дозволять розробникам писати код один раз і виконувати його на NPU будь-якого виробника, без прив'язки до конкретного чипа.

Чи можна користуватися ШІ-функціями на ноутбуці без NPU?

Так, але з обмеженнями: без NPU ті самі задачі виконує CPU або GPU, що означає вищі витрати заряду батареї й повільнішу роботу фонових функцій на кшталт живих субтитрів. Хмарні AI-сервіси працюють незалежно від наявності NPU — їм потрібне лише мережеве з'єднання.

Скільки TOPS потрібно для нормальної роботи ШІ-функцій на ноутбуці?

Орієнтир, який задала Microsoft для сертифікації Copilot+ PC, — щонайменше 40 TOPS. Сучасні NPU від Intel, AMD і Qualcomm вже перевищують цю позначку, тож поріг варто сприймати як мінімальну, а не цільову продуктивність.