Amazon SageMaker Inference 6 листопада 2026 року отримав GPU-партиціонування на базі NVIDIA Multi-Instance GPU (MIG): кілька апаратно ізольованих моделей можуть ділити один акселератор, за даними Unite.AI.

Погодинна ціна не змінюється: клієнт платить за весь GPU-інстанс. Партиції лише дають змогу набити інстанс моделями щільніше або взяти шматок новішого GPU замість цілого старішого. Чи це вигідно, залежить від трафіку, і AWS у власному тесті знайшла точку беззбитковості.

Що саме змінюється для моделей на одному ендпоїнті?

SageMaker тепер ділить кожен GPU на партиції, а раніше найменшою одиницею був цілий GPU: на ml.p4d.24xlarge з вісьмома A100 вміщалося вісім моделей, навіть якщо їм потрібно лише 14 GB, пояснюють у блозі AWS Machine Learning. Кожна партиція має фіксовану частку обчислень і виділений блок памʼяті, а кількість партицій залежить від GPU й не перевищує семи.

Функція працює лише на ендпоїнтах з inference components. Документація SageMaker описує два нові необовʼязкові поля: AcceleratorPartitionLayouts на production variant задає розкрій усіх акселераторів, AcceleratorPartitionType на компоненті обирає партицію. Нових API-операцій чи IAM-дій немає, а модель викликають за назвою компонента, як і раніше.

Приклад з AWS: кожен із 8 A100 на ml.p4d.24xlarge ділиться на mig-4g.20gb, mig-2g.10gb і mig-1g.5gb. Це 3 партиції на GPU і 24 на інстанс. Компонент, який просить профіль, відсутній у розкрої, отримує відмову, а не цілий GPU.

Наскільки частка H100 виграє в цілого A100?

У тесті AWS партиція mig-3g.40gb на H100 дала на 53-89% більше вихідних токенів за секунду, ніж цілий A100-40GB, у точці, де цінова перевага була найбільшою. Так описує результати Unite.AI: модель Llama-3.1-8B-Instruct, по одній репліці, concurrency від 2 до 512. Міжтокенна затримка була нижчою на 8,9-42,1%, час до першого токена на 5,6-47,5%.

На промптах у 6 000 і 8 000 токенів при найвищому concurrency A100 не вкладався в дедлайн у третині-половині запитів, а партиція не провалила жодного. Втім, обчислювальні частки в конфігурацій різні, а памʼять порівнянна, тож це не чисте порівняння «шматок проти шматка».

Вартість мільйона вихідних токенів у партиції була на 18-34% нижчою, але лише після порогу. Для промптів зі 100 токенів він настає при concurrency 64, для 8 000 токенів при concurrency 4. Нижче порогу дешевшим лишався цілий A100. Ціну рахували як погодинну вартість інстанса, поділену на кількість протестованих одиниць на ньому.

Які обмеження варто знати до розгортання?

Розкрій GPU не можна змінити на живому ендпоїнті. UpdateEndpoint з іншим розкроєм повертає помилку 400, тож для нового розкрою потрібен новий ендпоїнт і міграція трафіку. Ізоляція охоплює лише обчислення й памʼять GPU: CPU, памʼять хоста, диск і мережу моделі на одному інстансі ділять.

Партиціоновані ендпоїнти не публікують у CloudWatch метрики GPU, CPU і памʼяті, лишаються тільки метрики викликів і затримки. Модель, якій потрібно більше за один GPU, партиціям не підходить, як і асинхронні та serverless-ендпоїнти.

Є пастка на P4d. Профіль mig-1g.10gb потребує новішого драйвера NVIDIA, ніж у стандартному образі. Якщо його запросити, SageMaker прийме запит, а хост потім не зможе розбити акселератори, і не скаже, через який саме профіль.

Що це означає для України?

Функція доступна в 7 регіонах AWS, серед яких Europe (Frankfurt) eu-central-1 і Europe (Ireland) eu-west-1. Офіційно доступність для користувачів з України джерела не вказують. Цін у доларах вони не наводять, тож перерахунку в гривні немає. Оплату українською карткою AiiN не перевіряв.

Що робити зараз