# Частка H100 у SageMaker дешевша за цілий A100 лише від порогу трафіку

> AWS додала MIG-партиції GPU до SageMaker Inference. У тесті частка H100 знизила вартість токена на 18-34%, але лише після порогу навантаження.

- Опубліковано: 7 листопада 2026 р. (2026-11-07T09:42:26.575059+00:00)
- Розділ: AI-інструменти
- На основі публікації: [AWS ML](https://aws.amazon.com/blogs/machine-learning/sagemaker-inference-now-supports-multi-instance-gpu-to-maximize-gpu-utilization-for-model-endpoints/)
- Видання: AiiN (https://aiin.news)
- URL: https://aiin.news/article?slug=%D1%87%D0%B0%D1%81%D1%82%D0%BA%D0%B0-h100-%D1%83-sagemaker-%D0%B4%D0%B5%D1%88%D0%B5%D0%B2%D1%88%D0%B0-%D0%B7%D0%B0-%D1%86%D1%96%D0%BB%D0%B8%D0%B9-a100-%D0%BB%D0%B8%D1%88%D0%B5-%D0%B2%D1%96%D0%B4-%D0%BF%D0%BE%D1%80%D0%BE%D0%B3%D1%83-%D1%82%D1%80%D0%B0%D1%84%D1%96%D0%BA%D1%83

---

Amazon SageMaker Inference 6 листопада 2026 року отримав GPU-партиціонування на базі NVIDIA Multi-Instance GPU (MIG): кілька апаратно ізольованих моделей можуть ділити один акселератор, [за даними Unite.AI](https://www.unite.ai/aws-adds-nvidia-gpu-partitioning-to-sagemaker-inference-endpoints/).

Погодинна ціна не змінюється: клієнт платить за весь GPU-інстанс. Партиції лише дають змогу набити інстанс моделями щільніше або взяти шматок новішого GPU замість цілого старішого. Чи це вигідно, залежить від трафіку, і AWS у власному тесті знайшла точку беззбитковості.

## Що саме змінюється для моделей на одному ендпоїнті?

SageMaker тепер ділить кожен GPU на партиції, а раніше найменшою одиницею був цілий GPU: на ml.p4d.24xlarge з вісьмома A100 вміщалося вісім моделей, навіть якщо їм потрібно лише 14 GB, [пояснюють у блозі AWS Machine Learning](https://aws.amazon.com/blogs/machine-learning/sagemaker-inference-now-supports-multi-instance-gpu-to-maximize-gpu-utilization-for-model-endpoints/). Кожна партиція має фіксовану частку обчислень і виділений блок памʼяті, а кількість партицій залежить від GPU й не перевищує семи.

Функція працює лише на ендпоїнтах з inference components. [Документація SageMaker](https://docs.amazonaws.cn/sagemaker/latest/dg/inference-components-accelerator-partitioning.html) описує два нові необовʼязкові поля: AcceleratorPartitionLayouts на production variant задає розкрій усіх акселераторів, AcceleratorPartitionType на компоненті обирає партицію. Нових API-операцій чи IAM-дій немає, а модель викликають за назвою компонента, як і раніше.

Приклад з AWS: кожен із 8 A100 на ml.p4d.24xlarge ділиться на mig-4g.20gb, mig-2g.10gb і mig-1g.5gb. Це 3 партиції на GPU і 24 на інстанс. Компонент, який просить профіль, відсутній у розкрої, отримує відмову, а не цілий GPU.

## Наскільки частка H100 виграє в цілого A100?

У тесті AWS партиція mig-3g.40gb на H100 дала на 53-89% більше вихідних токенів за секунду, ніж цілий A100-40GB, у точці, де цінова перевага була найбільшою. Так описує результати Unite.AI: модель Llama-3.1-8B-Instruct, по одній репліці, concurrency від 2 до 512. Міжтокенна затримка була нижчою на 8,9-42,1%, час до першого токена на 5,6-47,5%.

На промптах у 6 000 і 8 000 токенів при найвищому concurrency A100 не вкладався в дедлайн у третині-половині запитів, а партиція не провалила жодного. Втім, обчислювальні частки в конфігурацій різні, а памʼять порівнянна, тож це не чисте порівняння «шматок проти шматка».

Вартість мільйона вихідних токенів у партиції була на 18-34% нижчою, але лише після порогу. Для промптів зі 100 токенів він настає при concurrency 64, для 8 000 токенів при concurrency 4. Нижче порогу дешевшим лишався цілий A100. Ціну рахували як погодинну вартість інстанса, поділену на кількість протестованих одиниць на ньому.

## Які обмеження варто знати до розгортання?

Розкрій GPU не можна змінити на живому ендпоїнті. UpdateEndpoint з іншим розкроєм повертає помилку 400, тож для нового розкрою потрібен новий ендпоїнт і міграція трафіку. Ізоляція охоплює лише обчислення й памʼять GPU: CPU, памʼять хоста, диск і мережу моделі на одному інстансі ділять.

Партиціоновані ендпоїнти не публікують у CloudWatch метрики GPU, CPU і памʼяті, лишаються тільки метрики викликів і затримки. Модель, якій потрібно більше за один GPU, партиціям не підходить, як і асинхронні та serverless-ендпоїнти.

Є пастка на P4d. Профіль mig-1g.10gb потребує новішого драйвера NVIDIA, ніж у стандартному образі. Якщо його запросити, SageMaker прийме запит, а хост потім не зможе розбити акселератори, і не скаже, через який саме профіль.

## Що це означає для України?

Функція доступна в 7 регіонах AWS, серед яких Europe (Frankfurt) eu-central-1 і Europe (Ireland) eu-west-1. Офіційно доступність для користувачів з України джерела не вказують. Цін у доларах вони не наводять, тож перерахунку в гривні немає. Оплату українською карткою AiiN не перевіряв.

## Що робити зараз

- На P4d з mig-1g.10gb задайте InferenceAmiVersion = al2023-ami-sagemaker-inference-gpu-4-1 на production variant, інакше отримаєте мовчазний збій розбиття.
- Порівняйте свій реальний concurrency з порогами з тесту (64 для коротких промптів, 4 для 8 000 токенів). Нижче порогу цілий A100 може лишитися дешевшим.
- Розкрій обирайте до створення ендпоїнта і закладіть новий ендпоїнт на випадок зміни. Моніторинг будуйте на метриках викликів і затримки, бо GPU-метрик не буде.

---

Теги: AI, SageMaker, AWS, MIG, GPU, інференс

Джерело: AiiN — https://aiin.news/article?slug=%D1%87%D0%B0%D1%81%D1%82%D0%BA%D0%B0-h100-%D1%83-sagemaker-%D0%B4%D0%B5%D1%88%D0%B5%D0%B2%D1%88%D0%B0-%D0%B7%D0%B0-%D1%86%D1%96%D0%BB%D0%B8%D0%B9-a100-%D0%BB%D0%B8%D1%88%D0%B5-%D0%B2%D1%96%D0%B4-%D0%BF%D0%BE%D1%80%D0%BE%D0%B3%D1%83-%D1%82%D1%80%D0%B0%D1%84%D1%96%D0%BA%D1%83. Цитуючи, посилайтесь на канонічний URL.