85% AI-застосунків, за деякими оцінками, працюють на PyTorch — і тепер їх можна переносити на Google TPU зміною конфігурації, без переписування коду. Google випустила TorchTPU як open source-проєкт.
PyTorch створила Meta (тоді Facebook) у 2016-му, коли GPU Nvidia вже були стандартом для AI-досліджень, і багато функцій інструменту будувалися під них. У 2022-му Meta передала PyTorch Linux Foundation, але стандартом бібліотеки так і лишилися ті самі GPU.
За даними TechCrunch, Google приєдналася до Amazon: напередодні Amazon випустила TorchNeuron, свою версію PyTorch під Trainium та AWS, теж без переписування застосунків.
Що саме вміє TorchTPU
TorchTPU — це PyTorch, адаптований під Tensor Processing Units Google. Застосунок не переписують: міняють конфігурацію, і обчислення йдуть на TPU у Google Cloud. Google працювала над сумісністю напряму з Meta, Hugging Face, Inferact (розробник vLLM) та RadixArk (розробник SGLang), щоб ці інструменти поводилися з TPU так само, як з оригінальним PyTorch.
Окремо Google випустила TPU agent suite, набір інструментів для перенесення застосунків на власні чіпи й хмару та для виправлення помилок під час перенесення. LiteRT, яким запускають AI на телефонах, ноутбуках і вбудованих пристроях, теж оновили під роботу з PyTorch-застосунками.
Де в цьому справжній фокус
Amazon надсилає до основного проєкту PyTorch код, який відокремлює функції від чіпів Nvidia і робить їх доступними для будь-якого заліза за замовчуванням. Чим менше коду в ядрі бібліотеки привʼязано до GPU, тим дешевше підтримувати TPU і Trainium.
Google у цьому разі компенсує охопленням. TPU agent suite закриває найбільший біль міграції — незрозумілі помилки на незнайомому стеку, — а робота над сумісністю з Hugging Face, vLLM і SGLang означає, що типовий пайплайн розробника має залишитися типовим.
Чи варто переносити продукт з Nvidia вже зараз
Реліз TorchTPU не означає, що розробники масово залишать Nvidia. Більшість застосунків уже працює на GPU, а екосистема навколо них (кастомні ядра, профілювання, готові пайплайни під конкретні чіпи) створювалася під ці карти. Переносити все «на всяк випадок» дорого, тож корисніше думати про це як про страховку від вузького місця: обмежена потужність і вигідніша ціна за токен.
Рахуйте вартість інференсу на своєму трафіку й доступну потужність у своєму регіоні. Якщо витрати на GPU для вас критичні, такий розрахунок варто зробити зараз, поки є час на тест, а не в момент, коли прохання надійдуть від клієнтів.
Що робити зараз
Найкорисніші кроки на найближчий тиждень:
- Візьміть один робочий сценарій (чат-застосунок або транскрибація) і прогнайте його через конфігурацію TorchTPU. Це день роботи, і ви зрозумієте, чи стосується перенесення вашого коду взагалі.
- Порахуйте вартість інференсу на TPU і на поточних GPU на реальному трафіку, а не на синтетичному бенчмарку.
- Знайдіть у коді кастомні операції й перевірте їх на TPU: саме вони ламаються першими при перенесенні.
- Стежте за кодом, який Amazon і Google публікують в upstream PyTorch, і за оновленнями LiteRT, якщо у вас є клієнтський AI на телефоні або вбудованому пристрої.
