PrismML створила версію 1-бітної моделі Bonsai на 2 млрд параметрів для окулярів на Snapdragon AR1 Gen 1. У середу її показав Qualcomm на Snapdragon Summit.

Для білдера це приклад, коли агент відповідає без звернення до хмари. Ймовірно, зникають мережева затримка й плата за токени, а чутливі дані залишаються на пристрої. За даними TechCrunch, виробники поки не анонсували жодних окулярів із PrismML — показали лише, як модель працює на чипі.

Що саме показали на Snapdragon Summit?

Qualcomm показав роботу Bonsai локально на смарт-окулярах на базі Snapdragon AR1 Gen 1 Platform. Це модель на 2 млрд параметрів, яку команда налаштувала для зору й мови, щоб носій міг запитати про побачене й отримати відповідь у реальному часі.

PrismML заснували дослідники Caltech, радник стартапу — Іон Стоіка з UC Berkeley. Команда готує версії крихітних мовних моделей під чипи Snapdragon, але виробники поки не анонсували жодних окулярів із PrismML всередині.

Що дає стискання у 4 рази?

PrismML стискає більші моделі у 4 рази, зберігаючи майже всю якість на стандартних бенчмарках. Ймовірно, для окулярів це означає менші вимоги до пам’яті й обчислень, тому модель працює на чипі AR1 Gen 1.

Чому open-weight на пристрої змінює економіку продукту?

PrismML просуває open-weight AI, який краще використовує наявну потужність пристрою замість постійного звернення до хмари. Стартап подає це як альтернативу залежності від обіцянок приватності пропрієтарних лабораторій і їхньої потреби в дедалі більших обчисленнях.

Для команди це інша модель ризику. Ви контролюєте дані та затримку, але самі оптимізуєте продукт під конкретний чип і оновлюєте модель на всіх пристроях. Протестуйте інференс на своїх записах, щоб оцінити затримку.

Що робити зараз?

Анонсів окулярів поки немає, тож перевірте гіпотези без заліза в руках: