Anthropic випустила FlashProve, відкритий прототип, який криптографічно доводить, що відповідь згенерувала заявлена модель. На Llama 4 Maverick (400B, MoE) одна H100 видає докази зі швидкістю близько 110 токенів/с.
Ціна висока: за даними блогу Anthropic, доказ коштує приблизно 70-95x GPU-часу самого інференсу на vLLM. Ймовірно, це інструмент для аудиту й незалежних перевірок, а не режим для кожного запиту.
Яку проблему розв'язує FlashProve?
FlashProve дозволяє користувачеві переконатися, що відповідь дала саме та модель, яку заявив провайдер, а не дешевша підміна від роутера чи результат втручання в потік токенів. Anthropic наголошує, що за якістю тексту це визначити ненадійно.
Провайдер публікує комітмент, короткий відбиток конкретних ваг, а до кожної відповіді додає доказ. Ваги доказ не розкриває, але архітектура моделі прихованою не є: Anthropic цього не ставила за мету.
Скільки це коштує і що потрібно для запуску?
Прувер FlashProve потребує 1 H100 на 80 ГБ, 24 ядра CPU і близько 290 ГБ оперативної памʼяті хоста, повідомляє MarkTechPost. Верифікатор працює на CPU без GPU.
- Пакет із 24: 111,23 токена/с, 221-226 секунд на пакет.
- Один запит: лише 17,41 токена/с.
- Розмір доказу: 18,78 MB на запит із 1 024 токенів. Клієнт завантажує ще ~6,5 MB один раз на комітмент.
- Перевірка: 17 секунд на 24 потоках, 21 секунда на одному.
Розрив із vLLM залежить від бази порівняння. MarkTechPost пише про 72x на пакет проти FP8 Maverick на 8 H100 і про 94x за найвищого тестованого навантаження. У блозі Anthropic загальна оцінка: 70-95x.
Які обмеження в прототипа?
FlashProve наразі працює з контекстом до 1 024 токенів на запит, жадібним декодуванням і лише з MoE-моделями. Робота прувера масштабується з ~17B активних параметрів, а не з усіх 400B.
Комітмент займає близько 39 хвилин офлайн і покриває приблизно 16 мільйонів запитів. Anthropic міряла швидкість на публічних 4-бітних вагах Maverick.
Наскільки можна довіряти самій системі?
Anthropic формалізувала в Lean повноту, коректність і zero knowledge. За README, шахрай уникне виявлення лише з імовірністю близько q/2^124 + 2^-101. Є два верифікатори: швидкий на C++ без формальної гарантії та повільніший на Lean, який приймає лише те, що дозволяє теорема коректності.
Anthropic пише, що Claude добре оптимізує, але його рішення в складних системах важко оцінити, тому до заявлених гарантій додано перевірювані твердження в Lean. Протокольну специфікацію теж написав Claude.
Код, докази в Lean і документацію випущено під Apache 2.0. Anthropic прямо називає публікацію проміжним результатом і просить інших його покращувати.
