Cloudflare 9 жовтня 2026 року випустила Clef-omni — модель із відкритими вагами, яка оцінює текст, зображення, аудіо й відео одним викликом, за даними MarkTechPost.

Clef-omni приймає аудіо й відео без окремих кроків транскрибування та створення описів зображень. У тестах класифікації намірів модель випереджає Clef, Clef-flash і Jev, але на GPQA Diamond набирає 47,4 проти 78,3 у Jev від TypeSafe AI. За нашою оцінкою, ці результати роблять її кандидатом для маршрутизації мультимодальних запитів, але не доводять, що вона замінить текстовий Clef у складних міркуваннях.

Що повертає decision-модель Clef-omni?

Clef-omni повертає імовірність для кожного дозволеного варіанта відповіді, за даними Cloudflare. Ви надсилаєте стан і схему питань трьох типів: noul (істина чи хибність), choice або score. Один запит містить від 1 до 64 питань. Формат відповідає API Jev і System One від TypeSafe AI, а поля для аудіо й відео є розширенням Cloudflare.

Основа моделі — Qwen3-Omni-30B-A3B-Instruct із 30 млрд параметрів, із яких 3 млрд активні. Cloudflare залишила компоненти для розуміння медіа, прибрала вихідний тракт text-to-speech, заморозила backbone і навчила LoRA-адаптери. Модель робить один прохід prefill через увесь запит, а відеокадри й аудіо синхронізує в одну послідовність. Під час навчання Cloudflare поєднала label-smoothed cross-entropy з калібруванням за Brier score.

Де Clef-omni сильна, а де слабка?

Clef-omni випереджає три інші моделі в порівнянні Cloudflare на тестах класифікації намірів: 94,8 macro-F1 на BANKING77 і 97,7 на CLINC150+OOS. Модель також очолює порівняння на Amazon ESCI з результатом 57,8.

В інших завданнях результати гірші. Точність case-exact на home appliances становить 69,3 проти 97,73 у Clef-flash, на When2Call — 63,3 проти 80,97 у Jev. На workflow-тестах TypeSafe Clef-omni поступається Clef за всіма п’ятьма наведеними метриками. На POP909-CL модель має 2,6 accuracy. MarkTechPost зазначає, що результати походять з анонсу Cloudflare й не пройшли незалежної перевірки.

Які ліміти, ціна й швидкість Clef-omni?

Clef-omni на Workers AI приймає до 4 зображень, до 4 аудіокліпів і до 2 відео за запит; заявлена ціна — $0,15 за мільйон токенів. Зображення можуть бути у форматах PNG, JPEG або WebP і займають по 64–1 024 токени. Аудіо — WAV або MP3 тривалістю до 300 секунд на кліп, приблизно 780 токенів за хвилину. Відео — MP4 або WebM тривалістю до 60 секунд на кліп із семплінгом 2 кадри на секунду.

Workers AI не приймає віддалені URL: файли потрібно вбудовувати в запит. Аудіо й відео разом не можуть перевищувати 16 MiB після декодування. Модель чує звукові доріжки відео, коли вони є в кожного відео запиту.

Секунда відео займає до 256 вхідних токенів. Отже, 60 × 256 = 15 360 токенів на хвилинний кліп, а 2 × 15 360 = 30 720 токенів на два такі кліпи — близько половини контексту у 64 000 токенів. За заявленим тарифом вартість самих відеотокенів для одного хвилинного кліпу становить до 15 360 × $0,15 / 1 000 000 ≈ $0,0023. Інші частини запиту додають токени.

Cloudflare заявляє медіанну затримку близько 130 мс для тексту й 150 мс для зображень. За її даними, модель оцінює 21-секундне відео зі звуком приблизно за 1,5 с.

Що змінилося для Clef-flash і Clef?

Cloudflare знизила ціну Clef-flash і скоротила її контекстне вікно на хостингу, за даними RuntimeWire. MarkTechPost наводить нову ціну $0,038 проти $0,042 у Jev і контекст у 24 тисячі токенів, але не уточнює одиницю цих тарифів.

Cloudflare також перевела Clef на хостингу на SGLang і налаштувала інфраструктуру інференсу, не випускаючи нових ваг. Медіанна затримка для приблизно 800 токенів упала з 262 до 152 мс, для приблизно 3 400 токенів — з 616 до 305 мс, для приблизно 16 000 — з 2 721 до 1 635 мс. Підтримку Clef заявлено для SGLang 0.5.22.

Що врахувати під час інтеграції?

Clef-omni потребує вбудованих медіафайлів, а її заявлені результати дають різні підстави для вибору залежно від завдання.