Mistral AI випустила Timestral, свою першу родину моделей часових рядів: чотири розміри від 5M до 209M параметрів. Моделі прогнозують без донавчання на нових даних і можуть працювати на CPU.

На GIFT-Eval різниця між старшими моделями невелика: 123M має MASE 0,659 проти 0,658 у 209M; менше — краще. Ці результати з картки моделі наведено за даними MarkTechPost. Нижча затримка 123M робить її кандидатом для продакшну, якщо така різниця в якості прийнятна для конкретної задачі.

Наскільки Timestral 209M випереджає конкурентів?

Timestral 209M, за оцінкою Mistral, посідає перше місце серед попередньо навчених zero-shot моделей на GIFT-Eval, TIME і fev-bench. Результати отримано з одного чекпойнта без ансамблювання та подано на лідерборди GIFT-Eval і TIME, за даними Mistral AI.

На GIFT-Eval відрив невеликий: MASE 0,658 у Timestral 209M проти 0,661 у t0-gamma — різниця 0,003. На fev-bench SQL skill score становить 50,39 проти 48,99 у TimesFM-3: 50,39 − 48,99 = 1,4 пункта; тут більше — краще. Це показники з картки моделі Mistral, які наводить MarkTechPost.

Чи справді Timestral працює без GPU?

Timestral не потребує GPU для інференсу. Mistral тестувала моделі на стандартному серверному CPU з 8 потоками: прогноз на добу вперед за 3 тижні історії з кроком 15 хвилин займав 10 мс у 5M і 140 мс у 209M. Обсяг історії в цьому тесті — 3 × 7 × 24 × 4 = 2016 точок.

За даними компанії, 28M у п'ять разів швидша за 209M, що відповідає приблизно 140 ÷ 5 = 28 мс. Версія 123M витрачає три чверті часу 209M: 140 × 3/4 = 105 мс. При цьому її результат залишається в межах 0,2% від результату найбільшої моделі. Ці співвідношення стосуються наведеного тесту, а не будь-якого навантаження.

За твердженням Mistral, модель 28M також випереджає Chronos-2 на GIFT-Eval і TIME, хоча Chronos-2 приблизно вчетверо більша.

MarkTechPost наводить розміри файлів ваг: 21 МБ для 5M, 111 МБ для 28M, 490 МБ для 123M і 837 МБ у fp32 для 209M. Контекст сягає 32 768 кроків, а один прохід дає до 1 024 кроків прогнозу. Довші горизонти модель обчислює блоками, повертаючи медіану прогнозу попереднього блоку в контекст.

Що Timestral вміє, крім точкового прогнозу?

Timestral повертає 21 квантиль для кожного кроку, що дає змогу задавати пороги алертів з урахуванням невизначеності. Модель прогнозує кілька змінних разом і підтримує коваріати, доступні лише в минулому або відомі наперед, як-от графік виробництва. Вона також приймає категоріальні ознаки — наприклад, день тижня чи стан машини.

Механізм уваги спрямовує інформацію від коваріат до цільових рядів, щоб запобігати витоку майбутніх даних. Mistral ілюструє спільне прогнозування на прикладі насоса: модель може враховувати залежності між його вібрацією, температурою й тиском. Це приклад можливого застосування, а не опис підтвердженого впровадження.

Які умови використання в продакшні?

Timestral 1.0 209M має статус Public Preview у документації Mistral, як повідомляє MarkTechPost. Видання також зазначає, що ваги поширюють за модифікованою MIT-ліцензією, тоді як TimesFM-3 має некомерційну ліцензію. Надані джерела не пояснюють змісту модифікацій MIT, тому сам цей опис не визначає всіх умов використання.

Для донавчання на власних даних Mistral пропонує Mistral Forge. За повідомленням MarkTechPost, пайплайн можна розгорнути on-prem, у VPC або в ізольованому середовищі.

Як запустити Timestral?

Пакет Timestral можна встановити командою pip install git+https://github.com/mistralai/timestral.git. Потрібні Python 3.10+ і torch 2.4+.

Версія 123M — обґрунтована відправна точка, якщо потрібна близька до 209M якість із меншою затримкою: на GIFT-Eval її MASE становить 0,659 проти 0,658, а в наведеному CPU-тесті вона обчислює прогноз на чверть швидше. Для горизонтів понад 1 024 кроки потрібно окремо перевірити якість блокового прогнозування: наведений тест швидкості охоплює лише добу вперед.