Llama 3.2 3B від Meta — модель, яку можна ганяти на смартфоні без підключення до інтернету, — на задачах витягування структурованих даних та класифікації тексту сьогодні відстає від моделей класу GPT-4 лише на кілька відсоткових пунктів, тоді як ще два роки тому такий розрив вимірювався десятками пунктів.

Це не поодинокий випадок і не маркетинговий трюк одного вендора. Ту саму картину видно у Phi-4 від Microsoft, Gemma 3 від Google, Qwen2.5 від Alibaba і Mistral Small від французького Mistral AI: у вузькому класі задач — класифікація, витяг сутностей, маршрутизація запитів, короткий агентний крок — компактні моделі на 3–14 мільярдів параметрів впритул підійшли до якості, за яку донедавна доводилося платити ціну виклику стомільярдної моделі.

Для команди, що будує продукт, а не дослідницьку демку, це питання не академічне. Кожен виклик великої моделі — це реальні гроші, реальна затримка і реальна залежність від чужого API. Якщо більшість викликів у пайплайні можна закрити моделлю, яка в десятки разів дешевша, а решту ескалювати нагору — економіка продукту змінюється кардинально.

У цьому розборі — чому малі моделі раптом підтягнулися, що саме відбувається під капотом (дистиляція, синтетичні дані, перетренування понад «оптимум» Chinchilla), де вони реально замінюють великі флагмани, а де досі програють, і як AiiN радить будувати на цьому архітектуру продукту вже зараз.

Звідки взялася ця конвергенція малих і великих моделей?

До 2023 року індустрія жила за простим правилом: більше параметрів — краща якість, і крапка. Закони масштабування, сформульовані дослідниками DeepMind у роботі про Chinchilla (2022), задавали формулу оптимального балансу між кількістю параметрів і обсягом тренувальних токенів — і великі лабораторії їй слідували, женучись насамперед за розміром моделі.

Перелом стався, коли індустрія усвідомила: закон Chinchilla оптимізує вартість тренування, а не вартість інференсу. Модель, яку викликатимуть мільярди разів на добу, вигідніше перетренувати — згодувати їй у 10–20 разів більше токенів, ніж «оптимально» для її розміру, — і отримати менший, повільніший у тренуванні, зате значно дешевший в експлуатації артефакт. Саме так Meta тренувала Llama 3: восьмимільярдна версія бачила приблизно 15 трильйонів токенів — обсяг, який ще недавно вважали б виправданим хіба для моделі в 5–10 разів більшої.

Паралельно запрацював другий важіль — дистиляція знань: велика «модель-вчитель» генерує навчальні приклади або передає розподіл ймовірностей для маленької «моделі-учня», яка вчиться не на сирих даних з інтернету, а на вже відфільтрованому й структурованому матеріалі. Лінійка Phi від Microsoft побудована саме на цій ідеї — тренування на синтетичних даних «підручникової якості» замість необробленого вебскрейпу дає непропорційно великий приріст якості на кожен мільярд параметрів.

Третій фактор — насичення публічних бенчмарків. MMLU, головний орієнтир 2023 року, до 2025-го впритул наблизився до стелі: і великі, і малі топові моделі показують на ньому 85–90%+, а різниця стає статистичним шумом. Індустрія перейшла на складніші тести — MMLU-Pro, GPQA Diamond, ARC-AGI — і саме на новому поколінні бенчмарків видно, наскільки скоротилася прірва між моделлю на 8 мільярдів і моделлю на 400+ мільярдів параметрів для практичних, обмежених за обсягом знань задач.

Як малі моделі під капотом наздоганяють великі?

Технічно тут працюють одразу кілька механізмів, і жоден з них не є одноразовим трюком — це компонування прийомів, які підсилюють один одного.

Дистиляція замість сирого навчання

Замість того щоб вчити модель-учня напряму на мітках («правильна відповідь — X»), сучасна дистиляція передає їй розподіл ймовірностей учителя по всьому словнику — так званий soft label. Модель-учень вчиться не лише що відповідати, а й наскільки впевнено і чому одні відповіді ближчі до правильної, ніж інші. Це дає значно більше сигналу на кожен приклад, ніж навчання з нуля, і дозволяє маленькій архітектурі успадкувати частину міркувань великої моделі, не успадковуючи її розмір.

Синтетичні дані та якість замість обсягу

Другий важіль — курація даних. Лінійки Phi-4 і Gemma 3 навчаються на даних, значна частина яких згенерована або відфільтрована іншими моделями за критерієм навчальної цінності: прибирається дублікат, шум, низькоякісний контент, натомість додається синтетика на кшталт покрокових розв'язків задач. У результаті модель на 14 мільярдів параметрів отримує щільність корисного сигналу, порівнянну з моделлю в кілька разів більшою, навченою на сирому вебскрейпі.

Архітектурні економії

До цього додаються суто інженерні прийоми: grouped-query attention і sliding-window attention скорочують пам'ять і обчислення на інференсі без істотної втрати якості; квантизація до 4–8 біт (формати на кшталт GGUF для запуску через llama.cpp) стискає модель у 2–4 рази з мінімальною деградацією; а частина сімейств — окремі конфігурації Qwen2.5 і Mistral — використовують розріджений Mixture-of-Experts навіть у компактному класі: модель «на папері» більша, але на кожен токен активує лише невелику частку своїх параметрів.

Чим мала модель відрізняється від великої на практиці — і хто вже це вміє?

Ринок малих моделей сьогодні — це щонайменше п'ять паралельних ліній розробки, кожна зі своїм акцентом. Meta веде лінійку Llama 3.2 (1B і 3B — для edge і мобільних сценаріїв) та Llama 3.1 8B — робочого коня для серверного інференсу. Microsoft зробила ставку на Phi-4 (14B) як на модель, що компенсує розмір якістю даних. Google випускає Gemma 3 у діапазоні від 1B до 27B, орієнтуючись на open-weight розгортання на власному залізі клієнта. Alibaba з Qwen2.5 покриває чи не найширшу лінійку розмірів — від 0.5B до 72B — і особливо сильна в багатомовності та коді. Mistral AI пропонує Mistral Small, Mistral Nemo (12B) і Ministral (3B і 8B) як європейську альтернативу для команд, яким важлива регуляторна прозорість. У класі закритих API те саме відбувається з боку OpenAI (GPT-5 mini і nano) та Anthropic (Claude Haiku 4.5) — швидкі й дешеві версії флагманів, призначені саме для великого потоку простих викликів.

За даними HackerNews, огляд практичних задач показує: розрив між класами моделей найшвидше стирається саме там, де завдання добре окреслене — класифікація, витяг структурованих даних, коротке резюмування в межах відомого домену, маршрутизація запиту до потрібного інструменту. Це задачі з вузьким «простором відповідей», де моделі не потрібно тримати в голові весь світ — досить впевнено розпізнавати патерн.

Великі флагмани — GPT-5, Claude Opus 5, Gemini 3 Pro — тримають перевагу там, де вузького простору відповідей немає: багатокрокові міркування з довгим ланцюжком залежностей, синтез інформації з рідкісних або суперечливих джерел, робота з великими незнайомими кодовими базами, довгий контекст на сотні тисяч токенів, де важливо не втратити деталь, згадану на самому початку. Це не «малі моделі досі гірші» — це «клас задач, де глибина параметричних знань і сила міркування важать більше за швидкість».

Що це дає тим, хто будує на цьому продукти зараз?

Практична цінність цього зсуву — не в тому, щоб повністю замінити великі моделі малими, а в тому, щоб перестати платити ціну флагмана за задачі, які флагмана не потребують. Три патерни вже працюють у продакшені.

Ці три патерни поєднуються в один принцип: вибір моделі — це не одноразове рішення на старті проєкту, а параметр, який виставляється окремо для кожного кроку пайплайна, залежно від складності задачі, а не від звички кликати найпотужніший доступний API.

Що може піти не так, якщо поставити все на малі моделі?

Головний ризик — плутати результат на бенчмарку з поведінкою в продакшені. Малі моделі систематично крихкіші до варіацій у формулюванні запиту, до нетипових вхідних даних і до «довгого хвоста» — рідкісних випадків, погано представлених у тренувальних даних. Модель, що на чистому тестовому наборі показує високу точність, на реальному трафіку з друкарськими помилками, сленгом і нестандартним форматуванням може просісти суттєво нижче — і це просідання рідко видно, поки не подивишся на продакшн-логи, а не на лідерборд.

Другий ризик — контамінація бенчмарків: частина публічних тестів так чи інакше потрапляє в тренувальні дані, і модель, що «вивчила» відповіді, показує результат, який не переноситься на реальні задачі поза цим набором. Для команди це означає, що власний eval-набір, побудований на прикладах із реального продукту, важливіший за будь-який публічний рейтинг.

Третій ризик — прихована складність архітектури. Каскад «маленька модель → умова ескалації → велика модель» виглядає простіше на схемі, ніж є насправді: потрібен окремий контур моніторингу якості для кожного рівня каскаду, регулярна переоцінка порогу ескалації (бо розподіл вхідних запитів дрейфує з часом), і інфраструктура для A/B-порівняння версій малої моделі без ризику для великої частки трафіку. Команда, не готова підтримувати цей контур, часто отримує економію на папері й деградацію якості в реальності.

Нарешті, малі моделі програють у широті світових знань за замовчуванням — вони просто «бачили» менше фактів під час тренування. Для задач, де потрібна глибока фактологічна точність поза вузьким доменом — медичні консультації, юридичний аналіз, фінансова аналітика на рідкісних інструментах, — ставка виключно на компактну модель без RAG-шару чи ескалації до великої моделі лишається ризикованою.

Висновок AiiN

Для продуктів з обмеженим бюджетом на inference малі моделі — вже не компроміс «дешевше, але гірше», а окремий, повноцінний інструмент вибору. Різниця в тому, що вибір тепер варто робити свідомо на рівні кожного кроку пайплайна, а не один раз на весь продукт.

Наш прогноз на найближчі 6–12 місяців: каскадна архітектура «мала модель за замовчуванням, велика — за потреби» стане дефолтним патерном для нових AI-продуктів, а не оптимізацією, яку впроваджують заднім числом після першого великого рахунку за API. Вендори моделей продовжать змагатися саме в класі 3–14 мільярдів параметрів — це найгарячіша ділянка ринку зараз, і туди підуть основні інвестиції в дистиляцію та синтетичні дані. Водночас розрив в іншу сторону зростатиме — на задачах із дійсно довгим ланцюжком міркувань і мультимодальністю флагмани й далі відриватимуться, бо там перевагу дає масштаб, а не лише якість даних.

Практична порада командам, які будують зараз: не питайте «яку модель обрати» — питайте «яку модель обрати для цього кроку». Профіль вартості й латентності по кроках пайплайна — той рахунок, який варто зробити до того, як писати перший рядок промпту, а не після першого рахунку від провайдера.