Вісім безкоштовних моделей, які ми пробували в редакції AiiN, писали українською ту саму новину. Ми порахували, що пішло не так у текстах, і окремо оцінили якість мови. Це один тест на одну новину. Загальних висновків про моделі з нього робити не варто.
Тест виконано . Оцінку мови додано .
Результати
Місце
Модель
Мова, бал із 10
Перевірки
Слів
Час, с
Що не пройшло
1
muse-spark-1.3-contributor-freeПриклад від судді: «сумарзацією»
66, 6, 6
6 з 6
408
59
нічого
1
longcat-2.5-preview-freeПриклад від судді: «впали до 95%»
66, 6, 6
6 з 6
520
365
нічого, але 365 с із 420 дозволених
3
ling-3.0-flash-fin-freeПриклад від судді: «Скільки коштує тепер?»
55, 5, 5
6 з 6
293
35
нічого, але текст короткий
4
big-pickleПриклад від судді: «аносувала», «радікальнішою»
55, 5, 5
5 з 6
544
93
числа 0,05 і 200 не з джерела
5
nemotron-3-ultra-freeПриклад від судді: «Що входять у лінійку»
55, 6, 5
4 з 6
435
76
немає посилання на джерело, числа 0,0003 і 0,006 не з джерела
6
space-bunny-freeПриклад від судді: «стомп 转写 коштує копійки»
33, 3, 3
5 з 6
549
34
число 30 не з джерела
-
mimo-v2.6-flash-free
немає статті
1 з 6
-
-
стаття не прийшла за 420 с
-
nemotron-3.5-lightning-free
немає статті
0 з 6
-
-
замість статті відповідь без JSON, куратор не вклався в 300 с
Порядок: спочатку бал за мову (медіана трьох оцінок, їх видно дрібним шрифтом), потім кількість пройдених перевірок, потім швидкість. Однакові місця означають однаковий бал і однакову кількість перевірок. Дві моделі без статті місця не мають.
Метод простими словами
Що тестували
Одна новина: Alibaba випустила Qwen Audio 3.1 і знизила ціни на аудіо-AI (The Decoder, 2026-09-23).
Кожна модель отримала англійський текст про це (близько 200 слів фактів) і редакційні правила AiiN. Завдання: написати статтю українською у форматі JSON. Орієнтир за обсягом: від 500 до 800 слів, але стільки, скільки тримають факти.
Кожну модель запускали один раз. Усі вісім безкоштовні, вартість кожного запиту була нульова.
Окремо кожну модель просили оцінити 8 новин-кандидатів у форматі JSON. Це тест на дисципліну формату, а не на мову: усі, крім nemotron-3.5-lightning-free, повернули коректний JSON з усіма вісьмома оцінками за 15 до 70 с.
Як оцінювали
Шість автоматичних перевірок: стаття прийшла у форматі JSON вчасно; є посилання на джерело; русизмів немає; штампів AI-тексту немає; у тексті немає чисел, яких не було у фактах; куратор повернув JSON з 8 оцінками з 8.
Русизми лічильник шукає за російськими літерами (ы, ъ, э) і кількома російськими словами. Штампи шукає наш список типових AI-зворотів.
Бал за мову поставила модель Claude Sonnet 5.5. Вона бачила тільки текст статті, без назви моделі й без інших статей, і оцінювала лише мову: граматику, правопис, природність фраз, кальки, суржик, термінологію. Кожну статтю вона оцінила тричі окремими запитами. П'ять статей із шести отримали три однакові оцінки, шоста (nemotron-3-ultra-free) 5, 6, 5.
Обсяг
8 моделей, 1 новина, 1 спроба на модель, 6 текстів на оцінку мови, по 3 оцінки на текст.
Обмеження
Одна новина і один запуск. Інша тема, інший день або інший запуск можуть змінити порядок. Безкоштовні моделі ще й змінюються без попередження.
Суддя є моделлю, а не людиною. Різниця в один бал між сусідніми рядками лежить у межах похибки. Людина-редактор могла б оцінити інакше.
Лічильник русизмів слабкий. У тексті space-bunny-free є китайські ієрогліфи й зіпсовані слова, а лічильник показав нуль. Тому ця модель пройшла 5 перевірок із 6, а за мову має 3 бали з 10.
Перевірка «числа не з джерела» ловить і вигадані, і пораховані числа (відсотки, співвідношення). Вона не доводить вигадку.
Фактичну точність текстів людина не перевіряла.
Платних моделей і моделей Claude, GPT та Gemini як учасників у цьому тесті немає. З людськими текстами нічого не порівнювали.
Тест робили для внутрішньої задачі, вибору моделі для редакції, а не як публічний бенчмарк.
Як повторити
Сирі результати, тексти моделей і скрипти зберігаються в репозиторії AiiN: opencode/bake-2026-09-26 (bake.py, results.txt, judge.py, judge-results.json). Нові тести з іншими новинами та моделями будемо додавати на цю сторінку з датою.