MIT Technology Review 5 серпня 2026 року опублікувало 84-й випуск своєї рубрики Puzzle Corner — щотижневу добірку логічних і математичних головоломок, які читачі розв'язують і надсилають назад у редакцію.

На перший погляд це нішева рубрика для аматорів математики, яка існує ще з паперової епохи журналу. Але для тих, хто оцінює AI-моделі, вона цікава з іншої причини: такі колонки лишаються одним із небагатьох джерел свіжих, написаних людьми головоломок, які ще не встигли осісти в тренувальних корпусах великих мовних моделей.

За даними MIT Tech Review, рубрика й далі працює за класичною схемою читацьких надсилань — і саме ця повільна, ручна природа контенту робить її показовим прикладом того, чому «свіжість» задачі стала окремим ресурсом в індустрії ШІ.

Що таке Puzzle Corner і чому вона досі актуальна?

Puzzle Corner — рубрика-довгожитель MIT Technology Review, побудована на циклі «задача → відповіді читачів → розбір». Типовий випуск містить кілька задач різного рівня складності — від класичних логічних головоломок і комбінаторики до задач із теорії чисел та словесних ребусів. Автори надсилають розв'язки не заради призів: цінність участі — публічне визнання в наступному випуску й задоволення від самого процесу. Це принципово інша модель контенту, ніж більшість бенчмарків для ШІ, де завдання й еталонні відповіді генерують заздалегідь і публікують одним пакетом.

Чому такі головоломки цікаві для тестування reasoning-моделей?

Бо стандартні бенчмарки для перевірки міркування — MMLU, GSM8K, навіть новіші на кшталт ARC-AGI — швидко «насичуються»: провідні reasoning-моделі, такі як OpenAI o3 чи Claude Opus 5, показують на них результати, близькі до стелі, і різниця між моделями губиться в шумі. Розробникам потрібні задачі, яких модель точно не бачила під час тренування, — інакше високий бал означає не «вміння міркувати», а «запам'ятала відповідь із мережі».

У чому тут пастка для тих, хто будує eval-набори?

Пастка — у самому циклі публікації. Щойно задача і правильна відповідь з'являються у відкритому випуску, а згодом і в розборі наступного номера, вони стають частиною публічного вебу — і рано чи пізно потрапляють у корпус для тренування наступної моделі. Через це будь-який публічний архів головоломок «протухає» як бенчмарк: сьогодні задача чиста, а за кілька місяців після індексації пошуковиками й агрегаторами вона вже може осісти в датасеті.

Це та сама логіка, яку ми розбирали в матеріалі про те, чи варто писати дослідницькі статті інакше для ШІ: контент, розрахований одночасно на людське й машинне читання, живе за різними правилами і має різний «строк придатності». Для AI-білдерів висновок практичний: якщо ви оцінюєте власну модель на публічних головоломках, фіксуйте дату створення тесту і дату останнього тренування моделі — і не довіряйте результату, якщо ці дати впритул одна до одної.

Що з цим робити прямо зараз: погляд AiiN

Наша теза проста: свіжість задачі варто рахувати таким самим ресурсом, як обчислення чи дані для файнтюну. Команди, які серйозно оцінюють reasoning-моделі, вже будують приватні, ротаційні набори задач — частину тримають закритою роками, частину оновлюють щотижня, копіюючи логіку читацьких рубрик на кшталт Puzzle Corner: людина придумує задачу, ніхто не публікує відповідь одразу, перевірка йде вручну або через закритий API.

Якщо ви робите AI-продукт, що спирається на reasoning-моделі — агента, копілота, автоматизацію документообігу, — варто завести власний невеликий набір «канарок»: 20–30 задач, які ви ніколи не публікуєте, і прогонити крізь них кожну нову версію моделі перед апгрейдом. Це дешевше за підписку на комерційний бенчмарк і чесніше за маркетингові цифри вендорів.

Чи можуть сучасні LLM розв'язувати задачі рівня Puzzle Corner?

Здебільшого так, особливо reasoning-моделі з розширеним ланцюжком міркувань — прості логічні й комбінаторні задачі вони проходять непогано. Складніше зі словесними головоломками та задачами, де потрібен нестандартний, а не суто формальний хід думки: там моделі частіше «зривають» відповідь через хибну впевненість.

Чим такі головоломки відрізняються від бенчмарків типу MMLU чи GSM8K?

MMLU і подібні бенчмарки — це фіксовані набори питань з еталонними відповідями, опубліковані одним пакетом і давно проіндексовані пошуковиками. Головоломки з живих рубрик з'являються по одній, регулярно, і частину часу лишаються «чистими», поки не потраплять у наступне сканування вебу для тренувальних корпусів.

Чи варто стартапу будувати власний архів головоломок для оцінки моделей?

Так, якщо продукт критично залежить від якості reasoning — юридичний чи фінансовий аналіз, кодогенерація, планування. Невеликий закритий набір задач, який ви оновлюєте самі й ніколи не публікуєте, дає чесніший сигнал про якість моделі, ніж будь-який публічний лідерборд.