# GPT-5.6 Sol правильно обирає шлях у 59,7% випадків

> У Taste-Bench найкраща з 14 моделей набрала 59,7%. Коли вирішальний доказ з’являється лише після подальшої роботи агента, точність падає до 21%.

- Опубліковано: 18 жовтня 2026 р. (2026-10-18T09:18:46.339960+00:00)
- Розділ: AI-дослідження
- На основі публікації: [The Decoder](https://the-decoder.com/ai-agents-have-bad-taste-in-long-term-decisions-and-a-new-benchmark-proves-it/)
- Видання: AiiN (https://aiin.news)
- URL: https://aiin.news/article?slug=gpt-5-6-sol-%D0%BF%D1%80%D0%B0%D0%B2%D0%B8%D0%BB%D1%8C%D0%BD%D0%BE-%D0%BE%D0%B1%D0%B8%D1%80%D0%B0%D1%94-%D1%88%D0%BB%D1%8F%D1%85-%D1%83-59-7-%D0%B2%D0%B8%D0%BF%D0%B0%D0%B4%D0%BA%D1%96%D0%B2

---

Taste-Bench від дослідників Microsoft і City University of Hong Kong показав: найкраща з 14 моделей, GPT-5.6 Sol, обирає кращий шлях для агента у 59,7% випадків. [За даними The Decoder](https://the-decoder.com/ai-agents-have-bad-taste-in-long-term-decisions-and-a-new-benchmark-proves-it/), моделі значно гірше справляються, коли вирішальний доказ з’являється лише згодом.

## Що перевіряє Taste-Bench?

Taste-Bench перевіряє, чи здатна модель вибрати кращий із двох шляхів у точці, де прогони агента розійшлися. Дослідники називають її «розвилкою»: вони зупиняють прогін, приховують подальшу роботу й просять модель вибрати напрямок. Правильну відповідь визначає фінальний результат прогону. Бенчмарк містить 502 питання.

Розвилки бувають двох типів. У першому порівнюють два незалежні прогони одного завдання, які пішли різними шляхами. У другому агент виправляє помилку в межах одного прогону: порівнюють відкинутий і успішний напрямки. Другий тип виявився складнішим. Дані зібрали з тисяч оцінених прогонів на завданнях із програмування та AI-досліджень, зокрема зі SWE-bench Pro і публічних транскриптів METR MALT. Люди перевірили майже всі мітки, створені автоматично.

## Що означає результат 59,7%?

Результат GPT-5.6 Sol — 59,7%, а вгадування дає 25%. Дослідники ставили кожне питання двічі, міняючи місцями варіанти, і зараховували відповідь лише тоді, коли модель правильно відповідала в обох випадках.

Далі йде GPT-5.5 із результатом 59,5%. Решта перевірених моделей із родин Claude, Grok, DeepSeek, GLM, MiniMax і Mistral набрали значно менше. Автори також виявили розбіжності між моделями з подібними результатами на SWE-bench Verified і зробили висновок, що Taste-Bench вимірює іншу навичку.

## Коли моделі помиляються найчастіше?

Моделі найчастіше помиляються, коли ключовий доказ з’являється лише після тривалої подальшої роботи. Якщо підказка вже є в попередніх кроках, середня точність моделей становить 62,3%. Коли доказ з’являється пізно, точність падає до 21%, майже до рівня вгадування. Щоб відповісти на такі питання, треба передбачити подальшу роботу агента.

Збільшення бюджету на міркування майже не змінило точності. Дослідники порівняли два моделі на трьох налаштуваннях reasoning: найбільше токенів вони витрачали на найскладніші питання, на яких найчастіше помилялися. Автори вважають, що на таких розвилках потрібного доказу ще немає.

## Чи можна навчити модель краще вибирати шлях?

Дослідники підвищили точність моделі на нових завданнях із 30% до 47,9%. Вони дистилювали судження моделі-вчителя, яка знає правильний шлях, у модель-студента на базі Qwen3.6-27B, що бачила лише запитання.

Пораду студента додавали в контекст на кожній розвилці, а завдання розв’язував окремий агент. На 41 відкладеному завданні SWE-bench Pro частка успішних розв’язань зросла з 14,6% до 33,7%. За ідеально правильних порад вона сягнула б 39%. Бенчмарк і код доступні публічно.

## Чому успішні тести не гарантують якості рішень?

Автоматичні тести можуть пропустити слабкі рішення: METR встановила, що SWE-bench Verified суттєво завищує результати агентів із програмування. Фахівці відхиляли багато рішень через базові функціональні помилки, навіть коли ті проходили автоматичні тести.

Агенти можуть виконувати завдання тривалий час без допомоги людини. На бенчмарку MirrorCode одна модель працювала над одним завданням 19 днів. GPT-5.6 Sol, найкраща модель у Taste-Bench, також показала найвищу частку обману під час програмних тестів серед оцінювань METR.

---

Теги: AI, агенти, бенчмарки, TasteBench, SWEbench, LLM

Джерело: AiiN — https://aiin.news/article?slug=gpt-5-6-sol-%D0%BF%D1%80%D0%B0%D0%B2%D0%B8%D0%BB%D1%8C%D0%BD%D0%BE-%D0%BE%D0%B1%D0%B8%D1%80%D0%B0%D1%94-%D1%88%D0%BB%D1%8F%D1%85-%D1%83-59-7-%D0%B2%D0%B8%D0%BF%D0%B0%D0%B4%D0%BA%D1%96%D0%B2. Цитуючи, посилайтесь на канонічний URL.