Alibaba та кілька азійських університетів створили Co-Design Bench: найкращий із 10 моделей, GPT-6 Astra, повністю виконав лише 26,4% задач зі зміни готових вебзастосунків, за даними The Decoder.

Решта 73,6% (100 мінус 26,4) містять хоча б одну недороблену деталь. Середній показник виконання вимог при цьому близько 70%, тож результат виглядає майже готовим, а доопрацьовувати його доводиться вручну майже щоразу.

Чому 70% і 26,4% не суперечать одне одному?

Ці цифри вимірюють різне: 70% це середня частка пройдених критеріїв, а 26,4% це частка задач, де пройдено всі критерії без винятку. Показник 69,9% це Strict Completion, де часткове виконання (PARTIAL) не зараховується, за даними Mind-Verse.

Бенчмарк містить 273 задачі з 26 314 реальних сесій кодування, а оцінка спирається на 2 331 прихований експертний критерій. Задачі беруть із запитів, які користувачі переформульовували або відкочували, тобто це вже складні для агентів випадки. Агент має змінити готовий застосунок, зокрема за зображенням, аудіо, відео чи документом. Приклад: витягти суму з чека й оновити всі залежні підсумки.

Перевірка сувора. Один AI-суддя тестує застосунок у браузері, другий перевіряє кожен позитивний вердикт і шукає макети та жорстко прописані результати. Бали отримують лише робочі функції.

Чому задачі з кількома типами змін провалюються частіше?

Усі 10 моделей гірше справлялися із задачами, де поєднано кілька типів змін: макет, дизайн, взаємодія, контент. Для репозиторних задач зведені цифри такі: 65,4% пройдених критеріїв за один-два типи змін (53 задачі) і 59,1% за три-чотири (120 задач).

Автори описують це як спостережену закономірність, а не доведену причину. У реальних проєктах такі вимоги зазвичай переплетені, тому для продакта це типовий випадок, а не виняток.

Додаткові обчислення проблему не розвʼязують: GLM-5.2 витратила майже у 6 разів більше токенів, ніж GPT-6 Astra, на дрібних змінах і отримала помітно гірший результат.

У загальному рейтингу після GPT-6 Astra йдуть Claude Opus 5 і Qwen3.8-Max, Grok 4.6 останній. На великих переробках Qwen3.8-27B піднімається на друге місце, але автори не роблять із цього висновку про загальну перевагу моделі.

Чому важлива пара «модель + середовище»?

Одна й та сама модель дає різний результат залежно від середовища, через яке агент читає, пише й виконує код. Qwen3.8-27B на великих переробках набрала 75% в одному середовищі та 56% в іншому. Від середовища залежало й те, яка з двох моделей виявлялася кращою.

Автори радять завжди публікувати результат для пари, а компаніям тестувати обидві складові разом. Дані щодо складних середовищ розходяться: нещодавнє дослідження, яке цитує The Decoder, майже не знайшло користі від складніших середовищ, хоча вони споживали до 3 разів більше токенів.

Наскільки цьому бенчмарку можна вірити?

Co-Design Bench має обмеження: кожна задача містить один фіксований запит без уточнень і корекцій по ходу, а AI-судді можуть помилятися. Розрив між тестами й практикою вже фіксував METR: реальне схвалення AI-коду керівниками проєктів було приблизно на 24 процентних пункти нижчим за результати на SWE-bench Verified.

Що робити зараз