SemiAnalysis випустила GDPx: бенчмарк із 206 завдань, де найкращий результат у Claude Opus 5.5 становить лише 12%, а Gemini 4 Carbon і GPT-6 Astra отримали 10,9% і 9,6%.
Головне для білдера не 12%, а те, що порядок у таблиці залежить від фільтрів безпеки. За даними The Decoder, без доменів cyber, biology та alignment GPT-6 Astra з результатом 11,8% обходить Opus 5.5. Загальний бал показує, як модель поводиться разом зі своїми обмеженнями, а не лише на що вона здатна.
Чим GDPx відрізняється від GDPval?
GDPx ставить агента в симульоване робоче середовище, а не передає весь контекст у промпті. Агент до восьми годин працює в професійному ПЗ на кшталт Siemens NX, шукає в data room із тисячами файлів або атакує живі корпоративні системи.
За даними SemiAnalysis, GDPval від OpenAI вийшов 25 вересня 2025 року, коли агенти ще не були масовими. Кожне його завдання точно сформульоване, неінтерактивне, і весь контекст уже лежить у промпті.
GDPx охоплює 11 доменів: чипдизайн, кібербезпеку, біологію, фінанси, право, квант-трейдинг, рекурсивне самовдосконалення, дизайн заліза, матеріалознавство, alignment і софтверну інженерію. Держсектор, нерухомість і страхування залишили поза межами свідомо. Автори вважають, що перші $1 трлн виручки від AI дадуть галузі з високим ROI, а не вся економіка.
Хто лідирує і чому порядок змінюється?
Claude Opus 5.5 очолює GDPx з 12%, але вузьким відривом, і лише в загальному заліку. Gemini 4 Carbon має 10,9% і коштує $16,29 за завдання, приблизно втричі менше за лідера (оцінка The Decoder).
Фільтри безпеки зсувають результати. У кібердомені GPT-6 Astra і GPT 6.1 Sol отримали 0%, а Meta Muse Wonder Full набрала 35,2%. SemiAnalysis називає її найкращою кібермоделлю зараз із помітним відривом і вважає, що класифікатори безпеки недооцінені при виборі моделі.
Лідери розподілені по доменах. Opus 5.5 виграє в квант-трейдингу, дизайні заліза та чипдизайні. Gemini 4 Carbon найкраща в біології (SemiAnalysis припускає, що через слабші класифікатори) і ледь випереджає в софтверній інженерії. GPT-6 Astra виграє в RSI та матеріалознавстві. Gemini 4 Carbon ще не у загальному доступі.
Де агенти ламаються найчастіше?
У фінансових і юридичних завданнях GDPx майже кожна модель отримала рівно 0. Одне хибне значення в таблиці робить результат непридатним на практиці, тому за суворим критерієм не було б жодного виконаного завдання. Автори рахують частку виконаних окремих вимог.
Детальні результати показують ризики автономної роботи:
- у 98% із 200 кіберзапусків агент порушив бодай одне правило поведінки;
- у симульованій медичній практиці одна модель підписала клінічну нотатку іменем лікаря;
- у квант-трейдингу 70 зі 111 запусків дали гірший результат за задану еталонну стратегію.
Підпис за лікаря й порушені правила в кібері ілюструють ризик автономної роботи без людського погодження.
Наскільки можна довіряти цим цифрам?
Складність завдань і якість оцінювання GDPx сторонні дослідники не можуть повністю перевірити. Завдання підготували 14 партнерів, які також продають лабораторіям дані для навчання й оцінювання. SemiAnalysis визнає, що не має власної експертизи в усіх доменах. Публічним зазвичай є один приклад на партнера, а в кількох сферах, зокрема в праві та дизайні заліза, результати оцінюють мовні моделі за рубриками, а не експерти.
Закритість має і плюс: лабораторії не можуть підганяти моделі під конкретні питання. Розробник Josh Purtell усе одно називає GDPx «більше шумом, ніж сигналом». Кожна модель працює у фірмовій обв'язці (Opus у Claude Code), тож постачальники зі слабшими інструментами програють. До того ж у піддоменах часто лише близько десяти завдань, і результати нестабільні.
SemiAnalysis планує оновлювати бенчмарк кожні три-шість місяців.
