OpenAI 8 вересня оголосила, що 10 000 автономних ШІ-агентів знайшли сингулярність у тривимірних рівняннях Нав’є–Стокса, за даними Quanta Magazine. Результат ще має витримати подальшу перевірку.

Дослідник OpenAI Noam Brown оцінює внесок мультиагентної схеми менш ніж у 10% успіху, а порівняння з одним агентом ніхто не проводив, за даними The Decoder. За словами Brown, ніхто не знає, що саме дала така кількість агентів.

Що в доказі OpenAI вже перевірено?

Результат OpenAI пройшов формальну перевірку в Lean, а Clay Mathematics Institute (CMI) перевіряє його від моменту публікації. Потенційний доказ займає 166 сторінок. Lean перевіряє кожен логічний крок, але сам собою не робить доказ зрозумілим для людей.

Quanta Magazine повідомляє, що агенти працювали на передовій моделі, недоступній публічно. Видання оцінює результат як найважливіший математичний доказ, отриманий за допомогою ШІ, за умови, що він витримає подальшу перевірку.

На початку жовтня OpenAI опублікувала на GitHub ще приблизно 400 результатів. За повідомленням The Decoder, математики ледве встигають їх переглядати, а публікація розрізненої добірки обурила багатьох із них: вони вважають, що це знецінює їхню галузь.

Чи справді OpenAI використала підхід Córdoba та Martínez-Zoroa?

Кілька груп експертів заперечують заяву OpenAI, що її доказ відповідає підходу іспанських математиків Diego Córdoba та Luis Martínez-Zoroa, повідомляє The Decoder із посиланням на Scientific American. «Коли заглиблюєшся в деталі, це інший підхід», — каже Gonzalo Cao-Labora з EPFL. Подібність, за його словами, лише поверхнева.

Quanta Magazine натомість пише, що обидві команди, які працювали з ШІ, значною мірою спиралися на роботи Córdoba та Martínez-Zoroa. Charles Fefferman із Princeton University, автор офіційного опису задачі для Clay Mathematics Institute, називає героями історії саме цих двох математиків. Отже, джерела по-різному описують зв’язок доказу OpenAI з попередніми роботами.

Окремо триває суперечка про пріоритет. За повідомленням Quanta Magazine, Tristan Buckmaster із NYU та Levent Alpöge з Anthropic оголосили про розв’язання кількох близьких задач за 12 годин до OpenAI. Їм допомагали різні ШІ-моделі, зокрема моделі OpenAI.

The Decoder повідомляє, що ще до публікації Buckmaster звинуватив OpenAI у використанні роботи, яку вони з Alpöge виконали за допомогою публічно доступних моделей. OpenAI заперечила, що використовувала дані Buckmaster. Camillo De Lellis з Institute for Advanced Study вважає остаточну відповідь малоймовірною, оскільки мовні моделі — чорні скриньки.

Що дали 10 000 агентів і 130 млрд токенів?

OpenAI поки не встановила, що саме дала мультиагентна схема, за словами Brown. Компанія залучила близько 10 000 екземплярів моделі приблизно на 88 годин і витратила 130 млрд токенів. Якщо поділити 130 млрд токенів на 10 000 екземплярів, вийде в середньому близько 13 млн токенів на екземпляр; фактичного розподілу джерела не наводять.

Brown пояснює, що поведінку систем такого масштабу не вивчали, бо систематичні порівняльні тести з тисячами агентів надто дорогі. Ніхто не перевіряв, скільки часу знадобилося б одному агенту для розв’язання тієї самої задачі. Також майже неможливо визначити конкретну перевагу 10 000 агентів над 1 000.

Brown приписує мультиагентній схемі менш ніж 10% успіху. Це його оцінка, а не результат порівняльного тесту. За його словами, такі системи нові й ефектні, тому їм приписують непропорційно велику частку заслуг. Головним чинником Brown називає базову модель, яка може довго працювати над завданнями й виконувати їх паралельно.