Препринт arXiv:2608.20319, опублікований у серпні 2026 року, описує метод, який дозволяє індукувати модель конкретного завдання напряму з трас використання комп'ютера — без жодного ручного анотування дій людиною.

Ідея проста і водночас підступна: замість того, щоб платити анотаторам за розмітку «що саме користувач намагався зробити» в кожному записі сесії, алгоритм сам реконструює завдання з послідовності кліків, натискань клавіш і перемикань між вікнами. Для індустрії, що будує computer-use агентів — асистентів, які клацають, друкують і перемикають застосунки замість людини, — це пряме влучання в найдорожчу частину пайплайна: збір і розмітку демонстрацій.

Що саме пропонує нова робота на arXiv?

Метод бере сирий журнал дій користувача за комп'ютером — послідовність кліків миші, натискань клавіш, відкриттів застосунків і перемикань вікон із мітками часу — і виводить із нього модель завдання: узагальнене уявлення про мету, якій підпорядкована ця послідовність дій. Ключова відмінність від попередніх підходів у тому, що для цього не потрібна людина, яка розмічає кожен запис ярликом на кшталт «користувач бронював авіаквиток» чи «редагував таблицю Excel» — система сама виводить структуру завдання з патернів у самих діях.

За даними arXiv, такий підхід усуває необхідність у ручному етапі, який традиційно є вузьким місцем при навчанні агентів роботі з комп'ютером.

Чому це критично для computer-use агентів?

Бо саме брак розмічених демонстрацій сьогодні стримує масштабування агентів, які самостійно керують комп'ютером користувача. Anthropic, OpenAI та Google вже випустили власні версії computer-use агентів, і кожна з них навчається розпізнавати, яка послідовність дій веде до потрібного результату, здебільшого на прикладах, розмічених людьми. Якщо модель завдання можна вивести напряму з сирих логів використання, розмір навчальної вибірки більше не обмежений швидкістю анотаторів — він обмежений лише обсягом зібраної телеметрії. Показовий приклад того, куди рухається індустрія, — доступ ChatGPT до Apple Messages на macOS, де агент так само має розпізнавати намір користувача з контексту застосунку, а не з явної команди.

Що це означає для дорогого RLHF?

RLHF, тобто навчання з підкріпленням на основі людських переваг, залишається головною статтею витрат при доведенні агента до продакшн-якості, бо вимагає команди людей, які вручну оцінюють кожен крок агента. Метод індукції завдань напряму з трас не замінює RLHF повністю — він атакує попередній етап, той, на якому модель узагалі отримує сигнал, що таке завдання і які дії до нього ведуть. За нашою оцінкою, першими перевагу від такого підходу отримають команди, які й так уже збирають телеметрію використання своїх продуктів — розробники браузерів, операційних систем і офісних пакетів, — бо в них є сирі трейси в промисловому масштабі без додаткових витрат на збір.

Що робити AI-білдерам із цим просто зараз?

Наша теза: командам, що будують computer-use агентів або будь-які асистенти з доступом до дій користувача, варто вже зараз перевірити, які логи взаємодії вони й так накопичують у продуктовій аналітиці чи session replay — це потенційний навчальний актив, а не просто дані для дашбордів. Водночас сирі трейси дій користувача — чутливі дані: адреси, паролі й вміст листування можуть потрапити в лог кліків так само легко, як і корисний сигнал про завдання. Урок про те, як необережна робота з даними користувача обертається проти AI-білдера, добре видно на прикладі джейлбрейка Copilot: перш ніж запускати пайплайн індукції завдань на реальних трасах, потрібен чіткий фреймворк згоди й анонімізації, а не лише технічна можливість це зробити.

Що таке траса використання комп'ютера?

Це сирий журнал дій користувача за комп'ютером: кліки миші, натискання клавіш, перемикання вікон і застосунків із таймстемпами. У новому методі такий журнал слугує сигналом для навчання замість розмічених людиною демонстрацій.

Чи означає цей метод кінець RLHF для агентів?

Ні. RLHF далі потрібен, щоб довести поведінку агента до безпечної й передбачуваної якості на етапі точного налаштування. Метод з arXiv скорочує попередній, найдорожчий етап — збір і розмітку прикладів того, що є завданням, а не весь цикл навчання з підкріпленням.

Кому першому знадобиться такий підхід?

Найімовірніше — командам, що вже мають масштабну телеметрію використання своїх продуктів: розробникам браузерів, операційних систем і офісних пакетів, а також компаніям, що вже будують власні computer-use агенти.