Vercel Labs випустила agent-desktop 1.0.2, відкритий CLI під ліцензією Apache-2.0, який дозволяє агенту керувати застосунками macOS, Windows і Linux через дерево доступності ОС, а не через скриншоти.

Реліз вийшов 30 жовтня 2026 року, за даними MarkTechPost. Для білдера головне питання в ціні кроку агента. Підхід на скриншотах платить за кожен кадр, а agent-desktop повертає структуру. Проте економія від 78% до 96% виміряна проти повного дампа дерева, не проти скриншотів, і це власні цифри автора. Незалежного бенчмарка computer use поки немає.

Як agent-desktop працює і що він повертає?

agent-desktop є інструментом, який викликає агент, а не агентом: у ньому немає LLM і GUI, кожна команда друкує один JSON-конверт і завершується. Цикл «подивитися, діяти, перевірити» лишається у вашому агенті.

Знімок (snapshot) дає кожному елементу, з яким можна взаємодіяти, реф на кшталт @s8f3k2p9:e8. Ідентифікатор знімка входить у реф, тому голий @e8 інструмент відхиляє з помилкою INVALID_ARGS. Якщо інтерфейс змінився, дія повертає STALE_REF або AMBIGUOUS_TARGET, і агент робить новий знімок. Повторювати спробу варто, лише коли error.disposition.retry каже safe, за даними Vercel Labs.

За замовчуванням дії йдуть через API доступності без руху курсора й перехоплення фокуса, тож агент працює, поки ви користуєтеся машиною. Фізичний ввід вмикає прапорець --headed. Кожна дія автоматично чекає до 5000 мс, поки ціль стане видимою, активною і стабільною. З 60 назв команд 56 робочі, а key-down, key-up, mouse-down і mouse-up відмовляються виконуватись, доки демон не вміє відпускати затиснуту клавішу.

Скільки токенів це справді економить?

Автор інструмента заміряв скорочення токенів від 78% до 96% у Slack, VS Code і Notion порівняно з повним дампом дерева. В Apple Maps один «погляд» упав з 3811 до 273 токенів (приблизно у 14 разів), а змодельоване завдання на 52 кроки скоротилось з 198 тис. до 31 тис. (у 6,4 раза).

Такого результату досягає режим --skeleton: він читає лише 3 рівні вглиб, а згорнуті контейнери повертають children_count і реф для докладного читання однієї області. Це потрібно, бо щільні застосунки мають тисячі вузлів доступності.

Для порівняння MarkTechPost наводить документацію Anthropic: один скриншот коштує приблизно від 1000 до 1800 вхідних токенів, а опис інструмента додає близько 4500 токенів на запит. Прямого порівняння з цими цифрами немає: завдання й застосунки в замірах різні.

Є й жорстка межа. Застосунки без дерева доступності для agent-desktop недосяжні, тож для них потрібен інший підхід.

Що це означає для України?

Інструмент має відкритий код під Apache-2.0 і ставиться через npm, тож ціни для перерахунку в гривню немає. Джерела не називають Україну і не згадують обмежень за країнами, тому офіційно доступність в Україні не вказана. Підтримувані системи: macOS 13+, Windows 10 1809+ або Server 2019+, Ubuntu 24.04+, на x64 і ARM64.

Що перевірити перед встановленням?

Flavio Copes прогнав інструмент на Ubuntu, а на своєму Mac не встановлював. Тож сценарій для macOS у нього описаний за документацією.