OpenAI, Google і Microsoft 30 жовтня 2026 року пообіцяли читати єдиний токен __usage_ai-training у robots.txt, а Anthropic уже почала його реалізовувати. Жодна компанія ще не заявила, що вже його читає.

Для білдера з власним сайтом чи документацією важливе правило зіставлення. Якщо ваш robots.txt блокує всіх ботів через User-agent: *, то, за чернеткою, щодо навчання ви не висловили жодної позиції.

Як виглядає єдиний сигнал у robots.txt?

Єдиний сигнал — це звичайна група robots.txt, де замість назви краулера в рядку User-Agent стоїть «policy token». За даними PPC Land, приклад із чернетки виглядає так:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Така група означає відмову від AI-навчання для всіх шляхів, окрім /press-kit/. Нових директив чернетка не вводить, а шляхи зіставляються за правилами RFC 9309. Токен порівнюють точно, без урахування регістру. Парсери, які його не знають, поводяться як раніше.

Автор специфікації Kevin Kelley з Anthropic подав її в IETF як Internet-Draft із запланованим статусом Standards Track. Чернетка спливає 3 травня 2027 року, тож це ще не стандарт.

Чому User-agent: * не рахується відмовою?

Чернетка прямо забороняє трактувати групу User-Agent: * як таку, що стосується токена. Якщо жодна група не називає __usage_ai-training, то «no preference has been expressed», тобто позиції немає.

Kelley називає це свідомим рішенням: robots.txt без цього механізму, як усі опубліковані сьогодні, не виражає жодної позиції. Зворотний висновок теж заборонений. Блок для власницького токена на кшталт Google-Extended не вважається спільною відмовою для OpenAI чи Microsoft.

Окремо чернетка розділяє доступ і використання. Токен не керує тим, що краулер може завантажити, а лише тим, що компанія робить із завантаженим.

Коли компанії почнуть це читати?

Microsoft почне з 1 лютого 2027 року, Google планує на початку 2027-го, а OpenAI і Anthropic точних дат не назвали.

Щодо OpenAI та Anthropic джерела розходяться. У блозі OpenAI сказано, що компанія прагне впровадити сигнал «в найближчі місяці» і поділиться деталями пізніше. Thurrott пише, що Anthropic уже впровадила сигнал, а Google, Microsoft і OpenAI зроблять це у 2027 році. Kelley у листі до розсилки IETF написав лише, що Anthropic «почала впроваджувати» підтримку, без дати запуску.

OpenAI наголошує, що ініціатива добровільна, а наявні засоби керування краулерами через robots.txt лишаються чинними.

Що це змінює для пошуку і Gemini?

Сигнал не впливає на рейтинги в Google і Bing. Проте Google застосує його і до відповідей Gemini з посиланнями на вебсторінки, а Microsoft відмовляється від свого старого методу opt-out.

Що робити зараз