# Opt-out від AI-навчання в robots.txt: User-agent: * не спрацює

> Чотири AI-компанії підтримали один токен у robots.txt для відмови від навчання. Дати різні, а загальний User-agent: * цю відмову не виражає.

- Опубліковано: 1 листопада 2026 р. (2026-10-31T23:51:28.914319+00:00)
- Розділ: Практика
- На основі публікації: [OpenAI Blog](https://openai.com/index/helping-websites-express-ai-training-preferences)
- Видання: AiiN (https://aiin.news)
- URL: https://aiin.news/article?slug=opt-out-%D0%B2%D1%96%D0%B4-ai-%D0%BD%D0%B0%D0%B2%D1%87%D0%B0%D0%BD%D0%BD%D1%8F-%D0%B2-robots-txt-user-agent-%D0%BD%D0%B5-%D1%81%D0%BF%D1%80%D0%B0%D1%86%D1%8E%D1%94

---

OpenAI, Google і Microsoft 30 жовтня 2026 року пообіцяли читати єдиний токен __usage_ai-training у robots.txt, а Anthropic уже почала його реалізовувати. Жодна компанія ще не заявила, що вже його читає.

Для білдера з власним сайтом чи документацією важливе правило зіставлення. Якщо ваш robots.txt блокує всіх ботів через User-agent: *, то, за чернеткою, щодо навчання ви не висловили жодної позиції.

## Як виглядає єдиний сигнал у robots.txt?

Єдиний сигнал — це звичайна група robots.txt, де замість назви краулера в рядку User-Agent стоїть «policy token». [За даними PPC Land](https://ppc.land/google-microsoft-openai-and-anthropic-back-one-ai-training-opt-out/), приклад із чернетки виглядає так:

> User-Agent: __usage_ai-training Disallow: / Allow: /press-kit/

Така група означає відмову від AI-навчання для всіх шляхів, окрім /press-kit/. Нових директив чернетка не вводить, а шляхи зіставляються за правилами RFC 9309. Токен порівнюють точно, без урахування регістру. Парсери, які його не знають, поводяться як раніше.

Автор специфікації Kevin Kelley з Anthropic подав її в IETF як Internet-Draft із запланованим статусом Standards Track. Чернетка спливає 3 травня 2027 року, тож це ще не стандарт.

## Чому User-agent: * не рахується відмовою?

Чернетка прямо забороняє трактувати групу User-Agent: * як таку, що стосується токена. Якщо жодна група не називає __usage_ai-training, то «no preference has been expressed», тобто позиції немає.

Kelley називає це свідомим рішенням: robots.txt без цього механізму, як усі опубліковані сьогодні, не виражає жодної позиції. Зворотний висновок теж заборонений. Блок для власницького токена на кшталт Google-Extended не вважається спільною відмовою для OpenAI чи Microsoft.

Окремо чернетка розділяє доступ і використання. Токен не керує тим, що краулер може завантажити, а лише тим, що компанія робить із завантаженим.

## Коли компанії почнуть це читати?

Microsoft почне з 1 лютого 2027 року, Google планує на початку 2027-го, а OpenAI і Anthropic точних дат не назвали.

Щодо OpenAI та Anthropic джерела розходяться. [У блозі OpenAI](https://openai.com/index/helping-websites-express-ai-training-preferences) сказано, що компанія прагне впровадити сигнал «в найближчі місяці» і поділиться деталями пізніше. [Thurrott пише](https://www.thurrott.com/a-i/343407/anthropic-google-microsoft-and-openai-agree-to-let-sites-opt-out-of-ai-training), що Anthropic уже впровадила сигнал, а Google, Microsoft і OpenAI зроблять це у 2027 році. Kelley у листі до розсилки IETF написав лише, що Anthropic «почала впроваджувати» підтримку, без дати запуску.

OpenAI наголошує, що ініціатива добровільна, а наявні засоби керування краулерами через robots.txt лишаються чинними.

## Що це змінює для пошуку і Gemini?

Сигнал не впливає на рейтинги в Google і Bing. Проте Google застосує його і до відповідей Gemini з посиланнями на вебсторінки, а Microsoft відмовляється від свого старого методу opt-out.

## Що робити зараз

- Не видаляйте наявні правила для окремих краулерів, зокрема Google-Extended: чернетка залишає їм чинне значення, а OpenAI підтверджує, що її поточні засоби керування діють.
- Щоб відмовитися від навчання, додайте окрему групу User-Agent: __usage_ai-training з потрібними Disallow та Allow. Загальної групи * для цього недостатньо.
- До появи реалізацій нова група нічого не змінить: жодна компанія ще не заявила, що читає токен.

---

Теги: AI, robotstxt, OpenAI, IETF, навчанняAI, SEO

Джерело: AiiN — https://aiin.news/article?slug=opt-out-%D0%B2%D1%96%D0%B4-ai-%D0%BD%D0%B0%D0%B2%D1%87%D0%B0%D0%BD%D0%BD%D1%8F-%D0%B2-robots-txt-user-agent-%D0%BD%D0%B5-%D1%81%D0%BF%D1%80%D0%B0%D1%86%D1%8E%D1%94. Цитуючи, посилайтесь на канонічний URL.