SHOMEDIA30 жовтня Google, OpenAI, Microsoft і Anthropic підтримали єдиний спосіб повідомляти розробникам генеративного AI, чи дозволяє сайт використовувати свої матеріали для навчання моделей. Замість окремих правил для кожного сервісу пропонується спеціальний токен у robots.txt. Механізм викладено в проєкті IETF, автором якого є інженер Anthropic Кевін Келлі. Це ще не затверджений стандарт і не законодавча вимога.
У robots.txt власник сайту може створити групу з User-Agent: __usage_ai-training. Директива Disallow: / у такій групі висловлює бажання не дозволяти навчання на матеріалах усього сайту; окремі директорії можна винести у винятки. Ключове застереження: це сигнал про використання даних для тренування моделі, а не технічне блокування завантаження сторінок. Старі правила для конкретних пошукових роботів він не замінює.
Підтримка анонсована, але впровадження відкладене
Google у блозі Search Central повідомив про намір реалізувати новий механізм у 2027 році. Якщо сайт відмовиться від навчання через спільний токен і не матиме окремого правила Google-Extended, компанія планує прирівнювати такий сигнал до заборони для Google-Extended. Власні правила конкретних сервісів продовжать працювати. OpenAI називає строком найближчі місяці, Anthropic уже почала впровадження, але універсальної дати запуску немає.
Microsoft у повідомленні Bing назвала конкретні дати: нові налаштування враховуватимуться під час обходу з 1 лютого 2027 року. До 1 березня сайтам, які використовують NoArchive або NoCache, слід перейти на нові сигнали щодо навчання та grounding — використання вмісту для формування відповідей на основі вебу. Після цієї дати старі інструкції більше не визначатимуть такі вподобання.
Ризики для SEO та власників медіа
Власникам контенту важливо не змішувати індексацію у звичайному пошуку, використання сторінок для генерації відповідей і навчання моделей. Рішення про заборону тренування не має автоматично перетворюватися на блокування пошукових ботів. Перед зміною robots.txt варто перевірити чинні правила Google-Extended, GPTBot та інших краулерів і погодити політику з редакцією й правовласниками.
Спільний токен не видаляє дані зі старих навчальних наборів, не гарантує дотримання всіма AI-компаніями та не обіцяє трафіку з AI-пошуку. Поки учасники ринку впроваджують підтримку, покладатися лише на новий сигнал було б передчасно.
Комментарии