SHOMEDIA30 октября Google, OpenAI, Microsoft и Anthropic поддержали общий способ сообщать AI-разработчикам, можно ли использовать материалы сайта для обучения генеративных моделей. Вместо отдельных инструкций для каждого поставщика предлагается новый токен в robots.txt. Механизм описан в проекте IETF, подготовленном инженером Anthropic Кевином Келли. Это пока проект стандарта, а не обязательное для всех правило интернета.
Владельцу сайта предлагается добавить в robots.txt группу с именем User-Agent: __usage_ai-training. Правило Disallow: / внутри этой группы выражает желание запретить обучение на всём сайте; отдельные пути можно разрешать. Важная деталь: токен описывает условия использования контента для обучения, но сам по себе не запрещает роботу скачивать страницы. Он не заменяет правила доступа для конкретных краулеров и не обязывает неизвестных поставщиков ИИ соблюдать пожелание.
Когда новое правило начнёт работать
Google в Search Central объяснил, что планирует поддержку в 2027 году. Если сайт запретит обучение общим токеном и не укажет отдельное правило для Google-Extended, Google намерен трактовать это как запрет для Google-Extended. Специальные настройки отдельных поставщиков сохранятся: владелец сайта сможет выбрать общий запрет и одновременно задать исключения для конкретной компании. OpenAI обещает внедрение в ближайшие месяцы, Anthropic уже начала поддержку; графики не одинаковы.
Microsoft в отдельном сообщении Bing уточнила ещё один переход: с 1 февраля 2027 года она начнёт учитывать новые предпочтения при обходе страниц. Для сайтов, которые полагаются на NoArchive или NoCache, важен срок 1 марта 2027 года — после него эти старые директивы перестанут считаться сигналами отказа от обучения и grounding. Последнее означает использование контента для ответа ИИ с опорой на веб, а не обучение модели.
Что делать SEO-специалисту и редакции
Для медиа и контентных сайтов это способ точнее разделить два решения: разрешать ли индексацию страниц для поиска и давать ли материалы на обучение нейросетей. Прежде чем менять robots.txt, нужно проверить действующие инструкции GPTBot, Google-Extended и других систем и определить, хотят ли редакция и правообладатели одновременно ограничивать обучение и сохранять цитирование в AI-ответах.
Новый токен не гарантирует ни удаления контента из уже созданных обучающих наборов, ни сохранения позиций в поиске, ни дохода от использования материалов. Вопрос видимости в AI-поиске зависит от отдельных правил и сервисов. До фактического внедрения общего механизма полагаться только на него преждевременно.
Комментарии