SHOMEDIAВладельцам сайтов предложили единый способ сообщать AI-компаниям, можно ли использовать их материалы для обучения генеративных моделей. 30 октября Google, Microsoft и OpenAI независимо объявили о поддержке общего сигнала в robots.txt. Это не вступивший в силу глобальный запрет: механизм ещё проходит стандартизацию в IETF, а сроки внедрения у компаний различаются.
Google в официальном сообщении объяснил, что новый policy token позволит указать общую настройку для нескольких AI-провайдеров вместо отдельных правил для каждого краулера. Если сайт запрещает обучение через общий сигнал и отдельно не настроил Google-Extended, Google планирует трактовать его как запрет для Google-Extended. При этом индивидуальные директивы Google-Extended продолжат действовать. Компания рассчитывает добавить поддержку в 2027 году.
Microsoft пошла дальше и разделила два способа использования контента. AI Training означает обучение модели, AI Grounding — использование страницы для подготовки ответа в Bing, Copilot или других AI-интерфейсах. Для обучения компания предусмотрела настройку в robots.txt и на уровне страницы, для grounding — отдельные метатеги либо HTTP-заголовки. Параметр DisallowExtended позволяет оставить контент в AI-сервисах Microsoft, но ограничить его использование сторонними сервисами, которым Microsoft предоставляет grounding.
В руководстве Bing указаны точные сроки: новые настройки начнут учитываться при обходе страниц с 1 февраля 2027 года. Сайты, которые сейчас используют NoArchive или NoCache как AI-ограничения, должны перенести предпочтения до 1 марта 2027 года; для отдельных временных настроек предусмотрен переходный период в Bing Webmaster Tools.
OpenAI также подтвердила, что намерена соблюдать общий сигнал в ближайшие месяцы, сохранив действующие правила управления собственными краулерами. Точной даты начала применения компания пока не назвала.
Для SEO-команд ключевой вопрос — не только обучение модели, но и видимость в AI-ответах. У Microsoft ограничение grounding может уменьшить присутствие бренда в генеративных ответах, но, по заявлению компании, не лишает страницу права появляться в обычной выдаче Bing. Редакциям стоит отдельно фиксировать желаемую политику обучения и цитирования, проверять фактические директивы и не внедрять экспериментальный сигнал как уже поддерживаемый всеми ботами.
Комментарии