SHOMEDIA30 жовтня Google, Microsoft і OpenAI оголосили, що підтримають спільний сигнал у robots.txt, за допомогою якого власник сайту зможе вказати небажаність використання матеріалів для навчання генеративних моделей. Ініціатива базується на роботі групи IETF, але ще не стала остаточним стандартом. Жодна з трьох компаній не заявила, що нове правило вже діє всюди.
Google планує розпізнавати спільний policy token у 2027 році. Якщо сайт забороняє навчання через новий сигнал і не встановив окремого правила Google-Extended, пошукова компанія трактуватиме таке налаштування як заборону Google-Extended. Спеціальні правила для цього краулера залишаться чинними й надалі. Є нюанс: Google окремо зазначає, що прямий дозвіл для Google-Extended зберігає можливість потрапляти до відповідей Gemini Apps із посиланнями на джерело.
Microsoft розмежувала навчання моделей і grounding — використання вебсторінок як джерела для генеративних відповідей. У технічному поясненні Bing описано спільне правило для AI Training у robots.txt та додаткові налаштування на рівні сторінок. Для grounding доступні варіанти Allow, Disallow і DisallowExtended. Останній дозволяє використовувати матеріали в продуктах Microsoft, але обмежує передавання стороннім сервісам, які отримують доступ до її технологій grounding.
У Bing нові правила почнуть застосовувати з 1 лютого 2027 року після чергового обходу сторінки. Якщо сайт використовує NoArchive або NoCache для AI-обмежень, до 1 березня 2027 року потрібно перейти на нові механізми. Для збереження частини обмежень на перехідний період Microsoft передбачила налаштування в Bing Webmaster Tools.
OpenAI повідомила про намір підтримати спільний сигнал упродовж найближчих місяців, не скасовуючи наявні механізми керування її краулерами. Точної дати компанія не назвала.
Для видавців і SEO-фахівців важливо не плутати три речі: доступ робота до сторінки, навчання моделі на тексті та використання тексту у відповіді ШІ. Зокрема, Microsoft попереджає, що обмеження grounding скоротить видимість у AI-відповідях, але не змінить права на присутність у звичайній видачі Bing. Перед внесенням змін варто узгодити редакційну політику щодо кожного з цих сценаріїв.
Комментарии