OpenAI отримала більше джерел для пошуку в ChatGPT завдяки спільному дослідницькому проєкту з Cloudflare. За повідомленням компаній, мережеві сигнали допомогли виявити та проіндексувати сотні мільйонів нових вебсторінок. Водночас вплив цього розширення на цитування матеріалів і відвідуваність сайтів поки не виміряно в оприлюднених результатах.
Які результати показав експеримент
Пілот анонсували 8 липня 2026 року, а першими підсумками поділилися 15 жовтня в блозі Cloudflare. У дослідженні брала участь вибірка, що охоплювала приблизно 1% загальної мережі компанії. Імена учасників та те, чи саме на їхніх сайтах знайшли нові сторінки, не уточнюються.
Ідея полягає в тому, щоб допомогти пошуковому роботу знаходити корисні матеріали, які складно помітити лише за зовнішніми посиланнями. Це можуть бути інструкції до окремої моделі техніки, актуальні правила оформлення документів або меню місцевого закладу.
Як мережеві дані допомагають пошуковому роботу
Cloudflare передає сигнали із сайтів, що беруть участь у проєкті. Серед них – свіжість контенту, якість трафіку та відомості про фактичні зміни сторінки. Ці дані допомагають визначати, які адреси варто перевірити й коли повертатися до вже відомого матеріалу.
Окреме завдання – скоротити безрезультатні запити. Роботи можуть багаторазово звертатися до відсутніх файлів, дублів або адрес, які перенаправляють на головну сторінку. Якщо такі випадки розпізнавати заздалегідь, ресурси можна спрямовувати на корисніший контент.
Компанії також тестують виявлення потенційно небезпечних сторінок. Наприклад, на справжньому сайті зловмисник може розмістити підроблену форму входу. Мета – позначити конкретну скомпрометовану сторінку, не поширюючи оцінку на весь домен.
Налаштування доступу залишаються чинними
Відомості про сторінку не дають автоматичного дозволу на її завантаження. Учасники наголошують, що проєкт використовує метадані для пошуку та виявлення матеріалів, а не передає вміст сторінок для навчання моделей.
Власники сайтів можуть окремо керувати доступом OAI-SearchBot, який працює для пошуку, і GPTBot, що збирає матеріали для можливого навчання. Дозвіл першому та блокування другого дають змогу залишити сайт доступним для пошуку ChatGPT, обмеживши використання зібраного контенту для навчання. Блокування OAI-SearchBot виключає сторінки з пошукових відповідей, хоча навігаційні посилання на сайт можуть залишатися.
Cloudflare AI Crawl Control, доступний на всіх тарифних планах, дає змогу переглядати звернення ШІ-роботів і дозволяти або блокувати їх. Активність також можна перевіряти в серверних журналах.
Що це означає для видимості сайтів
Потрапляння до індексу розширює можливість використання сторінки як джерела. Однак OpenAI самостійно оцінює та ранжує матеріали, тому участь у пілоті не гарантує появи посилання у відповіді ChatGPT.
Наразі не оприлюднено показників цитування, переходів або скорочення навантаження на сервери. На початку індексації нових сторінок кількість звернень роботів може навіть зрости. Окремо облік переходів ускладнюється, якщо посилання не містить UTM-мітки або не передає джерело переходу.
Що планують досліджувати далі
Наступний етап передбачає точніший відбір сторінок, швидші й надійніші сигнали про зміни та оцінювання результатів після виявлення контенту. Компанії хочуть з’ясувати, як краща доступність матеріалів у пошуку впливає на бізнес.
Раніше Cloudflare заявляла про намір розширити доступ до цієї можливості протягом 2026 року. Проте в повідомленні від 15 жовтня конкретної дати запуску не названо.





Комментарии