OpenAI расширила набор источников для поиска в ChatGPT благодаря совместному исследованию с Cloudflare. По данным компаний, сигналы из сети Cloudflare помогли обнаружить и проиндексировать сотни миллионов новых веб-страниц. При этом опубликованные итоги пока не показывают, как расширение индекса повлияло на цитирование материалов и посещаемость сайтов.

Какие результаты дал эксперимент

О запуске пилота объявили 8 июля 2026 года, а первые результаты представили 15 октября в блоге Cloudflare. Исследование охватывало группу участников, соответствующую примерно 1% всей сети компании. Состав этой группы и то, находились ли новые страницы именно на сайтах участников, не раскрываются.

Проект помогает поисковому роботу замечать полезные материалы даже при небольшом числе внешних ссылок. Речь может идти об инструкции к конкретной модели бытовой техники, обновлённых требованиях к оформлению документов или актуальном меню местного ресторана.

Как сигналы помогают находить нужные страницы

Cloudflare использует данные участвующих сайтов, включая свежесть контента, качество трафика и сведения о реальных изменениях на страницах. Такие сигналы помогают выбрать адреса для проверки и определить, когда стоит повторно загрузить уже известный материал.

Другая задача – уменьшить число бесполезных обращений. Роботы могут снова и снова запрашивать несуществующие файлы, дубли или адреса, перенаправляющие на главную страницу. Раннее распознавание таких ситуаций позволяет направлять больше ресурсов на содержательные материалы.

Также проверяются сигналы для выявления потенциально опасных страниц. Пример – поддельная форма входа, которую злоумышленник разместил на действующем сайте. В этом случае компании хотят отмечать конкретную взломанную страницу, не распространяя оценку на весь домен.

Правила доступа продолжают действовать

Получение сведений о странице не означает разрешения на её загрузку. Компании подчёркивают, что исследование использует метаданные для поиска и обнаружения контента, а не передачу содержимого страниц для обучения моделей.

Владельцы сайтов могут отдельно задавать правила для поискового OAI-SearchBot и GPTBot, собирающего материалы для возможного обучения. Разрешив первый и заблокировав второй, можно сохранить доступность сайта для поиска ChatGPT и ограничить использование собранного контента для обучения. Блокировка OAI-SearchBot исключает страницы из поисковых ответов, хотя навигационные ссылки на сайт всё ещё могут появляться.

Cloudflare AI Crawl Control доступен на всех тарифных планах и позволяет просматривать обращения ИИ-роботов, разрешать или блокировать их. Ещё один источник данных об активности – серверные журналы.

Что меняется для видимости сайтов

Индексация создаёт возможность использовать страницу как источник ответа. Однако OpenAI самостоятельно оценивает и ранжирует контент, поэтому участие в пилоте не гарантирует цитирования в ChatGPT.

Пока не опубликованы показатели цитирований, переходов или снижения нагрузки на серверы. Более того, при проверке и индексации новых страниц активность роботов сначала может увеличиться. Оценке трафика мешают и ссылки без UTM-метки или данных об источнике перехода.

Какие вопросы предстоит изучить

Далее компании планируют улучшать отбор страниц, проверять более быстрые и надёжные сигналы изменений и измерять результаты после обнаружения материалов. Это должно помочь понять, как расширение поиска связано с бизнес-эффектом для сайтов.

Ранее Cloudflare сообщала о намерении сделать эту возможность более широко доступной в течение 2026 года. Однако в публикации от 15 октября конкретная дата запуска не указана.

OpenAI расширила набор источников для поиска в ChatGPT благодаря совместному исследованию с Cloudflare. По данным компаний, сигналы из сети Cloudflare помогли обнаружить и проиндексировать сотни миллионов новых веб-страниц. При этом опубликованные итоги пока не показывают, как расширение индекса повлияло на цитирование материалов и посещаемость сайтов.

Какие результаты дал эксперимент

О запуске пилота объявили 8 июля 2026 года, а первые результаты представили 15 октября в блоге Cloudflare. Исследование охватывало группу участников, соответствующую примерно 1% всей сети компании. Состав этой группы и то, находились ли новые страницы именно на сайтах участников, не раскрываются.

Проект помогает поисковому роботу замечать полезные материалы даже при небольшом числе внешних ссылок. Речь может идти об инструкции к конкретной модели бытовой техники, обновлённых требованиях к оформлению документов или актуальном меню местного ресторана.

Как сигналы помогают находить нужные страницы

Cloudflare использует данные участвующих сайтов, включая свежесть контента, качество трафика и сведения о реальных изменениях на страницах. Такие сигналы помогают выбрать адреса для проверки и определить, когда стоит повторно загрузить уже известный материал.

Другая задача – уменьшить число бесполезных обращений. Роботы могут снова и снова запрашивать несуществующие файлы, дубли или адреса, перенаправляющие на главную страницу. Раннее распознавание таких ситуаций позволяет направлять больше ресурсов на содержательные материалы.

Также проверяются сигналы для выявления потенциально опасных страниц. Пример – поддельная форма входа, которую злоумышленник разместил на действующем сайте. В этом случае компании хотят отмечать конкретную взломанную страницу, не распространяя оценку на весь домен.

Правила доступа продолжают действовать

Получение сведений о странице не означает разрешения на её загрузку. Компании подчёркивают, что исследование использует метаданные для поиска и обнаружения контента, а не передачу содержимого страниц для обучения моделей.

Владельцы сайтов могут отдельно задавать правила для поискового OAI-SearchBot и GPTBot, собирающего материалы для возможного обучения. Разрешив первый и заблокировав второй, можно сохранить доступность сайта для поиска ChatGPT и ограничить использование собранного контента для обучения. Блокировка OAI-SearchBot исключает страницы из поисковых ответов, хотя навигационные ссылки на сайт всё ещё могут появляться.

Cloudflare AI Crawl Control доступен на всех тарифных планах и позволяет просматривать обращения ИИ-роботов, разрешать или блокировать их. Ещё один источник данных об активности – серверные журналы.

Что меняется для видимости сайтов

Индексация создаёт возможность использовать страницу как источник ответа. Однако OpenAI самостоятельно оценивает и ранжирует контент, поэтому участие в пилоте не гарантирует цитирования в ChatGPT.

Пока не опубликованы показатели цитирований, переходов или снижения нагрузки на серверы. Более того, при проверке и индексации новых страниц активность роботов сначала может увеличиться. Оценке трафика мешают и ссылки без UTM-метки или данных об источнике перехода.

Какие вопросы предстоит изучить

Далее компании планируют улучшать отбор страниц, проверять более быстрые и надёжные сигналы изменений и измерять результаты после обнаружения материалов. Это должно помочь понять, как расширение поиска связано с бизнес-эффектом для сайтов.

Ранее Cloudflare сообщала о намерении сделать эту возможность более широко доступной в течение 2026 года. Однако в публикации от 15 октября конкретная дата запуска не указана.

OpenAI расширила набор источников для поиска в ChatGPT благодаря совместному исследованию с Cloudflare. По данным компаний, сигналы из сети Cloudflare помогли обнаружить и проиндексировать сотни миллионов новых веб-страниц. При этом опубликованные итоги пока не показывают, как расширение индекса повлияло на цитирование материалов и посещаемость сайтов.

Какие результаты дал эксперимент

О запуске пилота объявили 8 июля 2026 года, а первые результаты представили 15 октября в блоге Cloudflare. Исследование охватывало группу участников, соответствующую примерно 1% всей сети компании. Состав этой группы и то, находились ли новые страницы именно на сайтах участников, не раскрываются.

Проект помогает поисковому роботу замечать полезные материалы даже при небольшом числе внешних ссылок. Речь может идти об инструкции к конкретной модели бытовой техники, обновлённых требованиях к оформлению документов или актуальном меню местного ресторана.

Как сигналы помогают находить нужные страницы

Cloudflare использует данные участвующих сайтов, включая свежесть контента, качество трафика и сведения о реальных изменениях на страницах. Такие сигналы помогают выбрать адреса для проверки и определить, когда стоит повторно загрузить уже известный материал.

Другая задача – уменьшить число бесполезных обращений. Роботы могут снова и снова запрашивать несуществующие файлы, дубли или адреса, перенаправляющие на главную страницу. Раннее распознавание таких ситуаций позволяет направлять больше ресурсов на содержательные материалы.

Также проверяются сигналы для выявления потенциально опасных страниц. Пример – поддельная форма входа, которую злоумышленник разместил на действующем сайте. В этом случае компании хотят отмечать конкретную взломанную страницу, не распространяя оценку на весь домен.

Правила доступа продолжают действовать

Получение сведений о странице не означает разрешения на её загрузку. Компании подчёркивают, что исследование использует метаданные для поиска и обнаружения контента, а не передачу содержимого страниц для обучения моделей.

Владельцы сайтов могут отдельно задавать правила для поискового OAI-SearchBot и GPTBot, собирающего материалы для возможного обучения. Разрешив первый и заблокировав второй, можно сохранить доступность сайта для поиска ChatGPT и ограничить использование собранного контента для обучения. Блокировка OAI-SearchBot исключает страницы из поисковых ответов, хотя навигационные ссылки на сайт всё ещё могут появляться.

Cloudflare AI Crawl Control доступен на всех тарифных планах и позволяет просматривать обращения ИИ-роботов, разрешать или блокировать их. Ещё один источник данных об активности – серверные журналы.

Что меняется для видимости сайтов

Индексация создаёт возможность использовать страницу как источник ответа. Однако OpenAI самостоятельно оценивает и ранжирует контент, поэтому участие в пилоте не гарантирует цитирования в ChatGPT.

Пока не опубликованы показатели цитирований, переходов или снижения нагрузки на серверы. Более того, при проверке и индексации новых страниц активность роботов сначала может увеличиться. Оценке трафика мешают и ссылки без UTM-метки или данных об источнике перехода.

Какие вопросы предстоит изучить

Далее компании планируют улучшать отбор страниц, проверять более быстрые и надёжные сигналы изменений и измерять результаты после обнаружения материалов. Это должно помочь понять, как расширение поиска связано с бизнес-эффектом для сайтов.

Ранее Cloudflare сообщала о намерении сделать эту возможность более широко доступной в течение 2026 года. Однако в публикации от 15 октября конкретная дата запуска не указана.

OpenAI расширила набор источников для поиска в ChatGPT благодаря совместному исследованию с Cloudflare. По данным компаний, сигналы из сети Cloudflare помогли обнаружить и проиндексировать сотни миллионов новых веб-страниц. При этом опубликованные итоги пока не показывают, как расширение индекса повлияло на цитирование материалов и посещаемость сайтов.

Какие результаты дал эксперимент

О запуске пилота объявили 8 июля 2026 года, а первые результаты представили 15 октября в блоге Cloudflare. Исследование охватывало группу участников, соответствующую примерно 1% всей сети компании. Состав этой группы и то, находились ли новые страницы именно на сайтах участников, не раскрываются.

Проект помогает поисковому роботу замечать полезные материалы даже при небольшом числе внешних ссылок. Речь может идти об инструкции к конкретной модели бытовой техники, обновлённых требованиях к оформлению документов или актуальном меню местного ресторана.

Как сигналы помогают находить нужные страницы

Cloudflare использует данные участвующих сайтов, включая свежесть контента, качество трафика и сведения о реальных изменениях на страницах. Такие сигналы помогают выбрать адреса для проверки и определить, когда стоит повторно загрузить уже известный материал.

Другая задача – уменьшить число бесполезных обращений. Роботы могут снова и снова запрашивать несуществующие файлы, дубли или адреса, перенаправляющие на главную страницу. Раннее распознавание таких ситуаций позволяет направлять больше ресурсов на содержательные материалы.

Также проверяются сигналы для выявления потенциально опасных страниц. Пример – поддельная форма входа, которую злоумышленник разместил на действующем сайте. В этом случае компании хотят отмечать конкретную взломанную страницу, не распространяя оценку на весь домен.

Правила доступа продолжают действовать

Получение сведений о странице не означает разрешения на её загрузку. Компании подчёркивают, что исследование использует метаданные для поиска и обнаружения контента, а не передачу содержимого страниц для обучения моделей.

Владельцы сайтов могут отдельно задавать правила для поискового OAI-SearchBot и GPTBot, собирающего материалы для возможного обучения. Разрешив первый и заблокировав второй, можно сохранить доступность сайта для поиска ChatGPT и ограничить использование собранного контента для обучения. Блокировка OAI-SearchBot исключает страницы из поисковых ответов, хотя навигационные ссылки на сайт всё ещё могут появляться.

Cloudflare AI Crawl Control доступен на всех тарифных планах и позволяет просматривать обращения ИИ-роботов, разрешать или блокировать их. Ещё один источник данных об активности – серверные журналы.

Что меняется для видимости сайтов

Индексация создаёт возможность использовать страницу как источник ответа. Однако OpenAI самостоятельно оценивает и ранжирует контент, поэтому участие в пилоте не гарантирует цитирования в ChatGPT.

Пока не опубликованы показатели цитирований, переходов или снижения нагрузки на серверы. Более того, при проверке и индексации новых страниц активность роботов сначала может увеличиться. Оценке трафика мешают и ссылки без UTM-метки или данных об источнике перехода.

Какие вопросы предстоит изучить

Далее компании планируют улучшать отбор страниц, проверять более быстрые и надёжные сигналы изменений и измерять результаты после обнаружения материалов. Это должно помочь понять, как расширение поиска связано с бизнес-эффектом для сайтов.

Ранее Cloudflare сообщала о намерении сделать эту возможность более широко доступной в течение 2026 года. Однако в публикации от 15 октября конкретная дата запуска не указана.