В своем блоге компания OpenAI сообщила, что сканирование веб-страниц с помощью GPTBot может улучшить точность и расширить возможности будущих итераций их моделей искусственного интеллекта.
Веб-сканер (веб-паук) — это тип бота, который индексирует контент веб-сайтов в Интернете.
Популярные поисковые системы, такие как Google и Bing, используют эти инструменты, чтобы веб-страницы гарантированно появлялись в результатах поиска.
В OpenAI объяснили, что их веб-сканер будет собирать общедоступные данные из всемирной сети, но избегать ресурсов с платным контентом, личной информацией или текстами, противоречащими их политике.
