Поисковый робот

Поисковый робот является важнейшим элементом поисковой системы, который отвечает за выполнение задачи по сбору всех новых данных о сайтах и произошедших на них обновлений.

Он представляет собой специальный бот, напоминающий по действию браузерную программу, считывающую информацию с веб-страниц.

Поисковая система может использовать нескольких поисковых роботов, представляющих собой автоматический скрипт со своим алгоритмом работы, конкретным заданием для определенного сайта.

Примеры поисковых роботов от Google и Яндекс

  • Googlebot
  • APIs-Google
  • AdsBot-Google-Mobile
  • Mediapartners-Google
  • Googlebot-News (Googlebot)
  • YandexBot
  • YandexMetrika
  • YandexMarket
  • YandexScreenshotBot и др.


Похожие термины

Написать комментарий




Введите код с картинки