Поисковый робот
Поисковый робот является важнейшим элементом поисковой системы, который отвечает за выполнение задачи по сбору всех новых данных о сайтах и произошедших на них обновлений.
Он представляет собой специальный бот, напоминающий по действию браузерную программу, считывающую информацию с веб-страниц.
Поисковая система может использовать нескольких поисковых роботов, представляющих собой автоматический скрипт со своим алгоритмом работы, конкретным заданием для определенного сайта.
Примеры поисковых роботов от Google и Яндекс
- Googlebot
- APIs-Google
- AdsBot-Google-Mobile
- Mediapartners-Google
- Googlebot-News (Googlebot)
- YandexBot
- YandexMetrika
- YandexMarket
- YandexScreenshotBot и др.