Главная > Статьи > Основные поисковые роботы

Основные поисковые роботы

Поисковый робот – это специальная программа, функционирующая в составе поисковой системы. Задачи у поискового робота могут быть самыми разными (поиск, индексация, систематизация интернет-страниц и т.д.). На заре существования поисковых систем поисковых роботов было намного меньше. Производительность поисковых систем также была ниже.

На данный момент существует множество поисковых роботов, каждый из которых отличается от другого типом выполняемых задач.

1. Национальный поисковый робот.
   Осуществляют сбор информации с сайтов, которые располагаются на доменах определенной доменной зоны (.ru, .su и так далее).
2. Индексатор изображений.
   Данный робот производит индексацию графических файлов на сайте (а точнее – наблюдение за этими графическими файлами, так как полноценная индексация графики еще не является возможной).
3. Индексатор видео и аудио.
   Этот робот индексирует видеофайлы и музыку на сайте (точнее – наблюдает за этими файлами и считывает такие характеристики, как объем файла, расширение, название и описание).
4. Робот, распознающий зеркала сайтов и привязывающий зеркала к данным сайтам.
5. Ссылочный робот.
   Данная программа производит подсчет внешних ссылок, которые размещаются на сайтах и осуществляет поверхностный анализ этих ссылок.
6. Робот, который отвечает за внешнее оформление вывода поисковых результатов по конкретным запросам.
   К примеру, он выделяет определенные слова из запроса жирным шрифтом во фрагменте текста страницы.
7. Робот, который осуществляет проверку ресурса на предмет нахождения его в базе данных поисковика.
   Проверяется сам факт наличия сайта в индексе, а также число проиндексированных веб-страниц.
8. Робот, который производит проверку внешних ссылок.
   То есть сайт, на который проставлена ссылка, должен открываться и загружаться. В противном случае через некоторое время он удалится из базы данных.
9. Робот, который осуществляет поиск новых сайтов.
   Поиск производится при помощи перехода по внешним ссылкам на еще не проиндексированные интернет-ресурсы.
10. Робот, осуществляющий перепроверку полученных некоторое время назад результатов.
11. Робот-исследователь.
    Данная программа нужна для того, чтобы в автоматическом режиме совершенствовать работу поисковой системы. Также этот робот производит исследования некоторых сайтов в случайном порядке.
12. Робот, который фиксирует дату последнего обновления интернет-сайтов.

Просмотров: 3923

Комментарии

Написать комментарий