seo-doka.ru

Говорят что таких роботов очень много. Для себя лично я выделил четыре основных типа.
- индексирующий робот
- робот для индексации изображений
- робот который отслеживает зеркала сайта
- и проверочный робот который отслеживает работоспособность страниц или сайта в целом
Если кто знает, какие еще бывают роботы, буду признателен за такую информацию.

Интересную тему вы затронули, Антон. Думаю, что всем неплохо было бы знать больше о роботах поисковых систем. А их я вам скажу предостаточно. Безусловно, что самым важным и основным, конечно, считается индексирующий робот, который и создаёт основную базу поиска, когда ищет и индексирует информацию. Также к основному роботу поисковые системы создают быстрые роботы. Такой робот, я знаю, использует Яндекс и он предназначен для анализа и индексирования актуальной свежей информации. Есть у Яндекса и робот Яндекс.Метрики. Многие вебмастера им пользуются, но наверняка не знают, что это тоже робот.

Я всегда слышала только о этих четырех типах поисковых роботах: робот-индексатор, робот по работе с изображениями, робот-зеркальщик и робот который проверяет работоспособность сайтов. Первый осуществляет обнаружение и индексацию страниц, для того чтобы, создать базы основного поиска. Второй индексирует графическую информацию, которая в итоге выдается в соответствующем разделе поисковой системы. Третий выявляет и проверяет зеркала сайтов. И четвертый проверяет доступность сайтов, которые добавляются через «Add URL» форму поисковой системы. Существуют и другие роботы, которые индексируют видео, пиктограммы, «быстрый контент», но о них я практически не чего не знаю.