Говорят что таких роботов очень много. Для себя лично я выделил четыре основных типа.
- индексирующий робот
- робот для индексации изображений
- робот который отслеживает зеркала сайта
- и проверочный робот который отслеживает работоспособность страниц или сайта в целом
Если кто знает, какие еще бывают роботы, буду признателен за такую информацию.