seo-doka.ru

В процессе индексации вашего сайта поисковые системы используют специальных роботов. Это такие программы которые отвечают за поиск новых сайтов и информации в Интернете.
Когда такой робот оказывается на вашем сайте, он первым делом пытается зайти в файл robots.txt в котором должно быть указано какую информацию показывать, а какую нет.
Отсутствие или игнорирование файла robots.txt, равно как его некорректное составление является основной ошибкой очень многих людей занимающихся созданием сайтов.
Эта ошибка ведет к следующим проблемам:
- роботы поисковых систем не будут индексировать ваш сайт
- может произойти индексирование конфиденциальной информации, которая ни в коем случае не должна была попасть в индексацию поисковой системы
Мой вам совет: Посмотрите, а на вашем сайте есть такой файл?