Ошибки SEO: Игнорирование файла robots.txt

Вопросы и ответы по правильной оптимизации сайта и внутренних факторах влияющих на ранжирование в поисковых системах

Ошибки SEO: Игнорирование файла robots.txt

Сообщение BoiKot » 06 фев 2013, 08:09

В процессе индексации вашего сайта поисковые системы используют специальных роботов. Это такие программы которые отвечают за поиск новых сайтов и информации в Интернете.
Когда такой робот оказывается на вашем сайте, он первым делом пытается зайти в файл robots.txt в котором должно быть указано какую информацию показывать, а какую нет.
Отсутствие или игнорирование файла robots.txt, равно как его некорректное составление является основной ошибкой очень многих людей занимающихся созданием сайтов.
Эта ошибка ведет к следующим проблемам:
- роботы поисковых систем не будут индексировать ваш сайт
- может произойти индексирование конфиденциальной информации, которая ни в коем случае не должна была попасть в индексацию поисковой системы

Мой вам совет: Посмотрите, а на вашем сайте есть такой файл?
Аватар пользователя
BoiKot
Продвинутый Юзер
 
Сообщений: 307
Зарегистрирован: 13 мар 2012, 08:16

Вернуться в Внутренняя оптимизация сайта

Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1

cron