Зачем нужно создавать файл robots.txt и для чего он нужен?

Файл robots txt

Файл robots.txt – это важный в SEO инструмент, с помощью которого вы можете выставить для поисковых систем ограничения в отношении индексации. Необходимость в этом может возникнуть при таких обстоятельствах, когда:

  • На сайте присутствуют конфиденциальные данные, не подлежащие разглашению.
    К примеру, если у вас Интернет-магазин, в котором присутствуют личные данные пользователей, то нельзя допустить того, чтобы они попали в выдачу. То же можно сказать о аккаунтах участников на различных сайтах, о служебной информации корпоративных ресурсов и т.д.
     
  • Произошли изменения в структуре.
    Если какие-то страницы вы удалили или же присвоили им другие адреса, то нужно очистить поисковую базу от старых данных.
     
  • Образовались дубли.
    Это особенно часто происходит при использовании различных систем управления контентом, где одна и та же информация может отображаться сразу по нескольким адресам. Поисковики не любят засорений, поэтому налагают фильтры на нарушителей, и следует заранее оградить себя от этой проблемы.

Команды

Главной командой в файле robots.txt является disallow, с его помощью можно закрыть путь поисковым системам в отношении необходимых файлов и папок. Это делается следующим образом:
disallow: /cgi-bin.

Есть и встречная команда allow, она наоборот, открывает доступ к отдельным директориям. Но также следует указать, для какого именно поисковика вы ставите ограничения, для этого применяется команда User-agent. Если вы предпочитаете дать одинаковые команды сразу всем роботам, тогда нужно использовать знак звездочки:
User-agent: *.

Выделяют еще одну специальную команду, которая предназначается для указания основного зеркала сайта.

Как вам наверняка известно, адрес с www и без него для поисковых систем – это различные пути. Поэтому необходимо дать привилегии желательной для вас версии:
host: site.ru или же
host: www.site.ru.

Нюансы

Не следует закрывать с помощью robots.txt все подряд. Не забывайте о том, что в ранжировании могут участвовать картинки и видео-ролики, и если вы не допустите к ним роботов, то не сумеете получить дополнительный трафик.

Проверка

Проверить правильность созданного файла robots.txt вы можете через панель вебмастера Яндекс. Для этого нужно зайти на адрес webmaster.yandex.ru, добавить свой сайт и в специальной вкладке указать свой robots.txt. В панели вебмастеров Google также следует прописать этот файл.
 

Читайте также:
Критерии качества статьи для сайта
Оптимизация страниц с бесконечным скроллингом

Просмотров: 2130

Оцените статью: 1 2 3 4 5





Комментарии

Комментарий добавил(а): Сергей
Дата: 2012-02-22

Да, robots.txt рулит.)) В нем много чего можно определить. Если уж речь пошла о вспомогательных файлах, то я бы упомянул еще .htaccess, тоже очень полезный файл. Надеюсь что ему так же посвятят статью.

Написать комментарий




Введите код с картинки