Информационный портал, новости IT, советы, трюки, секреты!

Зачем нужно создавать файл robots.txt и для чего он нужен?

Расчитать стоимость сайта

Файл robots txtФайл robots.txt – это важный в SEO инструмент, с помощью которого вы можете выставить для поисковых систем ограничения в отношении индексации. Необходимость в этом может возникнуть при таких обстоятельствах, когда:

На сайте присутствуют конфиденциальные данные, не подлежащие разглашению.
К примеру, если у вас Интернет-магазин, в котором присутствуют личные данные пользователей, то нельзя допустить того, чтобы они попали в выдачу. То же можно сказать о аккаунтах участников на различных сайтах, о служебной информации корпоративных ресурсов и т.д.

Произошли изменения в структуре.
Если какие-то страницы вы удалили или же присвоили им другие адреса, то нужно очистить поисковую базу от старых данных.

Образовались дубли.
Это особенно часто происходит при использовании различных систем управления контентом, где одна и та же информация может отображаться сразу по нескольким адресам. Поисковики не любят засорений, поэтому налагают фильтры на нарушителей, и следует заранее оградить себя от этой проблемы.

Главной командой в файле robots.txt является disallow, с его помощью можно закрыть путь поисковым системам в отношении необходимых файлов и папок. Это делается следующим образом:
disallow: /cgi-bin.

Есть и встречная команда allow, она наоборот, открывает доступ к отдельным директориям. Но также следует указать, для какого именно поисковика вы ставите ограничения, для этого применяется команда User-agent. Если вы предпочитаете дать одинаковые команды сразу всем роботам, тогда нужно использовать знак звездочки:
User-agent: *.

Выделяют еще одну специальную команду, которая предназначается для указания основного зеркала сайта.

Как вам наверняка известно, адрес с www и без него для поисковых систем – это различные пути. Поэтому необходимо дать привилегии желательной для вас версии:
host: site.ru или же
host: www.site.ru.

Не следует закрывать с помощью robots.txt все подряд. Не забывайте о том, что в ранжировании могут участвовать картинки и видео-ролики, и если вы не допустите к ним роботов, то не сумеете получить дополнительный трафик.

Проверить правильность созданного файла robots.txt вы можете через панель вебмастера Яндекс. Для этого нужно зайти на адрес webmaster.yandex.ru, добавить свой сайт и в специальной вкладке указать свой robots.txt. В панели вебмастеров Google также следует прописать этот файл.
 

Просмотров: 1283

Оцените статью: 1 2 3 4 5

Похожие статьи

Похожие вопросы

Комментарии

Комментарий добавил(а): Сергей
Дата: 2012-02-22

Да, robots.txt рулит.)) В нем много чего можно определить. Если уж речь пошла о вспомогательных файлах, то я бы упомянул еще .htaccess, тоже очень полезный файл. Надеюсь что ему так же посвятят статью.




Вы не можете добавлять коментарии

Введите  код  с  картинки

=
=