Зачем нужно создавать файл robots.txt и для чего он нужен?
Файл robots.txt – это важный в SEO инструмент, с помощью которого вы можете выставить для поисковых систем ограничения в отношении индексации. Необходимость в этом может возникнуть при таких обстоятельствах, когда:
-
На сайте присутствуют конфиденциальные данные, не подлежащие разглашению.
К примеру, если у вас Интернет-магазин, в котором присутствуют личные данные пользователей, то нельзя допустить того, чтобы они попали в выдачу. То же можно сказать о аккаунтах участников на различных сайтах, о служебной информации корпоративных ресурсов и т.д.
-
Произошли изменения в структуре.
Если какие-то страницы вы удалили или же присвоили им другие адреса, то нужно очистить поисковую базу от старых данных.
-
Образовались дубли.
Это особенно часто происходит при использовании различных систем управления контентом, где одна и та же информация может отображаться сразу по нескольким адресам. Поисковики не любят засорений, поэтому налагают фильтры на нарушителей, и следует заранее оградить себя от этой проблемы.
Команды
Главной командой в файле robots.txt является disallow, с его помощью можно закрыть путь поисковым системам в отношении необходимых файлов и папок. Это делается следующим образом:
disallow: /cgi-bin.
Есть и встречная команда allow, она наоборот, открывает доступ к отдельным директориям. Но также следует указать, для какого именно поисковика вы ставите ограничения, для этого применяется команда User-agent. Если вы предпочитаете дать одинаковые команды сразу всем роботам, тогда нужно использовать знак звездочки:
User-agent: *.
Выделяют еще одну специальную команду, которая предназначается для указания основного зеркала сайта.
Как вам наверняка известно, адрес с www и без него для поисковых систем – это различные пути. Поэтому необходимо дать привилегии желательной для вас версии:
host: site.ru или же
host: www.site.ru.
Нюансы
Не следует закрывать с помощью robots.txt все подряд. Не забывайте о том, что в ранжировании могут участвовать картинки и видео-ролики, и если вы не допустите к ним роботов, то не сумеете получить дополнительный трафик.
Проверка
Проверить правильность созданного файла robots.txt вы можете через панель вебмастера Яндекс. Для этого нужно зайти на адрес webmaster.yandex.ru, добавить свой сайт и в специальной вкладке указать свой robots.txt. В панели вебмастеров Google также следует прописать этот файл.
Просмотров: 4928
Похожие статьи
Комментарии
Написать комментарий
Облако тегов
- AdSense
- CMS
- CSS
- Chrome
- Dmoz
- Drupal
- Evernote
- Firefox
- ICQ
- Joomla
- Linux
- Mac OS X
- Microsoft
- Photoshop
- Sape
- Skype
- Telegram
- WebMoney
- Windows
- YouTube
- html
- iOS
- iPad
- iPhone iPad
- Антивирусные программы
- Аудит
- Блог
- Видео
- Графика
- Дизайн
- Домен
- Заработок в Интернет
- Игры
- Индексация
- Интернет магазин
- Интернет-реклама
- Конверсия
- Контекстная реклама
- Контент
- Метрика
- Мобильные приложения
- Настройка компьютера
- Облачные сервисы
- Онлайн сервисы
- Перелинковка
- Поведенческие факторы
- Поисковые запросы
- Почта Яндекс
- Роботы
- Семантическое ядро
- Спам
- Ссылки
- Статистика
- Текст
- Траст
- Трафик
- Фильтры Яндекс
- Форматы
- Хостинг
- Электронные книги
- Юзабилити
- Яндекс
- Яндекс.Деньги
Комментарий добавил(а): Сергей
Дата: 2012-02-22
Да, robots.txt рулит.)) В нем много чего можно определить. Если уж речь пошла о вспомогательных файлах, то я бы упомянул еще .htaccess, тоже очень полезный файл. Надеюсь что ему так же посвятят статью.