Роль robots.txt в продвижении сайтов

Вопросы и ответы связанные с продвижением сайтов, актуальная информация по данной теме, новости и анонсы

Роль robots.txt в продвижении сайтов

Сообщение АНТИгуру » 01 окт 2013, 12:07

Robots.txt - это обычный текстовой файл созданный специально для ПС. В нём можно ограничивать доступ посиковым системам к различным частям и категориям сайта. Несмотря на всю кажущуюся простоту, пользоваться данным файлом стоит осмотрительно. Ведь при неправильной настройке функций и команд, можно сделать так, что ваш сайт вообще вылетит из индекса ПС. Впрочем, его и вовсе может не быть на сайте. На мой взгляд это говорит о том, что сайт создал не профессиональный вебмастер, а простой человек и быть может ПС это учитывают =) Мол всё для людей, никаких накруток и манипуляций поисковой выдачей =) В целом, роботс полезная вещь и всем новичкам советую ознакомится с его функционалом и вообще тем, для чего он нужен и как он используется. Это поможет в дальнейшем при продвижении сайтов как своих, так и клиентов.
Аватар пользователя
АНТИгуру
Продвинутый Юзер
 
Сообщений: 777
Зарегистрирован: 16 дек 2012, 12:09
Откуда: Катманду

Re: Роль robots.txt в продвижении сайтов

Сообщение Александр » 28 окт 2013, 16:36

Соглашусь с вышенаписанным и добавлю. Данный файл не просто полезный а и очень необходимый. Например в нем можно указать главное зеркало сайта, что согласитесь немаловажно, особенно если планируется продвижение под ВЧ и КТ.
В таких случаях явно прописать директиву "Host" - очень полезно.
Так же рекомендую явно прописать обращение к карте сайта. Это поможет поисковым роботам быстрее проиндексировать страницы вашего сайта.
Не ленитесь и конкретно пропишите все директивы под робота Яндекса и Google, а не для всех сразу. Некоторые конечно скажут что это ни на что не влияет, но поверьте в качественном SEO мелочей не бывает.
Аватар пользователя
Александр
Продвинутый Юзер
 
Сообщений: 218
Зарегистрирован: 12 мар 2012, 16:32

Re: Роль robots.txt в продвижении сайтов

Сообщение АНТИгуру » 28 окт 2013, 16:49

Александр, давайте внесём ясность. Во-первых, директива "Host" прописывается в основном для Яндекса. Гугл сам в силах разобраться где основное зеркало, а где нет, особенно есть редирект с www на без www или напоборот (www.site.com редирект site.com). А сам редирект прописывается в файле .htaccess. Если уж совсем неймётся, то можно зайти в панель вебмастеров Гугл и в настройках указать главное зеркало сайта.
Во-вторых, карта сайта опять же прописывается для Яндекса (хотя в этом не уверен), т.к. для Гугла карта сайта добавляется всё в той же панели вебмастеров. А в целом, иметь файл robots.txt на сайте это как правило хорошего тона.
Аватар пользователя
АНТИгуру
Продвинутый Юзер
 
Сообщений: 777
Зарегистрирован: 16 дек 2012, 12:09
Откуда: Катманду


Вернуться в Продвижение сайтов

Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1

cron