seo-doka.ru

Robots.txt - это обычный текстовой файл созданный специально для ПС. В нём можно ограничивать доступ посиковым системам к различным частям и категориям сайта. Несмотря на всю кажущуюся простоту, пользоваться данным файлом стоит осмотрительно. Ведь при неправильной настройке функций и команд, можно сделать так, что ваш сайт вообще вылетит из индекса ПС. Впрочем, его и вовсе может не быть на сайте. На мой взгляд это говорит о том, что сайт создал не профессиональный вебмастер, а простой человек и быть может ПС это учитывают =) Мол всё для людей, никаких накруток и манипуляций поисковой выдачей =) В целом, роботс полезная вещь и всем новичкам советую ознакомится с его функционалом и вообще тем, для чего он нужен и как он используется. Это поможет в дальнейшем при продвижении сайтов как своих, так и клиентов.

Соглашусь с вышенаписанным и добавлю. Данный файл не просто полезный а и очень необходимый. Например в нем можно указать главное зеркало сайта, что согласитесь немаловажно, особенно если планируется продвижение под ВЧ и КТ.
В таких случаях явно прописать директиву "Host" - очень полезно.
Так же рекомендую явно прописать обращение к карте сайта. Это поможет поисковым роботам быстрее проиндексировать страницы вашего сайта.
Не ленитесь и конкретно пропишите все директивы под робота Яндекса и Google, а не для всех сразу. Некоторые конечно скажут что это ни на что не влияет, но поверьте в качественном SEO мелочей не бывает.

Александр, давайте внесём ясность. Во-первых, директива "Host" прописывается в основном для Яндекса. Гугл сам в силах разобраться где основное зеркало, а где нет, особенно есть редирект с www на без www или напоборот (www.site.com редирект site.com). А сам редирект прописывается в файле .htaccess. Если уж совсем неймётся, то можно зайти в панель вебмастеров Гугл и в настройках указать главное зеркало сайта.
Во-вторых, карта сайта опять же прописывается для Яндекса (хотя в этом не уверен), т.к. для Гугла карта сайта добавляется всё в той же панели вебмастеров. А в целом, иметь файл robots.txt на сайте это как правило хорошего тона.