АНТИгуру » 01 окт 2013, 12:07
Robots.txt - это обычный текстовой файл созданный специально для ПС. В нём можно ограничивать доступ посиковым системам к различным частям и категориям сайта. Несмотря на всю кажущуюся простоту, пользоваться данным файлом стоит осмотрительно. Ведь при неправильной настройке функций и команд, можно сделать так, что ваш сайт вообще вылетит из индекса ПС. Впрочем, его и вовсе может не быть на сайте. На мой взгляд это говорит о том, что сайт создал не профессиональный вебмастер, а простой человек и быть может ПС это учитывают =) Мол всё для людей, никаких накруток и манипуляций поисковой выдачей =) В целом, роботс полезная вещь и всем новичкам советую ознакомится с его функционалом и вообще тем, для чего он нужен и как он используется. Это поможет в дальнейшем при продвижении сайтов как своих, так и клиентов.