Какие страницы нужно закрывать в файле robots.txt

[BoiKot]

Итак, файл мы создали. Возникает вопрос, а что же нужно закрывать на сайте от индексирования. Конечно, в каждом конкретном случае это вам решать, но есть некоторые общие правила, которыми я и хочу с вами поделиться.
Закрываем:
- результаты поиска по сайту
- страницы со входом в CMS
- дубликаты страниц (таких как правило бывает много, особенно на Joomla)
- страницы с логами
- всевозможные сервисные страницы с базами данных
- страницы находящиеся в разработке
- страницы не имеющие текстового контента
- страницы регистрации
- страницы авторизации
- любые другие страницы не несущие для пользователя полезной информации
Это только самая общая информация по закрытию страниц.