ПОДЕЛИТЬСЯ

Индексирование страниц важная веха в продвижении любого сайта. Идеальным вариантом индексации сайта будет тот при котором полезная информация будет находиться в максимальном доступе, а абсолютно ненужная, такая как дублирующий контент и тех часть будут неприкосновенны. Оптимизация сайтов как раз и происходит путем отрезания совершенно ненужного балласта.
В первую очередь стоит упомянуть дублирующийся контент. Правильная оптимизация подразумевает под собой отсутствие дублирующегося контента. Поэтому закрывать их от индекса просто необходимо. Это относится к сортировки страниц, теги, каталоги и т.д. Если более кратко, то в индекс должен попасть один материал, если он так же находится в списке тегов то второй необходимо закрыть. Куча ненужных сгенерированных на автомате страниц Вам совершенно ни к чему, а избавившись от них вы откроите путь поисковому роботу для более быстрой индексации.
Техническими страницами являются счетчики, рейтинги и тому подобные. Пользы от их индексации совершенно ни какой, а вот серьезные проблемы возникнуть могут. Поэтому закрывать их от индексации нужно с предельной жестокостью, просто спрятать не получиться. Лучше все отрезать сразу и потом не думать об этом.

RSS это просто вал ошибок которые появляются при заходе на них робота, которые будут повторяться раз за разом при каждом посещении. Фишка в том что поисковые боты не научились их нормально распознавать, поэтому лучшим вариантом будет закрыть RSS от индекса. При настройке robots.txt закройте всю директорию с RSS-рассылкой, это такой же дублирующийся контент который у Вас на сайте уже есть.

Данные пользователей так же подлежат закрытию от индексации. Наверняка обращали внимание когда помимо основного ядра сайта с уникальным контентом существуют тысячи страниц пользователей, а точнее их профили (имя, дата рождения и т.д.). Закрыть их при оптимизации просто необходимо, дабы не оттягивали вес страниц с главного ресурса.
Облака тегов тоже довольно бесполезны для индексации, так как являются просто набором ключевых слов расположенных в беспорядке, и теги noindex, nofollow помогут их закрыть.
Что бы предотвратить отдачу веса страницы за пределы сайта не помешает закрывать от индексации случайные ссылки в комментариях, помимо потери веса данные ссылки могут быть приняты за спам. Хотя все подряд ссылки закрывать не стоит ведь поисковики оценивают ресурс не за то куда и сколько он ссылается.
Перелинковка сайта является не последним делом в оптимизации сайта, но будет очень плохо если внутренние ссылки перенаправляют робота прямиком на закрытую страниц, потеря веса обеспечена, следовательно следить за этим нужно очень серьезно.
Избавьтесь от всего лишнего и это очень благотворно скажется на Вашем проекте.