Удаление дублей страниц

При работе с оптимизацией сайта клиента сталкнулся недавно с такой проблемкой: дублирование адресов одной и той же страницы. что есть не хорошо для SEO. вообще, нет никакого секрета, как от этого избавиться. но, может, кому пригодится.

Удаление дублей страниц

Главная страница любого сайта обычно доступна по 4-ем адресам:
http://www.site.ru/
http://site.ru/
http://www.site.ru/index.html
http://site.ru/index.html
Каждый из перечисленных выше вариантов распознается поисковыми системами как самостоятельная страница, отсюда идет дублирование контента одной и той же страницы по нескольким адресам, что не есть хорошо. поэтому, сделаем редирект дублей на ее основной адрес. для этого в файле .htaccess прописываем:

Options +FollowSymLinks
RewriteEngine on
RewriteCond %{HTTP_HOST} ^site.ru
RewriteRule (.*) http://www.site.ru$1 [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9} /index.html HTTP/
RewriteRule ^index.html$ http://www.site.ru [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9} /index.php HTTP/
RewriteRule ^index.php$ http://www.site.ru [R=301,L]

Можешь почитать и вот эту статейку "Добавляем пробел после точки или запятой"