Связь параметра replytocom с дублированием контента и индексацией

Просматривая показания RDS-бара, я стал замечать что Google стал индексировать все больше страниц, попадающих в неосновной индекс, а некоторые страницы, прежде находящиеся в основном, исчезли из него. Этот факт насторожил: это могло  означать только то, что поисковик индексирует дублирующие страницы и многие из них представляют так называемые «сопли Google» (Supplemental results).

В Supplemental results  всегда могут оказаться страницы, которые  могут неоднократно дублироавть  те, кторые были в основном, но благодаря дублям — выпасть из него.   А это очень нежелательно.

Изучив данный вопрос, я обнаружил, что Google в последнее время стал очень уж усердствовать в плане индексирования страниц, которые запрещены в файле robots.txt и ему совершенно начхать на то, что параметр replytocom мною в нем запрещен. Поэтому к параметру о запрете индексации в robots.txt  Disallow: ?replytocom, я добавил еще Disallow: /*?*. Разумеется, это ничего не дало. В яндексе таких проблем не существует, что безусловно радует, но рвения Гугла индексировать все и вся, не смотря на запреты, удручает.

Что такое параметр replytocom и какие страницы (URL), он позволяет индексировать

Оказывается, все очень просто — это страницы, связанные с древовидными комментариями. Если в настройках работы блога в разделе «Параметры» — «Обсуждения» не убрать галочку

о разрешении древовидных комментариев ( функция «Ответить») на странице записи в разделе «Комментирование», то даже простановка в файле роботс  запрета на индексацию страниц ничего не даст. Дублирующие страницы будут создаваться вновь при каждом ответе комментаторов ! Можете себе представить, сколько дублирующих страниц можно наплодить!? Чем больше таких ответов в комментариях — тем больше дублей!

Как с этим бороться

1. Отключить функцию древовидных комментариев

(«ответить») на своем блоге/сайте, предварительно удалив URL уже попавшие в «сопли» как я рассказывал, в статье по вышеуказанной ссылке.   Найти ссылки связанные с индексацией страниц, связанных с параметром нужно вбить в поиск Google подобную строку:  site:prt56.ru replytocom  ( в красном нужно вставить свой сайт).

Получите приблизительно такой результат:

Кликните на «Показать скрытые результаты» и перейдите на последнюю страницу. У меня таких страниц на момент написания статьи оказалось 93. Вполне возможно что все эти страницы нужно будет  удалить в вебмастере а затем принять вышеуказанную меру.

Да, устранение функции древовидных комментариев вызовет негативную реакцию комментаторов и это действительно неудобно. Поэтому давайте рассмотрим другие способы.

2. Установить плагин Replytocom Redirector

Плагин позволяет сделать редиректы на все ссылки, которые нежелательны в индексации. Но существует два минуса, связанные с этим плагином: 1) плагин дает существенную нагрузку на базу данных сайта; 2) на популярных сайтах, где много комментируют с использованием функции «Ответить», он просто не успевает обрабатывать информацию.

3. Изменить  нужные параметры в webmasters.tools

Заходим в гугл-вебмастер, кликаем «Сканирование» — «Параметры URL» и, не обращая внимания на россказни вебмастера в верхней строке,  кликаем «Добавить параметр». Наверняка у вас появится таблица с параметрами, индексирование которых нужно отредактировать, да так, что бы поисковик навсегда «забыл про них думать». Если вы давно пользуетесь функцией древовидных комментариев, наверняка вам будет представлен и наш злосчастный replytocom. Далее поступаем по скрину:

Гугл предусмотрел ошибки, которые могут допустить вебмастера, редактируя параметры и предусмотрел  их восстановление. Поэтому не стоит волноваться, если что-то пойдет не так  с индексацией страниц ваших ресурсов.

Обратите внимание: если в существующих параметрах включить функцию «Показать примеры URL», то пред вашим взором откроются те самые URL:

Не знаю как у кого будет, но у меня, при переходе по этим ссылкой( скопировать, вставить в поиск браузера), всегда открывались несуществующие страницы.

Зачем же их индексировать? Это ли не указывает на то, что данный параметр нужно редактировать и скрыть его содержание от робота Google???

К сожалению, на время написания статьи, на моем сайте некоторые из указанных способов находятся в стадии эксперимента. В частности, я надеюсь что именно редактирование нежелательных параметров ( а таких только на этом сайте оказалось семь штук),  решит проблемы без удаления нежелательных  URL из индексации. Откажусь пока и  от  установки плагина Replytocom Redirector .

А пока приношу свои извинения перед читателями в связи с тем, что удаляю функцию древовидных комментариев на своих блогах. Надеюсь, что выполненные меры, позволят снова активировать в комментариях функцию «Ответить».

Всем удачи —  никаких «соплей» и дублей !