Просматривая показания RDS-бара, я стал замечать что Google стал индексировать все больше страниц, попадающих в неосновной индекс, а некоторые страницы, прежде находящиеся в основном, исчезли из него. Этот факт насторожил: это могло означать только то, что поисковик индексирует дублирующие страницы и многие из них представляют так называемые “сопли Google” (Supplemental results).
В Supplemental results всегда могут оказаться страницы, которые могут неоднократно дублироавть те, кторые были в основном, но благодаря дублям – выпасть из него. А это очень нежелательно.
Изучив данный вопрос, я обнаружил, что Google в последнее время стал очень уж усердствовать в плане индексирования страниц, которые запрещены в файле robots.txt и ему совершенно начхать на то, что параметр replytocom мною в нем запрещен. Поэтому к параметру о запрете индексации в robots.txt Disallow: ?replytocom, я добавил еще Disallow: /*?*. Разумеется, это ничего не дало. В яндексе таких проблем не существует, что безусловно радует, но рвения Гугла индексировать все и вся, не смотря на запреты, удручает.
Содержание
Что такое параметр replytocom и какие страницы (URL), он позволяет индексировать
Оказывается, все очень просто – это страницы, связанные с древовидными комментариями. Если в настройках работы блога в разделе “Параметры” – “Обсуждения” не убрать галочку 
о разрешении древовидных комментариев ( функция “Ответить”) на странице записи в разделе “Комментирование”, то даже простановка в файле роботс запрета на индексацию страниц ничего не даст. Дублирующие страницы будут создаваться вновь при каждом ответе комментаторов ! Можете себе представить, сколько дублирующих страниц можно наплодить!? Чем больше таких ответов в комментариях – тем больше дублей!
Как с этим бороться
1. Отключить функцию древовидных комментариев
(“ответить”) на своем блоге/сайте, предварительно удалив URL уже попавшие в “сопли” как я рассказывал, в статье по вышеуказанной ссылке. Найти ссылки связанные с индексацией страниц, связанных с параметром нужно вбить в поиск Google подобную строку: site:prt56.ru replytocom ( в красном нужно вставить свой сайт).
Получите приблизительно такой результат:
Кликните на “Показать скрытые результаты” и перейдите на последнюю страницу. У меня таких страниц на момент написания статьи оказалось 93. Вполне возможно что все эти страницы нужно будет удалить в вебмастере а затем принять вышеуказанную меру.
Да, устранение функции древовидных комментариев вызовет негативную реакцию комментаторов и это действительно неудобно. Поэтому давайте рассмотрим другие способы.
2. Установить плагин Replytocom Redirector
Плагин позволяет сделать редиректы на все ссылки, которые нежелательны в индексации. Но существует два минуса, связанные с этим плагином: 1) плагин дает существенную нагрузку на базу данных сайта; 2) на популярных сайтах, где много комментируют с использованием функции “Ответить”, он просто не успевает обрабатывать информацию.
3. Изменить нужные параметры в webmasters.tools
Заходим в гугл-вебмастер, кликаем “Сканирование” – “Параметры URL” и, не обращая внимания на россказни вебмастера в верхней строке, кликаем “Добавить параметр”. Наверняка у вас появится таблица с параметрами, индексирование которых нужно отредактировать, да так, что бы поисковик навсегда “забыл про них думать”. Если вы давно пользуетесь функцией древовидных комментариев, наверняка вам будет представлен и наш злосчастный replytocom. Далее поступаем по скрину:
Гугл предусмотрел ошибки, которые могут допустить вебмастера, редактируя параметры и предусмотрел их восстановление. Поэтому не стоит волноваться, если что-то пойдет не так с индексацией страниц ваших ресурсов.
Обратите внимание: если в существующих параметрах включить функцию “Показать примеры URL”, то пред вашим взором откроются те самые URL:
Не знаю как у кого будет, но у меня, при переходе по этим ссылкой( скопировать, вставить в поиск браузера), всегда открывались несуществующие страницы. 
Зачем же их индексировать? Это ли не указывает на то, что данный параметр нужно редактировать и скрыть его содержание от робота Google???
К сожалению, на время написания статьи, на моем сайте некоторые из указанных способов находятся в стадии эксперимента. В частности, я надеюсь что именно редактирование нежелательных параметров ( а таких только на этом сайте оказалось семь штук), решит проблемы без удаления нежелательных URL из индексации. Откажусь пока и от установки плагина Replytocom Redirector .
А пока приношу свои извинения перед читателями в связи с тем, что удаляю функцию древовидных комментариев на своих блогах. Надеюсь, что выполненные меры, позволят снова активировать в комментариях функцию “Ответить”.
Всем удачи – никаких “соплей” и дублей !