Просматривая показания RDS-бара, я стал замечать что Google стал индексировать все больше страниц, попадающих в неосновной индекс, а некоторые страницы, прежде находящиеся в основном, исчезли из него. Этот факт насторожил: это могло означать только то, что поисковик индексирует дублирующие страницы и многие из них представляют так называемые «сопли Google» (Supplemental results).
В Supplemental results всегда могут оказаться страницы, которые могут неоднократно дублироавть те, кторые были в основном, но благодаря дублям — выпасть из него. А это очень нежелательно.
Изучив данный вопрос, я обнаружил, что Google в последнее время стал очень уж усердствовать в плане индексирования страниц, которые запрещены в файле robots.txt и ему совершенно начхать на то, что параметр replytocom мною в нем запрещен. Поэтому к параметру о запрете индексации в robots.txt Disallow: ?replytocom, я добавил еще Disallow: /*?*. Разумеется, это ничего не дало. В яндексе таких проблем не существует, что безусловно радует, но рвения Гугла индексировать все и вся, не смотря на запреты, удручает.
Содержание
Что такое параметр replytocom и какие страницы (URL), он позволяет индексировать
Оказывается, все очень просто — это страницы, связанные с древовидными комментариями. Если в настройках работы блога в разделе «Параметры» — «Обсуждения» не убрать галочку 
о разрешении древовидных комментариев ( функция «Ответить») на странице записи в разделе «Комментирование», то даже простановка в файле роботс запрета на индексацию страниц ничего не даст. Дублирующие страницы будут создаваться вновь при каждом ответе комментаторов ! Можете себе представить, сколько дублирующих страниц можно наплодить!? Чем больше таких ответов в комментариях — тем больше дублей!
Как с этим бороться
1. Отключить функцию древовидных комментариев
(«ответить») на своем блоге/сайте, предварительно удалив URL уже попавшие в «сопли» как я рассказывал, в статье по вышеуказанной ссылке. Найти ссылки связанные с индексацией страниц, связанных с параметром нужно вбить в поиск Google подобную строку: site:prt56.ru replytocom ( в красном нужно вставить свой сайт).
Получите приблизительно такой результат:
Кликните на «Показать скрытые результаты» и перейдите на последнюю страницу. У меня таких страниц на момент написания статьи оказалось 93. Вполне возможно что все эти страницы нужно будет удалить в вебмастере а затем принять вышеуказанную меру.
Да, устранение функции древовидных комментариев вызовет негативную реакцию комментаторов и это действительно неудобно. Поэтому давайте рассмотрим другие способы.
2. Установить плагин Replytocom Redirector
Плагин позволяет сделать редиректы на все ссылки, которые нежелательны в индексации. Но существует два минуса, связанные с этим плагином: 1) плагин дает существенную нагрузку на базу данных сайта; 2) на популярных сайтах, где много комментируют с использованием функции «Ответить», он просто не успевает обрабатывать информацию.
3. Изменить нужные параметры в webmasters.tools
Заходим в гугл-вебмастер, кликаем «Сканирование» — «Параметры URL» и, не обращая внимания на россказни вебмастера в верхней строке, кликаем «Добавить параметр». Наверняка у вас появится таблица с параметрами, индексирование которых нужно отредактировать, да так, что бы поисковик навсегда «забыл про них думать». Если вы давно пользуетесь функцией древовидных комментариев, наверняка вам будет представлен и наш злосчастный replytocom. Далее поступаем по скрину:
Гугл предусмотрел ошибки, которые могут допустить вебмастера, редактируя параметры и предусмотрел их восстановление. Поэтому не стоит волноваться, если что-то пойдет не так с индексацией страниц ваших ресурсов.
Обратите внимание: если в существующих параметрах включить функцию «Показать примеры URL», то пред вашим взором откроются те самые URL:
Не знаю как у кого будет, но у меня, при переходе по этим ссылкой( скопировать, вставить в поиск браузера), всегда открывались несуществующие страницы. 
Зачем же их индексировать? Это ли не указывает на то, что данный параметр нужно редактировать и скрыть его содержание от робота Google???
К сожалению, на время написания статьи, на моем сайте некоторые из указанных способов находятся в стадии эксперимента. В частности, я надеюсь что именно редактирование нежелательных параметров ( а таких только на этом сайте оказалось семь штук), решит проблемы без удаления нежелательных URL из индексации. Откажусь пока и от установки плагина Replytocom Redirector .
А пока приношу свои извинения перед читателями в связи с тем, что удаляю функцию древовидных комментариев на своих блогах. Надеюсь, что выполненные меры, позволят снова активировать в комментариях функцию «Ответить».
Всем удачи — никаких «соплей» и дублей !
