Replytocom в ссылках WordPress

Здравствуйте! Сегодня мне хотелось бы вернуться снова к теме комментариев на WordPress, а точнее к ссылкам ответа на комментарий. Мне как никогда было обидно столкнуться с этой проблемой, в частности с Replytocom.

После запуска нового поискового алгоритма под названием Панда Google всерьез начал борьбу с дубликатами. И это уже ощутили западные блоггеры, после того как их позиции сильно упали в поисковой выдаче. К этому нужно отнестись серьезно.

Что такое Replytocom

При использовании древовидных комментариев движок генерирует дополнительные страницы, дублирующие основной контент, которые выглядят следующим образом:

https://site.ru/post?replytocom=7062

Как-то раз я делал свои комментарии древовидными и столкнулся с такой проблемой, о чем уже писал в посте о подводных камнях древовидной структуры. Сейчас у меня отключена древовидная структура и лишние страницы удалены из индекса. Так как объяснять лучше на примере, то я нашел поиском один из многочисленных (!) сайтов, у которого есть проблемы с этим. Выполняя несложный запрос в Google:

site:site.ru replytocom

где site.ru — адрес Вашего сайта, а replytocom — страницы на заданном сайте с этим параметром. Если часть найденных документов будет скрыта и отмечена как похожие результаты, то повторите поиск, включив опущенные результаты. Приложу скриншот «подопытного» сайта (надеюсь его автор на меня не обидится, а наоборот, примет меры по устранению проблемы, о которых я расскажу ниже):

В результате найдено 223 результата. Ну что же, не так и много, если сравнивать с тем, что было у меня: порядка более 300 ссылок были проиндексированы гуглом в тот роковой день и даже после запрета их индексации они появлялись еще в течение нескольких дней. Вот она знаменитая мгновенная индексация гугла! Яндекс за то время успел увидеть всего пару страничек.

Как устранить проблему с Replytocom

С помощью файла Robots.txt

Первое что приходит на ум — это редактировать файл robots.txt и добавить следующую строку:

Disallow: /*?replytocom

Это позволит запретить индексирование подобных страниц, но я поступил иначе. Так как у меня на блоге настроены постоянные ссылки (человеко-понятные урлы), то решил подстраховаться и сделать запрет на все страницы, содержащие знаки вопроса:

Disallow: */?

И это работает! Чтобы проверить эффективность данного способа можете воспользоваться одним из инструментов вебмастеров Google: Просмотреть как Googlebot. Возвращаясь к своему блогу, также приведу скрин, из которого следует, что такие страницы успешно блокируются файлом robots.txt:

С помощью Google webmaster tool

Представляете, только недавно я узнал еще об одном очень полезном инструменте в панели для вебмастеров Google. Точнее я видел его, но не представлял зачем он и как им пользоваться. Оказывается он поможет не только сократить количество повторяющихся страниц в Google, но и помочь поисковой системе упростить сканирование сайта, путем исключения заведомо ненужных ссылок.

Находится этот инструмент в Конфигурации сайта, в пункте Настройки на вкладке Обработка параметров из интерфейса Google Webmaster Tool. По умолчанию у меня там уже стоял один параметр: page_id и редактировать его не пришлось.

Нажатием ссылки Добавить параметр появится еще одно текстовое поле, в которое и следует вставить параметр. У нас это Replytocom. Напротив этого параметра в выпадающем списке выбираем действие для Google: Пропустить. Вот и все, только не забываем нажать на кнопку сохранить. Таким образом, бот гугла, переходя по ссылкам и обнаружив в URL параметр Replytocom поисковый бот гугла проигнорирует (пропустит) его и не будет следовать по ссылке, а значит и не проиндексирует такую страницу.

Возможности такого метода очень широки, ведь его можно использовать не только для Replytocom, но и других параметров страниц, например фидов, комментариев и т.д. Google в очередной раз позволяет нам управлять своими сайтами, индексировать те страницы, которые требуется, вооружив таким инструментом.

С помощью плагина Replytocom Redirector

Существует также плагин для WordPress, который называется Replytocom Redirector, который редиректит поисковых ботов на основной адрес страницы, но, судя по отзывам других пользователей, плагин не справляется со своими обязанностями и ссылки с Replytocom все равно индексируются в Google.

Таким образом, можно выяснить небольшие проблемы, которые могут привести к более серьезной проблеме в будущем. А Вы постоянно следите за индексацией?