Как посмотреть настройку файла robots.txt в Search console

После того, как Google переименовал Инструменты Google для веб-мастеров в Консоль поиска Google (Google Search Console), таким образом перейдя на новую версию Вебмастера, он значительно изменил методы работы в этом сервисе. Новый подход к проверке работы сайтов теперь совершается в совершенно новой интерпретации, изменены при этом не только внешний вид консоли и ее функционал, но и навигация в своих страницах.

гугол вебмастер

Примечательна в этом контексте настройка и проверка очень работы очень важного параметра сайтов — файла robots.txt. В отличие от старой версии Вебмастера и его методики, в которой этот файл проверялся по переходами по строкам «Просмотреть как Googlebot»- «Получить и отобразить», в новой редакции этого сервиса все проверяется и просматривается иначе. О том, как это сделать легко и быстро — мой небольшой рассказ.

Файлы, которые обычно запрещают в robots.txt

Составляя файл robots.txt, вебмастера стараются сделать так, что бы запрет к индексации определенных файлов на страницах сайтов не создавал проблем с дублями и прочими вредными для корректного отображения веб ресурса в поиске, но при этом как можно больше содействовал в наиболее точном отображении сайтов для их корректного считывания поисковыми роботами. Обычно это могут быть различные файлы стилей (css), JavaScript, а также изображения. По желанию обладателя веб сайта, с помощью robots.txt они могут быть разрешены (или не разрешены) к индексации. Следует отметить, что исключениями в данном случае являются файлы, которые расположены удаленно, например, скрипт Яндекс.Метрики, кнопки социальных сетей и т.д. Их запретить/разрешить к индексации не возможно.

Как просмотреть настройку работы файл robots.txt в Search console

После того, как вы создали robots.txt, и желаете узнать, какие файлы в нем запрещены к индексации, в новом Вебмастере вначале нужно вставить адрес нужной страницы (URL) в строку поиска, нажать на клавиатуре кнопку «Enter» и кликнуть по строке «Изучить просканированную страницу»:

изучить страницу

Затем в открывшемся справа окне, выбрав вариант «Подробнее», далее кликаем по кнопке «Ресурс страницы». В этом окне, который можно скролить,  отразится список загруженных или незагруженных (или то и другое вместе) ресурсов.

изучить страницу

 

Как я упоминал выше, среди незагруженных, как правило скрипты и картинки, которые запрещены в robots.txt.

Что закрывать, а что оставить открытым и как будет нестроен ваш файл robots.txt, решается для каждого сайта отдельно его администраторами (вебмастерами). В этом посте я лишь указал на то, как в новой версии Инструменты Google можно просмотреть особенности его работы для любого веб ресурса, добавленного в него.

(Visited 1 times, 1 visits today)

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *