Файл Robots.txt для WordPress

Robots.txt — это стандартизированный в соответствии с плановыми протоколами текстовый файл, который находится в корневом каталоге продвигаемого сайта. В нем содержатся инструкции для роботов-аналитиков поисковых систем. Именно с помощью Robots.txt ботам можно запретить индексацию тех страниц и разделов сайта, индексация которых нежелательна, указать зеркало сайта, ну и, конечно же, указать путь к файлу sitemap

Содержание

1 Файл Robots.txt для WordPress
2 Создание и настройка файла robots.txt с помощью плагина KB Robots.txt
3 Правильная настройка файла robots.txt
4 Создание файла robots.txt без плагина

Файл Robots.txt для WordPress

по умолчанию на этой платформе не создается и его можно создать используя не только возможности текстовых редакторов (блокнот и пр.) и загрузки его в корневую директорию блога, но и используя имеющиеся плагины, созданные для WordPress. Мой рассказ будет базироваться на способе с использованием плагина KB Robots.txt и созданию такого самостоятельно.

Для начала обратимся к популярному поисковику Wikipedia и посмотрим, что он рассказывает по поводу этого файла:

Файл robots.txt используется для частичного управления индексированием сайта поисковыми роботами. Этот файл состоит из набора инструкций для поисковых машин, при помощи которых можно задать файлы, страницы или каталоги сайта, которые не должны индексироваться.

Файл robots.txt может использоваться для указания расположения файла и может показать, что именно нужно, в первую очередь, проиндексировать поисковому роботу.

По-моему все достаточно ясно сказано и нужен этот текстовой файл, главным образом для того, что бы оградить сайт от индексации не нужных страниц во избежания дублирования контента и прочего мусора, который никак не должен попасть в поле зрения поисковых систем.

Создание и настройка файла robots.txt с помощью плагина KB Robots.txt

Очень просто: «Плагины» — «Добавить новый»- в поле поиска robots.txt, затем установить и активировать. Далее открываем страницу настроек плагина и в специальном окне создаем файл.

Правильная настройка файла robots.txt

Для того, чтобы настроить именно правильный robots.txt, нужно использовать директивы User-agent, Disallow и Allow.

Директива Disallow — запрещающая, Allow — разрешающая индексацию определенных страниц сайта.

Поисковые роботы (боты) читают содержимое файла (как впрочем и исходный код любой страницы) сверху-вниз, поэтому именно User-agent должна стоять первой строкой.

User-agent: *

Для Яндекса рекомендуется составляется отдельный файл и он, как правило дублирует основной и начинается с для Яндекса строка будет выглядеть так:

User-agent: Yandex

Что и какие страницы приводят к дублированию контента? В первую очередь это архивы, теги, страницы комментариев, ленты rss комментариев, страницы содержащие в своих URL знаки вопроса и т.д. Обязательно запрещаем их к индексации.
Вот как, обычно выглядят файлы robots.txt (на примере своего):

# This is your robots.txt file. Visit Options->Robots.txt 
to change this text.
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /attachment/ 
Allow: /wp-content/uploads/
Sitemap: http://prt56.ru/sitemap.xml

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /attachment/ 
Allow: /wp-content/uploads/
Host: prt56.ru
Sitemap: http://prt56.ru/sitemap.xml

Для ускорения и полноты индексации всех страниц добавим путь к расположению XML- карты сайта — sitemap для главного зеркала сайта, по которому производится индексация. У меня это выглядит так : Sitemap: http://prt56.ru/sitemap.xml ( мое зеркало для ПС я представил без www, мне так захотелось :).

Создание файла robots.txt без плагина

Еще лучше вообще все сделать без плагина: для этого нужно создать текстовой файл в блокноте с именем robots.txt , вставить в него все нужные строки и загрузите его в корневую папку блога, прежде деактивировав плагин. После проверки состояния работы файла — плагин вообще можно удалить.

Кстати, что бы узнать как выглядит файл для любого сайта, нужно к главной странице сайта http://сайт.ru/ добавить запись robots.txt

Для того, что бы увидеть, как выглядит эта страница для моего блога — введите в адресную строку браузера http://prt56.ru/robots.txt

Важно: Каждому начинающему вебмастеру нужно знать, что составление такого важного файла как Файл Robots.txt для WordPress и не только для WordPress, но и многих сайтов на других движках а так же для автономных сайтов, обязательная операция. Чем быстрее это будет сделано, тем лучше.

Уважаемые читатели, в дополнение к статье о файле robots.txt, рекомендую просмотреть эти два видео урока. Надеюсь они дополнят тот материал, который я выложил в этом поcте и избавят автора от лишних вопросов. 🙂

Удачного вам просмотра и отличной индексации вашим сайтам!