Файл Robots.txt для WordPress

Robots.txt — это стандартизированный в соответствии с плановыми протоколами текстовый файл, который находится в корневом каталоге продвигаемого сайта. В нем содержатся инструкции для роботов-аналитиков поисковых систем. Именно с помощью Robots.txt ботам можно запретить индексацию тех страниц и разделов сайта, индексация которых нежелательна, указать зеркало сайта, ну и, конечно же, указать путь к файлу sitemap

Собственно заголовок статьи можно было сделать без добавления слов для «для WordPress, однако

файл Robots.txt для WordPress

по умолчанию на этой платформе не создается и его можно создать используя не только возможности текстовых редакторов(блокнот и пр.) и загрузки его в корневую директорию блога, но и используя имеющиеся плагины, созданные  для WordPress. Мой рассказ будет базироваться на способе с использованием плагина  KB Robots.txt и созданию такого самостоятельно.

Для начала обратимся к популярному поисковику Wikipedia и  посмотрим, что он рассказывает по поводу этого файла:

Файл robots.txt используется для частичного управления индексированием сайта поисковыми роботами. Этот файл состоит из набора инструкций для поисковых машин, при помощи которых можно задать файлы, страницы или каталоги сайта, которые не должны индексироваться.

Файл robots.txt может использоваться для указания расположения файла и может показать, что именно нужно, в первую очередь, проиндексировать поисковому роботу.

По-моему все достаточно ясно сказано и нужен этот текстовой файл, главным образом для того, что бы оградить сайт от индексации не нужных страниц во избежания дублирования контента и прочего мусора, который  никак не должен  попасть в поле зрения поисковых систем.

 1. Создание и настройка файла robots.txt с помощью плагина KB Robots.txt

Очень просто: «Плагины» — «Добавить новый»- в поле поиска robots.txt, затем установить и активировать. Далее открываем страницу настроек  плагина и в специальном окне создаем файл.

                                            2. Правильная настройка файла robots.txt

Для того, чтобы настроить именно правильный robots.txt, нужно использовать директивы User-agent, Disallow и Allow.

Директива Disallow — запрещающая, Allow — разрешающая индексацию определенных страниц сайта.

Поисковые роботы(боты) читают содержимое файла (как впрочем и исходный код любой страницы) сверху-вниз, поэтому именно User-agent должна стоять первой строкой.

User-agent: Yandex

# This is your robots.txt file. Visit Options->Robots.txt to change this text.
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /attachment/ 
Allow: /wp-content/uploads/
Sitemap: http://prt56.ru/sitemap.xml

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /attachment/ 
Allow: /wp-content/uploads/
Host: prt56.ru
Sitemap: http://prt56.ru/sitemap.xml

3.Создание файла robots.txt без плагина

Еще лучше вообще все сделать без плагина:  для этого нужно создать текстовой файл в блокноте с именем robots.txt , вставить в него все нужные строки и загрузите его в корневую папку блога, прежде деактивировав плагин. После проверки состояния работы файла — плагин вообще можно удалить.