Правильный файл robots txt для wordpress

Здравствуйте друзья! Robots.txt — файл ограничения доступа поисковых роботов к содержимому на вашем блоге или сайте. Правильный файл robots.txt для wordpress должен соответствовать определенным правилам.

Во-первых, этот файл необходимо создать в корне вашего сайта  и прописать в нем некоторые строки, которые я приведу ниже. Так как я работаю на движке wordpress я буду писать именно о файле robots.txt для wordpress.

Итак. Если у вас еще нет этого файла на вашем блоге, то создайте его и поместите его в корень вашего блога на сервере.

Когда поисковый робот заходит на ваш блог, он сразу же ищет этот файл, потому что именно он указывает что индексировать на блоге можно, а что нельзя.

Так же он указывает на наличие sitemap.xml на сервере, если у вас нет и sitemap.xml, то это говорит о том, что вы еще новичок в блоговедении.

На блоге wordpress имеется куча папок которые не нужно индексировать поисковикам, поэтому можно сделать так, чтобы поисковик не тратил на них время а индексировал, только самое необходимое. Вы можете подумать, — «Ну и что, не мое же время».

А это очень важный момент, так как робот может устать индексировать всякую хрень и пропустить некоторые важные страницы вашего блога, так что советую придать файлу robots.txt особое внимание.

Как сделать файл robots.txt? Очень просто. Создайте у себя на рабочем столе текстовый файл robots.txt откройте его и пропишите следующее:

User-agent: Googlebot-Image
Allow: /wp-content/uploads/
 
User-agent: YandexImages
Allow: /wp-content/uploads/

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /?replytocom*
 
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /?replytocom*

Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Вместо site.ru — укажите адрес вашего блога. Готово!

Не бойтесь, здесь все составлено четко, ваши посты в безопасности =))) Сами разработчики wordpress рекомендуют такой файл wordpress robots.txt.

Некоторые веб-мастера рекомендуют помещать в роботс еще и правила типа *?* и подобные, но я настоятельно не рекомендую этого делать в реалиях 2015 года.

Еще о нововведениях, касающихся в том числе и этого файла читайте в статье: Скорость загрузки страницы сайта. Как увеличить? Там описано, почему не все подряд Google рекомендует закрывать. Ну а о наиболее часто встречающихся ошибках robots.txt тоже есть отдельная статья.

А если уж Вам совсем лень со всем этим разбираться, милости просим: ИТ-Помощник

Ну вот и вы теперь знаете как составить правильный robots.txt для wordpress! Успехов!!!