Это просто содержание моего файла robots txt, можно скопировать и установить на свой сайт.

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
Host: имя сайта

Sitemap: http://имя сайта/sitemap.xml.gz
Sitemap: http://имя сайта/sitemap.xml

 

НадеждаWordPress
Это просто содержание моего файла robots txt, можно скопировать и установить на свой сайт. User-agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /feed/ Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */comments Disallow: /category/*/* Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed/*/ Disallow: */feed Disallow: /*?* Disallow: /?s= User-agent: Yandex Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /feed/ Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */comments Disallow: /category/*/* Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed/*/ Disallow:...

Возможно Вас также заинтересует:

Как найти и удалить скрытые исходящие ссылки
Здравствуйте, уважаемый читатель моего блога. Продолжаю тему – все о ссылках, хотя эту статью можно отнести и к теме безопасности сайта, а также и ...
Как вставить картинку в сайдбар wordpress
Иногда есть потребность вставить картинку в сайдбар wordpress. Исполняется это аналогично размещению баннеров. В общем-то баннер - это ведь тоже картинка, к которой добавлена ссылка.
Как сделать Фавикон для сайта
Фавиконом называется это красивый значок, который  Все видят возле названия сайта в браузере.  Фавикон позволяет выделиться сайту, как в закладках браузера, так и в ...
Как сделать якорь на странице
 Якорные ссылки - это ссылки, которые выведут Вас на определенную часть страницы. Эти ссылки практически позволяют читателям "прыгать" в различных частях страницы. Может ли человек, незнающий html, сделать якорь? 
Как установить счетчик на сайт
Зачем нужен счетчик на сайте? Для того, чтобы узнать, например, по каким страницам больше посещаемости и можно оценить и принять меры для повышения посещаемости ...
Как поменять пароль на сайте
Сегодня мне по почте пришло письмо от WordPress с просьбой поменять пароль на сайте.
Внутренняя перелинковка сайта. Плагин IGIT Related Posts With Thumb.
Что решается с помощью правильной внутренней перелинковки сайта: Полная индексация Вашего блога. То есть поисковый робот при индексировании может пробежать по большему количеству страниц. Улучшение юзабилити ...
35 лучших бесплатных тем WordPress
Сообщество WordPress большое. Действительно большое. Есть тысячи дизайнеров и разработчиков, десятки тысяч писателей, и миллионы пользователей, все это способствует развитию WordPress.