Это просто содержание моего файла robots txt, можно скопировать и установить на свой сайт.

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
Host: имя сайта

Sitemap: http://имя сайта/sitemap.xml.gz
Sitemap: http://имя сайта/sitemap.xml

 

НадеждаWordPress
Это просто содержание моего файла robots txt, можно скопировать и установить на свой сайт. User-agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /feed/ Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */comments Disallow: /category/*/* Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed/*/ Disallow: */feed Disallow: /*?* Disallow: /?s= User-agent: Yandex Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /feed/ Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */comments Disallow: /category/*/* Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed/*/ Disallow:...

Возможно Вас также заинтересует:

Как установить и настроить плагин Platinum SEO Pack?
Этот плагин очень хорош для внутренней seo-оптимизации сайта.
Как установить движок WordPress
Здравствуйте, уважаемый читатель. В этой статье Вы узнаете как установить WordPress. Раньше, чтобы создать сайт надо было писать страницы на языке программирования , разбираться со стилями, ...
Как найти и удалить скрытые исходящие ссылки
Здравствуйте, уважаемый читатель моего блога. Продолжаю тему – все о ссылках, хотя эту статью можно отнести и к теме безопасности сайта, а также и ...
Как найти и удалить битые ссылки
Статья посвящена теме поиска и удаления битых ссылок на сайте wordpress. 
5 генераторов кнопок онлайн
Здравствуйте, уважаемый читатель моего блога. Эта статья написана в продолжении статьи Как сделать кнопку скачать с помощью кода css. Учимся изменять свойства кнопки с помощью ...
4 лучших плагина WordPress для шрифтов
Статья посвящена обзору плагинов WordPress для шрифтов. 
17 ошибок начинающих блогеров WordPress
Все делают ошибки. Опыт - великий учитель, и все учатся на своих ошибках. Тем не менее,  гораздо более эффективно учиться на ошибках других. В этой статье я ...
Жить хорошо
С помощью моего блога любой человек вне зависимости от возраста, без особых знаний сможет создать свой сайт.