Это просто содержание моего файла robots txt, можно скопировать и установить на свой сайт.

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
Host: имя сайта

Sitemap: http://имя сайта/sitemap.xml.gz
Sitemap: http://имя сайта/sitemap.xml

 

НадеждаWordPress
Это просто содержание моего файла robots txt, можно скопировать и установить на свой сайт. User-agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /feed/ Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */comments Disallow: /category/*/* Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed/*/ Disallow: */feed Disallow: /*?* Disallow: /?s= User-agent: Yandex Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /feed/ Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */comments Disallow: /category/*/* Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed/*/ Disallow:...

Возможно Вас также заинтересует:

Как отключить и включить редактор файлов в консоли wordpress
Редактирование WP-config.php как-то мало меня интересовало, но видно до некоторой поры. Все-таки пришлось. Вхожу в консоль своего сайта, а там нет редактора файлов. Вы знаете ...
Как настроить тему Islemag wordpress
Islemag является одной из самых лучших бесплатных тем.
Как откатить WordPress на старую версию
Приветствую читателей моего блога. Ну вот, пришла пора и я столкнулась с проблемой при обновлении новой версии WordPress, а именно из  WordPress 5 на  WordPress 4.7.  
Как ускорить сайт на wordpress, выключив HeartBeat API
Всем привет. Продолжаем тему ускорения сайта на wordpress. В статье Как ускорить wordpress с помощью минимизации CSS, HTML и Javascript мы убрали лишнее из файлов, но ...
35 лучших бесплатных тем WordPress
Сообщество WordPress большое. Действительно большое. Есть тысячи дизайнеров и разработчиков, десятки тысяч писателей, и миллионы пользователей, все это способствует развитию WordPress.
18 бесплатных плагинов для таймеров обратного отсчета на сайт
Эта статья посвящена бесплатным плагинам для таймеров обратного отсчета на сайт. 
Как сделать в wordpress последние записи с миниатюрами
Эта статья о том, как сделать в wordpress последние записи с миниатюрами. Делать это мы будем с помощью плагина Newpost Catch. 
10 лучших бесплатных тем WordPress
В этой статье рассмотрены 10 лучших бесплатных тем WordPress, чтобы помочь найти то что вы ищете. В самом деле много сайтов и много шаблонов, иногда часами ...