Для того, чтобы избавиться от двойных ссылок на вашем сайте и чтобы Ваш сайт стал индексироваться в поисковых системах, нужно загрузить себе на сайт robots.txt. Я рассматриваю этот процесс для хостинга sprinthost, но большой разницы загрузки файла на другие хостинги нет.

Прежде, чем это делать надо установить плагин Google XML Sitemaps.

Сделайте это аналогично этому. Только вместо плагина Импорт  выбираем Google XML Sitemaps.

Скачать плагин Google XML Sitemaps можно и нужно с официального сайта.

Теперь заходим по этой ссылке в https://sprinthost.ru, затем в Панель управления, вводим Ваше имя и пароль

загрузить robots txt на сайт

И заходим в раздел Файловый менеджер

загрузить robots txt

На панели управления выбираем public_html

загрузить robots txt на сайт

Выбираем свой домен (имя Вашего сайта)

Затем внизу страницы Загрузить файлы в текущую директорию

загрузить robots txt

Правильная директория должна быть домены/имя сайта/public_html

Выбираем свой файл на компьютере и Загрузить файлы.

загрузить robots txt на сайт

Проверяем все ли получилось как надо. Возвращаемся Домой,

заходим в раздел Файловый менеджер, на панели управления выбираем public_html, выбираем свой домен и ищем файл robots.txt.

загрузить robots txt на сайт Он здесь. Все очень просто!

ВАЖНО! Перед тем, как загрузить на хостинг файл robots.txt обязательно надо проверить нет ли в нем ошибок.
При каких то ошибках при индексации Яндекс будет выдавать ошибку и будет видеть не все страницы. Страницы возможно будут индексироваться не все или только одна. Конкретно надо проверить на наличие пробелов в конце всех строк.

загрузить robots txt

На картинке показано как не должно и должно быть. Т.е., при выделении  строки слеж должен остановиться в конце строки и ничего не должно выделиться.

Есть специальная страница для проверки файл robots.txt. Это здесь. 

Сам файл robots.txt можно скопировать здесь. 

ВАЖНО – скопируйте всю информацию из файла именно в Блокнот и надо сохранить на своем компьютере под именем – robots.txt. Ни в коем случае не сохраняйте файл в документах Word, он не будет работать!

Удачи!

Еще полезные темы:

 

НадеждаSEOзагрузить robots txt,загрузить robots txt на сайт
Для того, чтобы избавиться от двойных ссылок на вашем сайте и чтобы Ваш сайт стал индексироваться в поисковых системах, нужно загрузить себе на сайт robots.txt. Я рассматриваю этот процесс для хостинга sprinthost, но большой разницы загрузки файла на другие хостинги нет. Прежде, чем это делать надо установить плагин Google XML Sitemaps. Сделайте это...

Возможно Вас также заинтересует:

Оптимизация баз данных, чистка базы с помощью плагина WP Clean Up
Здравствуйте, уважаемый читатель. Продолжаю тему оптимизации баз данных. В предыдущей статье о вреде черновиков  я уже доводить до Вашего сведения, что сам движок WordPress ...
От чего зависит успешное продвижение сайта в первую очередь
Успешное продвижение сайта во многом зависит от того, что и о чем вы пишите на своем сайте. Много раз читала эту фразу, но как-то ...
Как выбрать название сайта и тему
На самом деле это не сложно. Лучше всего взять тему, которая Вас лично интересует. Вспомните то, что Вы искали за последние 30 дней. Предлагаю выписать ...
Как просто и быстро проверить релевантность статьи или страницы сайта
Эта статья посвящена тому как проверить на релевантность свои запись или страницу. А главное, я сейчас поведаю, как очень просто можно ее определять. Здравствуйте, уважаемый читатель. Возвращаюсь к теме ...
Оптимизация статей. Как правильно написать статью?
К внутренним факторам SEO относится оптимизация статей. В наше время внутренние факторы оптимизации постепенно заняли ведущие позиции. Внутренняя seo оптимизация оказывает очень большое воздействие ...
Краткая инструкция по поисковой оптимизации для начинающих – структура навигации сайта
Структура навигации сайта очень важна для поисковых систем, да и для пользователей тоже.
Как добавить в код главной страницы сайта мета-тэг
Здравствуйте, уважаемые читатели. У меня создана группа в вконтакте и работает блог, где можно задавать вопросы, но почему-то, для меня это загадка просто, пишут ...
200 факторов ранжирования от Google или google рейтинг в инфографике
Здесь можно увидеть полный список 200 факторов ранжирования от Google.