Для того, чтобы избавиться от двойных ссылок на вашем сайте и чтобы Ваш сайт стал индексироваться в поисковых системах, нужно загрузить себе на сайт robots.txt. Я рассматриваю этот процесс для хостинга sprinthost, но большой разницы загрузки файла на другие хостинги нет.

Прежде, чем это делать надо установить плагин Google XML Sitemaps.

Сделайте это аналогично этому. Только вместо плагина Импорт  выбираем Google XML Sitemaps.

Скачать плагин Google XML Sitemaps можно и нужно с официального сайта.

Теперь заходим по этой ссылке в https://sprinthost.ru, затем в Панель управления, вводим Ваше имя и пароль

загрузить robots txt на сайт

И заходим в раздел Файловый менеджер

загрузить robots txt

На панели управления выбираем public_html

загрузить robots txt на сайт

Выбираем свой домен (имя Вашего сайта)

Затем внизу страницы Загрузить файлы в текущую директорию

загрузить robots txt

Правильная директория должна быть домены/имя сайта/public_html

Выбираем свой файл на компьютере и Загрузить файлы.

загрузить robots txt на сайт

Проверяем все ли получилось как надо. Возвращаемся Домой,

заходим в раздел Файловый менеджер, на панели управления выбираем public_html, выбираем свой домен и ищем файл robots.txt.

загрузить robots txt на сайт Он здесь. Все очень просто!

ВАЖНО! Перед тем, как загрузить на хостинг файл robots.txt обязательно надо проверить нет ли в нем ошибок.
При каких то ошибках при индексации Яндекс будет выдавать ошибку и будет видеть не все страницы. Страницы возможно будут индексироваться не все или только одна. Конкретно надо проверить на наличие пробелов в конце всех строк.

загрузить robots txt

На картинке показано как не должно и должно быть. Т.е., при выделении  строки слеж должен остановиться в конце строки и ничего не должно выделиться.

Есть специальная страница для проверки файл robots.txt. Это здесь. 

Сам файл robots.txt можно скопировать здесь. 

ВАЖНО – скопируйте всю информацию из файла именно в Блокнот и надо сохранить на своем компьютере под именем – robots.txt. Ни в коем случае не сохраняйте файл в документах Word, он не будет работать!

Удачи!

Еще полезные темы:

 

НадеждаSEOзагрузить robots txt,загрузить robots txt на сайт
Для того, чтобы избавиться от двойных ссылок на вашем сайте и чтобы Ваш сайт стал индексироваться в поисковых системах, нужно загрузить себе на сайт robots.txt. Я рассматриваю этот процесс для хостинга sprinthost, но большой разницы загрузки файла на другие хостинги нет. Прежде, чем это делать надо установить плагин Google XML Sitemaps. Сделайте это...

Возможно Вас также заинтересует:

Как просто и быстро проверить релевантность статьи или страницы сайта
Эта статья посвящена тому как проверить на релевантность свои запись или страницу. А главное, я сейчас поведаю, как очень просто можно ее определять. Здравствуйте, уважаемый читатель. Возвращаюсь к теме ...
Оптимизация изображений для сайта с помощью gimp.org
Уже несколько раз писала о необходимости оптимизации изображений на сайте. Нашла в интернет хорошего помощника в этой области и решила поделиться. 
Как попасть на первую страницу поисковой выдачи в Яндексе? Платный сервис 1ps.ru
Я должна Вам рассказать и о платной возможности попасть на первую страницу поисковой выдачи в Яндексе с помощью сервиса http://1ps.ru/.
Консультация по повышению посещаемости
Всем доброго времени суток. На днях зарегистрировалась в сервисе advertur. Это один из сервисов, предлагающих заработать путем размещения рекламы на своем сайте. Не знаю как это ...
Влияет ли структура URL на рейтинг сайта
Тема структуры ссылки обсуждается до сих пор в течение многих лет в SEO индустрии. Чего только не пытаются сделать оптимизаторы, чтобы повысить рейтинг своих сайтов. 
Как ускорить индексацию сайта поисковиком Яндекс с помощью плагина
Все создатели сайта стремятся побыстрее попасть в раздачи поисковых систем. Быстрая и эффективная индексация сайта подтвердит, что блог замечен поисковой системой, тогда и увеличится ...
Бесплатные социальные закладки
Продолжаем тему увеличения посещаемости на блоге. О положительном эффекте от социальных закладок для новостных сайтов, блогов и других веб-сайтов написано достаточно много. Ну давайте, уточним. Социальные ...
Как повысить рейтинг сайта – 2 простых способа
Всем привет. Вы находитесь на блоге, автор которого так же как и вы занимается продвижением своего блога. Что-то получается, а что-то нет. В общем ...