Для того, чтобы избавиться от двойных ссылок на вашем сайте и чтобы Ваш сайт стал индексироваться в поисковых системах, нужно загрузить себе на сайт robots.txt. Я рассматриваю этот процесс для хостинга sprinthost, но большой разницы загрузки файла на другие хостинги нет.

Прежде, чем это делать надо установить плагин Google XML Sitemaps.

Сделайте это аналогично этому. Только вместо плагина Импорт  выбираем Google XML Sitemaps.

Скачать плагин Google XML Sitemaps можно и нужно с официального сайта.

Теперь заходим по этой ссылке в https://sprinthost.ru, затем в Панель управления, вводим Ваше имя и пароль

загрузить robots txt на сайт

И заходим в раздел Файловый менеджер

загрузить robots txt

На панели управления выбираем public_html

загрузить robots txt на сайт

Выбираем свой домен (имя Вашего сайта)

Затем внизу страницы Загрузить файлы в текущую директорию

загрузить robots txt

Правильная директория должна быть домены/имя сайта/public_html

Выбираем свой файл на компьютере и Загрузить файлы.

загрузить robots txt на сайт

Проверяем все ли получилось как надо. Возвращаемся Домой,

заходим в раздел Файловый менеджер, на панели управления выбираем public_html, выбираем свой домен и ищем файл robots.txt.

загрузить robots txt на сайт Он здесь. Все очень просто!

ВАЖНО! Перед тем, как загрузить на хостинг файл robots.txt обязательно надо проверить нет ли в нем ошибок.
При каких то ошибках при индексации Яндекс будет выдавать ошибку и будет видеть не все страницы. Страницы возможно будут индексироваться не все или только одна. Конкретно надо проверить на наличие пробелов в конце всех строк.

загрузить robots txt

На картинке показано как не должно и должно быть. Т.е., при выделении  строки слеж должен остановиться в конце строки и ничего не должно выделиться.

Есть специальная страница для проверки файл robots.txt. Это здесь. 

Сам файл robots.txt можно скопировать здесь. 

ВАЖНО – скопируйте всю информацию из файла именно в Блокнот и надо сохранить на своем компьютере под именем – robots.txt. Ни в коем случае не сохраняйте файл в документах Word, он не будет работать!

Удачи!

Еще полезные темы:

 

НадеждаSEOзагрузить robots txt,загрузить robots txt на сайт
Для того, чтобы избавиться от двойных ссылок на вашем сайте и чтобы Ваш сайт стал индексироваться в поисковых системах, нужно загрузить себе на сайт robots.txt. Я рассматриваю этот процесс для хостинга sprinthost, но большой разницы загрузки файла на другие хостинги нет. Прежде, чем это делать надо установить плагин Google XML Sitemaps. Сделайте это...

Возможно Вас также заинтересует:

Как зарегистрироваться на сервисе рассылок Smartresponder
Здравствуйте, уважаемый читатель моего блога. Эта статья посвящена сервису рассылок Smartresponder. Зарегистрироваться на сервисе рассылок очень легко. Зачем они вообще нужны? На Ваш блог ...
Как получить «жирную» ссылку на сайт (Openstat – регистрация и установка)
Инструкция по регистрации и установке счетчика Openstat. Это информация о том, как можно получить очередную ссылку. И не простую, а из категории так называемых «жирных» ссылок на сайт.  
Краткая инструкция по поисковой оптимизации для начинающих – оптимизация страниц сайта
Я очень надеюсь, что моя инструкция будет полезна веб-мастерам, только что начавший свой путь, так и для желающим улучшить свой сайт уже опытным пользователям. Поисковая оптимизация ...
Программа для размещения объявлений на досках – отзыв
Это отзыв о программе для размещения объявлений на досках. Здесь также можно скачать программу для досок объявлений.
Как добавить сайт в поисковики
Добавить сайт в поисковики достаточно легко, если знаешь что делать.  
Пользуюсь постоянно
Здравствуйте, уважаемый читатель моего блога. Вот решила поделиться тем, чем пользуюсь на постоянной основе. Да и самой удобно будет пользоваться, когда все на одной странице ...
Влияет ли структура URL на рейтинг сайта
Тема структуры ссылки обсуждается до сих пор в течение многих лет в SEO индустрии. Чего только не пытаются сделать оптимизаторы, чтобы повысить рейтинг своих сайтов. 
Краткая инструкция по поисковой оптимизации для начинающих – структура навигации сайта
Структура навигации сайта очень важна для поисковых систем, да и для пользователей тоже.