Для того, чтобы избавиться от двойных ссылок на вашем сайте и чтобы Ваш сайт стал индексироваться в поисковых системах, нужно загрузить себе на сайт robots.txt. Я рассматриваю этот процесс для хостинга sprinthost, но большой разницы загрузки файла на другие хостинги нет.

Прежде, чем это делать надо установить плагин Google XML Sitemaps.

Сделайте это аналогично этому. Только вместо плагина Импорт  выбираем Google XML Sitemaps.

Скачать плагин Google XML Sitemapsможно и нужно с официального сайта.

Теперь заходим по этой ссылке в https://sprinthost.ru, затем в Панель управления, вводим Ваше имя и пароль

загрузить robots txt на сайт

И заходим в раздел Файловый менеджер

загрузить robots txt

На панели управления выбираем public_html

загрузить robots txt на сайт

Выбираем свой домен (имя Вашего сайта)

Затем внизу страницы Загрузить файлы в текущую директорию

загрузить robots txt

Правильная директория должна быть домены/имя сайта/public_html

Выбираем свой файл на компьютере и Загрузить файлы.

загрузить robots txt на сайт

Проверяем все ли получилось как надо. Возвращаемся Домой,

заходим в раздел Файловый менеджер, на панели управления выбираем public_html, выбираем свой домен и ищем файл robots.txt.

загрузить robots txt на сайт Он здесь. Все очень просто!

ВАЖНО! Перед тем, как загрузить на хостинг файл robots.txt обязательно надо проверить нет ли в нем ошибок.
При каких то ошибках при индексации Яндекс будет выдавать ошибку и будет видеть не все страницы. Страницы возможно будут индексироваться не все или только одна. Конкретно надо проверить на наличие пробелов в конце всех строк.

загрузить robots txt

На картинке показано как не должно и должно быть. Т.е., при выделении  строки слеж должен остановиться в конце строки и ничего не должно выделиться.

Есть специальная страница для проверки файл robots.txt. Это здесь. 

Сам файл robots.txt можно скопировать здесь. 

ВАЖНО – скопируйте всю информацию из файла именно в Блокнот и надо сохранить на своем компьютере под именем – robots.txt. Ни в коем случае не сохраняйте файл в документах Word, он не будет работать!

Удачи!

Еще полезные темы:

 

НадеждаSEOзагрузить robots txt,загрузить robots txt на сайт
Для того, чтобы избавиться от двойных ссылок на вашем сайте и чтобы Ваш сайт стал индексироваться в поисковых системах, нужно загрузить себе на сайт robots.txt. Я рассматриваю этот процесс для хостинга sprinthost, но большой разницы загрузки файла на другие хостинги нет. Прежде, чем это делать надо установить плагин Google XML Sitemaps. Сделайте это...

Возможно Вас также заинтересует:

От чего зависит успешное продвижение сайта в первую очередь
Успешное продвижение сайта во многом зависит от того, что и о чем вы пишите на своем сайте. Много раз читала эту фразу, но как-то ...
Краткая инструкция по поисковой оптимизации для начинающих – структура навигации сайта
Структура навигации сайта очень важна для поисковых систем, да и для пользователей тоже.
Вебинары от Яндекса
Привет всем читателям моего блога. Редко пишу в последнее время. А иногда вообще думаю - зачем писать, если есть яндекс вебинары. Кто если не Яндекс ...
Краткая инструкция по поисковой оптимизации для начинающих – правильная структура url
Что такое правильная структура url, на что влияет и как сделать. Это продолжение инструкции по поисковой оптимизации, которая будет полезна веб-мастерам, только что начавший ...
Как правильно писать статьи для сайта – разбор полетов
Привет всем читателям моего блога. Знаете ли вы как правильно писать статьи для сайта? Если все знаете, то я за вас очень рада. А ...
Краткая инструкция по поисковой оптимизации для начинающих – оптимизация страниц сайта
Я очень надеюсь, что моя инструкция будет полезна веб-мастерам, только что начавший свой путь, так и для желающим улучшить свой сайт уже опытным пользователям. Поисковая оптимизация ...
Абонентское обслуживание сайта в первые месяцы существования
На сегодняшний день официальный сайт в том или ином виде есть практически у каждой уважающей компании. Отдельный вариант – сфера интернет-продаж, когда веб-страничка является ...
Чем отличается Google AdWords от Яндекс.Директ
Каждый, кто хочет стать успешным, обязательно должен знать, как использовать рекламу в своем деле. Особенно это касается продвижения товаров и услуг в Сети, ведь ...