Для того, чтобы избавиться от двойных ссылок на вашем сайте и чтобы Ваш сайт стал индексироваться в поисковых системах, нужно загрузить себе на сайт robots.txt. Я рассматриваю этот процесс для хостинга sprinthost, но большой разницы загрузки файла на другие хостинги нет.

Прежде, чем это делать надо установить плагин Google XML Sitemaps.

Сделайте это аналогично этому. Только вместо плагина Импорт  выбираем Google XML Sitemaps.

Скачать плагин Google XML Sitemaps можно и нужно с официального сайта.

Теперь заходим по этой ссылке в https://sprinthost.ru, затем в Панель управления, вводим Ваше имя и пароль

загрузить robots txt на сайт

И заходим в раздел Файловый менеджер

загрузить robots txt

На панели управления выбираем public_html

загрузить robots txt на сайт

Выбираем свой домен (имя Вашего сайта)

Затем внизу страницы Загрузить файлы в текущую директорию

загрузить robots txt

Правильная директория должна быть домены/имя сайта/public_html

Выбираем свой файл на компьютере и Загрузить файлы.

загрузить robots txt на сайт

Проверяем все ли получилось как надо. Возвращаемся Домой,

заходим в раздел Файловый менеджер, на панели управления выбираем public_html, выбираем свой домен и ищем файл robots.txt.

загрузить robots txt на сайт Он здесь. Все очень просто!

ВАЖНО! Перед тем, как загрузить на хостинг файл robots.txt обязательно надо проверить нет ли в нем ошибок.
При каких то ошибках при индексации Яндекс будет выдавать ошибку и будет видеть не все страницы. Страницы возможно будут индексироваться не все или только одна. Конкретно надо проверить на наличие пробелов в конце всех строк.

загрузить robots txt

На картинке показано как не должно и должно быть. Т.е., при выделении  строки слеж должен остановиться в конце строки и ничего не должно выделиться.

Есть специальная страница для проверки файл robots.txt. Это здесь. 

Сам файл robots.txt можно скопировать здесь. 

ВАЖНО – скопируйте всю информацию из файла именно в Блокнот и надо сохранить на своем компьютере под именем – robots.txt. Ни в коем случае не сохраняйте файл в документах Word, он не будет работать!

Удачи!

Еще полезные темы:

 

НадеждаSEOзагрузить robots txt,загрузить robots txt на сайт
Для того, чтобы избавиться от двойных ссылок на вашем сайте и чтобы Ваш сайт стал индексироваться в поисковых системах, нужно загрузить себе на сайт robots.txt. Я рассматриваю этот процесс для хостинга sprinthost, но большой разницы загрузки файла на другие хостинги нет. Прежде, чем это делать надо установить плагин Google XML Sitemaps. Сделайте это...

Возможно Вас также заинтересует:

Форма поиска от Яндекса на сайте – как установить
Зачем нужна форма поиска для сайта Яндекс? Мой блог рассчитан на начинающих блогеров, так что надо объяснить это. Много начинающих говорят о плохой индексации ...
105 трастовых сайтов с тиц от 500
  Здравствуйте, уважаемый читатель моего блога. Я раньше уже писала что такое трастовые сайты и выкладывала список трастовых сайтов. Вот добавка -  105 сайтов с тиц от 500. Не ...
Увеличение тИЦ 9 июня 2016 года, обновление алгоритма расчёта тИЦ от Яндекса
Привет всем читателям моего блога. Вот уже год прошел со дня первого получения тИЦ. Если у вашего ресурса еще нет тИЦ, то вам будет ...
Как выбрать название сайта и тему
На самом деле это не сложно. Лучше всего взять тему, которая Вас лично интересует. Вспомните то, что Вы искали за последние 30 дней. Предлагаю выписать ...
Что такое файл robots
Файл robots.txt нужен для управлений индексацией Вашего сайта поисковыми системами. Этот файл может запретить для индексации одни файлы и каталоги и разрешить другие. Robots.txt - ...
Полезные SEO ресурсы Интернета
Здесь найдете список полезных ресурсов интернета. Одними я пользуюсь, другими нет. Нашла этот список на форуме, мне он показался полезным. Полезные SEO ресурсы Интернета
Как настроить плагин All in One SEO Pack
Здравствуйте, уважаемый читатель моего блога. В этой статье мы рассмотрим как правильно настроить плагин  All in One SEO Pack. От настроек этого плагина будет ...
Как ускорить wordpress с помощью минимизации CSS, HTML и Javascript
Продолжаем улучшать сайт на wordpress. Поговорим на тему как ускорить wordpress.