создать файл robots.txtФайл robots.txt нужен для управлений индексацией Вашего сайта поисковыми системами. Этот файл может запретить для индексации одни файлы и каталоги и разрешить другие.
Robots.txt – это обыкновенный текстовый файл, который располагается в корне сайта. Он состоит из набора команд, сообщающих какую нибудь информацию поисковому роботу.

Как создать файл robots.txt

Общий синтаксис очень простой – директива: значение
User-Agent
Эта директива обозначает, к какому именно роботу соответствуют все последующие директивы. Если это * , то это соответствует абсолютно всем поисковым роботам. Для определения какую либо конкретной поисковой системы, то надо поставить значением имя поискового робота (Google, Yandex, Mail, Rambler и так далее).
User-agent: Google
Allow
Эта директива разрешает индексацию указанных в значении элементов.
Allow: / lib
В данном случае мы разрешаем индексацию каталога lib.
Disallow
Противоположная директива – Allow, запрещает индексацию указанных элементов.
Disallow: /lib
Важно понимать что существует приоритет директив. Та, которая прописана раньше имеет больший приоритет.
Если
Allow: /images
Disallow: /
То при запрещении индексации сайта полностью (Disallow: /), на каталог images запрет не распространяется, т.к. она прописана раньше.
* – используется в директивах Allow и Disallow, и звездочка обозначает любую последовательность элементов. Например,
Disallow: /lib/*.php
Здесь запрещена индексация всех PHP-файлов в директории lib.
Sitemap
Эта директива нужна , если у Вас имеется XML-версия карты сайта. В значении указывается полный путь к карте сайта. Пишется так
Sitemap: http://имя сайта/sitemap.xml
Host
Данная директиву нужна только для Яндекса, то есть для других поисковых роботов данная директива просто не увидят. Значение здесь – это адрес основного сайта. Если у Вашего сайта есть несколько зеркал (имя сайта.ru, имя сайта.com, имя сайта.net). В значении надо указывать основной адрес:
Host: имя сайта.ru
Clean-param
Если Ваш сайт динамический, то очень часто в ссылку передаются параметры, которые не влияют на содержимое страницы. Например, два адреса одной и той же страницы:
http://mysite.ru/index.php?id=15&sid=fdsl3l39dsfdsl3l39ds93fdsl3l3ds
http://mysite.ru/index.php?id=15&sid=a4hl33392gfhnlz4hdklf3fd372dvfs
Фактически, эти ссылки отличаются значением параметра sid, а потому для поисковой системы это две абсолютно разных страницы. При этом очень часто такие параметры никак не меняют содержимое страницы. И вот, чтобы убрать дублирование (злой враг оптимизации), возникающее вот от таких параметров, необходимо использовать директиву Clean-param:
Clean-param: sid /index.php
Важно! Главный принцип составление этого файла – ВСЕ, ЧТО НЕ ЗАПРЕЩЕНО – ТО РАЗРЕШЕНО. Значит, если Вы не будете создавать файл robots.txt , то Ваш сайт проиндексируется полностью, от начала и до конца, что не очень хорошо.
Например, поисковому роботу совсем необязательно индексировать личную информацию в различных скриптах и системных файлах. Для создания запретов и нужен файл robots.txt.

Приблизительное содержание файла robots.txt можно взять здесь.

Удачи!

Если у Вас остались какие либо вопросы, пишите, обязательно отвечу.

Еще полезные темы:

 

НадеждаSEOсоздать файл robots txt
Файл robots.txt нужен для управлений индексацией Вашего сайта поисковыми системами. Этот файл может запретить для индексации одни файлы и каталоги и разрешить другие. Robots.txt - это обыкновенный текстовый файл, который располагается в корне сайта. Он состоит из набора команд, сообщающих какую нибудь информацию поисковому роботу. Как создать файл robots.txt Общий синтаксис очень...

Возможно Вас также заинтересует:

Не создавать черновики – это внутренняя оптимизация сайта
Здравствуйте, уважаемый читатель. Сегодня еще раз хочу поговорить о внутренней оптимизации сайта. Начинающий вебмастер не заботится о производительности своего блога. Пока блог работает, все ...
Как установить плагин социальных сетей
Плагин социальных сетей помогает сообщать что происходит на сайте, какие изменения тут происходят, какие статьи появляются. Причем очень быстро и удобно. Плюс эти кнопки позволяют ...
Дорогие вебмастера, предлагаю обмен ссылками или статьями
Дорогие вебмастера! Если вы хотите обменяться с блогом vkpluss.ru ссылками (постовыми) или статьями —  напишите мне на почту nvt1967@gmail.com. В письме укажите: адрес сайта, его ...
Вебинары от Яндекса
Привет всем читателям моего блога. Редко пишу в последнее время. А иногда вообще думаю - зачем писать, если есть яндекс вебинары. Кто если не Яндекс ...
Оптимизация баз данных, чистка базы с помощью плагина WP Clean Up
Здравствуйте, уважаемый читатель. Продолжаю тему оптимизации баз данных. В предыдущей статье о вреде черновиков  я уже доводить до Вашего сведения, что сам движок WordPress ...
Увеличение тИЦ 9 июня 2016 года, обновление алгоритма расчёта тИЦ от Яндекса
Привет всем читателям моего блога. Вот уже год прошел со дня первого получения тИЦ. Если у вашего ресурса еще нет тИЦ, то вам будет ...
Как создать сайт самостоятельно? Этапы создания сайта.
ru   Все-таки нельзя сказать однозначно – создать сайт самостоятельно легко или сложно, для каждого эти понятия имеют разные значения. Я решила ...
Консультация по повышению посещаемости
Всем доброго времени суток. На днях зарегистрировалась в сервисе advertur. Это один из сервисов, предлагающих заработать путем размещения рекламы на своем сайте. Не знаю как это ...