создать файл robots.txtФайл robots.txt нужен для управлений индексацией Вашего сайта поисковыми системами. Этот файл может запретить для индексации одни файлы и каталоги и разрешить другие.
Robots.txt – это обыкновенный текстовый файл, который располагается в корне сайта. Он состоит из набора команд, сообщающих какую нибудь информацию поисковому роботу.

Как создать файл robots.txt

Общий синтаксис очень простой – директива: значение
User-Agent
Эта директива обозначает, к какому именно роботу соответствуют все последующие директивы. Если это * , то это соответствует абсолютно всем поисковым роботам. Для определения какую либо конкретной поисковой системы, то надо поставить значением имя поискового робота (Google, Yandex, Mail, Rambler и так далее).
User-agent: Google
Allow
Эта директива разрешает индексацию указанных в значении элементов.
Allow: / lib
В данном случае мы разрешаем индексацию каталога lib.
Disallow
Противоположная директива – Allow, запрещает индексацию указанных элементов.
Disallow: /lib
Важно понимать что существует приоритет директив. Та, которая прописана раньше имеет больший приоритет.
Если
Allow: /images
Disallow: /
То при запрещении индексации сайта полностью (Disallow: /), на каталог images запрет не распространяется, т.к. она прописана раньше.
* – используется в директивах Allow и Disallow, и звездочка обозначает любую последовательность элементов. Например,
Disallow: /lib/*.php
Здесь запрещена индексация всех PHP-файлов в директории lib.
Sitemap
Эта директива нужна , если у Вас имеется XML-версия карты сайта. В значении указывается полный путь к карте сайта. Пишется так
Sitemap: http://имя сайта/sitemap.xml
Host
Данная директиву нужна только для Яндекса, то есть для других поисковых роботов данная директива просто не увидят. Значение здесь – это адрес основного сайта. Если у Вашего сайта есть несколько зеркал (имя сайта.ru, имя сайта.com, имя сайта.net). В значении надо указывать основной адрес:
Host: имя сайта.ru
Clean-param
Если Ваш сайт динамический, то очень часто в ссылку передаются параметры, которые не влияют на содержимое страницы. Например, два адреса одной и той же страницы:
http://mysite.ru/index.php?id=15&sid=fdsl3l39dsfdsl3l39ds93fdsl3l3ds
http://mysite.ru/index.php?id=15&sid=a4hl33392gfhnlz4hdklf3fd372dvfs
Фактически, эти ссылки отличаются значением параметра sid, а потому для поисковой системы это две абсолютно разных страницы. При этом очень часто такие параметры никак не меняют содержимое страницы. И вот, чтобы убрать дублирование (злой враг оптимизации), возникающее вот от таких параметров, необходимо использовать директиву Clean-param:
Clean-param: sid /index.php
Важно! Главный принцип составление этого файла – ВСЕ, ЧТО НЕ ЗАПРЕЩЕНО – ТО РАЗРЕШЕНО. Значит, если Вы не будете создавать файл robots.txt , то Ваш сайт проиндексируется полностью, от начала и до конца, что не очень хорошо.
Например, поисковому роботу совсем необязательно индексировать личную информацию в различных скриптах и системных файлах. Для создания запретов и нужен файл robots.txt.

Приблизительное содержание файла robots.txt можно взять здесь.

Удачи!

Если у Вас остались какие либо вопросы, пишите, обязательно отвечу.

Еще полезные темы:

 

НадеждаSEOсоздать файл robots txt
Файл robots.txt нужен для управлений индексацией Вашего сайта поисковыми системами. Этот файл может запретить для индексации одни файлы и каталоги и разрешить другие. Robots.txt - это обыкновенный текстовый файл, который располагается в корне сайта. Он состоит из набора команд, сообщающих какую нибудь информацию поисковому роботу. Как создать файл robots.txt Общий синтаксис очень...

Возможно Вас также заинтересует:

Как добавить сайт в поисковики
Добавить сайт в поисковики достаточно легко, если знаешь что делать.  
Как настроить плагин All in One SEO Pack
Здравствуйте, уважаемый читатель моего блога. В этой статье мы рассмотрим как правильно настроить плагин  All in One SEO Pack. От настроек этого плагина будет ...
80 способов повысить конверсию сайта
Если вы понятия не имеете о конверсии, совсем недавно начали вести свой блог или только думаете об этом. А может вы хотите продвинуть свой сайт по-быстрее и не знаете как ...
Внутренняя перелинковка сайта. Плагин IGIT Related Posts With Thumb.
Что решается с помощью правильной внутренней перелинковки сайта: Полная индексация Вашего блога. То есть поисковый робот при индексировании может пробежать по большему количеству страниц. Улучшение юзабилити ...
Что такое хост и хит
Что такое хит и хост. Не путать с хостингом. Хочу еще раз пояснить что такое хостинг. Хотя я уже задевала этот вопрос здесь. Непосвященному кажется ...
Не создавать черновики – это внутренняя оптимизация сайта
Здравствуйте, уважаемый читатель. Сегодня еще раз хочу поговорить о внутренней оптимизации сайта. Начинающий вебмастер не заботится о производительности своего блога. Пока блог работает, все ...
Зависит ли от регулярности публикаций постов посещаемость сайта
На моем блоге пишу о том, что наблюдаю и делаю, а в этой статье документально хочу показать как влияет регулярность публикаций постов на посещаемость сайта. 
Как и куда прописываются теги Title и Description
Что это такое - теги Title и Description? Эти теги необходимы для оптимизации Вашего сайта. Если неправильно прописаны теги, поисковые системы не проиндексируют Вашу статью. Много ...