создать файл robots.txtФайл robots.txt нужен для управлений индексацией Вашего сайта поисковыми системами. Этот файл может запретить для индексации одни файлы и каталоги и разрешить другие.
Robots.txt – это обыкновенный текстовый файл, который располагается в корне сайта. Он состоит из набора команд, сообщающих какую нибудь информацию поисковому роботу.

Как создать файл robots.txt

Общий синтаксис очень простой – директива: значение
User-Agent
Эта директива обозначает, к какому именно роботу соответствуют все последующие директивы. Если это * , то это соответствует абсолютно всем поисковым роботам. Для определения какую либо конкретной поисковой системы, то надо поставить значением имя поискового робота (Google, Yandex, Mail, Rambler и так далее).
User-agent: Google
Allow
Эта директива разрешает индексацию указанных в значении элементов.
Allow: / lib
В данном случае мы разрешаем индексацию каталога lib.
Disallow
Противоположная директива – Allow, запрещает индексацию указанных элементов.
Disallow: /lib
Важно понимать что существует приоритет директив. Та, которая прописана раньше имеет больший приоритет.
Если
Allow: /images
Disallow: /
То при запрещении индексации сайта полностью (Disallow: /), на каталог images запрет не распространяется, т.к. она прописана раньше.
* – используется в директивах Allow и Disallow, и звездочка обозначает любую последовательность элементов. Например,
Disallow: /lib/*.php
Здесь запрещена индексация всех PHP-файлов в директории lib.
Sitemap
Эта директива нужна , если у Вас имеется XML-версия карты сайта. В значении указывается полный путь к карте сайта. Пишется так
Sitemap: http://имя сайта/sitemap.xml
Host
Данная директиву нужна только для Яндекса, то есть для других поисковых роботов данная директива просто не увидят. Значение здесь – это адрес основного сайта. Если у Вашего сайта есть несколько зеркал (имя сайта.ru, имя сайта.com, имя сайта.net). В значении надо указывать основной адрес:
Host: имя сайта.ru
Clean-param
Если Ваш сайт динамический, то очень часто в ссылку передаются параметры, которые не влияют на содержимое страницы. Например, два адреса одной и той же страницы:
http://mysite.ru/index.php?id=15&sid=fdsl3l39dsfdsl3l39ds93fdsl3l3ds
http://mysite.ru/index.php?id=15&sid=a4hl33392gfhnlz4hdklf3fd372dvfs
Фактически, эти ссылки отличаются значением параметра sid, а потому для поисковой системы это две абсолютно разных страницы. При этом очень часто такие параметры никак не меняют содержимое страницы. И вот, чтобы убрать дублирование (злой враг оптимизации), возникающее вот от таких параметров, необходимо использовать директиву Clean-param:
Clean-param: sid /index.php
Важно! Главный принцип составление этого файла – ВСЕ, ЧТО НЕ ЗАПРЕЩЕНО – ТО РАЗРЕШЕНО. Значит, если Вы не будете создавать файл robots.txt , то Ваш сайт проиндексируется полностью, от начала и до конца, что не очень хорошо.
Например, поисковому роботу совсем необязательно индексировать личную информацию в различных скриптах и системных файлах. Для создания запретов и нужен файл robots.txt.

Приблизительное содержание файла robots.txt можно взять здесь.

Удачи!

Если у Вас остались какие либо вопросы, пишите, обязательно отвечу.

Еще полезные темы:

 

НадеждаSEOсоздать файл robots txt
Файл robots.txt нужен для управлений индексацией Вашего сайта поисковыми системами. Этот файл может запретить для индексации одни файлы и каталоги и разрешить другие. Robots.txt - это обыкновенный текстовый файл, который располагается в корне сайта. Он состоит из набора команд, сообщающих какую нибудь информацию поисковому роботу. Как создать файл robots.txt Общий синтаксис очень...

Возможно Вас также заинтересует:

Как повысить (проверить) релевантность страниц, текста
В этой статье вы узнаете о том как повысить (проверить) релевантность страниц, текста.
Как ускорить wordpress с помощью минимизации CSS, HTML и Javascript
Продолжаем улучшать сайт на wordpress. Поговорим на тему как ускорить wordpress.
80 способов повысить конверсию сайта
Если вы понятия не имеете о конверсии, совсем недавно начали вести свой блог или только думаете об этом. А может вы хотите продвинуть свой сайт по-быстрее и не знаете как ...
Как повысить рейтинг сайта – 2 простых способа
Всем привет. Вы находитесь на блоге, автор которого так же как и вы занимается продвижением своего блога. Что-то получается, а что-то нет. В общем ...
От чего зависит успешное продвижение сайта в первую очередь
Успешное продвижение сайта во многом зависит от того, что и о чем вы пишите на своем сайте. Много раз читала эту фразу, но как-то ...
Дорогие вебмастера, предлагаю обмен ссылками или статьями
Дорогие вебмастера! Если вы хотите обменяться с блогом vkpluss.ru ссылками (постовыми) или статьями —  напишите мне на почту nvt1967@gmail.com. В письме укажите: адрес сайта, его ...
Программа для размещения объявлений на досках – отзыв
Это отзыв о программе для размещения объявлений на досках. Здесь также можно скачать программу для досок объявлений.
Как выбрать название сайта и тему
На самом деле это не сложно. Лучше всего взять тему, которая Вас лично интересует. Вспомните то, что Вы искали за последние 30 дней. Предлагаю выписать ...