создать файл robots.txtФайл robots.txt нужен для управлений индексацией Вашего сайта поисковыми системами. Этот файл может запретить для индексации одни файлы и каталоги и разрешить другие.
Robots.txt – это обыкновенный текстовый файл, который располагается в корне сайта. Он состоит из набора команд, сообщающих какую нибудь информацию поисковому роботу.

Как создать файл robots.txt

Общий синтаксис очень простой – директива: значение
User-Agent
Эта директива обозначает, к какому именно роботу соответствуют все последующие директивы. Если это * , то это соответствует абсолютно всем поисковым роботам. Для определения какую либо конкретной поисковой системы, то надо поставить значением имя поискового робота (Google, Yandex, Mail, Rambler и так далее).
User-agent: Google
Allow
Эта директива разрешает индексацию указанных в значении элементов.
Allow: / lib
В данном случае мы разрешаем индексацию каталога lib.
Disallow
Противоположная директива – Allow, запрещает индексацию указанных элементов.
Disallow: /lib
Важно понимать что существует приоритет директив. Та, которая прописана раньше имеет больший приоритет.
Если
Allow: /images
Disallow: /
То при запрещении индексации сайта полностью (Disallow: /), на каталог images запрет не распространяется, т.к. она прописана раньше.
* – используется в директивах Allow и Disallow, и звездочка обозначает любую последовательность элементов. Например,
Disallow: /lib/*.php
Здесь запрещена индексация всех PHP-файлов в директории lib.
Sitemap
Эта директива нужна , если у Вас имеется XML-версия карты сайта. В значении указывается полный путь к карте сайта. Пишется так
Sitemap: http://имя сайта/sitemap.xml
Host
Данная директиву нужна только для Яндекса, то есть для других поисковых роботов данная директива просто не увидят. Значение здесь – это адрес основного сайта. Если у Вашего сайта есть несколько зеркал (имя сайта.ru, имя сайта.com, имя сайта.net). В значении надо указывать основной адрес:
Host: имя сайта.ru
Clean-param
Если Ваш сайт динамический, то очень часто в ссылку передаются параметры, которые не влияют на содержимое страницы. Например, два адреса одной и той же страницы:
http://mysite.ru/index.php?id=15&sid=fdsl3l39dsfdsl3l39ds93fdsl3l3ds
http://mysite.ru/index.php?id=15&sid=a4hl33392gfhnlz4hdklf3fd372dvfs
Фактически, эти ссылки отличаются значением параметра sid, а потому для поисковой системы это две абсолютно разных страницы. При этом очень часто такие параметры никак не меняют содержимое страницы. И вот, чтобы убрать дублирование (злой враг оптимизации), возникающее вот от таких параметров, необходимо использовать директиву Clean-param:
Clean-param: sid /index.php
Важно! Главный принцип составление этого файла – ВСЕ, ЧТО НЕ ЗАПРЕЩЕНО – ТО РАЗРЕШЕНО. Значит, если Вы не будете создавать файл robots.txt , то Ваш сайт проиндексируется полностью, от начала и до конца, что не очень хорошо.
Например, поисковому роботу совсем необязательно индексировать личную информацию в различных скриптах и системных файлах. Для создания запретов и нужен файл robots.txt.

Приблизительное содержание файла robots.txt можно взять здесь.

Удачи!

Если у Вас остались какие либо вопросы, пишите, обязательно отвечу.

Еще полезные темы:

 

НадеждаSEOсоздать файл robots txt
Файл robots.txt нужен для управлений индексацией Вашего сайта поисковыми системами. Этот файл может запретить для индексации одни файлы и каталоги и разрешить другие. Robots.txt - это обыкновенный текстовый файл, который располагается в корне сайта. Он состоит из набора команд, сообщающих какую нибудь информацию поисковому роботу. Как создать файл robots.txt Общий синтаксис очень...

Возможно Вас также заинтересует:

От чего зависит успешное продвижение сайта в первую очередь
Успешное продвижение сайта во многом зависит от того, что и о чем вы пишите на своем сайте. Много раз читала эту фразу, но как-то ...
Краткая инструкция по поисковой оптимизации для начинающих – структура навигации сайта
Структура навигации сайта очень важна для поисковых систем, да и для пользователей тоже.
Вебинары от Яндекса
Привет всем читателям моего блога. Редко пишу в последнее время. А иногда вообще думаю - зачем писать, если есть яндекс вебинары. Кто если не Яндекс ...
Краткая инструкция по поисковой оптимизации для начинающих – правильная структура url
Что такое правильная структура url, на что влияет и как сделать. Это продолжение инструкции по поисковой оптимизации, которая будет полезна веб-мастерам, только что начавший ...
Как правильно писать статьи для сайта – разбор полетов
Привет всем читателям моего блога. Знаете ли вы как правильно писать статьи для сайта? Если все знаете, то я за вас очень рада. А ...
Краткая инструкция по поисковой оптимизации для начинающих – оптимизация страниц сайта
Я очень надеюсь, что моя инструкция будет полезна веб-мастерам, только что начавший свой путь, так и для желающим улучшить свой сайт уже опытным пользователям. Поисковая оптимизация ...
Абонентское обслуживание сайта в первые месяцы существования
На сегодняшний день официальный сайт в том или ином виде есть практически у каждой уважающей компании. Отдельный вариант – сфера интернет-продаж, когда веб-страничка является ...
Чем отличается Google AdWords от Яндекс.Директ
Каждый, кто хочет стать успешным, обязательно должен знать, как использовать рекламу в своем деле. Особенно это касается продвижения товаров и услуг в Сети, ведь ...