Файл robots.txt очень важен для каждого уважающего себя сайта. В этом файле робот поисковой системы находит информацию: какой каталог или страницу сайта индексировать, а какую нет. Так же в этом файле можно запретить сайт к индексации.

Вообще этот файл создан для того, чтобы быть универсальным средством для всех поисковых систем, из которого они будут понимать что индексировать, а что нет.

Рассмотрим основные правила создания файла robots.txt:

1. Размещать такой файл нужно в корне сайта, т.е. он должен быть доступен по ссылке http://site.ru/robots.txt.

2. Структура файла выглядит так:

Если в первой строке поставить * после двоеточия, то это будет обозначать, что эта информация для всех роботов. Выглядит так:


3. Помните, что инструкции для разных роботов должны быть отделены пустой строкой.

4. Комментарий в файле можно сделать, поставив знак # перед строкой с комментарием.

В заключении стоит отметить, что каждый хороший сайт имеет правильно созданный файл robots.txt, т.к. от этого файла зависит многое в продвижении сайта.