Файл robots.txt очень важен для каждого уважающего себя сайта. В этом файле робот поисковой системы находит информацию: какой каталог или страницу сайта индексировать, а какую нет. Так же в этом файле можно запретить сайт к индексации.