Файл robots.txt
Robots.txt — текстовый файл, предназначенный для роботов поисковых систем и расположенный на сайте. В файле robots.txt указываются параметры индексирования сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.