Что такое robots.txt?

Поделись записью

robots.txt — файл ограничения доступа роботам к содержимому на http-сервере.

Файл должен находиться в корне сайта (то есть иметь путь относительно имени сайта /robots.txt).

При наличии нескольких поддоменов файл «robots.txt» должен располагаться в корневом каталоге каждого из них.

Данный файл дополняет стандарт Sitemaps.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *