robots.txt — файл ограничения доступа роботам к содержимому на http-сервере. Файл должен находиться в корне сайта (то есть иметь путь относительно имени сайта /robots.txt). При наличии нескольких поддоменов файл «robots.txt» должен располагаться в корневом каталоге каждого из них. Данный файл дополняет стандарт Sitemaps.
Архивы по дням: 12.09.2017
1 запись