Как проверить robots.txt на корректность
Евгений | августа 23, 2012
Успешное продвижение сайта может потребовать скрытия некоторых его разделов или страниц от «глаз» поисковой системы. Такие команды для поисковых машин содержаться в специальном файле, который называется robots.txt. Текстовый файл robots.txt служит для того, чтобы отдавать команды поисковой системе относительно того, какой сайт выводить в поисковую выдачу, а также в какой части его демонстрировать пользователям. Некорректно [...]
Популярность: 17%