Как проверить robots.txt на корректность

Опубликовал Евгений от августа 23, 2012





Успешное продвижение сайта может потребовать скрытия некоторых его разделов или страниц от «глаз» поисковой системы. Такие команды для поисковых машин содержаться в специальном файле, который называется robots.txt. Текстовый файл robots.txt служит для того, чтобы отдавать команды поисковой системе относительно того, какой сайт выводить в поисковую выдачу, а также в какой части его демонстрировать пользователям. Некорректно составленный файл может стать причиной многих проблем, поэтому необходимо регулярно проверять его на правильность.

Смотрите полный видеокурс на iTunes

Сущность и создание файла robots.txt

Текстовый файл robots.txt можно найти в корневой директории сайта. Если там его не удалось обнаружить, то можно создать файл вручную, воспользовавшись стандартной программой «Блокнот» — для этого достаточно просто создать файл и назвать его robots.txt. Чтобы убедиться, что поисковая машина будет корректно допускать к индексации нужные страницы сайта, необходимо проверить robots.txt на правильность. В этом файле прописывают команды для поисковых машин. В частности, можно сделать так, что поисковой робот не будет индексировать сайт или его определённые страницы. Здесь же указывается основное зеркало сайта, которое будет участвовать в поисковой выдаче, а также прописывается путь к файлу sitemap. Если вовремя не проверить robots.txt на предмет правильности составления, то можно пропустить некорректную задачу, которая позволит, к примеру, допускать к индексации технические разделы сайта, скрывая нужные страницы.

Негативные последствия неправильной настройки файла robots.txt

Практика знает немало случаев, когда неправильно составленный текстовый файл robots.txt доставлял немало забот и финансовых потерь владельцу сайта. В частности, одной из самых распространённых проблем является сокрытие от индексации полезных страниц портала, которые предназначены для пользователей, и демонстрация разделов, которые, наоборот, должны быть скрыты от посторонних глаз. Например, если вовремя не проверить robots.txt на правильность и не увидеть ошибку в его содержании, то можно столкнуться с немалыми неприятностями, связанными с обнародованием конфиденциальных данных своих клиентов, партнёров, инвесторов и прочих третьих лиц. К тому же на суд пользователей может быть выставлен технический раздел сайта, который в нормальных условиях должен быть скрыт от глаз пользователей. Иными словами, корректность файла robots.txt – важное условие для нормальной работы сайта.

Порядок проверки файла robots.txt

Для того чтобы проверить robots.txt можно воспользоваться несколькими инструментами. Чаще всего в этих целях используют анализ robots.txt в Яндекс.Вебмастер. Чтобы выявить полный список ошибок в составлении файла robots.txt, достаточно просто ввести доменное имя в соответствующее текстовое поле сервиса. Если система выдала ошибку или несколько, то следует незамедлительно приступить к её исправлению. Чем дольше площадка будет работать с некорректно составленным файлом robots.txt, тем больше упущенной выгоды её ждёт. Все один час непопадания важных страниц крупного интернет-магазина в индекс поисковой системы означают колоссальные убытки. Это связано с огромной посещаемостью таких крупных торговых порталов, где каждая минута простоя означает упущенную выгоду. Но и сайты поменьше тоже не выиграют, пока их главные страницы скрыты от индексации. Поэтому ошибки в файле robots.txt следует исправлять как можно скорее, не дожидаясь пока они наделают дел.

Всех благ Вам и удачи, Евгений Беляков.

Подписывайтесь на мою рассылку – Реальные деньги в виртуальном мире.

Вступайте в мои группы на SubScribe:

«Интернет для всех: пенсионеры в глобальной сети – объединяйтесь!» и

«За здоровый Интернет»

Популярность: 15%

Если Вам понравилась эта статья, подпишитесь на новые через RSS. Моя RSS!

На эту тему я писал раньше:


Об авторе

Евгений




Комментарии

4 комментария to “Как проверить robots.txt на корректность”


  1. Спасибо за статью. А есть ли более конкретный пример? Говорит ли Яндекс.Вебмастер, какую ошибку надо исправить, и что нужно сделать в исправлении?

    [Ответить]


  2. Правильная статья. Жаль, только что есть опечатка: «Все один час непопадания важных страниц крупного интернет-магазина в индекс поисковой системы означают колоссальные убытки. Это связано с огромной посещаемостью таких крупных торговых порталов, где каждая минута простоя означает упущенную выгоду.» Здесь вместо «Все» Видимо нужно было бы написать «Всего» ...

    [Ответить]


  3. Хорошая статья, спасибо.

    [Ответить]


  4. Хорошая статья. Жаль нет ссылки на Яндекс.Вебмастер. Она была бы здесь кстати.

    [Ответить]

Оставьте комментарий

«Реальные деньги в виртуальном мире»
Подпишитесь на рассылку
Введите Ваше Имя и Ваш E-mail:

Ваш E-Mail в безопасности