Опубликовал Евгений от августа 23, 2012

Успешное продвижение сайта может потребовать скрытия некоторых его разделов или страниц от «глаз» поисковой системы. Такие команды для поисковых машин содержаться в специальном файле, который называется robots.txt. Текстовый файл robots.txt служит для того, чтобы отдавать команды поисковой системе относительно того, какой сайт выводить в поисковую выдачу, а также в какой части его демонстрировать пользователям. Некорректно составленный файл может стать причиной многих проблем, поэтому необходимо регулярно проверять его на правильность.

Смотрите полный видеокурс на iTunes

Сущность и создание файла robots.txt

Текстовый файл robots.txt можно найти в корневой директории сайта. Если там его не удалось обнаружить, то можно создать файл вручную, воспользовавшись стандартной программой «Блокнот» — для этого достаточно просто создать файл и назвать его robots.txt. Чтобы убедиться, что поисковая машина будет корректно допускать к индексации нужные страницы сайта, необходимо проверить robots.txt на правильность. В этом файле прописывают команды для поисковых машин. В частности, можно сделать так, что поисковой робот не будет индексировать сайт или его определённые страницы. Здесь же указывается основное зеркало сайта, которое будет участвовать в поисковой выдаче, а также прописывается путь к файлу sitemap. Если вовремя не проверить robots.txt на предмет правильности составления, то можно пропустить некорректную задачу, которая позволит, к примеру, допускать к индексации технические разделы сайта, скрывая нужные страницы.

Негативные последствия неправильной настройки файла robots.txt

Практика знает немало случаев, когда неправильно составленный текстовый файл robots.txt доставлял немало забот и финансовых потерь владельцу сайта. В частности, одной из самых распространённых проблем является сокрытие от индексации полезных страниц портала, которые предназначены для пользователей, и демонстрация разделов, которые, наоборот, должны быть скрыты от посторонних глаз. Например, если вовремя не проверить robots.txt на правильность и не увидеть ошибку в его содержании, то можно столкнуться с немалыми неприятностями, связанными с обнародованием конфиденциальных данных своих клиентов, партнёров, инвесторов и прочих третьих лиц. К тому же на суд пользователей может быть выставлен технический раздел сайта, который в нормальных условиях должен быть скрыт от глаз пользователей. Иными словами, корректность файла robots.txt – важное условие для нормальной работы сайта.

Порядок проверки файла robots.txt

Для того чтобы проверить robots.txt можно воспользоваться несколькими инструментами. Чаще всего в этих целях используют анализ robots.txt в Яндекс.Вебмастер. Чтобы выявить полный список ошибок в составлении файла robots.txt, достаточно просто ввести доменное имя в соответствующее текстовое поле сервиса. Если система выдала ошибку или несколько, то следует незамедлительно приступить к её исправлению. Чем дольше площадка будет работать с некорректно составленным файлом robots.txt, тем больше упущенной выгоды её ждёт. Все один час непопадания важных страниц крупного интернет-магазина в индекс поисковой системы означают колоссальные убытки. Это связано с огромной посещаемостью таких крупных торговых порталов, где каждая минута простоя означает упущенную выгоду. Но и сайты поменьше тоже не выиграют, пока их главные страницы скрыты от индексации. Поэтому ошибки в файле robots.txt следует исправлять как можно скорее, не дожидаясь пока они наделают дел.

Всех благ Вам и удачи, Евгений Беляков.

Подписывайтесь на мою рассылку – Реальные деньги в виртуальном мире.

Вступайте в мои группы на SubScribe:

«Интернет для всех: пенсионеры в глобальной сети – объединяйтесь!» и

«За здоровый Интернет»

Популярность: 17%

На эту тему я писал раньше:

Категории: Технические моменты
Тэги: SEO оптимизация, блог