Справочное руководство
для пользователей сайтов

Управление robots.txt

Файл robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле веб-мастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.

Этот файл автоматически генерируется системой. В файл можно вносить любые требуемые изменения. Если потребуется, вы всегда сможете восстановить стандартный вариант нажав соответствующую кнопку.

Проверить корректен ли ваш robots.txt и протестировать внесенные изменения можно в "Вебмастер Yandex"

Так же проверить robots.txt для соответствующих поисковых систем можно в "Google Webmaster Tools" и "Bing Webmaster", но для этого требуется авторизация в аккаунтах соответствующих поисковых систем.

Подробнее о файле robots.txt вы можете узнать из следующих статей: