Файл robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле веб-мастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.
Этот файл автоматически генерируется системой. В файл можно вносить любые требуемые изменения. Если потребуется, вы всегда сможете восстановить стандартный вариант нажав соответствующую кнопку.
Проверить корректен ли ваш robots.txt и протестировать внесенные изменения можно в "Вебмастер Yandex"
Так же проверить robots.txt для соответствующих поисковых систем можно в "Google Webmaster Tools" и "Bing Webmaster", но для этого требуется авторизация в аккаунтах соответствующих поисковых систем.
Подробнее о файле robots.txt вы можете узнать из следующих статей:
- Яндекс - Использование robots.txt
- Google - Robots.txt Specifications (на английском)
Поделиться с друзьями: