На сайте нет файла с инструкциями для поисковиков (robots.txt)

Незначительно проверяем автоматически

Что означает эта проверка

Мы не нашли файл с инструкциями для поисковых систем (robots.txt) — это небольшой служебный файл, который подсказывает поисковикам (Яндекс, Google), какие страницы сайта можно показывать в поиске, а какие лучше не трогать.

Где смотрим: На главной странице сайта (по адресу /robots.txt).

Когда всё исправлено

Файл с инструкциями для поисковых систем (robots.txt) теперь есть на сайте и открывается.

Какие факты мы собираем

Найден файл robots.txt. Проверяет, что по адресу /robots.txt отдаётся непустой файл правил для поисковых систем.

Какие требования подтверждает

Сайт должен быть доступен для обхода в рамках проверки Стандарт надёжности CPLY, CPLY Infra Baseline, раздел crawlable

Зелёная карточка: основные публичные страницы доступны для обхода.

Красная карточка: обход ключевых страниц заблокирован.