Crawl delay

Эта директива относится к рекомендациям, которые поисковые роботы вольны учитывать, но большинство крупных поисковых систем их соблюдает. Google, Yandex, YouTube и другие при сканировании сайта считаются с параметром crawl-delay, если он корректно записан в файле robots.txt.

Синтаксис crawl-delay в robots.txt

На практике директива выглядит просто:

User-agent: Googlebot
Crawl-delay: 5

User-agent: Yandexbot
Crawl-delay: 10

Цифра — это количество секунд, которые поисковый робот должен ждать между двумя запросами к вашему серверу. После скачивания одной страницы бот ждёт указанное время, затем запрашивает следующую. Это как светофор для поисковых роботов: вместо того чтобы засыпать сервер сотнями одновременных запросов, автоматизированный краулер соблюдает заданный интервал.

Файл robots.txt обрабатывается один раз в начале сеанса краулинга, поэтому значение crawl-delay действует на весь цикл обхода сайта. Каждый блок с user-agent получает собственные настройки. Если нужны разные ограничения для Googlebot и Yandexbot, они конфигурируются отдельно. Директива может комбинироваться с параметрами allow, disallow и ссылкой на sitemap в одном файле robots.txt.

Rate Limit в Google Search Console — это не то же самое

Много специалистов путают crawl-delay из robots.txt с Rate Limit в Google Search Console. Оба влияют на скорость обхода сайта, но работают по-разному.

Rate Limit — инструмент в интерфейсе Search Console, раздел Settings > Crawl rate. Здесь можно вручную установить текущее ограничение на количество запросов в секунду от Googlebot. Rate Limit действует как временный верхний предел нагрузки. Его можно менять каждый день, отслеживая поведение сервера в реальном времени.

Crawl-delay в robots.txt — постоянная рекомендация, которая распространяется на все поисковые системы, уважающие этот стандарт. Директива действует всегда, пока стоит в файле.

Разница между Crawl Budget и Crawl Delay

Ещё одна путаница — Crawl Budget. Это не параметр для настройки, а метрика. Crawl Budget означает общее количество URL, которое поисковая система способна обойти за определённый период (обычно за день). Бюджет зависит от размера сайта, его авторитета в поиске и количества технических ошибок на страницах.

Важный нюанс: crawl-delay — локальное ограничение на частоту запросов между двумя обращениями к серверу. Crawl Budget — глобальный показатель времени и ресурсов, которые поисковые роботы готовы потратить на сайт целиком. Если на сайте много ошибок или низкая скорость ответа, бюджет краулинга сократится, и роботы будут сканировать меньше страниц ежедневно.

Влияние на скорость индексирования и появление контента в поиске

Завышенный crawl-delay замедляет обход страниц поисковыми роботами. Следствие — новые и обновлённые материалы попадают в индекс медленнее, чем у конкурентов. Для высоконагруженного портала это критично.

Новостной сайт, выпускающий 50 статей в день, не может позволить себе crawl-delay: 10. Роботы просто не успеют обойти весь объём за сутки, и новый контент появится в поиске с задержкой в несколько дней. Это означает потерю трафика в самый важный момент, когда новость топит в поиске.

Для малого сайта со скромным количеством страниц (500–1000) влияние параметра незначительно. Даже при crawl-delay: 5 бот обойдёт всё за пару часов и вернётся к важным разделам достаточно быстро.

Когда настройка crawl-delay критична

Большие информационные портали, новостные издания и каталоги товаров требуют тщательной настройки. Если сервер без проблем обрабатывает несколько параллельных соединений от Googlebot, лучше установить crawl-delay: 1 или удалить директиву полностью, используя полную скорость обхода.

Главный критерий — нагрузка на сервер при использовании параметра. Если мониторинг показывает скачки CPU и потребления памяти во время краулинга, crawl-delay помогает защитить инфраструктуру и сохранить стабильность при создании новых публикаций.

Специализированные сайты с уникальным контентом часто выигрывают от установки crawl-delay: 2–3. Это позволяет серверу обслуживать реальных пользователей, пока автоматизированные краулеры работают в фоне без излишней нагрузки.

Маленькие сайты на надёжном хостинге обычно не нуждаются в crawl-delay. Нагрузка от роботов незаметна, и оптимальнее разрешить им работать на полной скорости.