Allow robots txt

Что такое директива Allow в robots.txt и как она работает

Файл robots.txt управляет не только sitemap. На самом деле его основная задача — контролировать доступ поисковых роботов к страницам сайта. Для этого служат две главные директивы: Allow и Disallow. Первая разрешает сканирование, вторая запрещает.

Директива Allow в robots.txt работает как исключение из общего правила. На первый взгляд она кажется избыточной — разве по умолчанию все страницы доступны поисковым системам? Да, но есть один важный случай.

Представьте сайт с папкой /api/, где лежат служебные файлы. Внутри неё находится /api/docs/ — документация, которую вы хотите показать в поиске через Google и собрать органический трафик. Через Disallow вы закрыли всю папку /api/, но как тогда разрешить доступ к документации? Здесь появляется необходимость использовать Allow.

Директива Allow имеет приоритет над Disallow. Когда Googlebot встречает URL, он сначала проверяет наличие более точного правила Allow, потом более общее Disallow, потом предполагает, что доступ разрешён по умолчанию. Если путь совпадает и с Allow, и с Disallow одновременно, побеждает Allow.

Синтаксис и структура правил в robots.txt

User-agent указывает, для какого поискового робота предназначена инструкция. Например, googlebot — это краулер Google. По адресу http://www.example.com/robots.txt находится полный текстовый файл со всеми правилами.

Вот простой пример для сайта с API:

User-agent: googlebot
Disallow: /api/
Allow: /api/docs/

Googlebot не будет сканировать ничего в /api/, но раздел /api/docs/ останется доступным для индексации контента.

Для блога, где нужно заблокировать комментарии, но оставить комментарии при конкретных статьях:

User-agent: *
Disallow: /comments/
Allow: /posts/*/comments/

Здесь * означает любые символы. Это позволяет написать: запрещаем всю папку /comments/, но разрешаем комментарии при каждом посте.

Для магазина, где критично избежать индексации всех комбинаций фильтров:

User-agent: googlebot
Disallow: /*?filter=
Disallow: /*?sort=
Allow: /products/?page=

Блокируем URL с параметрами фильтра и сортировки (они создают дубли), но параметр page разрешаем — он используется для пагинации.

Каждый блок правил в robots.txt начинается с User-agent. После этого идут директивы Allow или Disallow. Пустая строка отделяет один блок от другого. Комментарии начинаются с символа # — поисковые системы их игнорируют.

Отличие Allow от Disallow

Disallow в robots.txt запрещает краулинг, Allow разрешает его. Но приоритет не симметричен.

Если в robots.txt написано только:

User-agent: *
Disallow: /members/

Поисковые роботы не будут сканировать что-либо в /members/. Вся папка закрыта.

Но если добавить Allow:

User-agent: *
Disallow: /members/
Allow: /members/faq/

Путь /members/faq/ будет проиндексирован. Именно Allow отменяет Disallow для этого конкретного раздела.

Это особенно полезно для управления браузинг-бюджетом. Google и другие поисковые системы тратят ресурсы на краулинг вашего сайта. Если правильно указать приоритеты через Allow и Disallow, можно направить краулер на самые важные страницы сайта.

Примеры использования Allow

Для e-commerce сайта, где тысячи комбинаций фильтров создают дубли:

User-agent: *
Disallow: /*?filter=
Disallow: /*?sort=
Allow: /products/

Здесь запрещаем параметры filter и sort на главной странице, но разрешаем весь раздел /products/.

Для блога с архивом, где старые статьи уже проиндексированы:

User-agent: *
Disallow: /archive/
Allow: /archive/2024/
Allow: /archive/2023/

Весь архив закрыт для краулинга, кроме последних двух лет. Это экономит бюджет на сканирование.

Для сайта, где нужны разные правила для разных поисковых систем:

User-agent: googlebot
Allow: /

User-agent: bingbot
Disallow: /

User-agent: yandex
Allow: /

Google индексирует весь сайт. Bing получает запрет. Яндекс получает полный доступ.

Проверка настроек robots.txt в Google Search Console

После редактирования robots.txt нужно убедиться, что директивы работают. Google Search Console предоставляет инструмент для проверки.

Откройте консоль → Инструменты → Проверка robots.txt. Введите URL страницы, которую хотите проверить. Система покажет, разрешён ли доступ для googlebot этой странице или нет.

Если robots.txt содержит ошибки синтаксиса, Google выведет сообщение об ошибке. Это может означать, что часть правил не применяется.

Поисковые роботы (в том числе Googlebot и Yandex Bot) открывают robots.txt при каждом посещении домена. Файл должен быть доступен по адресу http://example.com/robots.txt, а не в подпапке. Также стоит помнить, что robots.txt управляет только краулингом, а не индексацией. Для запрета индексации используйте meta noindex тег или заголовок x-robots-tag вместо robots.txt.

Стандарт исключений для роботов (robots exclusion standard) описан в официальной документации. Google регулярно обновляет свой парсер robots.txt, чтобы лучше обрабатывать синтаксис и исключения для роботов разных типов.