User agent robots txt

Синтаксис user-agent в robots.txt чрезвычайно прост. Первая строка всегда начинается с ключевого слова User-Agent, за которым следует имя сканера или подстановочный знак (*). Формально структура выглядит так:

User-Agent: имя_сканера

В файле robots.txt каждая строка user-agent должна находиться на отдельной строке. Это может быть конкретный сканер (например, Googlebot) или звездочка (*) для всех остальных. Пробелы после двоеточий игнорируются. Вот простой пример на практике:

User-Agent: Googlebot
Disallow: /admin/
Disallow: /private/

User-Agent: *
Disallow: /temp/

Существует два разных правила user-agent: первое для Google, второе абсолютно для всех остальных сканеров. Googlebot видит только свои правила, другие сканеры используют правила (*).

User-Agent для основных поисковых систем

Основные сканеры поисковых систем имеют свои собственные уникальные имена user-agent. Вот наиболее часто используемые для вашего сайта:

• Googlebot — краулер Google
• Bingbot — bot от поисковика Bing
• Yandex — сканер Яндекса для результатов поиска
• User-Agent: * — подстановочный знак для всех остальных сканеров

Например, некоторые сайты используют специализированные директивы user-agent, например:

User-Agent: Googlebot-Image
Disallow: /no-images/

Эта строка user-agent сообщает специальному боту Googlebot для изображений, какие страницы не индексировать на вашем сайте. Таких специализированных сканеров много; каждый сканер может иметь свои собственные правила для роботов в вашем файле на сервере.

Директивы, используемые с user-agent

После строки user-agent идут директивы — конкретные инструкции для сканера. Основные возможности использования:

Disallow — самая популярная директива. Disallow сообщает сканеру, какие страницы ему не следует посещать и индексировать:

User-Agent: Googlebot
Disallow: /admin/
Disallow: /api/

Googlebot не будет индексировать эти URL. Это ключевой способ контролировать, какой контент будет отображаться в результатах поиска вашего сайта.

Allow — противоположная директива. Allow разрешает доступ к определенным страницам, даже если основной disallow их блокирует:

User-Agent: *
Disallow: /private/
Allow: /private/about/
Allow: /private/legal/

Все сканеры поисковых систем заблокированы в /private/, но им разрешен доступ к /private/about/ и /private/legal/. Это полезно, если вы хотите закрыть папку, но разрешить доступ к определенным страницам внутри.

Crawl-Delay — как часто сканер может посещать ваш сервер:

User-Agent: *
Crawl-Delay: 2

Это говорит сканерам, что между запросами к серверу должно пройти 2 секунды. Это помогает не перегружать ваш сервер и правильно экономить ресурсы сервера.

Sitemap директива — указывает поисковым системам расположение sitemap на вашем сайте:

Sitemap: https://example.com/sitemap.xml

Это не является частью правил user-agent, но часто указывается в том же файле robots.txt. Sitemap помогает поисковым системам быстрее находить все ваши страницы и улучшать индексацию.

Как применять правила

Когда робот обращается к файлу robots.txt на сервере вашего сайта, он читает правила сверху вниз и применяет первое совпадение. Вот как это работает на практике:

1. Краулер ищет точное совпадение с его именем в robots.txt
2. Если нет, ищет правило для User-Agent: *
3. Если ничего не найдено, вы можете посетить все, что есть на сайте.

Более конкретные правила user-agent для конкретного сканера должны предшествовать общим. См. этот пример заказа:

User-Agent: Googlebot
Disallow: /temp/

User-Agent: Bingbot
Disallow: /data/

User-Agent: *
Disallow: /private/

Googlebot видит только свои правила для user-agent, Bingbot видит свои, другие сканеры используют правила для *. Это стандартный способ применения директив user-agent в любом файле robots.txt.

Типичные ошибки и как их избежать

Новички часто допускают ошибки, которые могут привести к серьёзным проблемам:

• Забываем правильный падеж. «Googlebot» и «Googlebot» распознаются, но лучше всего писать с заглавной буквы.
• Они блокируют всё (Disallow:/), не осознавая последствий — это полностью скроет ваш сайт из результатов поиска.
• Не понимают, что allow может переопределять disallow в определенных случаях на некоторых страницах.
• Поместите несколько строк user-agent подряд без директив между ними в файле robots.txt.

Как проверить robots.txt на сервере

Google предоставляет инструмент для тестирования Search Console — robots.txt для вашего веб-сайта:

1. Войдите в Google Search Console для своего сайта.
2. Перейдите в раздел «Инструменты» или «Покрытие».
3. Используйте тестер для проверки определенных URL-адресов на веб-сайте.

Это поможет вам увидеть, какие именно правила применяются к различным сканерам. Вы также можете узнать больше о robots.txt для каждой поисковой системы и связаться со службой поддержки Google, если у вас есть вопросы. Некоторые крупные сайты используют дополнительные методы для удаления нежелательного трафика от плохих ботов и корректного контроля доступа к ресурсам сервера через файл robots.txt.