Disallow robots txt

Директива Disallow — это основная инструкция в файле robots.txt, которая сообщает сканерам поисковых систем: не сканируйте или эти части моего веб-сайта. Когда Googlebot попадает на ваш сайт, он сначала ищет robots.txt в корневом каталоге. Здесь содержатся все правила для сканеров — какие страницы индексировать, а какие блокировать.

Как user-agent контролирует правила disallow

Каждая директива disallow в файле robots.txt должна иметь пользовательский агент. User-agent — это имя конкретного сканера. Например:

• User-agent: Googlebot – правило применяется только к сканеру Google.
• User-agent: Bingbot — правило для сканера Bing.
• User-agent: * — правило для всех поисковых роботов.

Это позволяет вам контролировать доступ к разным сканерам различными способами. Робот Googlebot может получить одни правила, а робот Bingbot — другие. Этот подход используется для оптимизации трафика сайта из разных поисковых систем.

Синтаксис disallow: основная структура.

Синтаксис disallow очень прост. Вот как выглядит базовый файл robots.txt:

User-agent: *
Disallow: /admin
Disallow: /private
Allow: /private/news
Disallow: /test

Что здесь происходит:

• User-agent: * — эти правила применяются ко всем сканерам всех поисковых систем.
• Disallow: /admin — блокирует всю папку /admin, не разрешать сканировать эту директорию
• Disallow: /private — блокирует папку /private
• Allow: /private/news — исключение: разрешить сканирование /private/news, даже если вся папка /private заблокирована
• Disallow: /test — блокирует индексацию тестовых страниц.

Путь в директиве disallow всегда начинается с косой черты. Правильно: /admin. Неверно: admin.

Примеры синтаксиса disallow для разных случаев

Блокировка всего каталога:

Disallow: /админ

Это блокирует /admin, /admin/, /admin/users, /admin/settings — всё, что находится в этой папке.

Блокировка одного файла:

Disallow: /private-page.html

Блокирует только эту конкретную страницу, другие страницы могут быть просканированы.

Блокировка параметров URL:

Disallow: /?sort=
Disallow: /?filter=

На сайтах e-commerce сортировка и фильтры создают дублирующийся контент. Такие правила помогают.

Различные правила для разных сканеров:

User-agent: Googlebot
Disallow: /staging

User-agent: Bingbot
Disallow: /staging
Disallow: /test

User-agent: *
Disallow: /admin

Здесь Google может получить доступ к /staging, а Bingbot — нет. Все остальные сканеры не имеют доступа к /admin.

Как правильно указать URL-путь в Disallow

Синтаксис пути URL соответствует простым правилам:

• Disallow: /admin — соответствует /admin, /admin/, /admin/users и всему, что находится в папке.
• Disallow: /admin/users — соответствует /admin/users и более конкретным путям внутри.
• Соответствие пути с учетом регистра, поэтому /Admin и /admin — это разные пути

Поисковые роботы воспринимают эти правила очень буквально. Если вы напишете Disallow: /private, следующее будет заблокировано: — /private — /private/data — /privatefile (поскольку он начинается с /private)

Но НЕ будут заблокированы: — /profile (это другой путь) — /data/private (private не в начале)

Главный миф: неверный disallow НЕ удалит ваш сайт.

Наиболее распространенное опасение заключается в том, что ошибка запрета приведет к удалению всего веб-сайта из результатов поиска Google. На самом деле это невозможно.

Директива Disallow — это всего лишь инструкция. Она говорит сканерам: «Не приходите сюда». Если вы ошибочно напишете Disallow: / (что означает «ничего не сканировать»), то: — Googlebot просто не будет сканировать ваш сайт — Но существующие страницы, которые уже есть в индексе, останутся там — Как только вы исправите файл robots.txt, сканеры начнут сканировать снова

Это абсолютно безопасно. Протокол исключения роботов — это контролируемый способ взаимодействия со сканерами поисковых систем.

Кроме того, даже если вы заблокируете путь через disallow, поисковые системы все равно смогут проиндексировать эту страницу, если найдут на нее внешнюю ссылку. Disallow блокирует сканирование, но не гарантирует, что страница не будет в индексе.

Практические примеры disallow для разных типов веб-сайтов

Для электронной коммерции:

User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /admin
Disallow: /accounts
Disallow: /?page=
Disallow: /?sort=

Корзина и оформление заказа заблокированы, поскольку это техническая функция, которую не следует индексировать. Такие параметры, как страница и сортировка, создают дублирующиеся версии контента.

Для новостного блога:

User-agent: *
Disallow: /admin
Disallow: /draft
Disallow: /search
Disallow: /?author=
Allow: /blog

Здесь блокируются черновики контента и результаты поиска, создающие дубликаты.

Как проверить синтаксис disallow в Google Search Console

После настройки правил disallow всегда проверяйте их. Google имеет специальный инструмент в Search Console:

1. Откройте Google Search Console для своего веб-сайта.
2. Найдите раздел про техническую SEO
3. Выберите «Robots.txt Тестер» или инструмент проверки.
4. Введите примеры URL-адресов, которые вы хотите проверить.
5. Инструмент покажет, какие правила запрета применяются к этому URL.

Это гораздо лучше, чем гадание. Вы видите, какие именно правила блокируют конкретные страницы.

Файл Robots.txt очень чувствителен к синтаксису — даже небольшая ошибка может изменить поведение. Используйте инструмент тестирования, чтобы убедиться, что на вашем сайте все работает правильно.

Директива Allow как исключение для disallow

Важный момент: вы можете использовать директиву allow, чтобы сделать исключение из правила disallow. Более конкретный путь всегда побеждает.

Пример:

Disallow: /private
Allow: /private/news

Для /private/news — это разрешено (allow выигрывает).
Для /private/data — это блокировано (disallow применяется).

Сканеры выбирают наиболее конкретное правило сопоставления, поэтому сочетание правил запрета и разрешения работает должным образом.