Страница просканирована но не проиндексирована

Со статусом в Google Search Console разобрались. Теперь главный вопрос: почему конкретно ваша страница просканирована, но не проиндексирована? На это может быть несколько причин, и каждая решается по-своему.

Блокировка в файле robots.txt

Первая и самая частая причина — в файле robots.txt стоит запрет на индексацию страницы. Google-робот всё ещё сканирует её, но видит запрет и не добавляет в индекс поисковой системы.

Как это работает? В файле robots.txt может быть строка:

User-agent: *
Disallow: /blocked-section/

Когда Googlebot просканирует страницы из этого раздела, читает директиву Disallow и не индексирует их. В отчёте Google Search Console вы найдёте статус «Исключена файлом robots.txt».

Что делать? Откройте файл robots.txt вашего сайта (находится по адресу example.com/robots.txt), найдите правила Disallow и удалите строки, блокирующие страницы, которые хотите индексировать. Проверить это можно через инструмент «Тестер robots.txt» прямо в Google Search Console.

Если блог заблокирован правилом Disallow в robots.txt, исправьте правило и проверьте страницы в Google Search Console. После этого поисковому роботу потребуется время на повторное сканирование.

Метатег noindex в коде страницы

Вторая частая причина — на странице стоит тег noindex. Это означает, что в HTML-коде прямо указано Google не индексировать:

<meta name="robots" content="noindex">

или

<meta name="googlebot" content="noindex">

Google просканирует такую страницу, прочитает директиву noindex и оставит её вне поискового индекса. Это может быть ошибка разработчика, который ставил noindex при тестировании и забыл убрать, или маркетолог, который использовал его для временных страниц.

Как исправить? Откройте исходный код страницы (Ctrl+U), найдите в исходном коде все метатеги с noindex и удалите их. Если страница действительно не должна индексироваться (служебная страница типа спасибо, личный кабинет), оставьте. Если это публикуемый контент — удалите noindex и переотправьте URL на индексацию через Google Search Console.

Проблемы доступа к странице: ошибки 5xx, 401, 403

Третья группа причин — Google-робот получает ошибку сервера и не может обработать страницу.

Коды ошибок, которые блокируют индексирование:

5xx (500, 503) — сервер упал или перегружен. Робот не может загрузить контент.

401 Unauthorized — требуется аутентификация для доступа.

403 Forbidden — доступ к странице запрещён.

Когда Google получает эти коды вместо 200 OK, он не может прочитать текст страницы и не добавляет её в индекс поисковой системы. В Search Console это отмечается как «ошибка сервера» или «без доступа».

Проверка: В Google Search Console используйте инструмент «Проверка URL» — он покажет точный код ответа сервера.

Решение: Убедитесь, что хостинг работает нормально, нет постоянных перегрузок сервера, и Google-роботу не запрещен доступ через firewall. Если возникает ложная ошибка 404 — проверьте конфигурацию .htaccess или nginx.

Низкое качество контента и дублирование страниц

Четвёртая причина: Google сканирует страницу, определяет её как дублированный или низкокачественный контент и не индексирует.

Это бывает в нескольких случаях:

Дублированный контент. На сайте есть две похожие страницы с одинаковым текстом. Google выбирает основную версию и остальные не индексирует.

Тонкий контент. Страница содержит мало текста — несколько предложений, одна картинка, минимум информации. Google считает это маловероятным и не добавляет в индекс.

Скопированный контент. Вы взяли текст с другого сайта в интернете и опубликовали на своём. Google это распознаёт через систему обработки информации и не индексирует вашу версию как копию.

В Google Search Console статус будет «Страница является копией другой страницы» или просто «не проиндексирована».

Как исправить это? Удалите дубли страниц, если они действительно идентичны. Добавьте контента — минимум 300–500 слов уникального текста с примерами и анализом. Переформулируйте скопированный текст своими словами. Используйте правильно canonical теги, если дублирование намеренное.

Неправильное использование canonical тегов

Пятая причина — ошибка в установке canonical-тега (тега, который указывает каноническую версию страницы).

Тег canonical указывает Google, какая версия страницы является основной, если таких версий несколько:

<link rel="canonical" href="https://example.com/main-page">

Проблема: Если canonical указан неправильно (на другой URL, а не на саму страницу), Google может считать вашу страницу дублём и не индексировать её, выбрав вместо этого версию, на которую указан canonical.

Пример: У вас есть две версии страницы — с параметром utm и без. Если вы неправильно установите canonical на одну из них, Google может не индексировать другую версию.

Как проверить? В Google Search Console инструмент «Проверка URL» покажет, какой URL выбран как канонический. Откройте исходный код страницы и убедитесь, что canonical указан правильно.

Исправление: Установите canonical на саму страницу, если она не дублирует другую. Если есть разные версии (http/https, с параметрами/без) — canonical должна указывать на основную версию.

Редиректы, молодость сайта и личные данные

Шестая группа причин включает несколько факторов, которые встречаются реже:

Слишком много переадресаций. Если на странице цепочка редиректов из нескольких шагов, Google может не спешить её индексировать. Используйте 301 редирект для постоянного перенаправления вместо 302.

Сайт слишком молодой. Если домен существует менее 1–2 недель, Google может сканировать страницы медленнее и индексировать их позже. Это нормально. Нужно просто подождать — через месяц-два индексирование ускорится.

Персональные данные пользователей. Если страница содержит открытые номера телефонов, адреса электронной почты, персональные идентификаторы, Google может отказать в индексировании как защита от утечек данных.

Решение зависит от причины: удалите лишние переадресации, подождите, если сайт молодой, или скройте личные данные, если они есть на странице.

Хорошая новость: все эти причины легко исправляются. Google Search Console сама подскажет статус каждого URL-адреса — просто откройте раздел индексации, найдите проблемную страницу и следуйте рекомендациям, которые даёт система.