Проверить индексацию сайта можно тремя способами: оператором site: прямо в поиске, через отчёты Яндекс Вебмастера и Google Search Console и проверкой отдельной страницы. Первый способ занимает минуту и даёт приблизительную цифру, второй показывает точный список страниц и причины исключения, третий нужен, когда важна одна конкретная страница. На все три уходит около 10 минут.
Индексация — это попадание страниц сайта в базу поисковика. Страница, которой нет в индексе, не может появиться в выдаче ни по одному запросу, поэтому проверка индексации стоит первой в любой диагностике. Как она связана с другими причинами, разобрано в статье почему сайт не в топе.
Шаг 1. Посчитайте страницы оператором site: (2 минуты)
Введите в строку поиска Яндекса или Google site:ваш-домен.ru без пробела после двоеточия. Поисковик покажет страницы вашего сайта, которые есть в его базе, и примерное их число.
Цифра приблизительная, она может отличаться от реальной в полтора-два раза. Для быстрой оценки этого хватает. Сравните результат с числом страниц на сайте, которое вы знаете из админки или из файла sitemap.xml.
Что означают расхождения:
- В индексе в разы меньше страниц, чем на сайте: часть разделов закрыта или поисковик считает их некачественными.
- В индексе больше страниц, чем на сайте: в базу попали дубли, страницы фильтров, результаты поиска по сайту, технические адреса.
- Ноль результатов: сайт закрыт целиком, домен совсем новый или наложены санкции.
Оператор можно уточнять. site:ваш-домен.ru/uslugi/ покажет только страницы раздела, а site:ваш-домен.ru заказать отберёт страницы, где встречается это слово.
Шаг 2. Проверьте конкретную страницу (3 минуты)
В Яндексе есть оператор url:. Введите url:ваш-домен.ru/stranitsa/ с полным адресом. Если поисковик покажет страницу, она в индексе. Если выдаст пустой результат, страницы в базе нет или адрес записан иначе: со слешем или без, с www или без.
В Google оператора url: нет. Используйте site:ваш-домен.ru/stranitsa/ с полным путём или проверку в Search Console.
Точнее всего отвечают сами кабинеты:
- Яндекс Вебмастер → «Индексирование» → «Проверить статус URL». Сервис показывает, обходит ли робот страницу, есть ли она в поиске и когда робот заходил последний раз.
- Google Search Console → строка «Проверка URL» вверху экрана. Отчёт покажет статус «URL есть в индексе Google» или причину, по которой страницы нет.
Шаг 3. Откройте отчёты об индексировании (3 минуты)
Кабинеты показывают не только число страниц, но и причины, по которым страницы выпали. Это главная часть проверки.
В Яндекс Вебмастере откройте «Индексирование» → «Страницы в поиске». На вкладке «Исключённые страницы» у каждого адреса есть статус. В Google Search Console нужен раздел «Индексирование» → «Страницы»: вверху число проиндексированных и непроиндексированных страниц, ниже список причин.
Самые частые статусы и что они значат:
| Статус | Где | Что это значит | Что делать |
|---|---|---|---|
| Недостаточно качественная | Яндекс | Робот счёл страницу малополезной или похожей на другие | Дополнить контент или объединить с похожей страницей |
| Дубль | Яндекс | Страница повторяет другую | Поставить canonical или редирект 301 |
| Запрещена в robots.txt | Оба | Доступ закрыт в файле robots.txt | Убрать запрет, если страница нужна |
| Исключена тегом noindex | Оба | На странице стоит запрет индексации | Удалить тег |
| Просканирована, но не проиндексирована | Робот видел страницу, но не добавил | Улучшить контент, добавить внутренние ссылки | |
| Обнаружена, не проиндексирована | Робот знает адрес, но ещё не заходил | Подождать или запросить индексирование | |
| Редирект | Оба | Адрес перенаправляет на другой | Норма, если редирект нужен |
| Ошибка 404 | Оба | Страницы не существует | Убрать ссылки на неё или вернуть страницу |
Если сайт в кабинетах не добавлен, добавьте его сейчас. Подтверждение прав занимает 10 минут, данные появятся через 1–3 дня. Без этих кабинетов любая работа над сайтом идёт вслепую.
Шаг 4. Сверьте три цифры (2 минуты)
Запишите в одну строку:
- Сколько страниц на сайте по sitemap.xml или по данным админки.
- Сколько страниц в индексе Яндекса по отчёту «Страницы в поиске».
- Сколько страниц в индексе Google по отчёту «Страницы».
У здорового сайта эти цифры близки, а разница объясняется страницами, которые вы закрыли сознательно: корзина, личный кабинет, страницы фильтров. Если в индексе Яндекса 300 страниц, в Google 40, а на сайте 320, проблема на стороне Google, и искать её нужно в отчёте «Страницы».
Что делать, если страницы нет в индексе?
Порядок действий зависит от причины. Пройдите по списку сверху вниз.
- Проверьте robots.txt. Откройте
ваш-домен.ru/robots.txtи найдите правилаDisallow, которые перекрывают нужный раздел. В Вебмастере есть инструмент «Анализ robots.txt», в нём можно проверить любой адрес. - Проверьте тег noindex и заголовок X-Robots-Tag. Запрет мог остаться от тестовой версии сайта. Что это за тег и когда он нужен, описано в словаре: noindex.
- Проверьте canonical. Если в коде страницы указан canonical на другой адрес, поисковик проиндексирует другой адрес.
- Проверьте ответ сервера. Страница должна отдавать код 200. Коды 404, 500 и 503 исключают её из индекса. В Вебмастере для этого есть инструмент «Проверка ответа сервера».
- Убедитесь, что на страницу ведут ссылки с сайта. Страница без единой внутренней ссылки может месяцами ждать робота.
- Добавьте адрес в sitemap.xml и отправьте карту сайта в обоих кабинетах.
- Запросите обход. В Вебмастере инструмент «Переобход страниц», в Search Console кнопка «Запросить индексирование» в «Проверке URL». Дневной лимит показан в самом инструменте.
- Если статус «Недостаточно качественная», дорабатывайте контент: конкретика, цены, фото, ответы на вопросы. Повторная отправка без изменений не поможет.
Отдельный случай: мусор в индексе. Страницы фильтров, сортировок, печатных версий и поиска по сайту раздувают индекс и отнимают лимит обхода у полезных страниц. Их закрывают в robots.txt или тегом noindex, а дубли склеивают через canonical. Это часть технической оптимизации.
Как часто проверять индексацию?
Для небольшого сайта услуг достаточно раза в месяц. После крупных изменений проверяйте через неделю: переезд на новый домен или на https, смена структуры адресов, редизайн, запуск нового раздела. В эти моменты страницы чаще всего выпадают из поиска, и чем раньше вы это заметите, тем меньше потеряете трафика.
Яндекс обновляет выдачу несколько раз в неделю, а новые страницы попадают в индекс обычно за несколько дней. Google может держать страницу в статусе «обнаружена, не проиндексирована» неделями, особенно на молодом сайте. Это нормально, если сайт в целом индексируется.
Что в итоге?
Десять минут и два бесплатных кабинета дают полную картину: сколько страниц в индексе, какие выпали и почему. Большинство причин исправляется за час: убрать запрет, поправить canonical, вернуть код 200, отправить страницу на переобход.
Если цифры не сходятся и непонятно, с чего начать, закажите бесплатный экспресс-аудит. Мы проверим индексацию, robots.txt, карту сайта и основные технические ошибки и пришлём список того, что нужно исправить в первую очередь.