Сначала определите, какие URL должны быть в поиске

Вопрос «почему не индексируется сайт» слишком широк для полезной диагностики. Составьте список конкретных страниц, которые нужны посетителям из поиска: основные разделы, материалы, карточки действующих товаров. Для каждой укажите дату публикации, предполагаемую основную версию и источник информации об отсутствии в индексе. Так служебные параметры, страницы сортировки и действительно важные материалы не окажутся в одной группе.

Большое число исключённых адресов не обязательно означает поломку. Поисковая система может не включать дубли и страницы без значимого содержимого; задача не в том, чтобы добиться индексации каждого технического URL. Это различие прямо отражено в документации отчёта об индексировании. Справка Search Console.

Четыре вопроса вместо одной общей причины

Первый вопрос: известен ли адрес поисковой системе? Проверьте, ведут ли на него обычные ссылки с доступных страниц и присутствует ли он в актуальной карте сайта. Второй: удаётся ли получить страницу? Здесь исследуют ответ сервера, перенаправления, ограничения для роботов и признаки нестабильной доступности. Открытие в авторизованном браузере владельца недостаточно: у другого посетителя условия могут отличаться.

Третий вопрос касается содержимого. Нужно увидеть не только красивый экран, но и текст, который фактически получает проверяющий инструмент. Пустой шаблон, сообщение об ошибке с успешным HTTP-кодом или зависимость основного текста от несработавшего скрипта требуют отдельного разбора. Четвёртый вопрос: не выбран ли другой адрес основной версией того же материала? Для дубля отсутствие самостоятельной индексации может быть ожидаемым.

Не объединяйте различные статусы в диагноз «поисковик заблокировал сайт». Сначала сгруппируйте URL по наблюдаемой причине и шаблону страницы. Массовое одинаковое отклонение у карточек и единичная проблема старой статьи требуют разных проверок и разного объёма выборки.

Практический чек-лист

  • Сохраните полный URL со схемой, доменом, путём и параметрами; похожие адреса не всегда являются одной страницей.
  • Запишите статус в панели поисковой системы, дату последнего обхода и время собственной проверки.
  • Проверьте ответ сервера и всю цепочку перенаправлений без использования авторизации владельца.
  • Сопоставьте ограничения обхода, метатеги индексирования и HTTP-заголовки на проблемных и нормальных страницах.
  • Посмотрите основной текст, заголовок и канонический адрес; сравните их с ожидаемой версией материала.
  • Проверьте ссылки из меню, раздела и других статей, а также отсутствие устаревших URL в карте сайта.
  • Для общей ошибки шаблона исследуйте несколько разных страниц, включая давно опубликованную и недавно добавленную.
  • Сохраните результат до исправления и повторной проверки: без этого будет трудно восстановить первоначальное состояние.

Гипотетический пример

Предположим, после обновления каталога не находятся три новые карточки. Две получают правильный текст и доступны по ссылкам. Третья отвечает кодом 200, но показывает сообщение «товар не найден», потому что импорт не передал обязательный идентификатор. Единой причины для трёх URL пока нет. Для третьего подтверждён дефект публикации; для первых двух необходимо изучить сведения об обходе и выбранной канонической странице.

Если завтра третья карточка откроется нормально, это не сделает вчерашнее наблюдение ошибочным. Протокол с датой и сохранённым ответом позволит различить исправление и противоречие между источниками.

Как сформулировать результат без лишних обещаний

Инструмент проверки URL различает сведения об обработанной версии и проверку опубликованной страницы. Положительный результат текущего теста не означает, что страница уже включена в индекс; выбранную Google каноническую версию также нельзя устанавливать только по живой проверке. Описание инструмента проверки URL.

Корректный итог содержит адрес, наблюдаемое препятствие, подтверждающие материалы и следующий способ проверки. Если явного технического препятствия нет, так и следует написать. Ни успешный ответ сервера, ни наличие страницы в карте сайта сами по себе не дают основания обещать включение в поиск к определённой дате.