sokik⌕ Поиск

Индексация · 12 минут чтения

Проверка индексации: как найти потерянные страницы

Страница может открываться в браузере и всё равно не участвовать в поиске. Чтобы понять причину, нужно разделить обход, обработку документа, выбор канонической версии и собственно присутствие в индексе.

Не путайте доступность с индексированием

Первый вопрос — может ли пользователь открыть URL. Второй — может ли поисковый робот его обойти. Третий — может ли робот увидеть содержание и сигналы страницы. Четвёртый — сочтёт ли поисковая система именно этот URL достойным отдельного места в индексе. Эти шаги зависят друг от друга, но не совпадают. Код 200 не гарантирует индексирование, а запрет в robots.txt не всегда означает, что адрес исчезнет из результатов.

Проверку начинают с инвентаризации. Выпишите типы страниц: главная, категории, товары, услуги, статьи, теги, фильтры, пагинация, результаты поиска, служебные документы. Затем определите ожидаемое поведение каждого типа. Например, карточки доступных товаров могут быть индексируемыми, поиск по сайту — нет, а фильтр получает самостоятельный статус только если закрывает отдельный спрос. Без этой модели легко лечить «исключённые URL», которые вообще не должны были попасть в индекс.

Сопоставьте источники данных

Полезно сравнить XML-карту, результат сканирования сайта, отчёты панели вебмастера, данные операторов поиска и серверные логи, если они доступны. Каждый источник видит свою часть картины. Sitemap показывает, что владелец предлагает роботу; краулер — что доступно по ссылкам; панель — как поисковая система классифицирует известные URL; логи — что робот фактически запрашивал. Большое расхождение — повод изучить причины, но не повод автоматически закрыть всё директивой.

Выберите выборку важных страниц из разных разделов. Убедитесь, что они отвечают 200, открываются с канонического адреса, имеют понятный title и H1, доступны по внутренней ссылке и присутствуют в XML-карте, если их нужно индексировать. Затем проверьте, не указывает ли canonical на другую страницу, нет ли noindex в метатеге или HTTP-заголовке и не закрыт ли URL правилами. Такой ручной проход быстро выявляет системные ошибки шаблона.

Robots.txt: управление обходом, а не удалением

Файл robots.txt задаёт правила для краулеров до загрузки страницы. Он полезен, когда нужно ограничить расход обхода на технические разделы, внутренний поиск, бесконечные параметры или приватные маршруты. Но блокировка не является надёжным способом убрать документ из индекса: поисковая система может узнать адрес по внешней ссылке и показать его без сниппета. Кроме того, если закрыть URL с canonical или noindex, робот может не увидеть этот сигнал.

Проверяйте файл как часть системы. Он должен быть доступен с кодом 200, не содержать случайных широких запретов, включать ссылку на актуальную XML-карту и соответствовать архитектуре сайта. После релиза CMS или переноса домена robots.txt нередко возвращается к шаблонной версии — это одна из самых частых причин внезапного падения видимости. Для точечной диагностики используйте проверку URL и смотрите фактические заголовки ответа.

Noindex, X-Robots-Tag и canonical

Meta robots `noindex` просит поисковую систему не добавлять документ в индекс, но для прочтения этой директивы роботу нужен доступ к странице. X-Robots-Tag передаёт похожее правило в HTTP-заголовке и удобен для файлов или групп документов. Canonical сообщает предпочтительную версию похожего содержания. Он не запрещает индексирование жёстко, а является сигналом, который поисковая система оценивает вместе с другими признаками.

Ошибки возникают, когда все инструменты ставят одновременно «на всякий случай». Например, фильтр получает noindex, блокировку robots.txt и canonical на категорию. В такой схеме трудно понять, какой сигнал сработал, и сложно вернуть ценную страницу в поиск. Лучше выбрать одно соответствующее решение на основании роли URL. Если есть полноценная самостоятельная страница — создайте самоканонический документ и внутренние ссылки. Если это почти точный дубль — направьте canonical на оригинал. Если страница служебная — исключите её из навигации и карты, при необходимости используйте noindex.

XML-карта: список канонических кандидатов

В sitemap.xml должны быть URL, которые вы действительно предлагаете индексировать: они отдают 200, содержат ценность, не закрыты и не перенаправляются. В карте не место URL с параметрами, ошибкам, временным страницам, результатам поиска, дубликатам и страницам, которые ещё не опубликованы. Дата изменения нужна только тогда, когда она отражает содержательное обновление, а не каждый технический деплой.

Карта не заменяет навигацию. Робот может найти URL в sitemap, но пользователь и поисковая система лучше понимают значимость страницы, когда к ней ведут естественные внутренние ссылки. Обратная ситуация тоже опасна: сильная категория может быть доступна из меню, но отсутствовать в карте из-за ошибки генератора. Поэтому sitemap проверяют после крупных обновлений, изменения правил URL и добавления новых типов страниц.

Дубли и каннибализация

Если в индекс попадает много похожих документов, поисковой системе приходится выбирать между ними. Дубли создают протоколы, www-варианты, index-файлы, завершающие слеши, фильтры, сортировки, страницы печати и параметры аналитики. Каннибализация добавляет смысловой слой: две разные страницы отвечают на один и тот же запрос. В обоих случаях сайт теряет ясность. Но решение не всегда в удалении: иногда нужно объединить контент, иногда — развести намерения, иногда — привести URL к одной версии редиректом.

Смотрите не только на число страниц в индексе, но и на качество покрытия. Тысяча исключённых фильтров может быть нормой, если они не имеют спроса. Десять исключённых ключевых услуг — повод для немедленного разбора. Приоритизация определяется ценностью страницы, ссылками, спросом, ролью в воронке и масштабом ошибки. Нельзя одинаково относиться к архивному тегу и к разделу, который приносит заявки.

Порядок диагностики исключённого URL

Сначала откройте адрес и зафиксируйте код ответа, финальный URL, время, заголовки и видимый контент. Затем проверьте robots.txt, noindex, X-Robots-Tag, canonical и наличие в sitemap. Посмотрите, есть ли внутренняя ссылка и не ведут ли внешние ссылки на другой вариант. После этого изучите отчёт вебмастера: когда URL был обнаружен, обходился ли, какую причину исключения показывает система. Наконец, сравните страницу с конкурентными результатами по этому запросу: возможно, технически она исправна, но не даёт самостоятельной ценности.

После исправления не отправляйте десятки бессмысленных запросов на переобход. Убедитесь, что изменение доступно публично, что оно не конфликтует с соседними правилами, и дайте поисковой системе время повторно обработать документ. Зафиксируйте дату и следите за результатом. Если причина не исчезает, возвращайтесь к доказательствам, а не меняйте директивы наугад.

Регулярный контроль

Новые исключения нормальны в живом проекте; важна скорость их интерпретации. Включите в регулярный чек-лист robots.txt, XML-карту, ответы ключевых страниц, новые 4xx/5xx, изменения каноникализации и долю индексируемых URL по важным группам. Перед миграцией подготовьте карту редиректов, а после — проверьте конечные адреса и обход. Техническое SEO-сопровождение помогает сделать этот контроль частью релизного процесса, а не аварийной реакцией.

Если нужна начальная карта рисков, начните с SEO-аудита. Связанный материал о техническом аудите поможет расставить задачи после диагностики. Для отслеживания последствий изменений подключают видимость групп запросов и данные мониторинга позиций.