sokik⌕ Поиск

ИНСТРУМЕНТ · ЛОКАЛЬНО В БРАУЗЕРЕ

Генератор robots.txt

Введите пути, которые должны быть исключены из обхода, и адрес XML-карты. Инструмент соберёт базовый robots.txt, покажет его текст и даст скачать файл. Все действия выполняются на вашем устройстве: введённые пути и домен не отправляются на сервер Sokik. Перед публикацией проверьте правила на структуре конкретного сайта — robots.txt легко сделать слишком широким.

Соберите robots.txt

Что делает robots.txt

Robots.txt — публичный текстовый файл в корне домена, который сообщает поисковым роботам правила обхода путей. Его адрес обычно выглядит так: `https://example.ru/robots.txt`. В файле можно задать общие правила для всех роботов или отдельные правила для конкретного user-agent, а также указать XML-карту. Главная задача — управлять техническим обходом, когда у сайта есть служебные разделы, бесконечные параметры, внутренний поиск или интерфейсные страницы, которые не должны расходовать ресурсы сканирования.

Robots.txt не является паролем и не скрывает информацию от людей. Любой посетитель может открыть файл и увидеть перечисленные пути. Поэтому нельзя хранить в нём секретные адреса, закрытые документы, административные маршруты или персональные данные в надежде «спрятать» их от интернета. Настоящая защита строится на авторизации, правах доступа, сетевых ограничениях и корректной серверной конфигурации. Disallow — это инструкция добросовестному роботу, а не барьер безопасности.

Robots.txt и индексация — не одно и то же

Файл управляет обходом, но не гарантирует удаления URL из поискового индекса. Если страница уже известна роботу по внешней или внутренней ссылке, она может оставаться в поиске даже при запрете на обход. Более того, полный запрет не даст роботу увидеть meta robots или canonical внутри документа. Когда нужно исключить страницу из индекса, выбирают подходящее решение: noindex на доступной странице, удаление с ответом 404 или 410, редирект на релевантный документ, каноникализацию или переработку внутренней структуры.

Перед добавлением Disallow задайте вопрос: почему этот URL не должен обходиться? Если он приватный — нужен доступ по авторизации. Если это дубль — возможно, лучше нормализовать ссылку, canonical или редирект. Если это результат поиска — чаще подходит запрет обхода и исключение из внутренних ссылок. Если это фильтр — сначала проверьте, нет ли в нём полезных индексируемых посадочных. Статья о проверке индексации помогает разложить эти сценарии по назначению.

Какие пути обычно исключают

Частые кандидаты — результаты внутреннего поиска, корзина, оформление заказа, личный кабинет, служебные API-обработчики, технические фильтры и дублирующиеся параметры, если они не должны быть точками входа из поиска. Но один и тот же путь может иметь разное значение на разных проектах. Например, `/poisk/` почти всегда служебный, а `/catalog/` обычно является важной категорией. Нельзя копировать чужой robots.txt без понимания собственной архитектуры и ассортимента.

Особенно осторожно относитесь к фильтрам и пагинации. Фильтровые страницы могут быть полезными, если у них есть отдельный спрос, ассортимент и полноценное содержание; массово закрывать или открывать все комбинации без анализа опасно. Пагинация помогает пользователю пройти список, но технические правила зависят от реализации. Сначала изучают реальные URL, canonical, ссылки и поведение сервера, затем формируют правило. Для магазина этот вопрос связан с SEO каталогом и фильтрами.

Что не нужно закрывать

Не добавляйте в Disallow главную страницу, основные услуги, категории, статьи, карточки товаров, изображения, CSS или JavaScript, которые нужны роботу для понимания и отображения сайта, если нет специфической доказанной причины. Строка `Disallow: /` на боевом домене закрывает весь сайт от обхода и часто становится критической ошибкой после неосторожного деплоя. После любого изменения robots.txt обязательно проверяйте, что ключевые страницы остаются доступными и что файл не был случайно перенесён с тестовой среды.

Не используйте robots.txt для управления переездом. Старые URL должны перенаправлять на релевантные новые адреса, а не просто исчезать за запретом обхода. Иначе пользователь и поисковая система не получают понятный маршрут. План миграции описывается отдельно в сопровождении переезда: там учитываются карта соответствий, цепочки редиректов, canonical, sitemap и контроль после запуска.

Как работает этот генератор

В поле Disallow укажите один путь на строку. Можно вставить полный URL — инструмент оставит путь, потому что в robots.txt обычно указываются именно пути относительно домена. Повторяющиеся строки удаляются, пробелы очищаются, а отсутствующий слеш добавляется. Ниже автоматически добавляется `User-agent: *`, базовая строка `Allow: /` и, если адрес sitemap распознан как HTTP или HTTPS URL, директива Sitemap. Полученный файл — стартовый шаблон, а не готовая политика для любого сервера.

Генератор не проверяет, существуют ли пути, не обращается к домену и не знает, какие роботы действительно посещают сайт. Он также не создаёт сложные группы user-agent, директивы Crawl-delay или особые правила конкретных поисковых систем. Такие настройки нужны редко и требуют понимания документации робота и логов сервера. Если для сайта важны специальные правила, оформите их отдельно, зафиксируйте причину и протестируйте на нескольких реальных URL.

Публикация и проверка файла

Скачайте файл под именем `robots.txt` и загрузите в корень основного домена. Затем откройте `https://ваш-домен/robots.txt` в браузере: сервер должен вернуть текстовый ответ 200, без редиректа на HTML и без авторизации. Сравните опубликованный текст с локальной версией, потому что CMS, CDN или панель хостинга иногда подменяют файл. После этого проверьте ключевые пути: главную, категорию, статью, карточку, страницу услуги, файл sitemap и один адрес, который сознательно закрыт.

Панели вебмастеров помогают увидеть, как робот прочитал файл, но их отчёты обновляются не мгновенно. Не меняйте правила каждый день, пытаясь ускорить индексацию. Лучше вести журнал: дата, изменение, причина, ответственный, список проверенных URL и результат. Это особенно важно после релиза, смены CMS или миграции домена, когда несколько команд могут одновременно менять серверные правила, мета-теги и карту сайта.

Связь с sitemap.xml

Строка Sitemap содержит абсолютный адрес XML-карты. На одном сайте может быть несколько карт или индекс карт, но они должны перечислять только конечные канонические страницы. Если вы ещё не подготовили файл, используйте генератор sitemap.xml. Не добавляйте в XML URL, которые сами закрыли robots.txt или мета-robots: это противоречивый сигнал и усложняет анализ. XML-карта помогает обнаруживать важные документы, а robots не должен мешать этому без причины.

HTML-карта для человека решает другую задачу: она группирует ссылки и объясняет разделы. На Sokik она находится по адресу /karta-sayta/. Для поискового робота важны техническая карта, внутренняя перелинковка и стабильные конечные URL. Не рассчитывайте, что один файл заменит понятное меню, корректные canonical или серверные редиректы. Поисковая доступность складывается из согласованной системы.

Частые ошибки

Наиболее опасны: случайный `Disallow: /` на production, перенос robots с тестового стенда, закрытие важных CSS/JS, добавление в файл секретных путей, блокировка уже известных URL вместо настройки noindex или редиректа, несоответствие sitemap и robots, а также отсутствие проверки после публикации. Отдельная ошибка — полагаться на стандартный шаблон CMS, не проверив, что он соответствует каталогу, блогам и новым разделам. Файл маленький, но его влияние может быть масштабным.

Не добавляйте директивы, смысл которых не можете объяснить. Если нет уверенности, лучше оставить минимальный файл и провести диагностику индексации. Хорошая техническая настройка обычно проще, чем кажется: короткие правила, доступная карта, чистые канонические URL и контроль после релиза. Сложность нужна только там, где она отражает реальную архитектуру, а не попытку «настроить SEO одной строкой».

Приватность и ответственность

Введённые пути и адрес sitemap обрабатываются только в браузере. Sokik не сохраняет список и не передаёт его третьим лицам. Не вставляйте в форму закрытые домены, токены, внутренние названия проектов или данные клиентов — результат может быть скачан в общий каталог или приложен к письму по ошибке. Перед публикацией ответственность за содержание robots.txt несёт владелец сайта или уполномоченная команда, потому что только она знает назначение всех путей.

Если сайт уже имеет проблемы с доступностью или падением видимости, не заменяйте диагностику генератором. Сначала зафиксируйте симптом, проверьте URL и правила, затем выбирайте изменение. При необходимости начните с SEO-аудита или технического сопровождения. Инструмент помогает подготовить файл аккуратно, но не обещает индексацию и не делает сложную архитектуру простой без проверки.