Генератор Robots.txt

Визуальный генератор файла robots.txt для поисковых краулеров

Настройка Robots.txt

Быстрые пресеты

Блоки User-Agent

URL карт сайта

Задержка краулинга

Задержка (секунды)

Быстрое добавление путей

Сгенерированный robots.txt

Настройте правила для генерации robots.txt...

Вся обработка происходит в вашем браузере. Данные не отправляются на сервер.

Примеры использования

Разрешить весь краулинг

Простой robots.txt, который разрешает всем поисковым системам сканировать все страницы вашего сайта, с указанием sitemap.

Блокировать служебные папки

Блокировка папок admin, private, API и temp от краулинга с разрешением доступа к остальному сайту.

Правила для разных ботов

Разные правила для разных поисковых систем с несколькими блоками user-agent и несколькими sitemap.

Возможности

Визуальный конструктор

Создавайте robots.txt визуально с помощью выпадающих списков, кнопок и удобного интерфейса

Несколько User-Agent

Поддержка нескольких блоков user-agent с разными правилами для каждого краулера

Валидация

Проверка robots.txt на типичные проблемы и синтаксические ошибки

Конфиденциальность

Вся обработка происходит локально в вашем браузере, данные не отправляются на серверы

Как пользоваться?

Настройте правила

Выберите user-agent и добавьте правила allow/disallow для путей, которые хотите контролировать.

Добавьте карты сайта

Добавьте URL ваших sitemap, чтобы поисковые системы могли эффективно обнаруживать все ваши страницы.

Скопируйте или скачайте

Скопируйте сгенерированный robots.txt или скачайте его как файл. Разместите его в корневом каталоге вашего сайта.

Часто задаваемые вопросы

robots.txt — это текстовый файл, расположенный в корневом каталоге вашего сайта, который сообщает поисковым роботам, к каким страницам или разделам они могут иметь доступ, а к каким нет. Он следует протоколу Robots Exclusion Protocol, который соблюдают все основные поисковые системы (Googlebot, Bingbot, DuckDuckBot) по соглашению. Строго говоря, он не обязателен — если файл отсутствует, роботы считают всё разрешенным. Однако наличие robots.txt позволяет блокировать страницы с низкой ценностью (админ-панели, страницы с результатами поиска, дублирующийся контент), добавлять URL вашей карты сайта для автоматического обнаружения и устанавливать crawl-delay для защиты ресурсов сервера.

robots.txt блокирует сканирование, а не индетацию. Страница, заблокированная через Disallow, все равно может появиться в результатах поиска Google, если на неё ссылаются другие сайты — Google может проиндексировать URL без сканирования контента, показав результат без заголовка или описания. Чтобы полностью предотвратить появление страницы в результатах поиска, используйте мета-тег noindex: <meta name="robots" content="noindex">. Для максимального охвата используйте оба метода: блокируйте сканирование в robots.txt и добавляйте noindex для предотвращения индетации через прямое обнаружение.

Он должен находиться в корневой директории вашего сайта и быть доступен по адресу https://yourdomain.com/robots.txt. Роботы ищут его именно по этому URL — файл в поддиректории (например, /blog/robots.txt) будет проигнорирован. Для поддомена каждому поддомену нужен свой robots.txt в его собственном корне (например, https://blog.yourdomain.com/robots.txt). После загрузки проверьте доступность, перейдя по URL напрямую в браузере.

Disallow сообщает роботам не заходить на определенный путь. Allow отменяет действие Disallow для более специфичного пути внутри того же блока user-agent — это полезно, когда вы хотите закрыть папку, но разрешить доступ к конкретному файлу внутри неё. Например: Disallow: /private/ затем Allow: /private/public.html разрешит только эту одну страницу. Когда оба правила одинаково точно соответствуют URL, приоритет отдается Allow. Без каких-либо директив Allow или Disallow всё разрешено по умолчанию.

Нет. Распространенная ошибка — добавлять Disallow: /*.css и Disallow: /*.js в robots.txt. Googlebot должен загружать CSS и JavaScript, чтобы отображать ваши страницы и понимать их содержание. Блокировка этих файлов может привести к тому, что Google увидит сломанную версию вашего сайта, что может навредить позициям в поиске. Блокируйте только те файлы и пути, которые вы действительно не хотите сканировать — админ-панели, внутренние страницы с результатами поиска, дублированные отфильтрованные URL, пути тестовых сред (staging).

Crawl-delay устанавливает минимальное количество секунд, которые робот должен ждать между запросами к вашему серверу. Например, Crawl-delay: 10 заставляет бота делать паузу в 10 секунд между получениями страниц. Это снижает нагрузку на сервер от агрессивных сканеров. Обратите внимание, что Googlebot игнорирует Crawl-delay в robots.txt — для управления скоростью сканирования Googlebot используйте настройки скорости сканирования в Google Search Console. Crawl-delay учитывается Bingbot, Yandex и многими мелкими поисковиками.

Да. Каждый блок User-agent применяется только к соответствующему роботу. User-agent: * применяется ко всем роботам по умолчанию. Вы можете добавить специфические блоки, которые перекрывают эти значения — например, User-agent: Googlebot с собственным набором правил Allow/Disallow и User-agent: Bingbot с другими правилами. Когда робот находит несколько подходящих блоков (специфический и с подстановочным знаком), он следует наиболее специфичному совпадению. Добавляйте несколько блоков user-agent с помощью кнопки "Add User-Agent Block".

Нет. Все настройки и генерация файлов происходят в вашем браузере с помощью JavaScript. Ваши URL, пути и адреса карт сайта никогда не покидают ваше устройство. Здесь нет обработки на стороне сервера, нет хранения данных и нет учетных записей. Скопируйте результат или воспользуйтесь кнопкой Download для сохранения файла — как только вы закроете вкладку, конфигурация исчезнет.

Что такое генератор Robots.txt?

Генератор robots.txt помогает создать файл robots.txt, который управляет доступом поисковых краулеров к разделам вашего сайта. Вместо ручного написания синтаксиса вы выбираете user-agent, добавляете правила allow/disallow, указываете URL sitemap, и инструмент генерирует файл за вас.

Основные возможности

Несколько блоков user-agent с разными правилами для каждого краулера. Кнопки быстрого добавления для популярных путей: /admin/, /api/ и /tmp/. Управление URL карт сайта. Настройка задержки краулинга. Встроенная валидация для обнаружения синтаксических ошибок перед деплоем. Пресеты для сценариев: разрешить всё, заблокировать всё и блокировать папки.

Распространённые сценарии

Блокировка админ-панелей и API-эндпоинтов от краулеров. Добавление URL sitemap, чтобы поисковые системы нашли все ваши страницы. Настройка разных правил для Googlebot и других ботов. Добавление задержки краулинга для ботов, которые слишком нагружают сервер.

Советы

Всегда включайте URL вашего sitemap. Не блокируйте CSS и JS файлы, которые нужны поисковым системам для рендеринга ваших страниц. Проверяйте robots.txt с помощью тестера robots.txt в Google Search Console. Помните, что robots.txt публичен, поэтому не используйте его для скрытия конфиденциальных URL.

Конфиденциальность

Всё работает в вашем браузере. Никакие URL и правила не отправляются на сервер.

Безопасность и конфиденциальность

Безопасность ваших данных — наш приоритет

Локальная обработка

Вся обработка происходит в вашем браузере

Без передачи данных

Ваши данные не отправляются на наши серверы

Без хранения данных

Данные не хранятся и не передаются

SSL-шифрование

SSL-шифрование для безопасного соединения

Next Step

Генератор мета-тегов

Создавайте HTML мета-теги для SEO-оптимизации сайта

Генератор Rewrite-правил

Создавайте правила перенаправления для Apache и Nginx

Был ли этот инструмент полезен?

Генератор Robots.txt

Настройка Robots.txt

Блоки User-Agent

URL карт сайта

Задержка краулинга

Быстрое добавление путей

Сгенерированный robots.txt

Примеры использования

Разрешить весь краулинг

Блокировать служебные папки

Правила для разных ботов

Возможности

Визуальный конструктор

Несколько User-Agent

Валидация

Конфиденциальность

Как пользоваться?

Настройте правила

Добавьте карты сайта

Скопируйте или скачайте

Часто задаваемые вопросы

Что такое robots.txt и действительно ли он мне нужен?

Предотвращает ли robots.txt появление страниц в Google?

Где должен находиться файл robots.txt на моем сервере?

В чем разница между Allow и Disallow?

Нужно ли мне блокировать файлы CSS и JavaScript?

Что такое Crawl-delay и когда его следует использовать?

Могу ли я установить разные правила для разных поисковых систем?

Отправляет ли этот инструмент мои данные куда-либо?

Что такое генератор Robots.txt?

Основные возможности

Распространённые сценарии

Советы

Конфиденциальность

Безопасность и конфиденциальность

Локальная обработка

Без передачи данных

Без хранения данных

SSL-шифрование

Next Step

Генератор мета-тегов

Генератор Rewrite-правил

Похожие инструменты

Просмотрщик SVG-кода

Генератор box-shadow

Генератор HTML-таблиц

Просмотрщик JSON в таблице

Генератор QR-кодов

Тестер регулярных выражений