Перейти к содержимому
ToolsMinify logo
SEO-инструменты
Популярное

Генератор robots.txt

Соберите файл robots.txt в браузере.

О Генератор robots.txt

Соберите файл robots.txt в браузере. Начните с allow all, block all или block admin, затем отредактируйте User-agent, пути Allow и Disallow и при необходимости добавьте URL sitemap. Скопируйте файл и сохраните в корне сайта, чтобы краулеры знали, что можно забирать. Ничего не загружается.

Как использовать Генератор robots.txt

  1. Выберите пресет: allow all, block all или block admin.
  2. Измените User-agent, если нужен именованный краулер вместо *.
  3. Добавьте или измените пути Disallow и Allow (по одному на строку).
  4. При необходимости вставьте URL sitemap.
  5. Скопируйте robots.txt и сохраните по адресу https://your-domain/robots.txt.

Примеры: Генератор robots.txt

Публичный сайт, все разрешено

Пресет allow all дает User-agent: * и Allow: /. Добавьте URL sitemap, чтобы краулеры нашли XML sitemap в том же файле.

Staging, все краулеры заблокированы

Пресет block all дает Disallow: /, чтобы Googlebot и другие не заходили на staging или приватный хост. Добавьте noindex, если хост станет публичным.

Блокировка путей админки CMS

Пресет block admin пишет Disallow: /admin/ и Disallow: /wp-admin/, остальной сайт остается доступным для обхода.

Именованный краулер и свои пути

User-agent Googlebot, Disallow /tmp, Allow /public/ и URL sitemap - смешанная группа плюс строка Sitemap:.

Полное руководство

Robots.txt: лучшие практики для SEO - Allow, Disallow и Sitemap (2026) - 7 мин чтения

Частые вопросы о Генератор robots.txt

Куда класть robots.txt?
Сохраните файл в корне сайта: https://www.example.com/robots.txt. Краулеры запрашивают только этот путь. Файл в подкаталоге игнорируется.
Чем отличаются Allow и Disallow?
Disallow - префиксы путей, которые краулер должен пропускать. Allow - префиксы, которые можно забирать; полезно, когда родительский путь запрещен. Пустой список путей в генераторе по умолчанию дает Allow: / (весь сайт).
Скрывает ли robots.txt страницы от Google?
Нет. Это просьба не забирать эти URL. Заблокированные страницы могут быть в поиске, если на них ссылаются. Для исключения из выдачи используйте noindex на странице.
Добавлять ли строку Sitemap?
Да, если есть XML sitemap. Директива Sitemap: не зависит от групп User-agent и помогает Google, Bing и другим находить URL. Используйте абсолютный https URL.
Включен ли Crawl-delay?
Нет. Google игнорирует Crawl-delay. Для замедления Googlebot используйте настройки обхода в Search Console. Генератор ограничивается User-agent, Allow, Disallow и Sitemap.
Покидает ли файл устройство?
Нет. Генератор robots.txt работает полностью в браузере. Пути и URL sitemap не загружаются и не сохраняются на сервере.