Генератор robots.txt
Соберите файл robots.txt в браузере.
О Генератор robots.txt
Соберите файл robots.txt в браузере. Начните с allow all, block all или block admin, затем отредактируйте User-agent, пути Allow и Disallow и при необходимости добавьте URL sitemap. Скопируйте файл и сохраните в корне сайта, чтобы краулеры знали, что можно забирать. Ничего не загружается.
Как использовать Генератор robots.txt
- Выберите пресет: allow all, block all или block admin.
- Измените User-agent, если нужен именованный краулер вместо *.
- Добавьте или измените пути Disallow и Allow (по одному на строку).
- При необходимости вставьте URL sitemap.
- Скопируйте robots.txt и сохраните по адресу https://your-domain/robots.txt.
Примеры: Генератор robots.txt
Публичный сайт, все разрешено
Пресет allow all дает User-agent: * и Allow: /. Добавьте URL sitemap, чтобы краулеры нашли XML sitemap в том же файле.
Staging, все краулеры заблокированы
Пресет block all дает Disallow: /, чтобы Googlebot и другие не заходили на staging или приватный хост. Добавьте noindex, если хост станет публичным.
Блокировка путей админки CMS
Пресет block admin пишет Disallow: /admin/ и Disallow: /wp-admin/, остальной сайт остается доступным для обхода.
Именованный краулер и свои пути
User-agent Googlebot, Disallow /tmp, Allow /public/ и URL sitemap - смешанная группа плюс строка Sitemap:.
Полное руководство
Robots.txt: лучшие практики для SEO - Allow, Disallow и Sitemap (2026) - 7 мин чтения
Частые вопросы о Генератор robots.txt
- Куда класть robots.txt?
- Сохраните файл в корне сайта: https://www.example.com/robots.txt. Краулеры запрашивают только этот путь. Файл в подкаталоге игнорируется.
- Чем отличаются Allow и Disallow?
- Disallow - префиксы путей, которые краулер должен пропускать. Allow - префиксы, которые можно забирать; полезно, когда родительский путь запрещен. Пустой список путей в генераторе по умолчанию дает Allow: / (весь сайт).
- Скрывает ли robots.txt страницы от Google?
- Нет. Это просьба не забирать эти URL. Заблокированные страницы могут быть в поиске, если на них ссылаются. Для исключения из выдачи используйте noindex на странице.
- Добавлять ли строку Sitemap?
- Да, если есть XML sitemap. Директива Sitemap: не зависит от групп User-agent и помогает Google, Bing и другим находить URL. Используйте абсолютный https URL.
- Включен ли Crawl-delay?
- Нет. Google игнорирует Crawl-delay. Для замедления Googlebot используйте настройки обхода в Search Console. Генератор ограничивается User-agent, Allow, Disallow и Sitemap.
- Покидает ли файл устройство?
- Нет. Генератор robots.txt работает полностью в браузере. Пути и URL sitemap не загружаются и не сохраняются на сервере.
Похожие инструменты
Генератор тегов Open Graph
Создавайте meta-теги Open Graph и Twitter Card из заголовка, описания, URL и изображения. Бесплатный генератор OG-тегов с live HTML и предпросмотром для соцсетей.
Проверка meta description и превью SERP
Бесплатная проверка длины в SERP и превью meta description. Счетчик символов и превью сниппета Google - или черновик. В пределах 150-160 символов.
Генератор слагов
Превращайте заголовок или фразу в чистый SEO-дружественный URL-слаг. Нижний регистр, снятие акцентов, дефис или подчеркивание - бесплатно, мгновенно и приватно.