Como usar o Gerador de robots.txt: guia completo (2026)

O que é o Gerador de robots.txt?

Um gerador de robots.txt monta o arquivo de texto que os crawlers pedem na raiz do site. O gerador gratis da ToolsMinify comeca em permitir tudo, bloquear tudo ou bloquear admin e transforma User-agent, Allow, Disallow e uma URL de sitemap opcional em robots.txt pronto para copiar. Salve em https://seu-dominio/robots.txt para o Googlebot e outros saberem quais caminhos podem pedir. Tudo roda no navegador.

Gere um arquivo robots.txt com predefinicoes permitir tudo, bloquear tudo ou bloquear admin. Adicione caminhos Allow/Disallow e a URL do sitemap - gratis, instantaneo e privado.

Por que usar o Gerador de robots.txt?

• Predefinicoes permitir tudo, bloquear tudo e bloquear admin para nao escrever as diretivas de memoria
• robots.txt ao vivo enquanto voce edita User-agent, caminhos Allow e Disallow
• Linha Sitemap: opcional com URL absoluta no fim do arquivo
• Caminhos recortados, sem duplicata e com barra inicial quando falta
• Roda inteiramente no navegador - rascunhos nao saem do dispositivo

Como usar o Gerador de robots.txt passo a passo

1. Passo 1: Escolha uma predefinicao: permitir tudo, bloquear tudo ou bloquear admin.
2. Passo 2: Edite o User-agent se precisar de um crawler nomeado em vez de *.
3. Passo 3: Adicione ou altere os caminhos Disallow e Allow (um por linha).
4. Passo 4: Opcionalmente cole a URL do sitemap.
5. Passo 5: Copie o robots.txt e salve em https://seu-dominio/robots.txt.

O Gerador de robots.txt fica em Ferramentas de SEO. Abra a página da ferramenta, digite os seus dados no campo principal e os resultados se atualizam na hora. Use o botão de copiar para colar a saída em documentos, editores de código ou planilhas.

Casos de uso comuns

Lancar um site publico

Use permitir tudo mais a URL do sitemap XML para os crawlers pedirem cada caminho publico e descobrirem URLs num so arquivo.

Tirar o staging do indice

Use bloquear tudo (Disallow: /) num host de staging. Adicione noindex nas paginas se esse host ficar acessivel na web aberta.

Esconder o admin do CMS

Use bloquear admin para Disallow /admin/ e /wp-admin/ enquanto posts e paginas de produto continuam rastreaveis.

Ajustar um crawler nomeado

Defina User-agent como Googlebot, misture prefixos Allow e Disallow e mantenha uma linha Sitemap para descobrir URLs.

Exemplos

• Site publico, permitir tudo: A predefinicao permitir tudo emite User-agent: * e Allow: /. Adicione a URL do sitemap para os crawlers acharem o XML no mesmo arquivo.
• Staging, bloquear todos os crawlers: A predefinicao bloquear tudo emite Disallow: / para o Googlebot e outros ficarem fora de um host de staging ou privado. Combine com noindex se o host ficar publico.
• Bloquear caminhos de admin do CMS: A predefinicao bloquear admin escreve Disallow: /admin/ e Disallow: /wp-admin/ enquanto o resto do site continua rastreavel.
• Crawler nomeado e caminhos proprios: Defina User-agent como Googlebot, Disallow /tmp, Allow /public/ e uma URL de sitemap para um grupo misto mais uma linha Sitemap:.

Dicas de quem usa

• O arquivo precisa viver na raiz. example.com/blog/robots.txt e ignorado.
• robots.txt nao e controle de seguranca e nao faz noindex. Use noindex quando a pagina nao deve sair nos resultados.
• Use URLs de sitemap https absolutas. Caminhos relativos sao faceis de ler errado.
• O Google ignora Crawl-delay. Pule e use o Search Console se precisar desacelerar o Googlebot.
• Depois do deploy, teste o arquivo no tester de robots.txt do Google e peca indexacao das URLs-chave.

Perguntas frequentes

Onde coloco o robots.txt?

Salve o arquivo na raiz do site: https://www.example.com/robots.txt. Os crawlers so pedem esse caminho exato. Um arquivo em subpasta e ignorado.

Qual a diferenca entre Allow e Disallow?

Disallow lista prefixos de caminho que os crawlers devem pular. Allow lista prefixos que podem pedir, util quando um pai esta bloqueado. Se os caminhos ficarem vazios, este gerador usa Allow: / (o site inteiro).

robots.txt esconde paginas do Google?

Nao. Pede aos crawlers que nao baixem essas URLs. Paginas bloqueadas ainda podem aparecer na busca se houver links. Use noindex na pagina quando ela nao deve sair nos resultados.

Devo adicionar uma linha Sitemap?

Sim, se voce tem um sitemap XML. A diretiva Sitemap: e independente dos grupos User-agent e ajuda o Google, o Bing e outros a descobrir URLs. Use uma URL https absoluta.

Inclui Crawl-delay?

Nao. O Google ignora Crawl-delay. Use as configuracoes de rastreamento do Search Console se precisar desacelerar o Googlebot. Este gerador fica em User-agent, Allow, Disallow e Sitemap.

O arquivo sai do dispositivo?

Nao. O gerador de robots.txt roda inteiramente no navegador. Caminhos e a URL do sitemap nao sao enviados nem armazenados em um servidor.

Ferramentas relacionadas que você pode precisar

Explore outras ferramentas de seo no ToolsMinify. A página do Gerador de robots.txt tem links para utilitários relacionados, para você concluir o trabalho sem sair do site.