Generatore di Robots.txt
Crea un file robots.txt nel tuo browser.
Informazioni su Generatore di Robots.txt
Crea un file robots.txt nel tuo browser. Inizia con consenti tutto, blocca tutto o blocca admin, quindi modifica User-agent, percorsi Allow e Disallow e opzionalmente aggiungi un URL della sitemap. Copia il file e salvalo nella root del tuo sito in modo che i crawler sappiano cosa possono recuperare. Nulla viene caricato.
Come usare Generatore di Robots.txt
- Scegli un preset: consenti tutto, blocca tutto o blocca admin.
- Modifica User-agent se hai bisogno di un crawler nominato invece di *.
- Aggiungi o modifica percorsi Disallow e Allow (uno per riga).
- Incolla opzionalmente l'URL della tua sitemap.
- Copia l'output di robots.txt e salvalo in https://tuo-dominio/robots.txt.
Esempi di Generatore di Robots.txt
Sito pubblico, consenti tutto
Il preset consenti tutto emette User-agent: * e Allow: /. Aggiungi un URL della sitemap in modo che i crawler possano trovare la tua sitemap XML nello stesso file.
Sito di staging, blocca tutti i crawler
Il preset blocca tutto emette Disallow: / in modo che Googlebot e altri rimangano fuori da uno staging o da un host privato. Abbina questo a noindex se l'host diventa mai pubblico.
Blocca percorsi admin CMS
Il preset blocca admin scrive Disallow: /admin/ e Disallow: /wp-admin/ mentre il resto del sito rimane indicizzabile.
Crawler nominato più percorsi personalizzati
Imposta User-agent su Googlebot, Disallow /tmp, Allow /public/, e un URL della sitemap per produrre un gruppo misto più una riga Sitemap:.
Guide correlate
Leggi la guida completa
Come utilizzare Generatore di Robots.txt: guida completa (2026) - 5 min di lettura
Domande frequenti su Generatore di Robots.txt
- Dove metto robots.txt?
- Salva il file nella root del sito: https://www.example.com/robots.txt. I crawler recuperano solo quel percorso esatto. Un file in una sottodirectory viene ignorato.
- Qual è la differenza tra Allow e Disallow?
- Disallow elenca i prefissi di percorso che i crawler devono saltare. Allow elenca i prefissi che possono recuperare, utile quando un percorso padre è disabilitato. Un elenco di percorsi vuoto in questo generatore predefinisce Allow: / (l'intero sito).
- robots.txt nasconde le pagine da Google?
- No. Chiede ai crawler di non recuperare quegli URL. Le pagine bloccate possono ancora apparire nei risultati di ricerca se sono collegate altrove. Usa noindex sulla pagina quando hai bisogno che venga esclusa dai risultati.
- Devo aggiungere una riga Sitemap?
- Sì, quando hai una sitemap XML. La direttiva Sitemap: è indipendente dai gruppi User-agent e aiuta Google, Bing e altri a scoprire gli URL. Usa un URL https assoluto.
- È incluso Crawl-delay?
- No. Google ignora Crawl-delay. Usa le impostazioni di crawling di Search Console se hai bisogno di rallentare Googlebot. Questo generatore si attiene a User-agent, Allow, Disallow e Sitemap.
- Il mio file lascia il dispositivo?
- No. Il Generatore di Robots.txt viene eseguito interamente nel tuo browser. I percorsi e gli URL della sitemap non vengono caricati o archiviati su un server.
Strumenti correlati
Generatore di Tag Open Graph
Genera meta tag Open Graph e Twitter Card da titolo, descrizione, URL e immagine. Generatore di tag OG gratuito con HTML live e anteprima social.
Controllo meta description e anteprima SERP
Controllo lunghezza SERP gratuito e anteprima meta description. Contatore caratteri live e anteprima snippet Google - o genera una bozza. Entro il limite 150-160.
Generatore slug
Trasforma titolo o frase in slug URL pulito e SEO-friendly. Minuscolo, rimuovi accenti, separatore trattino o underscore - gratuito, istantaneo e privato.