Vai al contenuto
ToolsMinify logo
Strumenti SEO
Popolare

Generatore di Robots.txt

Crea un file robots.txt nel tuo browser.

Informazioni su Generatore di Robots.txt

Crea un file robots.txt nel tuo browser. Inizia con consenti tutto, blocca tutto o blocca admin, quindi modifica User-agent, percorsi Allow e Disallow e opzionalmente aggiungi un URL della sitemap. Copia il file e salvalo nella root del tuo sito in modo che i crawler sappiano cosa possono recuperare. Nulla viene caricato.

Come usare Generatore di Robots.txt

  1. Scegli un preset: consenti tutto, blocca tutto o blocca admin.
  2. Modifica User-agent se hai bisogno di un crawler nominato invece di *.
  3. Aggiungi o modifica percorsi Disallow e Allow (uno per riga).
  4. Incolla opzionalmente l'URL della tua sitemap.
  5. Copia l'output di robots.txt e salvalo in https://tuo-dominio/robots.txt.

Esempi di Generatore di Robots.txt

Sito pubblico, consenti tutto

Il preset consenti tutto emette User-agent: * e Allow: /. Aggiungi un URL della sitemap in modo che i crawler possano trovare la tua sitemap XML nello stesso file.

Sito di staging, blocca tutti i crawler

Il preset blocca tutto emette Disallow: / in modo che Googlebot e altri rimangano fuori da uno staging o da un host privato. Abbina questo a noindex se l'host diventa mai pubblico.

Blocca percorsi admin CMS

Il preset blocca admin scrive Disallow: /admin/ e Disallow: /wp-admin/ mentre il resto del sito rimane indicizzabile.

Crawler nominato più percorsi personalizzati

Imposta User-agent su Googlebot, Disallow /tmp, Allow /public/, e un URL della sitemap per produrre un gruppo misto più una riga Sitemap:.

Leggi la guida completa

Come utilizzare Generatore di Robots.txt: guida completa (2026) - 5 min di lettura

Domande frequenti su Generatore di Robots.txt

Dove metto robots.txt?
Salva il file nella root del sito: https://www.example.com/robots.txt. I crawler recuperano solo quel percorso esatto. Un file in una sottodirectory viene ignorato.
Qual è la differenza tra Allow e Disallow?
Disallow elenca i prefissi di percorso che i crawler devono saltare. Allow elenca i prefissi che possono recuperare, utile quando un percorso padre è disabilitato. Un elenco di percorsi vuoto in questo generatore predefinisce Allow: / (l'intero sito).
robots.txt nasconde le pagine da Google?
No. Chiede ai crawler di non recuperare quegli URL. Le pagine bloccate possono ancora apparire nei risultati di ricerca se sono collegate altrove. Usa noindex sulla pagina quando hai bisogno che venga esclusa dai risultati.
Devo aggiungere una riga Sitemap?
Sì, quando hai una sitemap XML. La direttiva Sitemap: è indipendente dai gruppi User-agent e aiuta Google, Bing e altri a scoprire gli URL. Usa un URL https assoluto.
È incluso Crawl-delay?
No. Google ignora Crawl-delay. Usa le impostazioni di crawling di Search Console se hai bisogno di rallentare Googlebot. Questo generatore si attiene a User-agent, Allow, Disallow e Sitemap.
Il mio file lascia il dispositivo?
No. Il Generatore di Robots.txt viene eseguito interamente nel tuo browser. I percorsi e gli URL della sitemap non vengono caricati o archiviati su un server.