Come utilizzare Generatore di Robots.txt: guida completa (2026)

Cos'è Generatore di Robots.txt?

Un generatore robots.txt costruisce il file di testo semplice che i crawler richiedono alla root del sito. Il generatore gratuito di ToolsMinify parte da consenti tutto, blocca tutto o blocca admin, poi trasforma User-agent, Allow, Disallow e un URL sitemap opzionale in robots.txt pronto da copiare. Salva il file su https://your-domain/robots.txt così Googlebot e altri sanno quali percorsi possono recuperare. Tutto gira nel browser.

Genera un file robots.txt con preset per consentire tutto, bloccare tutto o bloccare l'admin. Aggiungi percorsi Allow/Disallow e un URL della sitemap - gratuito, istantaneo e privato.

Perché usare Generatore di Robots.txt?

• Preset consenti tutto, blocca tutto e blocca admin così non scrivi direttive a memoria
• robots.txt live mentre modifichi User-agent, percorsi Allow e Disallow
• Riga Sitemap: opzionale con URL assoluto alla fine del file
• I percorsi vengono trimmati, deduplicati e con slash iniziale quando serve
• Gira interamente nel browser - le bozze non lasciano il dispositivo

Come usare Generatore di Robots.txt - passo passo

1. Passo 1: Scegli un preset: consenti tutto, blocca tutto o blocca admin.
2. Passo 2: Modifica User-agent se hai bisogno di un crawler nominato invece di *.
3. Passo 3: Aggiungi o modifica percorsi Disallow e Allow (uno per riga).
4. Passo 4: Incolla opzionalmente l'URL della tua sitemap.
5. Passo 5: Copia l'output di robots.txt e salvalo in https://tuo-dominio/robots.txt.

Il Generatore di Robots.txt si trova in Strumenti SEO. Apri la pagina dello strumento, inserisci l'input nel campo principale e i risultati si aggiornano subito. Usa il pulsante Copia per incollare l'output in documenti, editor di codice o fogli di calcolo.

Casi d'uso comuni

Lancio sito pubblico

Usa consenti tutto più l'URL della sitemap XML così i crawler possono recuperare ogni percorso pubblico e scoprire URL da un file.

Tenere lo staging fuori dall'indice

Usa blocca tutto (Disallow: /) su un host staging. Aggiungi noindex sulle pagine se quell'host e mai raggiungibile dal web aperto.

Nascondere aree admin CMS

Usa blocca admin per Disallow /admin/ e /wp-admin/ mentre post blog e pagine prodotto restano indicizzabili.

Affinare un crawler nominato

Imposta User-agent su Googlebot, mescola prefissi Allow e Disallow e mantieni una riga Sitemap per la scoperta URL.

Esempi

• Sito pubblico, consenti tutto: Il preset consenti tutto emette User-agent: * e Allow: /. Aggiungi un URL della sitemap in modo che i crawler possano trovare la tua sitemap XML nello stesso file.
• Sito di staging, blocca tutti i crawler: Il preset blocca tutto emette Disallow: / in modo che Googlebot e altri rimangano fuori da uno staging o da un host privato. Abbina questo a noindex se l'host diventa mai pubblico.
• Blocca percorsi admin CMS: Il preset blocca admin scrive Disallow: /admin/ e Disallow: /wp-admin/ mentre il resto del sito rimane indicizzabile.
• Crawler nominato più percorsi personalizzati: Imposta User-agent su Googlebot, Disallow /tmp, Allow /public/, e un URL della sitemap per produrre un gruppo misto più una riga Sitemap:.

Consigli professionali

• Il file deve stare alla root del sito. example.com/blog/robots.txt viene ignorato.
• robots.txt non è un controllo di sicurezza e non fa noindex di un URL. Usa noindex quando una pagina deve restare fuori dai risultati.
• Usa URL sitemap https assoluti. I percorsi relativi si interpretano facilmente male.
• Google ignora Crawl-delay. Saltalo e usa Search Console se devi rallentare Googlebot.
• Dopo il deploy, testa il file live nel tester robots.txt di Google e richiedi l'indicizzazione per URL chiave.

Domande frequenti

Dove metto robots.txt?

Salva il file nella root del sito: https://www.example.com/robots.txt. I crawler recuperano solo quel percorso esatto. Un file in una sottodirectory viene ignorato.

Qual è la differenza tra Allow e Disallow?

Disallow elenca i prefissi di percorso che i crawler devono saltare. Allow elenca i prefissi che possono recuperare, utile quando un percorso padre è disabilitato. Un elenco di percorsi vuoto in questo generatore predefinisce Allow: / (l'intero sito).

robots.txt nasconde le pagine da Google?

No. Chiede ai crawler di non recuperare quegli URL. Le pagine bloccate possono ancora apparire nei risultati di ricerca se sono collegate altrove. Usa noindex sulla pagina quando hai bisogno che venga esclusa dai risultati.

Devo aggiungere una riga Sitemap?

Sì, quando hai una sitemap XML. La direttiva Sitemap: è indipendente dai gruppi User-agent e aiuta Google, Bing e altri a scoprire gli URL. Usa un URL https assoluto.

È incluso Crawl-delay?

No. Google ignora Crawl-delay. Usa le impostazioni di crawling di Search Console se hai bisogno di rallentare Googlebot. Questo generatore si attiene a User-agent, Allow, Disallow e Sitemap.

Il mio file lascia il dispositivo?

No. Il Generatore di Robots.txt viene eseguito interamente nel tuo browser. I percorsi e gli URL della sitemap non vengono caricati o archiviati su un server.

Strumenti correlati che potrebbero servirti

Esplora altri strumenti seo su ToolsMinify. Le utilità correlate sono collegate nella pagina di Generatore di Robots.txt per aiutarti a completare il flusso di lavoro senza lasciare il sito.