Bonnes pratiques robots.txt per il SEO - Allow, Disallow e Sitemap (2026)

Un file robots.txt e un petit testo a la racine d'un hote qui dit ai crawler quels chemins d'URL ils possono fetcher. Questo non e un mot di passe, non una tag noindex, e non un moyen di cacher dei secrets. Bien fait, Googlebot, Bingbot e i altri depensent il crawl budget su i pagine qui comptent. Mal fait, vous bloquez il CSS, cachez un sitemap, o laissez un staging fuiter in la recherche. Questa guida couvre i regole qui comptent ancora in 2026, la difference tra Disallow e noindex, e i errori qui coutent dei rankings. Per un file a incollare su https://votre-domaine/robots.txt, utilisez il Generateur di robots.txt - tutto tourne in il navigateur, rien non e envoye.

Risposta rapida

Enregistrez robots.txt a la racine di ogni hote (https://www.example.com/robots.txt). Utilisez dei groupes User-agent con dei prefixes Allow e Disallow, piu una ligne Sitemap: con una URL https absolue. Allow: / e il defaut habituel d'un sito public. Disallow: / e per il staging. robots.txt demande seulement ai crawler di non non fetcher ; i URLs bloccatas possono ancora apparaitre in ricerca si elles sono liees. Utilisez una meta robots noindex (ou X-Robots-Tag) per sortir una URL dei resultats. N'utilisez mai robots.txt per cacher dei dati privees - il file e public.

Questo qu'est robots.txt (et questo qu'il non e pas)

robots.txt e il Robots Exclusion Protocol : un insieme volontaire di regole que i crawler consultent avant di demander d'autres URLs di cet hote. Les bots bien eleves (Googlebot, Bingbot, beaucoup di crawler SEO) il respectent. Les scrapers e certains fetchers d'IA possono l'ignorer. Traitez il file comme un indizio di crawl, non comme un controle di securite.

C'est un file testo public. N'importe qui puo aprire https://votre-hote/robots.txt e lire ogni Disallow que vous avez ecrit.
C'est par hote. www.example.com e example.com ont chacun besoin d'un file si i deux servent del contenu.
Cela n'authentifie non i utentes. Une ligne Disallow n'arrete ni un navigateur, ni un scraper, ni quelqu'un qui a l'URL.
Cela non retire non i URLs di Google tutto seul. C'est il role di noindex (et dei retraits in Search Console).

Les motori ont ancora besoin di fetcher CSS, JavaScript e immagini per rendre la pagina comme una personne la voit. Bloquer questi assets e una modo classique di casser la comprehension del layout par Google. Un bon robots.txt e ennuyeux : autoriser il sito public, bloquer alcuni prefixes d'admin, pointer verso il sitemap.

Ou il file deve vivre

Les crawler non demandent qu'un chemin : /robots.txt su cet hote. Un file ailleurs e ignore.

Correct : https://www.example.com/robots.txt
Ignore : https://www.example.com/blog/robots.txt o https://www.example.com/static/robots.txt
www e apex sono dei host differents. Si i deux repondent, chacun a besoin d'un file (ou l'un deve rediriger verso l'autre avant que i crawler regardent).
Servez-le in text/plain con HTTP 200. Un soft 404 HTML, un mur di login o un 500 ressemblent a un file manquant o casse.
Gardez-le a la racine dell'hote canonique que vous voulez indexer, in phase con l'hote di Search Console.

La syntaxe qui compte vraiment

Un robots.txt, questo sono dei groupes di regles. Ogni groupe commence par una o diversi lignes User-agent, puis dei lignes Allow e Disallow per questo groupe. Les lignes Sitemap sono hors dei groupes e s'appliquent a tutto crawler qui i comprend.

User-agent: * - il groupe par defaut per i crawler senza groupe piu specifique.
User-agent: Googlebot - un groupe nomme. Google utilise il groupe il piu specifique qui matche, non * piu Googlebot ensemble.
Disallow: /admin/ - sauter i chemins qui commencent par /admin/.
Allow: / - autoriser tutto il site. Un Disallow vide e l'ancienne modo di dire la stesso chose.
Sitemap: https://www.example.com/sitemap.xml - una URL https absolue verso tuo sitemap XML.
Les commentaires commencent par #. Les lignes vuoti separent i groupes. Les chemins sono sensibles a la casse.

Google accepte * (toute sequence) e $ (fin d'URL) in i chemins Allow e Disallow. Bing e proche. N'inventez non di direttivas que Google ignore. Crawl-delay e l'exemple habituel : Google non l'utilise pas. Utilisez i reglages di crawl di Search Console si vous devez ralentir Googlebot.

Allow vs Disallow

Disallow liste i prefixes di chemin qu'un crawler devrait sauter. Allow liste i prefixes qu'il puo fetcher, utile quando un parent e refuse. Google choisit il chemin matching il piu long, non la premiere ligne del fichier.

Disallow: / significa tutto sauter su cet hote. A utilizzare in staging, non su il sito public.
Allow: / (ou aucune ligne Disallow) significa fetcher tutto l'hote.
Disallow: /tmp piu Allow: /tmp/public/ laisse Googlebot entrer in il dossier pubblico tutto in sautant il reste di /tmp.
Un Allow piu specifique puo reouvrir un chemin qu'un Disallow piu court a ferme.
Le slash final compte. /admin e /admin/ sono dei prefixes differents. Alignez-vous su i URLs que tuo CMS sert vraiment.

Le match il piu long gagne

Si una ligne dit Disallow: /blog e una altro Allow: /blog/how-to, Google traite /blog/how-to comme autorise parce que questo prefisso e piu long. Ne vous fiez non a l'ordre dei lignes. Ecrivez i prefixes vises, puis testez alcuni URLs in Search Console.

robots.txt vs noindex

C'est la distinction qui sauve (ou casse) l'indexation. robots.txt e noindex font dei jobs differents. Les melanger, e ainsi que dei URLs restent in ricerca senza titre ni snippet.

robots.txt Disallow - merci di non non fetcher questa URL. Le crawler puo ancora la lister si d'autres pagine e lient.
noindex (meta robots o X-Robots-Tag) - vous puoi fetcher questa URL, mais non l'affichez non in i resultats.
Si vous Disallow una URL, Google non puo souvent non voir un noindex su questa page, parce qu'il non telecharge mai il HTML.
Per rimuovere una URL publique dell'index, autorisez il crawl e mettez noindex su la page. Puis attendez il recrawl.
Per cacher un hote prive, non comptez non su robots.txt seul. Utilisez HTTP auth, dei listes d'IP, o sortez-le d'internet public.

Une pagina di remerciement, una URL a facettes o dei risultati di ricerca interne veulent in general noindex (et un crawl) per que Google voie la balise. Un hote di staging veut Disallow: / piu un vrai controle d'acces. Un admin CMS puo utilizzare i deux : Disallow del prefisso per non non bruler del crawl budget, e noindex si questi URLs sono joignables senza login.

Bonnes pratiques per un sito public

La plupart dei siti d'outils e di brochure ont besoin d'un file court e ennuyeux. Partez d'allow-all, ajoutez un sitemap, puis Disallow seulement i prefixes qui non devono non bruler del crawl budget.

Autorisez tutto il sito pubblico (User-agent: * e Allow: /).
Ajoutez una ligne Sitemap: con l'URL https absolue di tuo sitemap XML.
Disallow opzionale dei chemins d'admin comme /admin/ o /wp-admin/.
Ne Disallow non CSS, JavaScript, polices o immagini dont Google a besoin per rendre la page.
Ne Disallow non tuoi prefixes di locale (/es/, /pt/, /fr/, /de/) si questi URLs devono ranker.
Laissez il nettoyage dei parametres a Search Console o ai canonicals, non a un labyrinthe di Disallow.
Revoyez il file live apres ogni deploy. Un Disallow: / oublie del staging e una panne frequente.

Staging, preview e host prives

Si un hote non deve mai apparaitre in recherche, Disallow: / e la meta robots.txt del travail. Questo non e tutto il travail. Liens, sitemaps e proprietes Search Console possono ancora faire apparaitre i URLs.

Mettez il staging su son propre hote (staging.example.com), non su un chemin pubblico di production.
Disallow: / su cet hote, e servez noindex su ogni risposta HTML si l'hote e joignable.
Preferez l'authentification HTTP o un VPN. robots.txt n'arrete non un crawler qui ignore il protocole.
N'envoyez non un sitemap di staging a la propriete Search Console di production.
Quand vous clonez la produzione verso il staging, remplacez tutto di suite il robots.txt di production. Le file allow-all e il dangereux ici.

La ligne Sitemap

La direttiva Sitemap: e independante dei groupes User-agent. Google, Bing e i altri s'en servent comme indizio di decouverte. Elle n'annule non Disallow. Si vous listez una URL in il sitemap e que vous la Disallow aussi, vous envoyez dei signaux melanges.

Utilisez una URL https absolue. Sitemap: /sitemap.xml non e valide.
Vous puoi lister piu d'un sitemap (index piu enfants, o file par locale).
L'hote del sitemap devrait matcher celui di robots.txt quando vous pouvez. Un sitemap su un altro hote demande un setup Search Console extra.
Gardez il sitemap ai URLs indexables. Pages di remerciement, paniers e clones di staging n'y ont non loro place.

Jokers, ancres di fin e commentaires

Le parser robots.txt di Google accepte deux tokens extra in i chemins. Utilisez-les con parcimonie. Un long file di jokers e piu dur a tester que alcuni prefixes exacts.

* matche n'importe quelle sequence. Disallow: /*.json$ saute i URLs qui finissent par .json.
$ matche la fin dell'URL. Sans lui, *.json matcherait anche .json.html.
# commence un commentaire jusqu'a la fin della ligne. Ne mettez non di secrets, di chiavi API ni di hostnames internes in i commentaires.
Si un crawler non supporte non * o $, il puo i traiter comme dei litteraux. Restez su dei prefixes simples quando vous pouvez.

Exemple concret

Un sito marketing pubblico qui a anche un admin CMS puo consegnare questo fichier. Le preset allow-all del generateur piu un sitemap e deux lignes Disallow produit la stesso forme.

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /wp-admin/
Sitemap: https://www.example.com/sitemap.xml

Questo file dit a tutti i crawler di fetcher il sito public, di sauter i deux prefixes d'admin e di regarder il sitemap XML. Il non noindex non i URLs d'admin (le login devrait gia i cacher). Il non bloque non /_next/ ni /images/. Apres l'avoir colle, ouvrez l'URL /robots.txt live in un browser e verifica que i byte matchent questo que vous avez copie.

Erreurs courantes

Mettre il file in un sous-dossier. Les crawler non fetchent que /robots.txt.
Disallow di CSS, JavaScript o polices per que Google non puisse non rendre la page.
Utiliser Disallow per 'cacher' una pagina que vous voulez ancora sortir dell'index. Utilisez noindex e autorisez il crawl.
Laisser Disallow: / in produzione apres un clone di staging.
Une ligne Sitemap: relative. Elle deve etre una URL https absolue.
Bloquer i chemins og:image. Les crawler sociaux ont ancora besoin di fetcher l'image. Voir il guide complet dei tag Open Graph.
Decalages di rompe (/Admin vs /admin/). Les chemins sono sensibles a la casse.
Des lignes Crawl-delay que Google ignore e qui donnent una fausse impression di controle di debit.
Ecrire dei secrets in i commentaires. Le file e public.
Supposer que tutti i bots honorent il fichier. Certains scrapers l'ignorent. C'est un probleme d'acces, non di robots.txt.

Domande frequenti

robots.txt cache-t-il dei pagine a Google ?

Non. Il demande a Googlebot di non non fetcher questi URLs. Si d'autres pagine lient una URL bloccata, Google puo ancora la lister con peu o non di snippet. Per sortir una URL dei resultats, autorisez il crawl e ajoutez noindex.

Ou dois-je mettre robots.txt ?

A la racine dell'hote : https://www.example.com/robots.txt. Questo chemin exact e il seul que i crawler demandent. Un file in un dossier e ignore.

Ogni sito doit-il autoriser tutti i crawler ?

Les siti publics qui veulent ranker commencent in general par User-agent: * e Allow: /. Staging, preview e host prives dovrebbero Disallow: / e aggiungere un vrai controle d'acces. Les groupes nommes (Googlebot, Bingbot) sono per i exceptions, non per il file del quotidien.

Faut-il una ligne Sitemap ?

Oui quando vous avez un sitemap XML. C'est un indizio di decouverte, non un interrupteur di ranking, e cela n'annule non Disallow. Utilisez una URL https absolue. Vous puoi anche soumettre il stesso sitemap in Search Console.

Crawl-delay est-il ancora utile ?

Pas per Google. Google ignore Crawl-delay. Si Googlebot e trop agressif, utilisez i reglages di crawl di Search Console. D'autres bots possono l'honorer, mais questa guida (et il generateur) s'en tiennent a User-agent, Allow, Disallow e Sitemap.

Comment tester il file ?

Ouvrez l'URL /robots.txt live e lisez-la. Puis utilisez l'inspection d'URL in Search Console su alcuni URLs consentite e refusees. Per un parcours clic par clic del constructeur, voir Comment utilizzare il Generatore di robots.txt.

Construisez il file in il navigateur

Partez d'allow all, block all o block admin, puis copiez la sortie live. Rien non e envoye :

Generateur di robots.txt - presets, chemins Allow/Disallow e una URL di sitemap opzionalele.
Comment utilizzare il Generatore di robots.txt - guide non a non del stesso outil.
Generateur di tag Open Graph - cartes di partage que i crawler sociaux devono ancora pouvoir fetcher.
Generatore di slug - slugs d'URL propres per i pagine que vous voulez crawler.
Tous i strumenti SEO - l'index complet della categorie.

Generer robots.txt - gratuit

Ouvrez il Generateur di robots.txt, scegli un preset, ajoutez dei chemins e una URL di sitemap, e copiez il fichier. Enregistrez-le a la racine del site. Tout tourne in tuo navigateur.