Ou placer robots.txt ?

Enregistrez le fichier a la racine du site : https://www.example.com/robots.txt. Les crawlers ne recuperent que ce chemin exact. Un fichier dans un sous-dossier est ignore.

Quelle difference entre Allow et Disallow ?

Disallow liste les prefixes de chemin que les crawlers doivent ignorer. Allow liste ceux qu'ils peuvent recuperer, utile quand un parent est bloque. Si les chemins sont vides, ce generateur utilise Allow: / (tout le site).

robots.txt cache-t-il des pages a Google ?

Non. Il demande aux crawlers de ne pas telecharger ces URLs. Les pages bloquees peuvent encore apparaitre dans la recherche si elles sont liees. Utilisez noindex sur la page pour la garder hors des resultats.

Faut-il ajouter une ligne Sitemap ?

Oui si vous avez un sitemap XML. La directive Sitemap: est independante des groupes User-agent et aide Google, Bing et les autres a decouvrir des URLs. Utilisez une URL https absolue.

Crawl-delay est-il inclus ?

Non. Google ignore Crawl-delay. Utilisez les reglages d'exploration de Search Console pour ralentir Googlebot. Ce generateur se limite a User-agent, Allow, Disallow et Sitemap.

Le fichier quitte-t-il l'appareil ?

Non. Le generateur de robots.txt tourne entierement dans votre navigateur. Chemins et URL de sitemap ne sont ni envoyes ni stockes sur un serveur.

Outils SEO

Populaire

Generateur de robots.txt

Creez un fichier robots.txt dans le navigateur.

Modele

Parte d'un fichier courant, puis modifiez les chemins ou ajoutez l'URL du sitemap.

User-agent

Utilisez * pour tous les crawlers, ou un nom comme Googlebot.

Chemins Disallow

Chemins Allow

URL du sitemap

Facultatif. Ecrit comme une ligne Sitemap: a la fin du fichier.

robots.txt

User-agent: *
Allow: /

2 lignes

Enregistrez ce fichier sous robots.txt a la racine du site (example.com/robots.txt).

À propos de Generateur de robots.txt

Creez un fichier robots.txt dans le navigateur. Partez de tout autoriser, tout bloquer ou bloquer admin, puis modifiez User-agent, Allow et Disallow et ajoutez eventuellement l'URL du sitemap. Copiez le fichier et enregistrez-le a la racine du site pour indiquer aux crawlers ce qu'ils peuvent recuperer. Rien n'est envoye.

Comment utiliser Generateur de robots.txt

Choisissez un modele : tout autoriser, tout bloquer ou bloquer admin.
Modifiez le User-agent si vous avez besoin d'un crawler nomme au lieu de *.
Ajoutez ou changez les chemins Disallow et Allow (un par ligne).
Collez eventuellement l'URL de votre sitemap.
Copiez le robots.txt et enregistrez-le sur https://votre-domaine/robots.txt.

Exemples de Generateur de robots.txt

Site public, tout autoriser

Le modele tout autoriser emet User-agent: * et Allow: /. Ajoutez l'URL du sitemap pour que les crawlers trouvent le XML dans le meme fichier.

Staging, bloquer tous les crawlers

Le modele tout bloquer emet Disallow: / pour que Googlebot et les autres restent hors d'un hote de staging ou prive. Associez noindex si l'hote devient public.

Bloquer les chemins d'admin CMS

Le modele bloquer admin ecrit Disallow: /admin/ et Disallow: /wp-admin/ pendant que le reste du site reste crawlable.

Crawler nomme et chemins personnalises

Mettez User-agent sur Googlebot, Disallow /tmp, Allow /public/ et une URL de sitemap pour un groupe mixte plus une ligne Sitemap:.

Lire le guide complet

Comment utiliser Generateur de robots.txt : guide complet (2026) - 5 min de lecture

Questions fréquentes sur Generateur de robots.txt

Ou placer robots.txt ?: Enregistrez le fichier a la racine du site : https://www.example.com/robots.txt. Les crawlers ne recuperent que ce chemin exact. Un fichier dans un sous-dossier est ignore.
Quelle difference entre Allow et Disallow ?: Disallow liste les prefixes de chemin que les crawlers doivent ignorer. Allow liste ceux qu'ils peuvent recuperer, utile quand un parent est bloque. Si les chemins sont vides, ce generateur utilise Allow: / (tout le site).
robots.txt cache-t-il des pages a Google ?: Non. Il demande aux crawlers de ne pas telecharger ces URLs. Les pages bloquees peuvent encore apparaitre dans la recherche si elles sont liees. Utilisez noindex sur la page pour la garder hors des resultats.
Faut-il ajouter une ligne Sitemap ?: Oui si vous avez un sitemap XML. La directive Sitemap: est independante des groupes User-agent et aide Google, Bing et les autres a decouvrir des URLs. Utilisez une URL https absolue.
Crawl-delay est-il inclus ?: Non. Google ignore Crawl-delay. Utilisez les reglages d'exploration de Search Console pour ralentir Googlebot. Ce generateur se limite a User-agent, Allow, Disallow et Sitemap.
Le fichier quitte-t-il l'appareil ?: Non. Le generateur de robots.txt tourne entierement dans votre navigateur. Chemins et URL de sitemap ne sont ni envoyes ni stockes sur un serveur.

Générateur de balises Open Graph

Générez des balises Open Graph et Twitter Card à partir d'un titre, d'une description, d'une URL et d'une image. Générateur OG gratuit avec HTML en direct et aperçu social.

Vérificateur de méta-description et aperçu SERP

Vérificateur de longueur SERP gratuit et aperçu de la méta description. Compteur de caractères en direct et aperçu d'extraits de code Google - ou générez un brouillon. Convient à la limite 150-160.

Générateur de slugs

Transformez n'importe quel titre ou phrase en slug d'URL propre et optimisé pour le SEO. Convertissez en minuscules, supprimez les accents et choisissez un séparateur avec trait d'union ou trait de soulignement - gratuitement, instantanément et en toute confidentialité.