Robots.txt Best Practices fuer SEO - Allow, Disallow und Sitemap (2026)

Eine robots.txt ist eine kleine Textdatei an der Wurzel eines Hosts, die Crawlern sagt, welche URL-Pfade sie holen duerfen. Sie ist kein Passwort, kein noindex-Tag und kein Weg, Geheimnisse zu verstecken. Richtig gemacht, geben Googlebot, Bingbot und andere Crawl-Budget fuer die Seiten aus, die zaehlen. Falsch gemacht, blockieren Sie CSS, verstecken eine Sitemap oder leaken eine Staging-Site in die Suche. Dieser Guide deckt die Regeln, die 2026 noch zaehlen, den Unterschied zwischen Disallow und noindex, und die Fehler, die Rankings kosten. Wenn Sie eine Datei zum Einfuegen unter https://ihre-domain/robots.txt wollen, nutzen Sie den Robots.txt-Generator - er laeuft im Browser und laedt die Pfade nie hoch.

Was robots.txt ist (und was nicht)

robots.txt ist das Robots Exclusion Protocol: ein freiwilliger Regelsatz, den Crawler nachschlagen, bevor sie andere URLs auf diesem Host anfragen. Gut erzogene Bots (Googlebot, Bingbot, viele SEO-Crawler) halten sich daran. Scraper und manche KI-Fetcher koennen ihn ignorieren. Behandeln Sie die Datei als Crawl-Hinweis, nicht als Sicherheitskontrolle.

• Es ist eine oeffentliche Textdatei. Jeder kann https://ihr-host/robots.txt oeffnen und jedes Disallow lesen, das Sie geschrieben haben.
• Es gilt pro Host. www.example.com und example.com brauchen je eine Datei, wenn beide Content ausliefern.
• Es authentifiziert keine Nutzer. Eine Disallow-Zeile stoppt weder Browser noch Scraper noch jemanden mit der URL.
• Es entfernt URLs nicht von selbst aus Google. Dafuer sind noindex (und Removals in Search Console) da.

Suchmaschinen muessen weiter CSS, JavaScript und Bilder holen, um eine Seite so zu rendern, wie ein Mensch sie sieht. Diese Assets zu blocken ist ein Klassiker, wie Google das Layout missversteht. Eine gute robots.txt ist langweilig: oeffentliche Site erlauben, ein paar Admin-Praefixe blocken, auf die Sitemap zeigen.

Wo die Datei liegen muss

Crawler fragen nur einen Pfad an: /robots.txt auf diesem Host. Eine Datei woanders wird ignoriert.

• Richtig: https://www.example.com/robots.txt
• Ignoriert: https://www.example.com/blog/robots.txt oder https://www.example.com/static/robots.txt
• www und Apex sind verschiedene Hosts. Wenn beide antworten, braucht jeder eine Datei (oder einer sollte zum anderen umleiten, bevor Crawler schauen).
• Liefern Sie sie als text/plain mit HTTP 200. Ein HTML-Soft-404, eine Login-Wand oder ein 500 wirken wie eine fehlende oder kaputte Datei.
• Legen Sie sie an die Wurzel des kanonischen Hosts, den Sie indexieren wollen, passend zum Host in Search Console.

Die Syntax, die wirklich zaehlt

Eine robots.txt besteht aus Regelgruppen. Jede Gruppe startet mit einer oder mehreren User-agent-Zeilen, dann Allow- und Disallow-Zeilen fuer diese Gruppe. Sitemap-Zeilen sitzen ausserhalb der Gruppen und gelten fuer jeden Crawler, der sie versteht.

• User-agent: * - die Default-Gruppe fuer Crawler ohne spezifischere Gruppe.
• User-agent: Googlebot - eine benannte Gruppe. Google nutzt die spezifischste passende Gruppe, nicht * plus Googlebot zusammen.
• Disallow: /admin/ - URL-Pfade ueberspringen, die mit /admin/ beginnen.
• Allow: / - die ganze Site erlauben. Ein leeres Disallow ist die aeltere Form derselben Aussage.
• Sitemap: https://www.example.com/sitemap.xml - eine absolute https-URL zu Ihrer XML-Sitemap.
• Kommentare starten mit #. Leerzeilen trennen Gruppen. Pfade sind case-sensitive.

Google unterstuetzt * (beliebige Sequenz) und $ (URL-Ende) in Allow- und Disallow-Pfaden. Bing ist aehnlich. Erfinden Sie keine Direktiven, die Google ignoriert. Crawl-delay ist das uebliche Beispiel: Google nutzt es nicht. Nutzen Sie die Crawl-Einstellungen in Search Console, wenn Sie Googlebot bremsen muessen.

Allow vs Disallow

Disallow listet Pfadpraefixe, die ein Crawler ueberspringen soll. Allow listet Praefixe, die er holen darf, nuetzlich wenn ein Elternpfad gesperrt ist. Google waehlt den laengsten passenden Pfad, nicht die erste Zeile in der Datei.

• Disallow: / heisst alles auf diesem Host ueberspringen. Das gehoert auf Staging, nicht auf die oeffentliche Site.
• Allow: / (oder keine Disallow-Zeilen) heisst den ganzen Host holen.
• Disallow: /tmp plus Allow: /tmp/public/ laesst Googlebot in den public-Ordner und ueberspringt den Rest von /tmp.
• Ein spezifischeres Allow kann einen Pfad wieder oeffnen, den ein kuerzeres Disallow geschlossen hat.
• Trailing Slashes zaehlen. /admin und /admin/ sind verschiedene Praefixe. Passen Sie die URLs an, die Ihr CMS wirklich ausliefert.

robots.txt vs noindex

Das ist die Unterscheidung, die Indexierung rettet (oder zerstoert). robots.txt und noindex machen verschiedene Jobs. Sie zu mischen ist, wie URLs ohne Titel und Snippet in der Suche haengen bleiben.

• robots.txt Disallow - bitte diese URL nicht holen. Der Crawler kann sie trotzdem listen, wenn andere Seiten darauf linken.
• noindex (Meta-Robots oder X-Robots-Tag) - Sie duerfen diese URL holen, aber nicht in den Ergebnissen zeigen.
• Wenn Sie eine URL Disallowen, sieht Google oft kein noindex auf dieser Seite, weil es das HTML nie herunterlaedt.
• Um eine oeffentliche URL aus dem Index zu nehmen, erlauben Sie den Crawl und setzen noindex auf die Seite. Dann auf den Recrawl warten.
• Um einen privaten Host zu verstecken, verlassen Sie sich nicht allein auf robots.txt. Nutzen Sie HTTP-Auth, IP-Allowlists oder halten Sie ihn vom oeffentlichen Internet fern.

Eine Danke-Seite, eine Facetten-URL oder interne Suchergebnisse wollen meist noindex (und Crawl), damit Google das Tag sieht. Ein Staging-Host will Disallow: / plus echte Zugriffskontrolle. Ein CMS-Admin kann beides nutzen: Disallow des Praefixes, damit Crawl-Budget nicht verbrannt wird, und noindex, wenn diese URLs ohne Login erreichbar sind.

Best Practices fuer eine oeffentliche Site

Die meisten Tool- und Brochure-Sites brauchen eine kurze, langweilige Datei. Starten Sie bei allow-all, fuegen Sie eine Sitemap hinzu und Disallowen Sie nur die Praefixe, die kein Crawl-Budget verbrennen sollen.

• Erlauben Sie die ganze oeffentliche Site (User-agent: * und Allow: /).
• Fuegen Sie eine Sitemap:-Zeile mit der absoluten https-URL Ihrer XML-Sitemap hinzu.
• Optional CMS-Admin-Pfade wie /admin/ oder /wp-admin/ Disallowen.
• Disallowen Sie nicht CSS, JavaScript, Fonts oder Bilder, die Google zum Rendern braucht.
• Disallowen Sie nicht Ihre Locale-Praefixe (/es/, /pt/, /fr/, /de/), wenn diese URLs ranken sollen.
• Lassen Sie Parameter-Bereinigung in Search Console oder Canonicals, nicht in einem Disallow-Labyrinth.
• Pruefen Sie die Live-Datei nach jedem Deploy. Ein vergessenes Disallow: / aus Staging ist ein haeufiger Ausfall.

Staging, Preview und private Hosts

Wenn ein Host nie in der Suche stehen soll, ist Disallow: / die robots.txt-Haelfte der Arbeit. Es ist nicht die ganze Arbeit. Links, Sitemaps und Search-Console-Properties koennen die URLs trotzdem auftauchen lassen.

• Legen Sie Staging auf einen eigenen Host (staging.example.com), nicht auf einen oeffentlichen Pfad der Produktion.
• Disallow: / auf diesem Host, und liefern Sie noindex auf jeder HTML-Antwort, wenn der Host ueberhaupt erreichbar ist.
• Bevorzugen Sie HTTP-Auth oder ein VPN. robots.txt stoppt keinen Crawler, der das Protokoll ignoriert.
• Reichen Sie keine Staging-Sitemap bei der Produktions-Property in Search Console ein.
• Wenn Sie Produktion nach Staging klonen, ersetzen Sie die Produktions-robots.txt sofort. Die allow-all-Datei ist hier die gefaehrliche.

Die Sitemap-Zeile

Die Sitemap:-Direktive ist unabhaengig von User-agent-Gruppen. Google, Bing und andere nutzen sie als Discovery-Hinweis. Sie hebt Disallow nicht auf. Wenn Sie eine URL in der Sitemap listen und sie auch Disallowen, senden Sie gemischte Signale.

• Nutzen Sie eine absolute https-URL. Sitemap: /sitemap.xml ist ungueltig.
• Sie koennen mehr als eine Sitemap listen (Index plus Kinder, oder locale-spezifische Dateien).
• Der Sitemap-Host sollte zum robots.txt-Host passen, wenn Sie koennen. Cross-Host-Sitemaps brauchen extra Search-Console-Setup.
• Halten Sie die Sitemap bei indexierbaren URLs. Danke-Seiten, Warenkorb-URLs und Staging-Klone gehoeren nicht hinein.

Wildcards, Endanker und Kommentare

Googles robots.txt-Parser unterstuetzt zwei Extra-Tokens in Pfaden. Nutzen Sie sie sparsam. Eine lange Wildcard-Datei ist schwerer zu testen als ein paar exakte Praefixe.

• * matcht jede Zeichenfolge. Disallow: /*.json$ ueberspringt URLs, die auf .json enden.
• $ matcht das URL-Ende. Ohne ihn wuerde *.json auch .json.html matchen.
• # startet einen Kommentar bis zum Zeilenende. Legen Sie keine Geheimnisse, API-Keys oder internen Hostnames in Kommentare.
• Wenn ein Crawler * oder $ nicht unterstuetzt, kann er sie als Literale behandeln. Bleiben Sie bei einfachen Praefixen, wenn Sie koennen.

Durchgerechnetes Beispiel

Eine oeffentliche Marketing-Site mit CMS-Admin koennte diese Datei ausliefern. Das Allow-all-Preset des Generators plus Sitemap und zwei Disallow-Zeilen ergibt dieselbe Form.

• User-agent: *
• Allow: /
• Disallow: /admin/
• Disallow: /wp-admin/
• Sitemap: https://www.example.com/sitemap.xml

Diese Datei sagt jedem Crawler, die oeffentliche Site zu holen, die zwei Admin-Praefixe zu ueberspringen und in die XML-Sitemap zu schauen. Sie noindext die Admin-URLs nicht (Login sollte die schon verstecken). Sie blockt nicht /_next/ oder /images/. Nach dem Einfuegen oeffnen Sie die Live-/robots.txt-URL im Browser und pruefen, dass die Bytes zu dem passen, was Sie kopiert haben.

Haeufige Fehler

• Die Datei in ein Unterverzeichnis legen. Crawler holen nur /robots.txt.
• CSS, JavaScript oder Fonts Disallowen, sodass Google die Seite nicht rendern kann.
• Disallow nutzen, um eine Seite zu 'verstecken', die Sie noch aus dem Index haben wollen. Nutzen Sie noindex und erlauben Sie den Crawl.
• Disallow: / nach einem Staging-Klon auf Produktion lassen.
• Eine relative Sitemap:-Zeile. Sie muss eine absolute https-URL sein.
• og:image-Pfade blocken. Social-Crawler muessen das Bild weiter holen koennen. Siehe Open-Graph-Tags vollstaendiger Guide.
• Case-Mismatch (/Admin vs /admin/). Pfade sind case-sensitive.
• Crawl-delay-Zeilen, die Google ignoriert und ein falsches Gefuehl von Ratenkontrolle geben.
• Geheimnisse in Kommentare schreiben. Die Datei ist oeffentlich.
• Annehmen, jeder Bot halte sich an die Datei. Manche Scraper ignorieren sie. Das ist ein Zugriffsproblem, kein robots.txt-Problem.

Haeufige Fragen

Versteckt robots.txt Seiten vor Google?

Nein. Es bittet Googlebot, diese URLs nicht zu holen. Wenn andere Seiten auf eine blockierte URL linken, kann Google sie trotzdem mit wenig oder keinem Snippet listen. Um eine URL aus den Ergebnissen zu halten, erlauben Sie den Crawl und setzen noindex.

Wohin kommt robots.txt?

An die Site-Wurzel des Hosts: https://www.example.com/robots.txt. Dieser exakte Pfad ist der einzige, den Crawler anfragen. Eine Datei in einem Ordner wird ignoriert.

Sollte jede Site alle Crawler erlauben?

Oeffentliche Sites, die ranken wollen, starten meist mit User-agent: * und Allow: /. Staging, Preview und private Hosts sollten Disallow: / und echte Zugriffskontrolle nutzen. Benannte Gruppen (Googlebot, Bingbot) sind fuer Ausnahmen, nicht fuer Alltagsdateien.

Brauche ich eine Sitemap-Zeile?

Ja, wenn Sie eine XML-Sitemap haben. Es ist ein Discovery-Hinweis, kein Ranking-Schalter, und es hebt Disallow nicht auf. Nutzen Sie eine absolute https-URL. Sie koennen dieselbe Sitemap auch in Search Console einreichen.

Ist Crawl-delay noch nuetzlich?

Nicht fuer Google. Google ignoriert Crawl-delay. Wenn Googlebot zu aggressiv ist, nutzen Sie die Crawl-Einstellungen in Search Console. Andere Bots koennen Crawl-delay ehren, aber dieser Guide (und der Generator) bleiben bei User-agent, Allow, Disallow und Sitemap.

Wie teste ich die Datei?

Oeffnen Sie die Live-/robots.txt-URL und lesen Sie sie. Dann nutzen Sie URL-Inspection in Search Console auf ein paar erlaubten und gesperrten URLs. Fuer eine Klick-fuer-Klick-Anleitung des Builders siehe Wie man den Robots.txt-Generator nutzt.

Die Datei im Browser bauen

Starten Sie bei allow all, block all oder block admin und kopieren Sie die Live-Ausgabe. Nichts wird hochgeladen:

• Robots.txt-Generator - Presets, Allow/Disallow-Pfade und optionale Sitemap-URL.
• Wie man den Robots.txt-Generator nutzt - Schritt-fuer-Schritt-Guide fuer dasselbe Tool.
• Open-Graph-Tag-Generator - Share-Karten, die Social-Crawler weiter holen duerfen muessen.
• Slug-Generator - saubere URL-Slugs fuer die Seiten, die gecrawlt werden sollen.
• Alle SEO-Tools - der volle Kategorie-Index.