Wohin kommt robots.txt?

Speichern Sie die Datei im Site-Root: https://www.example.com/robots.txt. Crawler rufen nur diesen exakten Pfad ab. Eine Datei in einem Unterordner wird ignoriert.

Was ist der Unterschied zwischen Allow und Disallow?

Disallow listet Pfad-Prafixe, die Crawler uberspringen sollen. Allow listet Prafixe, die sie abrufen durfen, nutzlich wenn ein Elternpfad gesperrt ist. Leere Pfade in diesem Generator werden zu Allow: / (die ganze Site).

Versteckt robots.txt Seiten vor Google?

Nein. Es bittet Crawler, diese URLs nicht abzurufen. Gesperrte Seiten konnen trotzdem in der Suche erscheinen, wenn sie verlinkt sind. Nutzen Sie noindex auf der Seite, wenn sie nicht in den Ergebnissen stehen soll.

Soll ich eine Sitemap-Zeile hinzufugen?

Ja, wenn Sie eine XML-Sitemap haben. Die Sitemap:-Direktive ist unabhangig von User-agent-Gruppen und hilft Google, Bing und anderen, URLs zu finden. Nutzen Sie eine absolute https-URL.

Ist Crawl-delay enthalten?

Nein. Google ignoriert Crawl-delay. Nutzen Sie die Crawl-Einstellungen in Search Console, wenn Sie Googlebot verlangsamen mussen. Dieser Generator bleibt bei User-agent, Allow, Disallow und Sitemap.

Verlasst meine Datei das Gerat?

Nein. Der Robots.txt-Generator lauft vollstandig in Ihrem Browser. Pfade und Sitemap-URLs werden nicht hochgeladen oder auf einem Server gespeichert.

SEO-Tools

Beliebt

Robots.txt-Generator

Erstellen Sie eine robots.txt im Browser.

Vorlage

Starten Sie mit einer ublichen Datei und bearbeiten Sie dann Pfade oder fugen Sie die Sitemap-URL hinzu.

User-agent

Nutzen Sie * fur jeden Crawler oder einen Namen wie Googlebot.

Disallow-Pfade

Allow-Pfade

Sitemap-URL

Optional. Wird als Sitemap:-Zeile am Ende der Datei geschrieben.

robots.txt

User-agent: *
Allow: /

2 Zeilen

Speichern Sie diese Datei als robots.txt im Root Ihrer Site (example.com/robots.txt).

Über Robots.txt-Generator

Erstellen Sie eine robots.txt im Browser. Starten Sie mit Alles erlauben, Alles sperren oder Admin sperren, bearbeiten Sie User-agent, Allow und Disallow und fugen Sie optional eine Sitemap-URL hinzu. Kopieren Sie die Datei und speichern Sie sie im Root der Site, damit Crawler wissen, was sie abrufen durfen. Nichts wird hochgeladen.

So verwenden Sie Robots.txt-Generator

Wahlen Sie eine Vorlage: Alles erlauben, Alles sperren oder Admin sperren.
Bearbeiten Sie den User-agent, wenn Sie einen benannten Crawler statt * brauchen.
Fugen Sie Disallow- und Allow-Pfade hinzu oder andern Sie sie (ein Pfad pro Zeile).
Fugen Sie optional Ihre Sitemap-URL ein.
Kopieren Sie die robots.txt und speichern Sie sie unter https://ihre-domain/robots.txt.

Beispiele für Robots.txt-Generator

Offentliche Site, alles erlauben

Die Vorlage Alles erlauben gibt User-agent: * und Allow: / aus. Fugen Sie eine Sitemap-URL hinzu, damit Crawler die XML-Sitemap in derselben Datei finden.

Staging, alle Crawler sperren

Die Vorlage Alles sperren gibt Disallow: / aus, damit Googlebot und andere einen Staging- oder privaten Host meiden. Kombinieren Sie noindex, falls der Host je offentlich wird.

CMS-Admin-Pfade sperren

Die Vorlage Admin sperren schreibt Disallow: /admin/ und Disallow: /wp-admin/, wahrend der Rest der Site crawlbar bleibt.

Benannter Crawler plus eigene Pfade

Setzen Sie User-agent auf Googlebot, Disallow /tmp, Allow /public/ und eine Sitemap-URL fur eine gemischte Gruppe plus eine Sitemap:-Zeile.

Vollständigen Guide lesen

So verwenden Sie Robots.txt-Generator: Vollständiger Guide (2026) - 5 Min. Lesezeit

Häufig gestellte Fragen zu Robots.txt-Generator

Wohin kommt robots.txt?: Speichern Sie die Datei im Site-Root: https://www.example.com/robots.txt. Crawler rufen nur diesen exakten Pfad ab. Eine Datei in einem Unterordner wird ignoriert.
Was ist der Unterschied zwischen Allow und Disallow?: Disallow listet Pfad-Prafixe, die Crawler uberspringen sollen. Allow listet Prafixe, die sie abrufen durfen, nutzlich wenn ein Elternpfad gesperrt ist. Leere Pfade in diesem Generator werden zu Allow: / (die ganze Site).
Versteckt robots.txt Seiten vor Google?: Nein. Es bittet Crawler, diese URLs nicht abzurufen. Gesperrte Seiten konnen trotzdem in der Suche erscheinen, wenn sie verlinkt sind. Nutzen Sie noindex auf der Seite, wenn sie nicht in den Ergebnissen stehen soll.
Soll ich eine Sitemap-Zeile hinzufugen?: Ja, wenn Sie eine XML-Sitemap haben. Die Sitemap:-Direktive ist unabhangig von User-agent-Gruppen und hilft Google, Bing und anderen, URLs zu finden. Nutzen Sie eine absolute https-URL.
Ist Crawl-delay enthalten?: Nein. Google ignoriert Crawl-delay. Nutzen Sie die Crawl-Einstellungen in Search Console, wenn Sie Googlebot verlangsamen mussen. Dieser Generator bleibt bei User-agent, Allow, Disallow und Sitemap.
Verlasst meine Datei das Gerat?: Nein. Der Robots.txt-Generator lauft vollstandig in Ihrem Browser. Pfade und Sitemap-URLs werden nicht hochgeladen oder auf einem Server gespeichert.

Open-Graph-Tag-Generator

Erzeugen Sie Open-Graph- und Twitter-Card-Meta-Tags aus Titel, Beschreibung, URL und Bild. Kostenloser OG-Generator mit Live-HTML und Social-Vorschau.

Meta-Description-Checker und SERP-Vorschau

Kostenloser SERP-Längen-Checker und Meta-Description-Vorschau. Live-Zeichenzähler und Google-Snippet-Vorschau - oder Entwurf generieren. Passt zum 150-160-Limit.

Slug-Generator

Verwandeln Sie jeden Titel oder Satz in einen sauberen, SEO-freundlichen URL-Slug. Kleinbuchstaben, Akzente entfernen und Bindestrich- oder Unterstrich-Trenner wählen - kostenlos, sofort und privat.