So verwenden Sie Robots.txt-Generator: Vollständiger Guide (2026)

Was ist Robots.txt-Generator?

Ein Robots.txt-Generator erzeugt die Textdatei, die Crawler im Site-Root anfordern. Der kostenlose Generator von ToolsMinify startet mit Alles erlauben, Alles sperren oder Admin sperren und macht aus User-agent, Allow, Disallow und einer optionalen Sitemap-URL kopierfertige robots.txt. Speichern Sie die Datei unter https://ihre-domain/robots.txt, damit Googlebot und andere wissen, welche Pfade sie abrufen durfen. Alles lauft im Browser.

Erzeugen Sie eine robots.txt mit Vorlagen Alles erlauben, Alles sperren oder Admin sperren. Allow/Disallow-Pfade und Sitemap-URL - kostenlos, sofort und privat.

Warum Robots.txt-Generator nutzen?

• Vorlagen Alles erlauben, Alles sperren und Admin sperren, damit Sie Direktiven nicht aus dem Kopf schreiben
• Live-robots.txt beim Bearbeiten von User-agent, Allow- und Disallow-Pfaden
• Optionale Sitemap:-Zeile mit absoluter URL am Dateiende
• Pfade werden getrimmt, dedupliziert und bei Bedarf mit einem Slash versehen
• Lauft vollstandig im Browser - Entwurfe verlassen das Gerat nicht

So verwenden Sie Robots.txt-Generator - Schritt für Schritt

1. Schritt 1: Wahlen Sie eine Vorlage: Alles erlauben, Alles sperren oder Admin sperren.
2. Schritt 2: Bearbeiten Sie den User-agent, wenn Sie einen benannten Crawler statt * brauchen.
3. Schritt 3: Fugen Sie Disallow- und Allow-Pfade hinzu oder andern Sie sie (ein Pfad pro Zeile).
4. Schritt 4: Fugen Sie optional Ihre Sitemap-URL ein.
5. Schritt 5: Kopieren Sie die robots.txt und speichern Sie sie unter https://ihre-domain/robots.txt.

Der Robots.txt-Generator befindet sich unter SEO-Tools. Öffnen Sie die Tool-Seite, geben Sie Ihre Eingabe im Hauptfeld ein, und die Ergebnisse aktualisieren sich sofort. Nutzen Sie den Kopieren-Button, um die Ausgabe in Dokumente, Code-Editoren oder Tabellen einzufügen.

Häufige Anwendungsfälle

Offentliche Site starten

Nutzen Sie Alles erlauben plus Ihre XML-Sitemap-URL, damit Crawler jeden offentlichen Pfad abrufen und URLs aus einer Datei finden.

Staging aus dem Index halten

Nutzen Sie Alles sperren (Disallow: /) auf einem Staging-Host. Setzen Sie noindex auf den Seiten, falls der Host je aus dem offenen Web erreichbar ist.

CMS-Admin verbergen

Nutzen Sie Admin sperren fur Disallow /admin/ und /wp-admin/, wahrend Beitrage und Produktseiten crawlbar bleiben.

Benannten Crawler feinabstimmen

Setzen Sie User-agent auf Googlebot, mischen Sie Allow- und Disallow-Prafixe und behalten Sie eine Sitemap-Zeile fur URL-Entdeckung.

Beispiele

• Offentliche Site, alles erlauben: Die Vorlage Alles erlauben gibt User-agent: * und Allow: / aus. Fugen Sie eine Sitemap-URL hinzu, damit Crawler die XML-Sitemap in derselben Datei finden.
• Staging, alle Crawler sperren: Die Vorlage Alles sperren gibt Disallow: / aus, damit Googlebot und andere einen Staging- oder privaten Host meiden. Kombinieren Sie noindex, falls der Host je offentlich wird.
• CMS-Admin-Pfade sperren: Die Vorlage Admin sperren schreibt Disallow: /admin/ und Disallow: /wp-admin/, wahrend der Rest der Site crawlbar bleibt.
• Benannter Crawler plus eigene Pfade: Setzen Sie User-agent auf Googlebot, Disallow /tmp, Allow /public/ und eine Sitemap-URL fur eine gemischte Gruppe plus eine Sitemap:-Zeile.

Profi-Tipps

• Die Datei muss im Site-Root liegen. example.com/blog/robots.txt wird ignoriert.
• robots.txt ist keine Sicherheitskontrolle und kein noindex. Nutzen Sie noindex, wenn eine Seite nicht in den Ergebnissen stehen soll.
• Nutzen Sie absolute https-Sitemap-URLs. Relative Pfade werden leicht falsch gelesen.
• Google ignoriert Crawl-delay. Lassen Sie es weg und nutzen Sie Search Console, wenn Sie Googlebot verlangsamen mussen.
• Nach dem Deploy die Live-Datei im Google-robots.txt-Tester pruefen und Indexierung fur Schluessel-URLs anfordern.

Häufig gestellte Fragen

Wohin kommt robots.txt?

Speichern Sie die Datei im Site-Root: https://www.example.com/robots.txt. Crawler rufen nur diesen exakten Pfad ab. Eine Datei in einem Unterordner wird ignoriert.

Was ist der Unterschied zwischen Allow und Disallow?

Disallow listet Pfad-Prafixe, die Crawler uberspringen sollen. Allow listet Prafixe, die sie abrufen durfen, nutzlich wenn ein Elternpfad gesperrt ist. Leere Pfade in diesem Generator werden zu Allow: / (die ganze Site).

Versteckt robots.txt Seiten vor Google?

Nein. Es bittet Crawler, diese URLs nicht abzurufen. Gesperrte Seiten konnen trotzdem in der Suche erscheinen, wenn sie verlinkt sind. Nutzen Sie noindex auf der Seite, wenn sie nicht in den Ergebnissen stehen soll.

Soll ich eine Sitemap-Zeile hinzufugen?

Ja, wenn Sie eine XML-Sitemap haben. Die Sitemap:-Direktive ist unabhangig von User-agent-Gruppen und hilft Google, Bing und anderen, URLs zu finden. Nutzen Sie eine absolute https-URL.

Ist Crawl-delay enthalten?

Nein. Google ignoriert Crawl-delay. Nutzen Sie die Crawl-Einstellungen in Search Console, wenn Sie Googlebot verlangsamen mussen. Dieser Generator bleibt bei User-agent, Allow, Disallow und Sitemap.

Verlasst meine Datei das Gerat?

Nein. Der Robots.txt-Generator lauft vollstandig in Ihrem Browser. Pfade und Sitemap-URLs werden nicht hochgeladen oder auf einem Server gespeichert.

Verwandte Tools, die Sie brauchen könnten

Entdecken Sie weitere seo-tools auf ToolsMinify. Verwandte Utilities sind auf der Seite von Robots.txt-Generator verlinkt, damit Sie Ihren Workflow ohne Seitenwechsel abschließen können.