MoreOnlineTools
ESC

Robots.txt Generator

Visueller robots.txt Datei-Generator fuer Web-Crawler

Robots.txt Konfiguration

User-Agent-Bloecke
Sitemap-URLs
Crawl-Verzoegerung
Schnell Pfade Hinzufuegen

Generierte robots.txt

Konfigurieren Sie Ihre Regeln, um robots.txt zu generieren...
Die gesamte Verarbeitung erfolgt in Ihrem Browser. Es werden keine Daten an Server gesendet.

Anwendungsbeispiele

Alles Erlauben

Eine einfache robots.txt, die allen Suchmaschinen erlaubt, alle Seiten mit einer Sitemap zu durchsuchen.

Sensible Ordner Sperren

Admin-, private, API- und Temp-Ordner vom Crawling sperren, waehrend der Rest erlaubt bleibt.

Multi-Agent-Regeln

Verschiedene Regeln fuer verschiedene Suchmaschinen mit mehreren User-Agent-Bloecken und Sitemaps.

Funktionen

Visueller Builder

Erstellen Sie Ihre robots.txt visuell mit einer intuitiven Oberflaeche

Mehrere User-Agents

Unterstuetzung fuer mehrere User-Agent-Bloecke mit verschiedenen Regeln

Validierung

Validieren Sie Ihre robots.txt auf haeufige Probleme und Syntaxfehler

Datenschutz Zuerst

Alle Verarbeitung erfolgt lokal in Ihrem Browser

Wie benutzt man es?

1

Regeln Konfigurieren

Waehlen Sie User-Agents und fuegen Sie Erlauben/Verbieten-Regeln fuer Pfade hinzu.

2

Sitemaps Hinzufuegen

Fuegen Sie Ihre Sitemap-URLs hinzu, damit Suchmaschinen Ihre Seiten finden.

3

Kopieren oder Herunterladen

Kopieren oder laden Sie die generierte robots.txt herunter. Platzieren Sie sie im Stammverzeichnis.

Haeufig gestellte Fragen

robots.txt ist eine einfache Textdatei im Wurzelverzeichnis Ihrer Website, die Suchmaschinen-Crawlern mitteilt, welche Seiten oder Bereiche sie aufrufen dürfen oder nicht. Sie folgt dem Robots Exclusion Protocol, das von allen großen Crawlern (Googlebot, Bingbot, DuckDuckBot) als Standard respektiert wird. Sie benötigen sie nicht zwingend – wenn die Datei fehlt, behandeln Crawler alles als erlaubt. Aber eine robots.txt ermöglicht es Ihnen, Seiten mit geringem Mehrwert zu blockieren (Admin-Bereiche, Suchergebnisseiten, Duplikate), Ihre Sitemap URL hinzuzufügen, damit Crawler diese automatisch finden, und Crawl-Delay einzustellen, um Serverressourcen zu schützen.

robots.txt blockiert das Crawling, nicht das Indexieren. Eine durch Disallow gesperrte Seite kann trotzdem in den Google-Suchergebnissen erscheinen, wenn andere Seiten darauf verlinken – Google kann die URL indexieren, ohne den Inhalt zu crawlen, und ein Ergebnis ohne Titel oder Beschreibung anzeigen. Um vollständig zu verhindern, dass eine Seite in Suchergebnissen erscheint, verwenden Sie das noindex Meta-Tag: <meta name="robots" content="noindex">. Für maximale Abdeckung nutzen Sie beides: Blockieren Sie das Crawling in der robots.txt und fügen Sie noindex hinzu, um das Indexieren durch direkte Entdeckung zu verhindern.

Sie muss sich im Wurzelverzeichnis Ihrer Website befinden und unter https://yourdomain.com/robots.txt erreichbar sein. Crawler suchen sie genau an dieser URL – eine Datei in einem Unterverzeichnis (z. B. /blog/robots.txt) wird ignoriert. Für eine Subdomain benötigt jede Subdomain ihre eigene robots.txt im eigenen Wurzelverzeichnis (z. B. https://blog.yourdomain.com/robots.txt). Verifizieren Sie nach dem Hochladen die URL direkt in Ihrem Browser.

Disallow weist Crawlern an, einen bestimmten Pfad nicht aufzurufen. Allow überschreibt ein Disallow für einen spezifischeren Pfad innerhalb desselben User-Agent-Blocks – nützlich, wenn Sie einen Ordner blockieren, aber eine bestimmte Datei darin erlauben wollen. Zum Beispiel: Disallow: /private/ und dann Allow: /private/public.html erlaubt nur diese eine Seite. Wenn beide Regeln auf eine URL gleichermaßen spezifisch zutreffen, hat Allow Vorrang. Ohne jegliche Allow- oder Disallow-Anweisungen ist standardmäßig alles erlaubt.

Nein. Ein häufiger Fehler ist das Hinzufügen von Disallow: /*.css und Disallow: /*.js zur robots.txt. Googlebot muss CSS und JavaScript abrufen, um Ihre Seiten darzustellen und deren Inhalt zu verstehen. Das Blockieren dieser Dateien kann dazu führen, dass Google eine defekte Version Ihrer Website sieht, was Ihren Ranking schaden kann. Blockieren Sie nur Dateien und Pfade, die Sie wirklich nicht gecrawlt haben möchten – Admin-Bereiche, interne Suchergebnisseiten, duplizierte gefilterte URLs, Staging-Pfade.

Crawl-delay legt die minimale Anzahl von Sekunden fest, die ein Crawler zwischen den Anfragen an Ihren Server warten soll. Zum Beispiel sagt Crawl-delay: 10 dem Bot, 10 Sekunden Pause zwischen den Seitenabrufen einzulegen. Dies reduziert die Serverlast durch aggressive Crawler. Beachten Sie, dass Googlebot Crawl-delay in der robots.txt ignoriert – um die Crawl-Rate von Googlebot zu steuern, verwenden Sie stattdessen die Crawl-Rate-Einstellungen in der Google Search Console. Crawl-delay wird von Bingbot, Yandex und vielen kleineren Crawlern respektiert.

Ja. Jeder User-agent Block gilt nur für diesen speziellen Crawler. User-agent: * gilt standardmäßig für alle Crawler. Sie können dann spezifische Blöcke hinzufügen, die die Standardeinstellungen überschreiben – zum Beispiel User-agent: Googlebot mit einem eigenen Satz an Allow/Disallow-Regeln und User-agent: Bingbot mit anderen Regeln. Wenn ein Crawler mehrere passende Blöcke findet (einen spezifischen und einen Wildcard), folgt er der spezifischsten Übereinstimmung. Fügen Sie mehrere User-Agent-Blöcke über die Schaltfläche "Add User-Agent Block" hinzu.

Nein. Die gesamte Konfiguration und Dateigenerierung findet direkt in Ihrem Browser mit JavaScript statt. Ihre URLs, Pfade und Sitemap-Adressen verlassen niemals Ihren Computer. Es gibt keine serverseitige Verarbeitung, keine Speicherung und keine Konten. Kopieren Sie das Ergebnis oder nutzen Sie Download zum Speichern der Datei – sobald Sie den Tab schließen, ist die Konfiguration gelöscht.

Was ist ein Robots.txt Generator?

Ein Robots.txt Generator hilft Ihnen die robots.txt Datei zu erstellen die steuert welche Teile Ihrer Website Suchmaschinen-Crawler besuchen duerfen. Statt die Syntax von Hand zu schreiben waehlen Sie User Agents fuegen Allow/Disallow-Regeln hinzu geben Ihre Sitemap-URLs ein und das Tool generiert die Datei.

Wichtige Funktionen

Mehrere User-Agent-Bloecke mit unterschiedlichen Regeln pro Crawler. Schnell-Buttons fuer gaengige Pfade wie /admin/ /api/ und /tmp/. Sitemap-URL-Verwaltung. Crawl-Delay-Konfiguration. Eingebaute Validierung um Syntaxfehler vor dem Einsatz zu erkennen. Voreinstellungen fuer gaengige Szenarien.

Typische Anwendungsfaelle

Admin-Panels und API-Endpunkte von Crawlern blockieren. Sitemap-URLs hinzufuegen damit Suchmaschinen alle Seiten finden. Unterschiedliche Regeln fuer Googlebot und andere Bots setzen. Crawl-Delay fuer Bots die den Server zu stark belasten.

Tipps

Fuegen Sie immer Ihre Sitemap-URL ein. Blockieren Sie keine CSS- und JS-Dateien die Suchmaschinen zum Rendern brauchen. Testen Sie Ihre robots.txt mit dem Google Search Console Tester. Denken Sie daran dass robots.txt oeffentlich ist.

Datenschutz

Alles laeuft in Ihrem Browser. Keine URLs oder Regeln werden an einen Server gesendet.

Sicherheit und Datenschutz

Ihre Datensicherheit ist unsere Priorität

Lokale Verarbeitung

Alle Verarbeitung erfolgt in Ihrem Browser

Keine Datenübertragung

Ihre Daten werden nicht an unsere Server gesendet

Keine Datenspeicherung

Es werden keine Daten gespeichert oder geteilt

SSL-Verschlüsselung

SSL-Verschlüsselung für sichere Verbindung

Nächster Schritt

Meta-Tag-Generator

HTML-Meta-Tags für SEO-Optimierung generieren

Rewrite-Regel-Generator

Erstellen Sie Redirect- und Rewrite-Regeln für Apache (.htaccess), Nginx und IIS (web.config)

Verwandte Werkzeuge

Open-Graph-Generator

Open-Graph-Meta-Tags für Social-Media-Sharing generieren

Regex-Musterbibliothek

35+ einsatzbereite Regex-Muster durchsuchen, kopieren und testen

SEO-Analysator

Umfassendes SEO-Analyse-Tool, das jede Webseite mit bis zu 100 Punkten bewertet

QR-Code-Generator

Entwickler-Helfer für JSON, Code-Formatierung und Debugging.

Box Shadow Generator

CSS box-shadow mit mehreren Ebenen und Live-Vorschau generieren

JSON-Formatierer

Entwickler-Helfer für JSON, Code-Formatierung und Debugging.

Mehr auf MoreOnlineTools

Kostenlose Online-Tools

109 Tools für Text, Bilder, Sicherheit und Entwicklung

Alle Tools durchsuchen →
Entwickler-Spickzettel

Schnellreferenz für Regex, Git, HTTP-Codes, CSS, Markdown und mehr

Spickzettel durchsuchen →
Online-Rechner

BMI, Kredit, Prozent, Trinkgeld, Alter und weitere praktische Rechner

Rechner durchsuchen →
Tool-Sammlungen

Kuratierte Workflows: API-Entwicklung, Bild-Pipeline, Sicherheitsprüfung und mehr

Sammlungen durchsuchen →