Robots.txt Generator
Visueller robots.txt Datei-Generator fuer Web-Crawler
Robots.txt Konfiguration
User-Agent-Bloecke
Sitemap-URLs
Crawl-Verzoegerung
Schnell Pfade Hinzufuegen
Generierte robots.txt
Anwendungsbeispiele
Alles Erlauben
Eine einfache robots.txt, die allen Suchmaschinen erlaubt, alle Seiten mit einer Sitemap zu durchsuchen.
Sensible Ordner Sperren
Admin-, private, API- und Temp-Ordner vom Crawling sperren, waehrend der Rest erlaubt bleibt.
Multi-Agent-Regeln
Verschiedene Regeln fuer verschiedene Suchmaschinen mit mehreren User-Agent-Bloecken und Sitemaps.
Funktionen
Visueller Builder
Erstellen Sie Ihre robots.txt visuell mit einer intuitiven Oberflaeche
Mehrere User-Agents
Unterstuetzung fuer mehrere User-Agent-Bloecke mit verschiedenen Regeln
Validierung
Validieren Sie Ihre robots.txt auf haeufige Probleme und Syntaxfehler
Datenschutz Zuerst
Alle Verarbeitung erfolgt lokal in Ihrem Browser
Wie benutzt man es?
Regeln Konfigurieren
Waehlen Sie User-Agents und fuegen Sie Erlauben/Verbieten-Regeln fuer Pfade hinzu.
Sitemaps Hinzufuegen
Fuegen Sie Ihre Sitemap-URLs hinzu, damit Suchmaschinen Ihre Seiten finden.
Kopieren oder Herunterladen
Kopieren oder laden Sie die generierte robots.txt herunter. Platzieren Sie sie im Stammverzeichnis.
Haeufig gestellte Fragen
Was ist ein Robots.txt Generator?
Ein Robots.txt Generator hilft Ihnen die robots.txt Datei zu erstellen die steuert welche Teile Ihrer Website Suchmaschinen-Crawler besuchen duerfen. Statt die Syntax von Hand zu schreiben waehlen Sie User Agents fuegen Allow/Disallow-Regeln hinzu geben Ihre Sitemap-URLs ein und das Tool generiert die Datei.
Wichtige Funktionen
Mehrere User-Agent-Bloecke mit unterschiedlichen Regeln pro Crawler. Schnell-Buttons fuer gaengige Pfade wie /admin/ /api/ und /tmp/. Sitemap-URL-Verwaltung. Crawl-Delay-Konfiguration. Eingebaute Validierung um Syntaxfehler vor dem Einsatz zu erkennen. Voreinstellungen fuer gaengige Szenarien.
Typische Anwendungsfaelle
Admin-Panels und API-Endpunkte von Crawlern blockieren. Sitemap-URLs hinzufuegen damit Suchmaschinen alle Seiten finden. Unterschiedliche Regeln fuer Googlebot und andere Bots setzen. Crawl-Delay fuer Bots die den Server zu stark belasten.
Tipps
Fuegen Sie immer Ihre Sitemap-URL ein. Blockieren Sie keine CSS- und JS-Dateien die Suchmaschinen zum Rendern brauchen. Testen Sie Ihre robots.txt mit dem Google Search Console Tester. Denken Sie daran dass robots.txt oeffentlich ist.
Datenschutz
Alles laeuft in Ihrem Browser. Keine URLs oder Regeln werden an einen Server gesendet.