Generatore Robots.txt
Generatore visuale di file robots.txt per i crawler web
Configurazione Robots.txt
Blocchi User-Agent
URL Sitemap
Ritardo Crawl
Aggiungi Percorsi Rapidi
robots.txt Generato
Esempi di Utilizzo
Consenti Tutto
Un robots.txt semplice che consente a tutti i motori di ricerca di esplorare tutte le pagine con una sitemap.
Blocca Cartelle Sensibili
Blocca cartelle admin, private, API e temporanee consentendo il resto del sito.
Regole Multi-Agente
Regole diverse per diversi motori di ricerca con piu blocchi user-agent e sitemap.
Funzionalita
Costruttore Visuale
Costruisci il tuo robots.txt visualmente con un'interfaccia intuitiva
Multipli User-Agent
Supporto per piu blocchi user-agent con regole diverse
Validazione
Valida il tuo robots.txt per problemi comuni ed errori di sintassi
Privacy Prima
Tutta l'elaborazione avviene localmente nel tuo browser
Come Usare?
Configurare Regole
Seleziona gli user-agent e aggiungi regole consenti/blocca per i percorsi da controllare.
Aggiungere Sitemap
Aggiungi i tuoi URL sitemap affinche i motori di ricerca scoprano le tue pagine.
Copia o Scarica
Copia o scarica il robots.txt generato. Posizionalo nella directory root del tuo sito.
Domande Frequenti
Cos'e un generatore robots.txt?
Un generatore robots.txt ti aiuta a costruire il file che controlla quali parti del tuo sito i crawler dei motori di ricerca possono visitare. Invece di scrivere la sintassi a mano scegli gli user agent aggiungi regole allow/disallow inserisci le URL della sitemap e lo strumento genera il file.
Funzionalita principali
Piu blocchi user-agent con regole diverse per crawler. Pulsanti rapidi per percorsi comuni come /admin/ /api/ e /tmp/. Gestione URL sitemap. Configurazione crawl-delay. Validazione integrata per individuare errori di sintassi. Preset per scenari comuni.
Casi d'uso comuni
Bloccare pannelli admin ed endpoint API dai crawler. Aggiungere URL sitemap per far trovare tutte le pagine ai motori. Impostare regole diverse per Googlebot e altri bot.
Consigli
Includi sempre l'URL della sitemap. Non bloccare file CSS e JS che i motori necessitano per renderizzare le pagine. Ricorda che robots.txt e pubblico non usarlo per nascondere URL sensibili.
Privacy
Tutto funziona nel tuo browser. Nessuna URL o regola viene inviata a nessun server.