MoreOnlineTools
ESC

Generatore Robots.txt

Generatore visuale di file robots.txt per i crawler web

Configurazione Robots.txt

Blocchi User-Agent
URL Sitemap
Ritardo Crawl
Aggiungi Percorsi Rapidi

robots.txt Generato

Configura le regole per generare robots.txt...
Tutta l'elaborazione avviene nel tuo browser. Nessun dato viene inviato al server.

Esempi di Utilizzo

Consenti Tutto

Un robots.txt semplice che consente a tutti i motori di ricerca di esplorare tutte le pagine con una sitemap.

Blocca Cartelle Sensibili

Blocca cartelle admin, private, API e temporanee consentendo il resto del sito.

Regole Multi-Agente

Regole diverse per diversi motori di ricerca con piu blocchi user-agent e sitemap.

Funzionalita

Costruttore Visuale

Costruisci il tuo robots.txt visualmente con un'interfaccia intuitiva

Multipli User-Agent

Supporto per piu blocchi user-agent con regole diverse

Validazione

Valida il tuo robots.txt per problemi comuni ed errori di sintassi

Privacy Prima

Tutta l'elaborazione avviene localmente nel tuo browser

Come Usare?

1

Configurare Regole

Seleziona gli user-agent e aggiungi regole consenti/blocca per i percorsi da controllare.

2

Aggiungere Sitemap

Aggiungi i tuoi URL sitemap affinche i motori di ricerca scoprano le tue pagine.

3

Copia o Scarica

Copia o scarica il robots.txt generato. Posizionalo nella directory root del tuo sito.

Domande Frequenti

robots.txt è un file di testo semplice posizionato nella root del tuo sito web che dice ai crawler dei motori di ricerca quali pagine o sezioni possono o non possono accedere. Segue il Robots Exclusion Protocol, che tutti i principali crawler (Googlebot, Bingbot, DuckDuckBot) rispettano per convenzione. Non ne hai strettamente bisogno — se il file è assente, i crawler trattano tutto come permesso. Ma avere un robots.txt ti permette di bloccare pagine a basso valore (aree amministrative, pagine dei risultati di ricerca, contenuti duplicati), aggiungere l'URL della tua sitemap in modo che i crawler la trovino automaticamente e impostare il crawl-delay per proteggere le risorse del server.

Il robots.txt blocca il crawling, non l'indicizzazione. Una pagina bloccata da Disallow può comunque apparire nei risultati di ricerca di Google se altri siti linkano ad essa — Google potrebbe indicizzare l'URL senza scansionare il contenuto, mostrando un risultato senza titolo o descrizione. Per impedire completamente che una pagina appaia nei risultati di ricerca, usa il meta tag noindex: <meta name="robots" content="noindex">. Per la massima copertura, usa entrambi: blocca il crawling in robots.txt e aggiungi noindex per prevenire l'indicizzazione tramite scoperta diretta.

Deve essere nella directory root del tuo sito web ed essere accessibile all'indirizzo https://yourdomain.com/robots.txt. I crawler lo cercano esattamente a quell'URL — un file in una sottocartella (ad esempio /blog/robots.txt) verrà ignorato. Per un sottodominio, ogni sottodominio ha bisogno del proprio robots.txt nella sua root (ad esempio https://blog.yourdomain.com/robots.txt). Dopo averlo caricato, verifica visitando l'URL direttamente nel tuo browser.

Disallow dice ai crawler di non accedere a un percorso specifico. Allow sovrascrive un Disallow per un percorso più specifico all'interno dello stesso blocco user-agent — utile quando vuoi bloccare una cartella ma permettere un file specifico al suo interno. Ad esempio: Disallow: /private/ quindi Allow: /private/public.html permette solo quella pagina. Quando entrambe le regole corrispondono a un URL con la stessa specificità, Allow ha la precedenza. Senza alcuna direttiva Allow o Disallow, tutto è permesso per impostazione predefinita.

No. Un errore comune è aggiungere Disallow: /*.css e Disallow: /*.js al robots.txt. Googlebot ha bisogno di recuperare CSS e JavaScript per renderizzare le tue pagine e comprenderne il contenuto. Bloccare questi file può causare la visualizzazione da parte di Google di una versione corrotta del tuo sito, il che potrebbe danneggiare il tuo posizionamento. Blocca solo i file e i percorsi che genuinamente non vuoi vengano scansionati — aree amministrative, pagine interne dei risultati di ricerca, URL filtrati duplicati, percorsi di staging.

Crawl-delay imposta un numero minimo di secondi che un crawler deve attendere tra le richieste al tuo server. Ad esempio, Crawl-delay: 10 dice al bot di fare una pausa di 10 secondi tra il recupero delle pagine. Questo riduce il carico sul server da parte di crawler aggressivi. Nota che Googlebot ignora Crawl-delay in robots.txt — per controllare la velocità di crawling di Googlebot, usa invece le impostazioni della frequenza di scansione di Google Search Console. Crawl-delay è rispettato da Bingbot, Yandex e molti altri crawler minori.

Sì. Ogni blocco User-agent si applica solo a quel crawler specifico. User-agent: * si applica a tutti i crawler come predefinito. Puoi quindi aggiungere blocchi specifici che sovrascrivono le impostazioni predefinite — ad esempio, User-agent: Googlebot con il proprio set di regole Allow/Disallow, e User-agent: Bingbot con regole diverse. Quando un crawler trova più blocchi corrispondenti (uno specifico e quello wildcard), segue la corrispondenza più specifica. Aggiungi più blocchi user-agent usando il pulsante "Add User-Agent Block".

No. Tutta la configurazione e la generazione del file avvengono nel tuo browser con JavaScript. I tuoi URL, percorsi e indirizzi sitemap non lasciano mai il tuo dispositivo. Non c'è elaborazione lato server, nessuna archiviazione e nessun account. Copia il risultato o usa Download per salvare il file — una volta chiusa la scheda, la configurazione viene eliminata.

Cos'e un generatore robots.txt?

Un generatore robots.txt ti aiuta a costruire il file che controlla quali parti del tuo sito i crawler dei motori di ricerca possono visitare. Invece di scrivere la sintassi a mano scegli gli user agent aggiungi regole allow/disallow inserisci le URL della sitemap e lo strumento genera il file.

Funzionalita principali

Piu blocchi user-agent con regole diverse per crawler. Pulsanti rapidi per percorsi comuni come /admin/ /api/ e /tmp/. Gestione URL sitemap. Configurazione crawl-delay. Validazione integrata per individuare errori di sintassi. Preset per scenari comuni.

Casi d'uso comuni

Bloccare pannelli admin ed endpoint API dai crawler. Aggiungere URL sitemap per far trovare tutte le pagine ai motori. Impostare regole diverse per Googlebot e altri bot.

Consigli

Includi sempre l'URL della sitemap. Non bloccare file CSS e JS che i motori necessitano per renderizzare le pagine. Ricorda che robots.txt e pubblico non usarlo per nascondere URL sensibili.

Privacy

Tutto funziona nel tuo browser. Nessuna URL o regola viene inviata a nessun server.

Sicurezza e Privacy

La sicurezza dei vostri dati è la nostra priorità

Elaborazione Locale

Tutta l'elaborazione avviene nel vostro browser

Nessun Trasferimento Dati

I vostri dati non vengono inviati ai nostri server

Nessun Archiviazione Dati

Nessun dato viene memorizzato o condiviso

Crittografia SSL

Crittografia SSL per connessione sicura

Passo Successivo

Generatore di Meta Tag

Genera meta tag HTML per l'ottimizzazione SEO

Generatore di Regole di Riscrittura

Genera regole di reindirizzamento e riscrittura per Apache (.htaccess), Nginx e IIS (web.config)

Strumenti correlati

Generatore di Tonalità

Genera palette di colori stile Tailwind con 10 tonalità e punteggi WCAG.

Tester Regex

Testa e debug le espressioni regolari con corrispondenza ed evidenziazione in te...

Generatore di Codici QR

Assistenti per sviluppatori per JSON, formattazione codice e debug.

Generatore Schema JSON

Genera JSON Schema da dati JSON e valida JSON contro schemi.

Generatore di Gradienti CSS

Genera gradienti CSS con anteprima dal vivo e più fermate colore

Visualizzatore Tabella JSON

Visualizza dati JSON come tabelle interattive ordinabili con ricerca ed esportaz...

Anche su MoreOnlineTools

Strumenti Online Gratuiti

109 strumenti per testo, immagini, sicurezza e sviluppo

Sfoglia Tutti gli Strumenti →
Cheat Sheet per Sviluppatori

Riferimento rapido per Regex, Git, codici HTTP, CSS, Markdown e altro

Sfoglia i Cheat Sheet →
Calcolatrici Online

BMI, prestito, percentuale, mancia, età e altre calcolatrici pratiche

Sfoglia le Calcolatrici →
Raccolte di Strumenti

Workflow curati: sviluppo API, pipeline immagini, audit sicurezza e altro

Sfoglia le Raccolte →