MoreOnlineTools
ESC

Generateur Robots.txt

Generateur visuel de fichiers robots.txt pour les robots d'exploration

Configuration Robots.txt

Blocs User-Agent
URLs de Sitemap
Delai d'Exploration
Ajout Rapide de Chemins

robots.txt Genere

Configurez vos regles pour generer robots.txt...
Tout le traitement se fait dans votre navigateur. Aucune donnee n'est envoyee au serveur.

Exemples d'Utilisation

Tout Autoriser

Un robots.txt simple qui permet a tous les moteurs de recherche d'explorer toutes les pages avec un sitemap.

Bloquer les Dossiers Sensibles

Bloquer les dossiers admin, prives, API et temporaires tout en permettant le reste du site.

Regles Multi-Agents

Differentes regles pour differents moteurs de recherche avec plusieurs blocs et sitemaps.

Fonctionnalites

Constructeur Visuel

Construisez votre robots.txt visuellement avec une interface intuitive

Multiples User-Agents

Support pour plusieurs blocs user-agent avec differentes regles

Validation

Validez votre robots.txt pour les problemes courants et erreurs de syntaxe

Confidentialite d'Abord

Tout le traitement se fait localement dans votre navigateur

Comment Utiliser?

1

Configurer les Regles

Selectionnez les user-agents et ajoutez des regles autoriser/interdire pour les chemins.

2

Ajouter les Sitemaps

Ajoutez vos URLs de sitemap pour que les moteurs de recherche decouvrent vos pages.

3

Copier ou Telecharger

Copiez ou telechargez le robots.txt genere. Placez-le dans le repertoire racine de votre site.

Questions Frequentes

robots.txt est un fichier en texte brut placé à la racine de votre site web qui indique aux robots d'indexation des moteurs de recherche quelles pages ou sections ils peuvent ou ne peuvent pas accéder. Il suit le Robots Exclusion Protocol, respecté par convention par tous les principaux crawlers (Googlebot, Bingbot, DuckDuckBot). Vous n'en avez pas strictement besoin — si le fichier est absent, les crawlers considèrent que tout est autorisé. Mais avoir un robots.txt vous permet de bloquer les pages à faible valeur (zones d'administration, pages de résultats de recherche, contenus dupliqués), d'ajouter l'URL de votre sitemap pour que les crawlers la trouvent automatiquement, et de définir un crawl-delay pour protéger les ressources du serveur.

robots.txt bloque le crawling, pas l'indexation. Une page bloquée par Disallow peut toujours apparaître dans les résultats de recherche Google si d'autres sites y pointent — Google peut indexer l'URL sans crawler son contenu, affichant un résultat sans titre ni description. Pour empêcher complètement une page d'apparaître dans les résultats de recherche, utilisez la balise meta noindex : <meta name="robots" content="noindex">. Pour une couverture maximale, utilisez les deux : bloquez le crawling dans robots.txt et ajoutez noindex pour empêcher l'indexation par découverte directe.

Il doit se trouver dans le répertoire racine de votre site web et être accessible à l'adresse https://yourdomain.com/robots.txt. Les crawlers le recherchent exactement à cette URL — un fichier dans un sous-répertoire (ex: /blog/robots.txt) sera ignoré. Pour un sous-domaine, chaque sous-domaine a besoin de son propre robots.txt à sa propre racine (ex: https://blog.yourdomain.com/robots.txt). Après le téléchargement, vérifiez en visitant l'URL directement dans votre navigateur.

Disallow indique aux crawlers de ne pas accéder à un chemin spécifique. Allow remplace un Disallow pour un chemin plus spécifique à l'intérieur du même bloc user-agent — utile lorsque vous voulez bloquer un dossier mais autoriser un fichier spécifique à l'intérieur. Par exemple : Disallow: /private/ puis Allow: /private/public.html permet uniquement cette page. Lorsque les deux règles correspondent à une URL avec la même spécificité, Allow prend la priorité. Sans aucune directive Allow ou Disallow, tout est autorisé par défaut.

Non. Une erreur courante consiste à ajouter Disallow: /*.css et Disallow: /*.js dans le robots.txt. Googlebot a besoin de récupérer le CSS et le JavaScript pour afficher vos pages et comprendre leur contenu. Bloquer ces fichiers peut amener Google à voir une version cassée de votre site, ce qui peut nuire à votre classement. Ne bloquez que les fichiers et chemins que vous ne souhaitez vraiment pas voir crawlés — zones d'administration, pages de résultats de recherche internes, URLs filtrées en double, chemins de staging.

Crawl-delay définit un nombre minimum de secondes qu'un crawler doit attendre entre les requêtes vers votre serveur. Par exemple, Crawl-delay: 10 indique au bot de faire une pause de 10 secondes entre les récupérations de pages. Cela réduit la charge du serveur causée par les crawlers agressifs. Notez que Googlebot ignore le Crawl-delay dans robots.txt — pour contrôler la vitesse de crawling de Googlebot, utilisez les paramètres de fréquence de crawling de la Google Search Console à la place. Le Crawl-delay est respecté par Bingbot, Yandex et de nombreux petits crawlers.

Oui. Chaque bloc User-agent ne s'applique qu'à ce crawler spécifique. User-agent: * s'applique à tous les crawlers par défaut. Vous pouvez ensuite ajouter des blocs spécifiques qui remplacent les valeurs par défaut — par exemple, User-agent: Googlebot avec son propre ensemble de règles Allow/Disallow, et User-agent: Bingbot avec des règles différentes. Lorsqu'un crawler trouve plusieurs blocs correspondants (un spécifique et le wildcard), il suit la correspondance la plus spécifique. Ajoutez plusieurs blocs user-agent en utilisant le bouton "Add User-Agent Block".

Non. Toute la configuration et la génération de fichiers se déroulent dans votre navigateur avec JavaScript. Vos URLs, chemins et adresses sitemap ne quittent jamais votre machine. Il n'y a aucun traitement côté serveur, aucun stockage et aucun compte. Copiez le résultat ou utilisez Download pour enregistrer le fichier — une fois que vous fermez l'onglet, la configuration disparaît.

Qu'est-ce qu'un generateur robots.txt?

Un generateur robots.txt vous aide a construire le fichier qui controle quelles parties de votre site les robots d'exploration peuvent visiter. Au lieu d'ecrire la syntaxe a la main vous choisissez les user agents ajoutez des regles allow/disallow entrez vos URLs de sitemap et l'outil genere le fichier.

Fonctionnalites cles

Plusieurs blocs user-agent avec des regles differentes par robot. Boutons rapides pour les chemins courants comme /admin/ /api/ et /tmp/. Gestion des URLs de sitemap. Configuration du crawl-delay. Validation integree pour detecter les erreurs de syntaxe. Preselections pour les scenarios courants.

Cas d'utilisation courants

Bloquer les panneaux d'administration et endpoints API des robots. Ajouter des URLs de sitemap pour que les moteurs trouvent toutes vos pages. Definir des regles differentes pour Googlebot et les autres bots.

Conseils

Incluez toujours votre URL de sitemap. Ne bloquez pas les fichiers CSS et JS dont les moteurs ont besoin pour rendre vos pages. Rappelez-vous que robots.txt est public ne l'utilisez pas pour cacher des URLs sensibles.

Confidentialite

Tout fonctionne dans votre navigateur. Aucune URL ni regle n'est envoyee a un serveur.

Sécurité et Confidentialité

La sécurité de vos données est notre priorité

Traitement Local

Tout le traitement se fait dans votre navigateur

Aucun Transfert de Données

Vos données ne sont pas envoyées à nos serveurs

Aucun Stockage de Données

Aucune donnée n'est stockée ou partagée

Chiffrement SSL

Chiffrement SSL pour une connexion sécurisée

Étape Suivante

Générateur de Balises Meta

Générer des balises meta HTML pour l'optimisation SEO

Générateur de Règles de Réécriture

Générez des règles de redirection et réécriture pour Apache (.htaccess), Nginx et IIS (web.config)

Outils connexes

Générateur de Gradients CSS

Générez des gradients CSS avec aperçu en direct et plusieurs arrêts de couleur

Générateur de Border Radius

Générez du CSS border-radius avec aperçu visuel

Décodeur JWT

Décoder et analyser les tokens JWT

Visualiseur de Tableau JSON

Afficher les données JSON sous forme de tableaux interactifs triables avec reche...

Formateur SQL

Embellir et formater les requêtes SQL

Générateur de Schéma JSON

Générez un JSON Schema à partir de données JSON et validez JSON contre des schém...

Aussi sur MoreOnlineTools

Outils en Ligne Gratuits

109 outils pour texte, images, sécurité et développement

Voir Tous les Outils →
Aide-Mémoires Développeur

Référence rapide pour Regex, Git, codes HTTP, CSS, Markdown et plus

Voir les Aide-Mémoires →
Calculatrices en Ligne

IMC, prêt, pourcentage, pourboire, âge et plus de calculatrices pratiques

Voir les Calculatrices →
Collections d'Outils

Workflows sélectionnés : développement API, pipeline image, audit sécurité et plus

Voir les Collections →