Générateur robots.txt

Créez des fichiers robots.txt valides grâce à un constructeur visuel. Configurez les règles par user-agent, les chemins autorisés ou interdits, le crawl-delay et les références sitemap — avec un aperçu en direct qui se met à jour en temps réel.

Fonctionnalités

• Constructeur visuel de règles avec ajout/suppression
• Directives Allow et Disallow par user-agent
• Configuration du crawl-delay avec validation
• Références sitemap avec validation d'URL absolue
• Aperçu en direct avec copie en un clic
• Conforme à la RFC 9309 (Protocole d'exclusion des robots)

Comment ça marche

1. Configurez un ou plusieurs groupes de règles par user-agent
2. Ajoutez des directives Allow ou Disallow à chaque groupe
3. Définissez éventuellement une valeur de Crawl-delay (attention : certains robots l'ignorent)
4. Ajoutez les URL de vos sitemaps
5. Copiez le résultat généré dans votre presse-papiers

Remarques

• Les caractères génériques (* et $ dans les chemins) sont des extensions spécifiques à certains moteurs de recherche et ne sont pas supportés universellement
• Le Crawl-delay ne fait pas partie du standard officiel RFC 9309 et est ignoré par certains robots majeurs
• Les directives Sitemap apparaissent à la fin du fichier, en dehors de tous les groupes de règles, conformément à la spécification
• Les caractères non-ASCII dans les chemins sont automatiquement encodés en pourcentage dans la sortie