Rédiger un fichier robots.txt
Composez les règles Allow et Disallow, ajoutez l'adresse du sitemap, puis copiez un robots.txt propre. Sert au moment d'une mise en ligne ou d'un audit, pour dire aux robots ce qu'ils peuvent parcourir. Le fichier se prépare dans le navigateur.
Fonctionnalités clés
- Règles Allow et Disallow par robot
- Directive Sitemap
- Plusieurs agents si besoin
- Texte final prêt à copier
- Aucune publication automatique
Cas d'utilisation courants
- Bloquer une zone d'admin ou de recherche interne
- Laisser tout le site ouvert sauf quelques dossiers
- Indiquer l'URL du sitemap
- Préparer un fichier avant la mise en production
- Relire des règles déjà en ligne
Avantages
- Syntaxe regroupée au lieu d'un fichier bricolé
- Vous voyez le texte exact avant de le déposer
- Pas de compte pour un fichier statique
Un robots.txt dit où crawler, pas quoi classer
Disallow ferme un chemin au crawl. Allow rouvre une exception. Le sitemap indique où trouver la liste des URL, il ne force pas leur indexation.
Testez après publication dans la Search Console ou l'outil du moteur que vous visez : un slash de trop change la règle.
Comment l'utiliser
Choisissez les chemins, ajoutez le sitemap, copiez le fichier à la racine.
- 1. Indiquez les chemins à autoriser ou à interdire.
- 2. Ajoutez l'URL complète du sitemap.
- 3. Relisez le texte généré, agent par agent.
- 4. Déposez le fichier à la racine du site.
Découvrir plus d'outils XSular
XSular Tools propose des utilitaires gratuits, rapides et privés — tout fonctionne dans votre navigateur, sans inscription. Vérificateur de force de mot de passe, Convertisseur binaire vers texte, Décodeur et générateur JWT, Encodeur et décodeur Base64, Formateur, validateur et minificateur JSON ou Générateur de hash en ligne.