Redactar un archivo robots.txt
Compón reglas Allow y Disallow, añade la dirección del sitemap y copia un robots.txt limpio. Sirve en un lanzamiento o en una auditoría, para decir a los robots qué pueden recorrer. El archivo se prepara en el navegador.
Características clave
- Reglas Allow y Disallow por robot
- Directiva Sitemap
- Varios agentes si hace falta
- Texto final listo para copiar
- No se publica solo
Casos de uso comunes
- Cerrar una zona de admin o de búsqueda interna
- Dejar el sitio abierto salvo algunas carpetas
- Indicar la URL del sitemap
- Preparar el archivo antes de producción
- Releer reglas que ya están en línea
Beneficios
- La sintaxis queda junta, sin un archivo improvisado
- Ves el texto exacto antes de subirlo
- Sin cuenta para un archivo estático
Un robots.txt dice por dónde rastrear, no qué posicionar
Disallow cierra una ruta al rastreo. Allow reabre una excepción. El sitemap indica dónde está la lista de URL; no obliga a indexarlas.
Después de publicarlo, pruébalo en Search Console o en la herramienta del buscador: una barra de más cambia la regla.
Cómo usarlo
Elige las rutas, añade el sitemap y copia el archivo a la raíz.
- 1. Indica las rutas que se permiten o se prohíben.
- 2. Añade la URL completa del sitemap.
- 3. Relee el texto generado, agente por agente.
- 4. Sube el archivo a la raíz del sitio.
Explorar más herramientas XSular
XSular Tools ofrece utilidades gratuitas diseñadas para velocidad, privacidad y simplicidad — todo en tu navegador, sin registro. Comprobador de fortaleza de contraseñas, Conversor de binario a texto, Decodificador y generador JWT, Codificador y decodificador Base64, Formateador, validador y minificador JSON o Generador de hash online.