Disponible
Sin registro
Generador robots.txt
robots.txt sin errores.
Configuración
Empezá con un preset y personalizá.
0 = sin delay. Algunos bots ignoran este campo.
robots.txt
# robots.txt — generado por Zona Utility User-agent: * Allow: / # Custom rules User-agent: * Disallow: /admin/ Disallow: /api/ Disallow: /private/ # Bloquear AI crawlers User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: CCBot Disallow: / User-agent: anthropic-ai Disallow: / User-agent: PerplexityBot Disallow: / User-agent: Applebot-Extended Disallow: / Sitemap: https://tusitio.com/sitemap.xml
Subí el archivo a la raíz de tu dominio: /robots.txt
Cómo funciona esta herramienta
robots.txt es el primer archivo que cualquier crawler (Googlebot, Bingbot, AhrefsBot, GPTBot) lee al llegar a tu sitio. Le dice qué puede rastrear, a qué velocidad y dónde está tu sitemap. Un robots.txt mal configurado puede bloquear tu sitio entero de Google sin que te enteres.
Este generador construye el archivo desde presets seguros (WordPress, Next.js, Shopify), permite añadir reglas custom y valida la sintaxis. También bloquea por defecto los AI crawlers (GPTBot, ClaudeBot, CCBot) si quieres preservar tu contenido.
Preguntas frecuentes
- ¿robots.txt es obligatorio?
- No, pero es altamente recomendable. Sin él, los crawlers asumen permiso total y pueden chocar con tu staging.
- ¿Disallow bloquea de la indexación?
- Bloquea el rastreo, no la indexación. Para que una URL no aparezca en Google, usa
noindexen meta o header HTTP. - ¿Bloqueo a OpenAI / Anthropic?
- Sí, con
User-agent: GPTBot Disallow: /yUser-agent: ClaudeBot Disallow: /. Lo respetan, pero no es legalmente vinculante. - ¿Dónde se sube?
- En la raíz de tu dominio:
https://tusitio.com/robots.txt. No en una subruta — Google solo lee la raíz.