Herramientas SEO/Generador de Robots.txt
Generador de Robots.txt
Crea y personaliza robots.txt para rastreadores de búsqueda
Regla 1
Una ruta por línea
Una ruta por línea
Opciones Adicionales
robots.txt Generado
User-agent: * Allow: / Disallow: /admin/ Disallow: /private/ Disallow: /api/ Sitemap: https://example.com/sitemap.xml
Guarda como robots.txt en el directorio raíz de tu sitio
Guía del Generador Robots.txt
Controla los crawlers de motores de búsqueda con robots.txt
¿Qué es robots.txt?
Robots.txt es un archivo que indica a los crawlers de motores de búsqueda qué páginas pueden indexar y cuáles no. Es importante para controlar la visibilidad de tu sitio web.
Cómo Usar
- Selecciona los crawlers para los que aplicarán las reglas
- Define rutas permitidas y bloqueadas
- Añade el enlace a tu sitemap
- Copia el archivo a tu directorio raíz
Consejos SEO
- Nunca bloquees archivos CSS/JS importantes
- Siempre incluye una referencia al sitemap
- Prueba con Google Search Console
Soporte de Motores de Búsqueda
Robots.txt es respetado por todos los motores de búsqueda principales. Es una directriz, no una medida de seguridad.