Inicio
Herramientas
Generadores
Generador de Robots.txt

Generadores

Generador de Robots.txt

Crea y personaliza un archivo robots.txt optimizado para controlar el rastreo de Google en tu web y mejorar el SEO.

Ajustes de Directivas

User-Agent principal

Retardo de rastreo (Crawl-delay)

Sitemap URL (Opcional)

Rutas Restringidas (Disallow) - Una por línea

Usa barras inclinadas, ej: /admin/

Rutas Permitidas (Allow) - Una por línea

Resultado (robots.txt)

¡Copiado!

Guía rápida de Robots.txt

1. **User-agent:** Especifica el buscador al cual va dirigida la regla. Usar un asterisco * aplica la regla a todos.

2. **Disallow:** Indica a los bots que no deben indexar ni seguir las páginas que comiencen con esa ruta.

3. **Allow:** Anula una restricción de Disallow. Es útil cuando quieres bloquear una carpeta entera pero permitir el rastreo de un archivo específico dentro de ella.

Cómo generar un archivo robots.txt para tu web paso a paso

Define los Bots

Selecciona si las directivas aplicarán de forma generalizada a todos los rastreadores o a bots específicos.

Añade rutas excluidas

Escribe las rutas de tu sitio que deseas proteger del rastreo, como carpetas de administración o temporales.

Declara el Sitemap

Ingresa el enlace URL de tu archivo Sitemap XML para acelerar la indexación del sitio web.

Genera y Descarga

Haz clic en "Generar Robots.txt", revisa la estructura del código y descárgalo para subirlo a tu hosting.

Guía de Configuración Correcta del Archivo Robots.txt para SEO Técnico

El archivo robots.txt es un elemento de texto plano fundamental para el SEO técnico que reside obligatoriamente en el directorio raíz de cualquier dominio. Su función principal es guiar a los bots de los motores de búsqueda (como Googlebot de Google o Bingbot de Bing) sobre qué áreas de tu sitio web están autorizadas a rastrear y cuáles deben ignorarse para optimizar tu Crawl Budget (presupuesto de rastreo).

A través de esta herramienta interactiva, puedes definir la directiva del agente de usuario (User-agent) y compilar directrices Disallow (para restringir directorios administrativos o de pruebas como `/wp-admin/` o `/tmp/`) y directrices Allow para habilitar áreas específicas dentro de carpetas restringidas. Asimismo, te permite referenciar la dirección exacta de tu Sitemap XML para acelerar el descubrimiento de tu catálogo de URLs.

Recuerda que un robots.txt mal configurado puede desindexar accidentalmente un sitio web entero de los resultados de búsqueda de Google. Por ello, te facilitamos una interfaz limpia y depurada que genera un archivo estándar libre de fallos sintácticos listo para descargar.

Directivas Clave en Robots.txt

**User-agent**: Declara el bot de búsqueda al que aplica la regla (e.g. `*` para todos, `Googlebot` para Google).\n**Disallow**: Restringe el acceso a una ruta o carpeta específica.\n**Sitemap**: Indica la dirección absoluta de tu mapa de sitio XML para acortar tiempos de rastreo.

Preguntas Frecuentes

El Crawl Budget es el tiempo y recursos limitados que Google asigna para rastrear tu sitio web. Al usar robots.txt para bloquear carpetas irrelevantes, obligas a Google a enfocar su rastreo en tus páginas de venta y blog.

Debe cargarse obligatoriamente en la carpeta raíz pública de tu servidor de hosting, de manera que sea accesible en la dirección exacta: tuweb.com/robots.txt.

No necesariamente. Robots.txt bloquea el rastreo de la página, pero si la página recibe muchos enlaces externos, Google podría indexar su URL de todas formas. Para bloquear la indexación absoluta, debes usar la etiqueta meta name="robots" content="noindex".

Se escribe utilizando la sintaxis:\n`User-agent: *` \n`Disallow: /` \n(Cuidado: esto evitará que cualquier buscador indexe tu sitio web).

Sí, las directivas y especialmente las rutas físicas escritas en las líneas de Allow y Disallow distinguen completamente entre mayúsculas y minúsculas (ej: `/Admin/` es diferente a `/admin/`).