Cómo usar Generador de robots.txt: guía completa (2026)

¿Qué es Generador de robots.txt?

Un generador de robots.txt crea el archivo de texto que los crawlers piden en la raiz del sitio. El generador gratis de ToolsMinify parte de permitir todo, bloquear todo o bloquear admin, y convierte User-agent, Allow, Disallow y una URL de sitemap opcional en robots.txt listo para copiar. Guardalo en https://tu-dominio/robots.txt para que Googlebot y otros sepan que rutas pueden pedir. Todo corre en el navegador.

Genera un archivo robots.txt con preajustes permitir todo, bloquear todo o bloquear admin. Anade rutas Allow/Disallow y la URL del sitemap - gratis, instantaneo y privado.

¿Por qué usar Generador de robots.txt?

• Preajustes permitir todo, bloquear todo y bloquear admin para no escribir las directivas de memoria
• robots.txt en vivo al editar User-agent, rutas Allow y rutas Disallow
• Linea Sitemap: opcional con una URL absoluta al final del archivo
• Las rutas se recortan, se deduplican y reciben una barra inicial si hace falta
• Corre por completo en el navegador: los borradores no salen del dispositivo

Cómo usar Generador de robots.txt paso a paso

1. Paso 1: Elige un preajuste: permitir todo, bloquear todo o bloquear admin.
2. Paso 2: Edita el User-agent si necesitas un crawler concreto en lugar de *.
3. Paso 3: Anade o cambia las rutas Disallow y Allow (una por linea).
4. Paso 4: Pega opcionalmente la URL de tu sitemap.
5. Paso 5: Copia el robots.txt y guardalo en https://tu-dominio/robots.txt.

La Generador de robots.txt está en Herramientas SEO. Abre la página de la herramienta, introduce tu texto o datos en el campo principal y los resultados se actualizan al instante. Usa el botón de copiar para pegar la salida en documentos, editores de código u hojas de cálculo.

Casos de uso comunes

Lanzar un sitio publico

Usa permitir todo mas la URL de tu sitemap XML para que los crawlers pidan cada ruta publica y descubran URLs en un solo archivo.

Sacar el staging del indice

Usa bloquear todo (Disallow: /) en un host de staging. Anade noindex en las paginas si ese host llega a ser accesible desde la web abierta.

Ocultar el admin del CMS

Usa bloquear admin para Disallow /admin/ y /wp-admin/ mientras posts y fichas de producto siguen rastreables.

Afinar un crawler concreto

Pon User-agent en Googlebot, mezcla prefijos Allow y Disallow y mantén una linea Sitemap para descubrir URLs.

Ejemplos

• Sitio publico, permitir todo: El preajuste permitir todo emite User-agent: * y Allow: /. Anade la URL del sitemap para que los crawlers encuentren el XML en el mismo archivo.
• Staging, bloquear todos los crawlers: El preajuste bloquear todo emite Disallow: / para que Googlebot y otros no entren en un host de staging o privado. Combinalo con noindex si el host llega a ser publico.
• Bloquear rutas de admin del CMS: El preajuste bloquear admin escribe Disallow: /admin/ y Disallow: /wp-admin/ mientras el resto del sitio sigue rastreable.
• Crawler con nombre y rutas propias: Pon User-agent en Googlebot, Disallow /tmp, Allow /public/ y una URL de sitemap para obtener un grupo mixto mas una linea Sitemap:.

Consejos profesionales

• El archivo tiene que vivir en la raiz. example.com/blog/robots.txt se ignora.
• robots.txt no es un control de seguridad y no hace noindex. Usa noindex cuando una pagina no deba salir en resultados.
• Usa URLs de sitemap https absolutas. Las rutas relativas se malinterpretan con facilidad.
• Google ignora Crawl-delay. Omítelo y usa Search Console si necesitas frenar a Googlebot.
• Tras el deploy, prueba el archivo en el tester de robots.txt de Google y pide indexacion de las URLs clave.

Preguntas frecuentes

Donde pongo robots.txt?

Guardalo en la raiz del sitio: https://www.example.com/robots.txt. Los crawlers solo piden esa ruta exacta. Un archivo en un subdirectorio se ignora.

Que diferencia hay entre Allow y Disallow?

Disallow lista prefijos de ruta que los crawlers deben saltar. Allow lista prefijos que pueden pedir, util cuando un padre esta bloqueado. Si dejas las rutas vacias, este generador usa Allow: / (todo el sitio).

robots.txt oculta paginas de Google?

No. Pide a los crawlers que no descarguen esas URLs. Las paginas bloqueadas pueden salir en busqueda si hay enlaces. Usa noindex en la pagina cuando no deban aparecer en resultados.

Debo anadir una linea Sitemap?

Si tienes un sitemap XML, si. La directiva Sitemap: es independiente de los grupos User-agent y ayuda a Google, Bing y otros a descubrir URLs. Usa una URL https absoluta.

Incluye Crawl-delay?

No. Google ignora Crawl-delay. Usa los ajustes de rastreo de Search Console si necesitas frenar a Googlebot. Este generador se queda en User-agent, Allow, Disallow y Sitemap.

Sale mi archivo del dispositivo?

No. El generador de robots.txt corre por completo en tu navegador. Las rutas y la URL del sitemap no se suben ni se guardan en un servidor.

Herramientas relacionadas

Explora otras herramientas seo en ToolsMinify. En la página de Generador de robots.txt encontrarás utilidades relacionadas para completar tu flujo sin salir del sitio.