Cómo crear un archivo robots.txt paso a paso, con ejemplos

Un robots.txt mal escrito puede dejar tu sitio entero fuera del rastreo de Google. Esta guía sigue la documentación oficial para que lo escribas bien a la primera.

Qué es un robots.txt y para qué sirve

Un robots.txt es un archivo de texto que indica a los rastreadores qué partes de tu sitio pueden visitar. Según la introducción de Google Search Central, su uso principal es gestionar el tráfico de rastreo para no sobrecargar el servidor con solicitudes.

También sirve para evitar que imágenes, videos o audios aparezcan en los resultados de Google. Del mismo modo, permite excluir del rastreo zonas sin valor para la búsqueda, como resultados de búsqueda interna o carritos. Es una pieza del SEO técnico, junto con el sitemap y las etiquetas de indexación.

Lo que robots.txt no hace

Robots.txt no impide que una página aparezca en Google. Es el malentendido más común. Google lo dice de forma expresa: no es un mecanismo para mantener una página fuera de su índice.

Si bloqueas una URL y otros sitios la enlazan, Google puede indexarla igualmente, aunque sin descripción. Por eso, para que una página no salga en los resultados, usa la etiqueta noindex o protégela con contraseña. Puedes repasar las etiquetas de cabecera en la guía de metadatos en SEO.

Además, el archivo es público y no todos los rastreadores lo respetan. Googlebot y otros rastreadores serios sí lo siguen, pero cumplirlo depende de cada uno. Para información confidencial, usa contraseñas o elimina el contenido.

Cómo crear un robots.txt paso a paso

Crear un robots.txt lleva pocos minutos si sigues las pautas de la guía de Google para escribir y enviar el archivo. Estos son los pasos:

1. Abre un editor de texto plano. Usa Bloc de notas, TextEdit en modo texto o un editor de código. Evita los procesadores de texto, que añaden caracteres invisibles.
2. Escribe tus grupos de reglas. Cada grupo empieza con User-agent y sigue con las líneas Disallow o Allow, una por línea.
3. Añade la ubicación del sitemap. Escribe la URL completa, con https.
4. Guarda el archivo en UTF-8. El nombre debe ser exactamente robots.txt, en minúsculas.
5. Súbelo a la raíz. Debe quedar en https://tudominio.com/robots.txt, nunca en una carpeta.
6. Comprueba que es público. Ábrelo en una ventana de incógnito y revisa el informe de Search Console.

Ten en cuenta que cada subdominio y cada protocolo necesitan su propio archivo. Las reglas de ejemplo.com no se aplican a tienda.ejemplo.com. Si usas un CMS o una plataforma alojada que no te deja editar el archivo, busca su ajuste de visibilidad en buscadores.

Reglas y sintaxis con ejemplos

La sintaxis de robots.txt es sencilla, pero cada detalle cuenta. Las rutas empiezan con una barra, distinguen mayúsculas de minúsculas y el símbolo # marca un comentario.

Un ejemplo completo para una pyme

Este archivo permite rastrear todo el sitio salvo el área de administración y la búsqueda interna. Además, deja accesible un archivo que WordPress necesita para funcionar:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=

Sitemap: https://ejemplo.com/sitemap.xml

Si quieres permitir todo, basta con un grupo con User-agent: * y una línea Disallow vacía. En cambio, Disallow: / bloquea el sitio entero, así que revísalo dos veces antes de publicar. Para preparar la línea del mapa del sitio, consulta la guía de sitemaps y cómo generarlos.

Comodines y prioridad

Google admite dos comodines, según su especificación de robots.txt. El asterisco representa cualquier secuencia de caracteres y el signo $ marca el final de la URL. Así, Disallow: /*.pdf$ bloquea todos los PDF.

Cuando dos reglas chocan, Google aplica la más específica, que es la de ruta más larga. Si aun así empatan, elige la menos restrictiva. Por eso, Allow: /carrito/ayuda/ gana a Disallow: /carrito/.

Cómo probar y actualizar el archivo

El archivo se prueba en el informe de robots.txt de Search Console. Muestra los archivos que Google ha encontrado en los 20 hosts principales de tu sitio, la fecha de la última comprobación, el tamaño y los problemas de análisis. Este informe solo está disponible en propiedades a nivel de dominio.

Google suele guardar el archivo en caché hasta 24 horas. Si corriges un error grave, usa la opción «Solicitar un nuevo rastreo» del propio informe. Para ver cómo afecta el archivo a una URL concreta, utiliza la herramienta de inspección de URLs.

Errores frecuentes en robots.txt

Los errores en robots.txt suelen ser pequeños, pero sus efectos son grandes. Estos son los más habituales:

• Bloquear CSS y JavaScript. Google advierte que no conviene bloquear recursos si su ausencia le impide entender la página.
• Usar Disallow para desindexar. Bloquea el rastreo, pero no quita la URL del índice.
• Traducir las directivas. Escribir «No permitir:» en lugar de Disallow hace que el rastreador ignore la línea.
• Escribir noindex dentro del robots.txt. Google no admite esa regla en el archivo.
• Usar crawl-delay. Google no admite este campo, así que no tiene efecto en Googlebot.
• Superar los 500 KiB. Google ignora todo lo que exceda ese tamaño.
• Dejar un Disallow: / de la fase de desarrollo. Es un descuido habitual al lanzar un sitio nuevo.

También importa la respuesta del servidor. Según Google, un error 4xx (salvo el 429) se trata como si no hubiera archivo, es decir, sin restricciones. En cambio, un error 5xx detiene el rastreo del sitio mientras persiste.

Robots.txt y los rastreadores de IA

Robots.txt también sirve para gestionar algunos usos de tu contenido en inteligencia artificial. Google documenta el token Google-Extended, que permite decidir si el contenido rastreado puede usarse para entrenar futuros modelos Gemini y para su fundamentación.

Lo importante es que Google-Extended no afecta a la inclusión en la Búsqueda ni es una señal de posicionamiento. Por lo tanto, bloquearlo no te saca de Google. Si quieres aparecer en las respuestas de la IA, revisa la guía sobre AEO y GEO y el resto de la categoría SEO y SEM.

Preguntas frecuentes

Néstor Romero Ramos

Néstor Romero Ramos dirige Prisma Idea. Es ingeniero por la Universidad de Córdoba (España) y MBA por la Universidad Rey Juan Carlos, con másteres en dirección comercial y marketing, marketing digital y redes sociales, y neuromarketing. Desde 2011 forma a empresas y profesionales en posicionamiento web, redes sociales y comercio electrónico. Es profesor en la Universidad Europea Miguel de Cervantes y en la Universidad de Chile, dirige los programas online de Quality Leadership University (Panamá), preside la Asociación Europea de Marketing Digital y es vicepresidente de la Asociación Europea de Neuromarketing. Firma ocho artículos académicos con DOI y presenta un podcast de marketing digital.