Contenido
Actualizado en octubre de 2026
Respuesta rápida: Un archivo robots.txt es un archivo de texto llamado exactamente robots.txt que se coloca en la raíz del dominio (por ejemplo, ejemplo.com/robots.txt) y que indica a los rastreadores qué URL pueden visitar. Se crea con cualquier editor de texto, con reglas User-agent, Disallow, Allow y, de forma opcional, la ubicación del sitemap. No sirve para ocultar páginas del índice.
Guía de APS, agencia de posicionamiento SEO
¿Para qué sirve un archivo robots.txt?
Según la introducción de Google a robots.txt, este archivo indica a los rastreadores a qué URL pueden acceder en un sitio, y se usa sobre todo para evitar sobrecargar el servidor con peticiones. No es un mecanismo para mantener una página fuera de Google. Para eso, la misma documentación recomienda bloquear la indexación con noindex o proteger la página con contraseña.
La diferencia importa: si una URL queda bloqueada en robots.txt, puede aparecer igualmente en los resultados, aunque sin descripción, porque el buscador no llega a leer su contenido. Quien necesita que una página no se indexe debe permitir el rastreo y emplear la etiqueta noindex. Para ubicar este archivo dentro del trabajo técnico de un sitio, sirve la guía sobre los elementos clave del SEO técnico.
¿Cómo se crea paso a paso?
La guía de Google para crear un robots.txt resume el proceso en cuatro tareas: crear un archivo llamado robots.txt, añadir reglas, subirlo a la raíz del sitio y probarlo. Cualquier editor de texto sirve, y el archivo debe vivir en la raíz. Para el sitio www.example.com, la ruta es www.example.com/robots.txt.
Un ejemplo básico, tomado de esa documentación, usa dos reglas: Googlebot no puede rastrear la carpeta /nogooglebot/ y el resto de rastreadores puede acceder a todo el sitio. Al final se añade la línea Sitemap con la dirección completa del mapa del sitio. Quien aún no lo tiene puede consultar cómo se crea un sitemap.
| Directiva | Qué hace | Ejemplo |
|---|---|---|
| User-agent | Indica a qué rastreador se aplica el grupo de reglas | User-agent: Googlebot |
| Disallow | Bloquea el rastreo de una ruta | Disallow: /nogooglebot/ |
| Allow | Permite una ruta dentro de un bloque más amplio | Allow: / |
| Sitemap | Señala la dirección completa del mapa del sitio | Sitemap: https://www.example.com/sitemap.xml |
¿Qué errores conviene evitar?
El primero es tratar robots.txt como una medida de seguridad. Es un estándar de cortesía, definido en el RFC 9309 del IETF, que los rastreadores respetuosos siguen, pero no impide que alguien abra una URL. Información privada debe protegerse con acceso restringido, no con una línea Disallow.
El segundo error es bloquear por accidente recursos o secciones que el sitio necesita posicionar. Una regla demasiado amplia, como bloquear toda la raíz, deja fuera el sitio completo. El tercero es ignorar el tamaño: Google aplica un límite de 500 kibibytes (KiB) y ignora el contenido que lo supera, según la especificación de robots.txt de Google.
Las reglas también distinguen mayúsculas de minúsculas. Una regla para /archivo.asp no afecta a /ARCHIVO.asp. Después de cada cambio, se recomienda probar el archivo y revisar en Search Console cómo lo interpreta Google. Para una visión de conjunto del canal orgánico, existe una explicación de cómo funciona el SEO.
| Objetivo | Herramienta adecuada | Observación |
|---|---|---|
| Evitar sobrecarga del servidor por rastreo | robots.txt | Regula el acceso, no el índice |
| Mantener una página fuera de Google | noindex o contraseña | La página debe poder rastrearse para leer noindex |
| Proteger información privada | Autenticación en el servidor | robots.txt es público y cualquiera puede leerlo |
| Ayudar a descubrir páginas | Sitemap enlazado desde robots.txt | Facilita el hallazgo, no garantiza la indexación |
APS es una agencia de posicionamiento SEO, GEO y AEO para empresas de España y Latinoamérica. Su servicio se centra en que el contenido de un sitio sea fácil de encontrar y de citar en buscadores y en respuestas de IA, lo que incluye revisar que el rastreo no bloquee páginas valiosas.
Preguntas frecuentes sobre robots.txt
¿Dónde se coloca el archivo robots.txt?
En la raíz del dominio. Para el sitio www.example.com, la ruta es www.example.com/robots.txt. El archivo debe llamarse exactamente robots.txt.
¿Robots.txt impide que una página aparezca en Google?
No. Una URL bloqueada puede seguir apareciendo en los resultados, sin descripción. Para mantener una página fuera del índice se usa noindex o una protección con contraseña.
¿Hace falta un robots.txt para posicionar?
No es obligatorio. Por defecto, los rastreadores pueden visitar todo el sitio. Resulta útil cuando hay secciones que conviene excluir del rastreo o se quiere señalar el sitemap.
¿Cómo se comprueba que funciona?
Probando el archivo después de subirlo y revisando en Search Console cómo lo lee Google. También conviene abrirlo en el navegador para confirmar que está accesible en la raíz.
¿Puedo permitir ChatGPT Search y bloquear el entrenamiento?
Sí. OpenAI usa OAI-SearchBot para su búsqueda y GPTBot para el posible entrenamiento de modelos, y cada uno se controla por separado en robots.txt. ChatGPT-User actúa cuando un usuario se lo pide y no decide la inclusión en la búsqueda. Antes de cambiar nada, comprueba que el firewall o la CDN no estén bloqueando a esos bots.
