Robots.txt y Sitemap: Seguridad y SEO

Que es

El archivo robots.txt es un archivo de texto plano ubicado en la raiz del sitio web (tudominio.com/robots.txt) que sigue el Robots Exclusion Protocol. Indica a los crawlers de motores de busqueda que URLs pueden o no rastrear, usando directivas como User-agent, Disallow y Allow. El sitemap.xml es un archivo XML que lista todas las URLs que deseas que los motores de busqueda indexen, con metadata como frecuencia de actualizacion y prioridad. El archivo security.txt (ubicado en /.well-known/security.txt) es un estandar propuesto (RFC 9116) que proporciona informacion de contacto para que investigadores de seguridad puedan reportar vulnerabilidades de forma responsable.

Por que importa

robots.txt es un archivo publico: cualquiera puede acceder a el, no solo los motores de busqueda. Los atacantes lo consultan como primer paso de reconocimiento porque revela la estructura del sitio y las areas sensibles. Si tu robots.txt contiene "Disallow: /admin/" o "Disallow: /backup/", estas senalando exactamente donde buscar. Ademas, un robots.txt mal configurado puede bloquear accidentalmente el rastreo de paginas importantes, danando tu SEO. Por otro lado, la ausencia de sitemap.xml dificulta la indexacion eficiente de tu contenido. La falta de security.txt impide que investigadores de seguridad bien intencionados te contacten para reportar vulnerabilidades, dejando los fallos sin corregir.

Problemas comunes

• Directivas Disallow que revelan rutas sensibles: bloquear /admin/, /backup/, /config/, /database/ en robots.txt senala estas rutas a los atacantes.

• Robots.txt ausente: sin este archivo, los motores de busqueda rastrean todo el sitio, incluyendo paginas que no deberian indexarse.

• Bloqueo excesivo de contenido: directivas demasiado amplias como "Disallow: /" bloquean toda la indexacion de tu sitio.

• Sitemap.xml ausente o incorrecto: sin sitemap, los motores de busqueda dependen exclusivamente del rastreo para descubrir tu contenido.

• Security.txt ausente: sin informacion de contacto de seguridad, los investigadores no pueden reportar vulnerabilidades responsablemente.

• Rutas sensibles accesibles: usar robots.txt como medida de seguridad en lugar de autenticacion y autorizacion adecuadas.

Como solucionarlo

No uses robots.txt como medida de seguridad. Las rutas que necesitan proteccion deben tener autenticacion y autorizacion adecuadas. Manten un robots.txt limpio y minimo que solo gestione el rastreo de SEO. Genera y mantiene un sitemap.xml actualizado con todas las paginas que quieres indexar. Implementa security.txt siguiendo RFC 9116 para facilitar la divulgacion responsable de vulnerabilidades. Usa herramientas de Google Search Console para verificar que tu robots.txt no bloquea contenido importante.

# robots.txt - Ejemplo seguro y limpio
User-agent: *
Allow: /
Disallow: /api/
Disallow: /cuenta/

Sitemap: https://tudominio.com/sitemap.xml

# /.well-known/security.txt - RFC 9116
Contact: mailto:[email protected]
Expires: 2027-01-01T00:00:00.000Z
Preferred-Languages: es, en
Canonical: https://tudominio.com/.well-known/security.txt
Policy: https://tudominio.com/politica-de-seguridad

# Nginx - Servir security.txt
location = /.well-known/security.txt {
    alias /var/www/security.txt;
    add_header Content-Type text/plain;
}

Guias relacionadas