Robots.txt

Un archivo robots.txt es un archivo de texto simple ubicado en el directorio raíz de un sitio web que proporciona instrucciones a los crawlers (robots) sobre qué páginas o secciones deben o no ser rastreadas. Ayuda a gestionar el tráfico hacia el sitio y controlar qué partes del sitio web son indexadas por los motores de búsqueda.

También conocido como: Protocolo de exclusión de robots, archivo robots.

Comparaciones

• Robots.txt vs. Etiqueta Meta Robots: Mientras que robots.txt controla el acceso de los crawlers a nivel de archivo o carpeta, las etiquetas meta robots gestionan la indexación a nivel de página dentro del HTML.

• Robots.txt vs. Mapa del sitio: robots.txt bloquea el acceso a ciertas áreas, mientras que los mapas del sitio proporcionan orientación sobre qué páginas deben ser priorizadas para la indexación.

Pros

• Previene el rastreo innecesario: Ayuda a mantener contenido sensible o irrelevante (como páginas de administración) fuera de la indexación.

• Optimiza el presupuesto de rastreo: Dirige a los crawlers de motores de búsqueda hacia las páginas más importantes, mejorando el rendimiento de SEO.

• Fácil de implementar: Solo es un archivo de texto, lo que lo hace fácil de configurar y modificar.

Contras

• No es una herramienta de seguridad: Puede ser ignorado por crawlers maliciosos, por lo que no debe utilizarse para ocultar información sensible.

• Puede bloquear involuntariamente páginas importantes: Configuraciones incorrectas pueden evitar que contenido valioso sea indexado.

• Sin garantía: Algunos bots pueden ignorar el archivo robots.txt y aún rastrear contenido restringido.

Ejemplo

Un archivo robots.txt en un sitio de comercio electrónico podría bloquear a los crawlers el acceso a páginas sensibles como las de finalización de compra o secciones de cuentas de usuario.