El archivo robots.txt es un instrumento fundamental para dirigir cómo los rastreadores web rastrean tu página web . Facilita a los arañas directrices sobre qué partes de tu sitio pueden indexadas y cuáles es preferible que no ser ignoradas . Una configuración adecuada del robots.txt puede mejorar