El documento robots.txt es el herramienta fundamental para la página web que pretende ser bien posicionada por los motores de búsqueda como Chrome . Sirve como el directorio para los crawlers , indicándoles qué secciones de tu web pueden deben indexadas y cuáles no . La óptima configuración de es