El documento robots.txt es el recurso esencial para cualquier sitio que desea estar bien vista por los buscadores como Bing. Opera como una mapa para los bots, indicándoles qué secciones de tu sitio pueden deben crawleadas y cuáles se deben excluir . La óptima configuración de este documento sirve a prevenir problemas de rastreo , aumentar la