Una herramienta indispensable para cualquier página web, el archivo de robots.txt. Gracias a este archivo podrás limitar las carpetas y archivos que el robot va a entrar, es decir, limitar las visitas de los robots a únicamente el contenido importante y el que quieres posicionar.
Muchos CMS tipo wordpress llevan un montón de archivos y páginas que los robots visitan y esto le quita relevancia a tu contenido. Impide que te ocurra eso gracias a este generador de robots.txt totalmente gratuito.