Hace días atrás Google, Yahoo y Microsoft resolvieron unificar la forma de tratamiento de los comandos para los bots de los  buscadores que los webmasters pueden colocar en el archivo robots.txt.  El  protocolo   se llama  Robot Exclusion Protocol (REP) y esta  definido  en RobotsTxt.

Ahora, Vanessa Fox ha escrito un artículo muy detallado sobre este tema, el uso correcto de robots.txt Se trata de un documento que todo webmaster debería leer.