Los archivos en XML conocidos como sitemaps inicialmente fueron introducidos por Google, y luego estandarizados en sitemaps.org para que puedan ser usados por los bots de todos los buscadores para descubrir con más facilidad paginas de un sitio web.

Esta es una gran ayuda para webmasters que tienen sitios con una estructura interna de enlaces suboptimal y difícil de enlazar desde la página principal.

Inicialmente, los archivos sitemaps.xml tenían que ser colocados en la raíz de cada dominio. Esto complicaba el trabajo de un webmaster cuando administraba varios dominios. Siempre tenia que subir los archivos a cada uno de ellos.

Ahora, y como lo comenta Vanessa Fox en Search Engine Land, la organización Sitemap.org ha anunciado una actualización del protocolo y con solo colocar en el archivo robots.txt del dominio un comando de la siguiente forma

Sitemap: http://www.mi-sitio.com/sitemap.xml

se puede informar a los bots de obtener el sitemap en cualquier dirección. Esta puede estar en otro dominio o también en una carpeta interna de cualquier dominio.

Esta nueva funcionalidad ya ha sido adoptada por más grandes buscadores Google, Yahoo! y Microsoft.

Sin duda es una buena noticia para los webmasters que tienen que gestionar sitemaps de muchos sitio. Ahora pueden centralizar los sitemaps en un solo dominio y así controlar mejor su constante actualización.

Lo que todavía no me ha quedado muy claro es que si es posible colocar varias lineas en robots.txt como por ejemplo las siguientes

Sitemap: http://www.mi-sitio.com/sitemap-base.xml
Sitemap: http://www.mi-sitio.com/sitemap-cambios.xml

Actualización
Más infos sobre el tema en el blog de Google Webmaster Central