Uno de los problemas que tienen los webmasters, especialmente si usan servidores web compartidos o tienen webs con mucho tráfico, es poder controlar la cantidad de recursos que consumen los rastreadores o arañas de los buscadores.

Ya hace un tiempo atrás, Google Webmaster Tools permitía definir la velocidad de rastreo de googlebot pero solamente en forma discreta: Es decir se podía definir rastreo lento, rastreo normal, rastreo rápido.

Ahora, han mejorado significativamente esta función, y en el panel de control (settings) aparece la siguiente imagen

Es decir que ahora se puede elegir entre una velocidad o mejor dicho «frecuencia de rastreo» automática que seguramente el googlebot calcula estadísticamente en base a los tiempos de respuesta del servidor web o una personalizada.

En el modo personalizado se puede definir manualmente el numero de peticiones por segundo que el googlebot realizará y también el tiempo de pausa entre 2 peticiones. Estos dos valores permiten un buen control de los accesos del googlebot al servidor web para así evitar sobrecargas en su rendimiento.

El tiempo de respuesta de un servidor web también es un factor muy importante que últimamente podría ser valorado por Google en los algoritmos para obtener el ranking de una página web.

La parametrización manual de esta nueva función se la debe realizar con mucho cuidado ya que sí se elige una frecuencia de rastreo elevada, puede sobrecargar al servidor y consecuentemente empeorar el ranking de las páginas de la web.

Pero si por el contrario, se elige una frecuencia de rastreo baja, el googlebot no podrá actualizar y colocar los nuevos contenidos rápidamente en el buscador.

Por todo esto, y si no se tiene un buen conocimiento sobre el comportamiento real del servidor web, creo que es mejor que el googlebot elija automáticamente la frecuencia de rastreo.

Finalmente, una mejora muy interesante a esta nueva función sería la posibilidad de definir las horas en las que el googlebot puede rastrear las páginas, ya que la carga de los servidores baja considerable por ejemplo durante las noches o los fines de semana – según el tema de la web -, como se puede observar por ejemplo en la siguiente imagen