Archivo de la categoría: Buscadores

Los buscadores vistos desde el otro lado de la medalla

Después de mas de 10 semanas de vacaciones en diferentes lugares de nuestro planeta, he regresado a mi base.

Durante todo este tiempo y con la ayuda de mi notebook solo me he concentrado en mantener en línea mis proyectos y los de mis clientes desde muchas ciudades del mundo.

Pero como ya es bien conocido, la ley de Murphy siempre es infalible. Justamente durante mis vacaciones, el numero de vistas en uno de mis proyectos aumento tanto (gracias al trabajo de optimización para Google 🙂 ) que en las horas pico el servidor web compartido llegaba a colapsar. Por este motivo, tuve que mover en una acción de emergencia todo mi proyecto a un servidor propio.

El resultado fue muy interesante: Después de la migración al nuevo servidor, el numero de visitas se incremento aun más, y esto debido a que este servidor es más rápido y puede gestionar una mayor cantidad de HTTP-Requests en el mismo lapso de tiempo.

Pero para mi sorpresa, este servidor también colapsaba en las horas pico. Por este motivo tuve que deshabitar algunas funciones del proyecto para bajar un poco la carga del servidor. Por suerte, de esta manera logré estabilizar la situación y evitar una gran perdida de visitas y sobre todo de que los robots de Google encuentren solo un servidor colapsado y de que las buenas posiciones de las diferentes páginas en el buscador caigan al abismo.

Ahora después de mi regreso, tendré un poco mas de tiempo para analizar cuidadosamente esta situación y realizar los cambios necesarios para que el proyecto no haga colapsar el servidor en las horas pico.

Pero bueno, ahora al tema de esta nota: Durante estas 10 semanas de vacaciones he intentado usar Internet y los buscadores como un usuario común sin ver las cosas con los lentes de un SEO. Y los resultados son muy interesantes:

En todo este tiempo no he usado ni una sola vez MSN Search o Yahoo para realizar mis búsquedas. Todo el tiempo necesitaba encontrar la información rápidamente ya que no tenia mucho tiempo, y en forma directa. Por este motivo siempre entraba solamente a Google.

Casi nunca llegué a pasar a la segunda página de los resultados. Solo buscaba entre los primeros 5 resultados, y si no encontraba lo que estaba necesitando, modificaba las palabras de la búsqueda. Cabe mencionar que en estas semanas me he concentrado en buscar lugares, direcciones, rutas, ofertas de viajes, descripciones de productos, comparación de precios y tiendas virtuales.

Para buscar direcciones en diferentes ciudades de Europa, Google Maps fue una de mis herramientas preferidas. Solo necesitaba copiar los datos de mi agenda de direcciones en el browser y ya obtenía un plano muy detallado de la dirección que estaba buscando.

En resumen puedo mencionar que la usabilidad y la rapidez para poder encontrar la información adecuada con ayuda de buscadores son los factores más importantes para los usuarios comunes. Y sin duda, Google cumple de gran manera con los 2 requisitos mencionados anteriormente.

Crawl caching proxy – Un nuevo concepto en la era de Bigdaddy

Como ya es conocido, la semana pasada hubó gran revuelo en la escena de los SEOs cuando se reveló y comprobó que el bot de AdSense estaba ayudando a actualizar el caché del buscador.

Hoy día Matt Cutts, ha publicado una nota en su blog, tratando de disipar la desconfianza que ha generado esta nueva situación.

Matt explica que con la introducción de la nueva infraestructura Bigdaddy, también se ha creado un nuevo concepto para ahorrar ancho de banda para los Webmasters. Este concepto lo llama Crawl caching proxy, y funciona con el mismo principio de los cachés de los proxys como por ejemplo squid.

Cuando por ejemplo un usuario A llama la página www.mi-dominio.com squid guarda esta página en su caché, de modo que cuando un usuario B abre la misma página, ya no es necesario bajarla nuevamente desde el servido original. Squid le presenta la página que ya esta en el caché, ahorrando así ancho de banda.

Según Matt, el crawl caching proxy funciona de la misma manera: Cuando un servicio de Google (googlebot, AdSense, blogsearch, etc.) requiere una página, esta solo es descargada del servidor original si todavía no esta en el caché del crawler, lo que ahorra ancho de banda. Caso contrario el servicio usa la página que ya se encuentra en caché del crawler.

Este nuevo concepto ayuda a mejorar el trabajo del crawler pero no influye de ninguna forma en los diferentes servicios de Google. Según Matt, este caché respeta todas las reglas en robot.txt para los diferentes bots.

Además se debe destacar un aspecto interesante en la nota de Matt: Se menciona que el nuevo googlebot Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) permite la codificación gzip de las páginas web, para así también ahorrar ancho de banda.

Matt Cutts confirma que el bot de AdSense escanea para Bigdaddy

ShoeMoney informa que en un almuerzo organizado por Google, Matt ha confirmado los rumores de que el bot de AsSense también se esta usando para el buscador.

Según Matt, se esta usando el bot de AdSense para generar el indice de Bigdaddy, de esta manera se ahorra ancho de banda. También menciona que no se obtiene ninguna ventaja en el ranking del buscador.

E irónicamente dice que si los webmasters presentan a los dos bots diferentes resultados (cloaking), se van a ver en problemas. Una nueva forma de combatir cloaking…

Actualización
Con esta busqueda se puede comprobar como ha pasado el AdSense bot por páginas que no tienen AdSense:
http://www.google.com/search?q=phpinfo+mediapartners-google

Usa el buscador de Google los datos de AdSense?

Este es un tema que siempre ha sido discutido en muchos de los foros de posicionamiento y de buscadores.

Como ya es bien conocido, los buscadores visitan las páginas regularmente mediante robots, mas bien conocidos como bots. Cada bot deja su huella digital en los logs del servidor web, en el parámetro USER_AGENT.

Aquí algunos de los bots más conocidos:

Buscador de Google
Googlebot 2.1 Googlebot/2.1 (+http://www.google.com/bot.html)
Googlebot 2.1 Googlebot/2.1 (+http://www.googlebot.com/bot.html)
Googlebot 2.1 Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Buscador de imagenes de Google
Googlebot-Image 1.0 Googlebot-Image/1.0
Googlebot-Image 1.0 Googlebot-Image/1.0 (+http://www.googlebot.com/bot.html)

Google AdSense
Mediapartners-Google 2.1 Mediapartners-Google/2.1
Mediapartners-Google 2.1 Mediapartners-Google/2.1 (+http://www.googlebot.com/bot.html)

Yahoo!
Yahoo! Slurp Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

MSN Search
Msnbot 0.1 MSNBOT/0.1 (http://search.msn.com/msnbot.htm)
Msnbot 0.11 msnbot/0.11 (+http://search.msn.com/msnbot.htm)
Msnbot 0.3 msnbot/0.3 (+http://search.msn.com/msnbot.htm)
Msnbot 1.0 msnbot/1.0 (+http://search.msn.com/msnbot.htm)

Ask
Ask Jeeves Mozilla/2.0 (compatible; Ask Jeeves)
Ask Jeeves Teoma Mozilla/2.0 (compatible; Ask Jeeves/Teoma)

Una lista de las cabeceras de todos los bots se puede encontrar aquí.

Según Google, los bots googlebot (bot del buscador) y mediaparnters (bot de AdSense) siempre han trabajado independiente y no comparten o intercambian información para mantener la independencia de los servicios.
Cuando uno coloca un aviso de Google AdSense en una página por primera vez, unos segundos después de que la página es visualizada, aparece el bot de AdSense para analizar la página y decidir que avisos contextuales son los mas apropiados para ser mostrados en esa página.

Ahora bien, si esos datos del bot de AdSense también serian usados por el buscador, tendría varias consecuencias. Por ejemplo podría ayudar a que las páginas con AdSense sean indexadas más rápidamente, ya que inmediatamente después de que la página es visualizada por primera vez, Google AdSense ya sabe de su existencia, y no se tendría que esperar el paso periódico (desde 1 a 15 – 20 días) del googlebot.

Y justamente hoy día JenSense cree haber encontrado evidencias de que el bot de AdSense también es usado por el buscador.

Después de que ella escucho esta semana sobre el tema en WebGuerrila, se puso a buscar en los logs de algunas de sus páginas y encontró algo bastante interesante:

La hora y fecha en el cache de varias de sus páginas era la misma que mostraba el log del servidor la visita del AdSense bot.

Esto seria una prueba contundente de que los datos de AdSense están también siendo usados por el buscador de Google. Seguramente en los próximos días van haber más novedades al respecto.

Actualización
Más sobre el tema en Search Engine Watch

Academic Search de Microsoft ya esta en línea

Como ya lo había mencionado en un previo artículo, hoy día Microsoft ha presentado su nuevo servicio Academic Search, en la forma que ya nos ha acostumbrado Google, usando marketing viral. En esta nota de prensa se puede leer más acerce del lanzamiento oficial.


Acacemic Search Logo

Cuando se navega a la página inicial, aparece un portal con algunas instrucciones y un FAQ. Pero cuando se realiza una búsqueda, la página es redireccionada a Windows Live, donde se muestran los resultados en dos ventanas, como se puede apreciar en la siguiente imagen:


Resultados de Academic Search

En la ventana de la izquierda se muestran los resultados de la búsqueda mientras que en la ventana de la derecha se pueden observar más informaciones del registro (de la izquierda) que ha sido seleccionado.

El manejo de Academic Search es un tanto extraño e inicialmente difícil de entender. Solamente después de jugar un poco con todos los botones, se llega a entender lo que Microsoft ha tratado de realizar con este nuevo servicio.

Yo creo que esta interfaz es muy compleja para los usuarios novatos y sobre todo para los internautas impacientes por llegar con facilidad y muy rápidamente a la información deseada.

Según Microsoft inicialmente este servicio contiene informaciones sobre ciencias de la computación, electrotecnia y física. Después, y con ayuda de varias organizaciones sin lucro como ACM, IEEE, etc. se irá incrementando la base de datos

Nuevos datos sobre el mercado de los buscadores en Estados Unidos

ComScore ha presentado los actuales datos sobre el mercado de los buscadores en los Estados Unidos.


Datos sobre el mercado de los buscadore
Como se puede apreciar en el diagrama, Goolgle ha logrado mejorar su posición con un 41.4% mientras que Yahoo MSN-Search han perdido algunos puntos.

En lo que se refiere a ASK, después de mejorar a 6.5% en Noviembre del 2005 ha caido nuevamente a un 5.6% en Enero del 2006.

El informe también menciona que 57,2% de los resultados de los buscadores estaban con anuncios, mientras que el año anterior, los anuncios alcanzaron solamente un 49,1%.

Via Internet Marketing News

El poder de los gigantes: La penalización de BMW en Google no duró mucho

Hoy dia Matt Cutts, el jefe del grupo anti-spam de Google, anuncia en su blog sobre las ultimas reinclusiones.

Él menciona que aprecia mucho la rápida reacción de BMW para sacar las páginas doorways que redireccionaban con un JavaScript a la página principal de bmw.de (ver nota) y que ya se han contactado con Google para pedir la reinclusión en el índice. ricoh.de también ya esta nuevamente en el indicé.

Esto muestra cuan rápido Google puede colocar sitios nuevamente en su índice.

Yo creo que esta acción no va ha ayudar nada a frenar el spam, pues todas las grandes empresas o sitios web, que piensen que pueden influir o presionar a Google, van hacer spam para mejorar su posicionamiento en el buscador, ya que en caso de ser penalizados, pueden estar seguros de que después de realizar algunas llamadas de alto nivel a Google, van a
continuar en índice.

Actualización
lo bochornoso de toda esta situación es que las doorways de BMW están nuevamente en el índice como este enlace lo demuestra claramente. Y también la misma página continua activa.

Interesantes novedades sobre BigDaddy

Matt ha realizado una entrevista con Webmasterradio (archivo en MP3 de 66MB) y justamente ahora ha complementado esta entrevista con una actualización sobre Bigdaddy .

Lo mas importante se puede resumir de la siguiente manera:

  1. Los centros de datos (DC´s) que ya tienen los datos de Bigdaddy son 66.249.93.104, 64.233.179.104 y 216.239.51.104.
  2. Debido a que Bigdaddy no solo es una actualización a la base de datos, sino que también se trata de nueva infraestructura (se rumorea que sean nuevos procesadores de 64 bits y una nueva estructura de bases de datos), se piensa que cada 10 días se convertirá un nuevo DC a Bigdaddy.
  3. Estos nuevos DC´s estarán rotando en el pool de DC´s normales y ocasionalmente se los sacará para hacer pruebas.
  4. Los cambios se van a sentir a medida que más DC´s se vayan convirtiendo a Bigdaddy.

Así pues, esta la demostración contundente de que los resultados que ya se pueden observar por ejemplo en 66.249.93.104 pronto serán parte del índice de todos los días.

Este año Google prestará más atención al spam en otros idiomas

Esto es lo que informa Matt Cutts, jefe del grupo anti-spam de Google, en su blog. Matt dice que entre los idiomas en los cuales se van a concentrar están Alemán, Francés, Italiano, Español y chino.

Él muestra en su blog un ejemplo de un sitio en alemán con el tema de autos Mercedes Benz que usa doorway-pages con palabras claves y que usa JavaScript para redireccionar a sus visitantes.

También inicia que los webmasters deberían leer las directrices de calidad de Google para no entrar en problemas con el buscador.

De inmediato han aparecido varios comentarios, especialmente de usuarios en alemán, que aplauden esta acción.