Como ya es conocido, cuando Matt Cutts anuncío la completa propagación de la nueva infraestructura de Google, Bigdaddy, también menciono que en los próximos meses habría sorpresas muy interesantes para los webmasters debido a las nuevas posibilidades de esta nueva infraestructura.

Ya ha pasado mas un mes desde que se hizo este anuncio, pero muchos de los webmasters ahora están muy preocupados debido a que se están observando en el índice 2 fenómenos inquietantes:

1. Nuevas páginas web no están siendo indexadas con la rapidez que buscador lo hacia anteriormente.

2. El numero de páginas indexadas (función site:) de muchos sitios se esta reduciendo continuamente, como ya lo había informado en otro artículo.

En los diferentes foros, especialmente en WMW se están discutiendo diferentes teorías:

1. Debido a los problemas que mostraban las páginas indexadas en Google antes de Bigdaddy, como ser el contenido duplicado, resultados suplementarios, url canónicas hijacking, ahora Google con su nueva infraestructura Biggdaddy esta comenzando a limpiar las páginas con estos problemas, lo que esta causando que muchos sitios están perdiendo una gran cantidad de paginas en el índice.

2. Debido a que últimamente las páginas antiguas en los niveles más profundos no ha sido refrescadas por el googlebot, estas están desapareciendo automáticamente del índice.

3. Google tiene grandes problemas técnicos con su nueva estructura para indexar las páginas. El numero de los adeptos a esta teoría hoy día se ha incrementado, debido a un entrevista del CEO de Google, Eric Schmidt, con el New York Times, donde entre otras cosas dice «We have a huge machine crisis”. El artículo también menciona que Google en este nuevo año invertirá unos 1.500 millones de dólares en servidores, equipos de red y espacio para los data centers. Esta teoría se esta discutiendo en este hilo de WebMasterWorld.

Se cual fuese la verdadera razón de estos dos fenómenos que se están observando en el buscador de Google, los webmasters esperan que todo se normalice a la brevedad posible, ya que observar que las nuevas páginas de un proyecto no aparecen en el buscador o que las páginas de proyectos bien posicionados van desapareciendo cada día en el buscador es muy furstante.

Desde ya hace varios días se esta discutiendo en varios foros, como por ejemplo en WMW, el problema que momentáneamente tienen muchos webmasters.

El número de páginas indexadas, que generalmente se puede obtener en Google con la función site:mi-dominio.com, esta bajando continuamente para muchos dominios.

Algunos webmasters mencionan por ejemplo que de 100.000 páginas indexadas han bajado a unas 600.

Pero hasta el momento, aun nadie tiene una explicación plausible sobre este fenómeno en la era de Bigdaddy. Solamente existen como siempre una serie de teorías. Entre estas, se puede mencionar:

1. Google esta roto, y tiene problemas con la indexación de las páginas.

2. El bajón se debe a que el googlebot ya hace algún tiempo que no esta escanenado los sitios con la frecuencia como lo hacia antes. Especialmente el deepcrawl, es decir el escaneo de las páginas internas. Y ya que estas no han sido actualizadas, estas páginas van desapareciendo del índice del buscador poco a poco.

3. Google esta borrando del índice las páginas con doble contenido (DC = duplicate content).

Sea cual fuese el verdadero motivo de este extraño fenómeno, esta causando mucho ruido entre los webmasters ya que la desaparición de muchas sus páginas del índice les resta una gran cantidad de visitantes. Sobre todo, aquellas web que reciben la mayoría sus visitas por el long tail y no por palabras claves especificias.

Y mientras algunos piensan que este será el nuevo índice, otros todavía tienen la esperanza que pronto todo vuelva a la normalidad.

Como se esta discutiendo en un hilo de WMW, muchas páginas que estaban en el Sandbox ya hace bastante tiempo, han aparecido por algunos momentos en el índice en buenas posiciones.

También se están observando varios data centers, como por ejemplo 64.233.187.104, que muestran un índice sin el filtro del sandbox.

Posiblemente es una prueba de Google y no se sabe a ciencia cierta si estos resultados serán propagados a todos los DCs.

Como ya es bien conocido, uno de los factores más importantes para el posicionamiento de una web en los buscadores son los enlaces entrantes o backlinks.

Por este motivo en los últimos años han aparecido una infinidad de directorios web que quieren atraer la atención de los webmasters para que inscriban sus proyectos. Por ejemplo, en los foros se puede leer cada día sobre la inauguración y/o presentación nuevos directorios web.

Pero en realidad estos directorios solo tienen una finalidad: Atraer visitantes para que generen clics en sus páginas tapizadas con anuncios, especialmente de Google AdSense. Todos estos directorios nacen sin la mínima posibilidad de sobrevivir en la red. Lo máximo a lo que pueden aspirar es ser nidos del SPAM.

Esta situación también ha sido reconocida por los buscadores, especialmente por Google, y el valor que dan a los enlaces de estos directorios al momento de calcular la popularidad de una página web es cero.

Solamente algunos directorios han logrado mantener el valor de sus enlaces. Entre estos se cuentan DMOZ (Open Directory Proyect), el directorio de Yahoo!, etc. El registro de una página web en uno de estos directorios es muy bien valorada por los buscadores, especialmente por Google y que es conocido con el termino de TrustRank.

Por estos motivos la inclusión de proyectos en estos directorios web ha dejado de ser relevante para ayudar a mejorar la posición de una página en el índice de los buscadores.

Tal vez lo único rescatable de estos directorios sean aquellos directorios con temas especializados que pueden ayudar solamente a generar visitas directas, en caso que tengan autoridad en el tema, que contengan un buen contenido y que los registros del directorio sean de buena calidad.

Aunque algunos piensan que las respuestas que Matt Cutts, jefe del equipo anti-spam de Google, ha dado (ver nota) en su blog no son interesantes u off-topic, yo pienso que son muy interesantes, ya mas o menos oficialmente corroboran o refutan muchas de las teorías que han estado circulando en el mundo SEO en los últimos meses.

Aquí les presento algunas de las lecturas que he podido interpretar:

Frecuencia de las visitas del googlebot – Confirmado
La frecuencia de las visitas del googlebot para escanear (crawlen) una web depende del valor del PageRank que tiene la página. Cuanto más alto sea el PR, la página será escaneada con más frecuencia.

Profundidad del escaneo de una web depende del PR – Confirmado
Cuanto mas alto sea el PR de una web, el web crawler escaneará la página mas profundamente. El uso de Google Sitemaps no garantiza que una web sea escaneada completamente.

A Google no le gustan las URLs con muchos parámetros – Confirmado
Según Matt, el numero de parámetros que Google le gustan varia ente 1 y 2.

Google no persigue enlaces que están en Flash, JavaScript o Frames – Confirmado
Todas las páginas que sean enlazadas mediante Flash, JavaScript o Frames no pueden ser indexadas. Aquí se deben usar enlaces estáticos.

La etiqueta nofollow es interpretada correctamente por Google – Confirmado
Indica al bot que no siga los enlaces marcados con esta etiqueta. Asi se puede evitar en muchos casos que Google crea que la página es una link farm.

Biggdady es una nueva infraestructura de hardware – No confirmado
Matt habla solo de una nueva infraestructura de software.

El parámetro RK ya no va a ser visible – Confirmado
Este parámetro era usado por las herramientas que mostraban el futuro PageRank. Ahora este parámetro solo va ha mostrar el valor 0.

El Mozilla googlebot es usado por Bigdaddy – Confirmado
El googlebot con el user-agent Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) es usado por Bigdaddy para escanear las páginas.

Proyectos en varios idiomas deben usar subdominios o dominios propios – Confirmado
Cuando el numero de páginas es pequeño, se pueden usar subdominios, como por ejemplo es.mi-dominio.com o en.mi-dominio.com En caso de que el número de páginas sea grande, se deben usar dominios propios como por ejemplo mi-dominio.es o mi-dominio.us

Si es hay alguna otra cosa que no la hubiese encontrado, espero vuestros comentarios…

Hoy día Matt ha comenzado a responder en su blog a las preguntas de los SEO’s que se habia dispuesto a responder (ver nota).

Como las respuestas son MUY importantes para los que están interesados en posicionar sus páginas en Google las voy a transcribir a continuación al español:

P: Se ha propagado Bigdaddy por completo?
R: Si, creo que cada uno de los data centers ya tiene el upgrade de la infraestructura de software Bigdaddy.

P: Cuál es la historia sobre el Mozilla Googlebot? Es esto lo que envía Bigdaddy?
Si, así lo creo. Probablemente Uds. verán menos al viejo googlebot, que tiene como user-agent “Googlebot/2.1 (+http://www.google.com/bot.html)”. Creo que la nueva infraestructura Bigdaddy tiene un nuevo robot, cual es Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”

P: Llevaste a Emmy a San Fransisco?
R: Nop, Emmy es una gata casera, no le gusta viajar

P: Algunas novedades sobre los sitios que muestran resultados suplementarios?
R: A fines de la ultima semana se han hecho algunos cambios con escaneos (crawlings) adicionales para mostrar mas de estos sitios, pero todavía va ha tomar algún tiempo (algunos días más) para poder mostrarlos en el índice. Echaré una ojeada a aquellos sitios que la gente me ha mencionado.

P: El parámetro RK ha sido completamente desactivado, o podemos esperar de verlo nuevamente?
A: No creo que el parámetro RK vuelva a tener un valor diferente de 0.

P: Que es el parámetro RK?
A: Es el parámetro que se puede ver en el Google Toolbar query. Alguna gente fuera de Gogle ha especulado que este valor era el PageRank actual (live), que este valor difería entre Bigdaddy y la antigua infraestructura, etc.

P: Ahora que Bigdaddy ya esta afuera, habrá una exportación del PageRank (quiere decir actualización de la barrita verde) pronto? y ahora en Bigdaddy se van a estabilizar los aspectos relacionados al PR?
A: Preguntaré por aquí sobre esto. Si es que no existen obstáculos logísticos, voy a preguntar si podemos hacer visible el PageRank en las próximas semanas. Y espero que a medida de que Bigdaddy se estabilice en todo lado, la variación del PR en la Toolbar va ha terminar.

P: El data center http://64.233.185.104/ trabaja en forma diferente a los otros. Lo note hace unas horas… Como encaja este DC en el esquema?
R: Ojos agudos, g1smd. No me sorprendería. A medida de que Bigdaddy se enfríe, eso nos libera para hacer nuevas/otras cosas.

P: No es una pregunta… Consigue una PSP
A: He conseguido una hoy día…..

(Algunas preguntas y respuestas irrelevantes al tema)

P: Por qué focalizas mucho tu atención en los SEOs y no en los webmasters que haces páginas web de calidad?
R: Yo creo que este tema es algo personal, porque yo paso mucho tiempo observando SPAM. Muchas otras personas se enfocan a ayudar a webmasters en general. Como el equipo de sitemaps, por ejemplo. He comenzado en hacer post ‘Consejos para SEOs’ y no ‘Errores de los SEOs’ Pero tienes razón. Personalmente debería tener un recordatorio para mantenerme enfocado en sitios que tienen calidad. Gracias por mencionarlo.

Q: Mi sitemap tiene 1320 URLs. Y ya hacen más de 2+ años que todas mis páginas no pueden ser indexadas. Estoy olvidándome de algo?
R: Uno de los clásicas estrategias del escaneo (crawling) de Google es usar el valor del PageRank de tus páginas. Solamente porque tu sitio tiene un par de años (o por que has enviado un sitemap), no significa que automáticamente todas las páginas de tu sitio serán escaneadas. En general, obteniendo enlaces buenos y de calidad nos ayudaría probablemente a escanear tu sitio mas profundamente. Tu deberías mirar las URLs que hasta ahora no han sido indexadas. Talvez tienen parámetros (nosotros preferimos URLs con 1-2 parámetros)? Existe un archivo robots.txt. Es posible fácilmente alcanzar URLs no indexadas siguiendo enlaces estáticos de texto (no Flash, JavaScripts, cookies, frames, etc. tienes algo así?). Esto seria lo que recomendaría controlar.

P: Cuándo modifico robots.txt para excluir archivos que han sido escaneados, cuanto tiempo toma hasta que estos sean borrados del índice? Tal vez la respuesta depende del PR del sitio y de la frecuencia del escaneo?
A: Esta en función a la frecuencia con la cual es sitio es escaneado. Yo creo que en el pasado, cada escaneo de varios de cientos de páginas o tras varios días, el bot chequea nuevamente robots.txt. Cabe mencionar que para los resultados suplementarios, debes re-escanar para saber que ha sucedido con esas páginas para que el robots.txt haga efecto en esas páginas. Si estas seguro que quieres que esas páginas no aparezcan mas, puedes usar la herramienta para borrar URLs por seis meses. Pero yo seria muy cuidadoso con esta herramienta, a no ser que seas experto. Si es que cometes un error (por ejemplo) y borras todo el sitio, esta es tu responsabilidad. Algunas veces Google puede revertir esto, pero no lo garantizamos.

P: Yo quisiera buscar por código HTML y observar como se posiciona
R: Yo también quisiera. Indexar partes invisibles como puntuación, JavScript, HTML seria grandioso, pero abultaría el tamaño del índice. Cada vez que consideras una nueva característica (por ejemplo la numeración de los resultados) tienes que valorar el costo de tener un índice mas grande con el beneficio de esta funcionalidad. Creo que no ofreceríamos algo así en un futuro próximo.

(Preguntas y respuestas sin mucha relevancia)

P: Si alguien ofrece vender espacio en su sitio (o considera comprar en otro) seria una buena idea de colocar la etiqueta NOFOLLOW para generar trafico por los anuncios y no aparentar una venta de enlaces para manipular el PR?
R: Si, si vendes enlaces, deberías marcarlos con la etiqueta nofollow. El no hacerlo puede afectar tu reputación en Google.

P: En sitios dirigidos a publico internacional con el mismo contenido (con alta calidad) en diferentes idiomas, es mejor usar varios TLDs como mydomain.com, mydomain.de, mydomain.fr, etc. o en subdominios como en.mydomain.eu, de.mydomain.eu, fr.mydomain.eu, o algo así mydomain.com/en, mydomain.com/de, mydomain.com/fr?
R: Buena pregunta. Si solo tienes un pequeño numero de páginas, yo comenzaría con los subdominios, p.e. de.mydomain.eu o de.mydomain.com Después de que has desarrollado una sustanciosa presencia o una gran cantidad de páginas en cada idioma, haría sentido de desarrollar en dominios separados.

P: Algunos resultados por qué dominios IDN no muestran PageRank?
R: He visto también algunas veces esto también, pero lo voy a revisar. Pienso que hay un problema de normalización en algún lugar de la cadena (pathway) de la barra del PageRank.

P: Será posible de adicionar un rango de fechas a las búsquedas? Yo obtendría 91,000.000 resultados, pero los primeros 200 tendrían 2-3 años de antigüedad. Desearía limitar los resultados a no más de 6-12 meses
R: Revisa la opción de busquedas avanzadas. Tara Calashian hizo cosas interesantes sobre esto. Google Hacks es un lindo libro que puedes leer para esto.

P: Que hay acerca del problema de comparación de directorios y shops con spam que sobre escribe páginas reales?
A: Fair Feedback. Lo mismo he escuchado últimamente de un Googler también. Algunas veces pensamos sobre el spam estrictamente como texto oculto, cloacking, etc. Pero los usuarios piensan sobre spam como ruido: Cosas que ellos no desean. Si ellos están tratando de obtener información, solucionar un problema, leer artículos, etc. entonces estos sitios no son de ayuda.

P: Esta planeando visitar/hablar en el Reino Unido en un futuro próximo?
R: Lamentablemente, no. Solo puedo asistir a 4-5 conferencias al año.

P: Una de las cosas que interesa a la gente es cuales son las intenciones Post Bigdaddy? Arreglos (fixes), temas de spam. regeneración de indices puros, resultados suplementarios, actualización de PR, BL, etc.
A: No puedo dar un cronograma (por ejemplo, escalar la comunicación en Abril, mas trabajos en canónicas en Mayo) porque las prioridades puede cambiar, especialmente por aspectos de las maquinas, propagación de nuevos binarios, desarrollo del webspam, etc. A corto plazo no me sorprendería de ver pronto un cambio en los resultados suplementarios y PageRank visibles diferentes en las próximas semanas.

(Preguntas y respuestas sin relevancia)

Matt ha escrito una nota en la cual menciona que esta dispuesto a responder “preguntas generales de los SEO’s”. Por el momento esta recibiendo las preguntas. Hasta el momento ya se han juntado una infinidad de preguntas J

Lo interesante es que Matt dice que estaría dispuesto a responder preguntas como las siguientes:

Examples of fine questions include:
– Is Bigdaddy fully deployed?
– What’s the story on the Mozilla Googlebot? Is that what Bigdaddy sends out?
– Any new word on sites that were showing more supplemental results?
– Is the RK parameter turned off, or should we expect to see it again?
– What’s an RK parameter?

Solamente las respuestas a este ejemplo de preguntas podrían aclarar muchas de las incógnitas que momentáneamente están confundiendo y preocupando a los SEO’s.

A medida que Matt vaya respondiendo las preguntas, las voy a informar y comentar en mi blog…

Uno de los foreros de WMW que se ha especializado en el análisis y rastreo de los diferentes data centers (DC’s) de Google, ha dado hoy día por concluido a Big Daddy. Reseller, informa que todos los DC’s ya tienen los datos de Big Daddy.

Ladies and Gentelmen…Please Welcome The New Google

Hi Folks!

New Google infrastructure calls for new way of thinking regarding our sites indexing and ranking. I said it before..nothing will be the same on Google from now on.

I know, many kind fellow members finding it hard to understand whats happening. «Classic» explanations for current situations would bring us anywhere. If you notice changes on the DCs, try to look for «fresh» analysis and understanding.

And don’t expect «The Kentuckian» or GoogleGuy to tell us the whole story. There are things in any company that employees can’t tell «outsiders» about. We should understand and respect our good friends at the plex situations.

Wish you all a great day.. high ranking and more pages indexing on The Mother of All Search Engines…Google 😉

Reseller da la bienvenida a una nueva era de Google, en la cual nada será igual a lo que se conocía antes.

Debido a esta nueva estructura (se rumorea que se han instalado nuevos servidores con procesadores de 64 Bits, así como cambios en la estructura de las bases de datos), Google posiblemente cambiará totalmente su forma de trabajo, especialmente en lo que se refiere a todos los tipos de actualizaciones (backlinks, pagerank, ranking, etc.), de modo que los usuarios no percibirán estas actualizaciones, ya que se podrían realizar dinámicamente, es decir en linea y no por propagación de DC en DC.

Adicionalmente, los algoritmos para calcular el índice trabajaran desde ahora de forma diferente, lo cual hace que todos los métodos y teorías sobre el posicionamiento que se habían desarrollado en los últimos años, ya no tendrán validez…

Las variaciones en el PageRank que comenzaron a observarse desde el 18.02.2006 no se las puede considerar como una actualización del PageeRank ya que hasta ahora no todos los data centers muestran los nuevos valores, como se puede apreciar en el siguiente diagrama mostrando el numero de data centers con el nuevo PR de 2 proyectos, medidos desde el 21.02.2006 hasta hoy día.

Posiblemente la propagación de Big Daddy y un intento paralelo de actualización del PR tuvo que ser suspendido por los ingenieros de Google.

Hoy día, Matt Cutts escribe en un comentario en su blog lo siguiente:

Um, now that Bigdaddy is almost done rolling out, I think you’re more likely to see a PR update soon. After the Boston pubcon, I don’t plan to hit any search engine conferences until San Jose.

Y como ya conocemos a Matt, este comentario tiene un mensaje interesante entre sus líneas.

También hoy día, y como arte de magia, el valor RK que muestra uno de los interfaces de Google, y que ha sido interpretado como el PageRank actual (live) o también conocido como el futuro PR, muestra 0 en casi todos los data centers y para todos los sitios.

Aquí existen en principio 2 teorías:

1. Google ha resetado este valor para hacer nuevamente un calculo sobre la base del nuevo índice de Big Daddy y es verdaderamente el inicio de una actualización del PR.
2. Esta interfaz de Google, que mostraba el PR actual o interno del buscador, ha sido muy comentada en varios foros, especialmente en WMW. Por eso han aparecido una infinidad de tools que muestran este valor hasta en 78 DC’s. Debido a esto, Google a decidido, no mostrar mas este valor para despistar una vez más a los SEO’s.

Ya que este era un valor que solamente se observaba mediante una interfaz interna de Google y que no tiene ningún efecto en sus usuarios, posiblemente ya no vamos a ver más el PageRank actual, y en el futuro tendremos que orientarnos en los oráculos para saber cual será el nuevo PR de nuestros sitios 🙂