Después de que comenzó la era Bigdaddy, es decir la introducción de una ‘nueva infraestructura’ en todos los data centers de Google, todavía no existe mucha claridad cuales serán las nuevas características de este nuevo índice.

Como ya lo había mencionado en anteriores notas, (aquí , y aquí) muchos sitios han perdido una gran cantidad de páginas que estaban en el índice ya hace mucho tiempo.

Otro de los fenómenos que actualmente se puede observar es que a diferencia de la era pre Bigdaddy, los data centers todavía tienen diferentes índices y no se igualan después de una nueva actualización como ya era costumbre.

Actualmente, se pueden observar data centers con 3 o 4 grupos diferentes de datos. Uno de estos grupos contienen un índice con los conocidos filtros del Sandbox debilitados (ver nota) y los otros son todavía difíciles de definir.

Yo estaba esperando este fin de semana, para ver una definición de cual de estos grupos se propaga finalmente. Pero todavía no ha sucedido nada.

Lo único que he podido obrservar es que el índice con los filtros del SandBox bajos esta comenzando a tomar la supremacía en los DCs.

Esperemos que esta semana todos los DCs se sincronicen, ya que esta situación pone siempre nerviosos a los webmasters, ya que no saben si bajarán o subirán de posicion. Además, en este tipo de momentos no es aconsejable hacer cambios en los proyectos.

Por ejemplo, para unas palabras claves en uno de mis proyectos, obtengo en 40 diferentes DCs los siguientes resultados:

Finalmente, y después de unas semanas de silencio acerca del problema de la pérdida de paginas en el índice de Google que actualmente esta preocupando a muchos webmasters (ver nota), Matt a escrito en un comentario de su weblog lo siguiente:

maxD, last week when I checked there was a double-digit number of reports to the email address that GoogleGuy gave (bostonpubcon2006 [at] gmail.com with the subject line of “crawlpages”).

I asked someone to read through them in more detail and we looked at a few together. I feel comfortable saying that participation in Sitemaps is not causing this at all. One factor I saw was that several sites had a spam penalty and should consider doing a reinclusion request (I might do it through the webmaster console) but even that wasn’t a majority. There were a smattering of other reasons (one site appears to have changed its link structure to use more JavaScript), but I didn’t notice any definitive cause so far.

There will be cases where Bigdaddy has different crawl priorities, so that could partly account for things. But I was in a meeting on Wednesday with crawl/index folks, and I mentioned people giving us feedback about this. I pointed them to a file with domains that people had mentioned, and pointed them to the gmail account so that they could read the feedback in more detail.
So my (shorter) answer would be that if you’re in a potentially spammy area, you might consider doing a reinclusion request–that won’t hurt. In the mean time, I am asking someone to go through all the emails and check domains out. That person might be able to reply to all emails or just a sampling, but they are doing some replies, not only reading the feedback.

Interpretando estos comentarios, y asumiendo que Matt no esta ocultando algún problema con la nueva infraestructura, como por ejemplo la falta de espacio de almacenamiento, se puede deducir los siguiente:

1. La flojera del googlebot para visitar muchos sitios, se debería al cambio de prioridades del crawler en BigDaddy.

2. La disminución de las páginas que aparecen indexadas con la función site: se debería a los filtros de SPAM que aparentemente se están aplicando en el índice del buscador.

3. Este fenómeno que también esta afectando sitios sin SPAM parece ser un efecto secundario e involuntario de los nuevos algoritmos que Google esta aplicando.

Ahora, solo falta esperar que los ingenieros del Googleplex que están analizando los emails que ha recibido GoogleGuy ayuden a resolver el problema rápidamente.

Como ya es conocido, cuando Matt Cutts anuncío la completa propagación de la nueva infraestructura de Google, Bigdaddy, también menciono que en los próximos meses habría sorpresas muy interesantes para los webmasters debido a las nuevas posibilidades de esta nueva infraestructura.

Ya ha pasado mas un mes desde que se hizo este anuncio, pero muchos de los webmasters ahora están muy preocupados debido a que se están observando en el índice 2 fenómenos inquietantes:

1. Nuevas páginas web no están siendo indexadas con la rapidez que buscador lo hacia anteriormente.

2. El numero de páginas indexadas (función site:) de muchos sitios se esta reduciendo continuamente, como ya lo había informado en otro artículo.

En los diferentes foros, especialmente en WMW se están discutiendo diferentes teorías:

1. Debido a los problemas que mostraban las páginas indexadas en Google antes de Bigdaddy, como ser el contenido duplicado, resultados suplementarios, url canónicas hijacking, ahora Google con su nueva infraestructura Biggdaddy esta comenzando a limpiar las páginas con estos problemas, lo que esta causando que muchos sitios están perdiendo una gran cantidad de paginas en el índice.

2. Debido a que últimamente las páginas antiguas en los niveles más profundos no ha sido refrescadas por el googlebot, estas están desapareciendo automáticamente del índice.

3. Google tiene grandes problemas técnicos con su nueva estructura para indexar las páginas. El numero de los adeptos a esta teoría hoy día se ha incrementado, debido a un entrevista del CEO de Google, Eric Schmidt, con el New York Times, donde entre otras cosas dice «We have a huge machine crisis”. El artículo también menciona que Google en este nuevo año invertirá unos 1.500 millones de dólares en servidores, equipos de red y espacio para los data centers. Esta teoría se esta discutiendo en este hilo de WebMasterWorld.

Se cual fuese la verdadera razón de estos dos fenómenos que se están observando en el buscador de Google, los webmasters esperan que todo se normalice a la brevedad posible, ya que observar que las nuevas páginas de un proyecto no aparecen en el buscador o que las páginas de proyectos bien posicionados van desapareciendo cada día en el buscador es muy furstante.