Este es un tema que siempre ha sido discutido en muchos de los foros de posicionamiento y de buscadores.
Como ya es bien conocido, los buscadores visitan las páginas regularmente mediante robots, mas bien conocidos como bots. Cada bot deja su huella digital en los logs del servidor web, en el parámetro USER_AGENT.
Aquí algunos de los bots más conocidos:
Buscador de Google
Googlebot 2.1 Googlebot/2.1 (+http://www.google.com/bot.html)
Googlebot 2.1 Googlebot/2.1 (+http://www.googlebot.com/bot.html)
Googlebot 2.1 Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Buscador de imagenes de Google
Googlebot-Image 1.0 Googlebot-Image/1.0
Googlebot-Image 1.0 Googlebot-Image/1.0 (+http://www.googlebot.com/bot.html)
Google AdSense
Mediapartners-Google 2.1 Mediapartners-Google/2.1
Mediapartners-Google 2.1 Mediapartners-Google/2.1 (+http://www.googlebot.com/bot.html)
Yahoo!
Yahoo! Slurp Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
MSN Search
Msnbot 0.1 MSNBOT/0.1 (http://search.msn.com/msnbot.htm)
Msnbot 0.11 msnbot/0.11 (+http://search.msn.com/msnbot.htm)
Msnbot 0.3 msnbot/0.3 (+http://search.msn.com/msnbot.htm)
Msnbot 1.0 msnbot/1.0 (+http://search.msn.com/msnbot.htm)
Ask
Ask Jeeves Mozilla/2.0 (compatible; Ask Jeeves)
Ask Jeeves Teoma Mozilla/2.0 (compatible; Ask Jeeves/Teoma)
Una lista de las cabeceras de todos los bots se puede encontrar aquí.
Según Google, los bots googlebot (bot del buscador) y mediaparnters (bot de AdSense) siempre han trabajado independiente y no comparten o intercambian información para mantener la independencia de los servicios.
Cuando uno coloca un aviso de Google AdSense en una página por primera vez, unos segundos después de que la página es visualizada, aparece el bot de AdSense para analizar la página y decidir que avisos contextuales son los mas apropiados para ser mostrados en esa página.
Ahora bien, si esos datos del bot de AdSense también serian usados por el buscador, tendría varias consecuencias. Por ejemplo podría ayudar a que las páginas con AdSense sean indexadas más rápidamente, ya que inmediatamente después de que la página es visualizada por primera vez, Google AdSense ya sabe de su existencia, y no se tendría que esperar el paso periódico (desde 1 a 15 – 20 días) del googlebot.
Y justamente hoy día JenSense cree haber encontrado evidencias de que el bot de AdSense también es usado por el buscador.
Después de que ella escucho esta semana sobre el tema en WebGuerrila, se puso a buscar en los logs de algunas de sus páginas y encontró algo bastante interesante:
La hora y fecha en el cache de varias de sus páginas era la misma que mostraba el log del servidor la visita del AdSense bot.
Esto seria una prueba contundente de que los datos de AdSense están también siendo usados por el buscador de Google. Seguramente en los próximos días van haber más novedades al respecto.
Actualización
Más sobre el tema en Search Engine Watch
