Finalmente es oficial – Google usa evaluadores humanos para analizar los resultados del buscador

Hoy día, Scott Huffmann, un ingeniero de grupo la evaluación de resultados, escribe justamente sobre el tema: La evaluación de los resultados en Google.

En la parte más interesante del artículo se puede leer:

To get at these issues, we employ a variety of evaluation methods and data sources:

  • Human evaluators. Google makes use of evaluators in many countries and languages. These evaluators are carefully trained and are asked to evaluate the quality of search results in several different ways. We sometimes show evaluators whole result sets by themselves or “side by side” with alternatives; in other cases, we show evaluators a single result at a time for a query and ask them to rate its quality along various dimensions.
  • Live traffic experiments. We also make use of experiments, in which small fractions of queries are shown results from alternative search approaches. Ben Gomes talked about how we make use of these experiments for testing search UI elements in his previous post. With these experiments, we are able to see real users’ reactions (clicks, etc.) to alternative results.

Anteriormente, ya se había especulado mucho sobre este tema y varias veces se mostraron huellas de visitas extrañas desde los data centers de Google en los logs de las páginas webs, pero también aparecían screenshoots de los paneles de control de estos evaluadores humanos.

Ahora ya hay certeza de que empleados de Google evalúan en forma manual los resultados del índice del buscador que es generado por algoritmos automáticos. Aunque no se menciona en este artículo, queda también casi confirmada la sospecha que luego de estas evaluaciones, los empleados de Google si influyen activamente en los resultados.

3 Respuestas a Finalmente es oficial – Google usa evaluadores humanos para analizar los resultados del buscador

  1. Dominican Republic Travel 17/9/2008 a 09:49 #

    Y los robots no harian un analisis mas frio que las personas, los humanos a veces nos dejamos llevar por sentimientos que pueden afectar la razon.

  2. Charlie 18/9/2008 a 18:19 #

    Creo que el tema como bien dices no es del todo “nuevo”, aunque hasta ahora parece que se refieren más abiertamente al asunto…
    De hecho que hace algunos meses había comentado sobre esto en mi blog aquí (lo dejo como referencia).
    Un saludo!

  3. Max Glaser 18/9/2008 a 18:57 #

    Charlie,
    así es! Ya habían sospechas en la red sobre existencia de estos “evaluadores”, como mencionas en tu entrada “Ellos contratan a personas reales para que revisen…”.

    Pero ahora ahora esto viene oficialmente de Google, lo que demuestra la existencia de los famosos evaluadores.

    Lo que ahora todavía no ha sido confirmado, aunque también ya se sospecha, que en muchos casos, humanos influyen en el ranking de los resultados del buscador.