Hoy día, Scott Huffmann, un ingeniero de grupo la evaluación de resultados, escribe justamente sobre el tema: La evaluación de los resultados en Google.
En la parte más interesante del artículo se puede leer:
To get at these issues, we employ a variety of evaluation methods and data sources:
- Human evaluators. Google makes use of evaluators in many countries and languages. These evaluators are carefully trained and are asked to evaluate the quality of search results in several different ways. We sometimes show evaluators whole result sets by themselves or «side by side» with alternatives; in other cases, we show evaluators a single result at a time for a query and ask them to rate its quality along various dimensions.
- Live traffic experiments. We also make use of experiments, in which small fractions of queries are shown results from alternative search approaches. Ben Gomes talked about how we make use of these experiments for testing search UI elements in his previous post. With these experiments, we are able to see real users’ reactions (clicks, etc.) to alternative results.
Anteriormente, ya se había especulado mucho sobre este tema y varias veces se mostraron huellas de visitas extrañas desde los data centers de Google en los logs de las páginas webs, pero también aparecían screenshoots de los paneles de control de estos evaluadores humanos.
Ahora ya hay certeza de que empleados de Google evalúan en forma manual los resultados del índice del buscador que es generado por algoritmos automáticos. Aunque no se menciona en este artículo, queda también casi confirmada la sospecha que luego de estas evaluaciones, los empleados de Google si influyen activamente en los resultados.
