El problema de las encuestas

Más allá de los candidatos que no ganaron la elección el 19 de noviembre recién pasado, los principales damnificados fueron las encuestas de opinión. Ninguna, desde la más prestigiosa y alabada, hasta la más cuestionable debido al vínculo de sus ejecutores con ciertos candidatos, fue capaz de predecir el resultado.

Se instaló en los medios de comunicación en los meses previos a la elección, que ésta sería la menos reñida, pues el resultado era tan predecible como el ocurrido en 2013, cuando Bachelet accedió a su segundo mandato. Nada más alejado de la realidad, ciertamente, el candidato de la derecha, Sebastián Piñera, estuvo muy lejos de ganar en primera vuelta como algunos vaticinaron y la candidata del Frente Amplio, Beatriz Sánchez, dio la sorpresa y estuvo a escasos 2 puntos de pasar a segunda vuelta. 

---

Las empresas responsables de ejecutar estudios de opinión deberán asumir en el futuro que levantar encuestas probabilísticas de tamaños muestrales adecuados es más caro. Pero deberán asumir el costo si desean dejar de tener resultados desastrosos.

Pero no quiero instalar una teoría de la conspiración, más bien atribuiría parte importante del fracaso de las encuestas en predecir la elección a malas prácticas, pero de carácter metodológico.

i) Muestras no representativas: una muestra representativa o probabilística es una muestra en la que la probabilidad de selección de un individuo es conocida. Para que esto sea posible es necesario disponer de un marco muestral, un listado exhaustivo de los individuos pertenecientes a una población. Por ejemplo, un marco muestral pueden ser los libros de asistencia de un colegio, de donde puedo seleccionar al azar a una muestra de estudiantes. Por dar un ejemplo, la encuesta «Plaza pública Cadem» no cumple con este requisito, parte importante de su muestra se recoge en lugares de alta afluencia de público, como las estaciones de metro. ¿El problema? es imposible conocer la probabilidad de selección de un individuo, pues no hay marco muestral. Este error es exageradamente común cuando se realizan estudios de opinión, y no es trivial, una encuesta que no cumple con este requisito, ni siquiera debiera publicar un margen de error, pues no representa a la población de estudio.

ii) Márgenes de error no transparentados: El margen de error o error muestral delimita el ancho de un intervalo de confianza. Esto significa, por ejemplificar, que si una muestra señala que el la verdadera votación de un candidato podría estar entre 10% y 30%, con una estimación púntual de 20%, el margen de error es de 10%. Pues bien, dicho margen de error depende directamente del tamaño de la muestra, por norma general, mayor tamaño muestral menor margen de error. Cuando se realizaron estimaciones a partir de la metodología del «votante probable», esto significó evidentemente trabajar con una submuestra, que al tener un tamaño muestral menor debió presentar un margen de error mayor. Esto no se transparento. De hecho, si supusiéramos que la encuesta «Plaza pública Cadem» fuera representativa (ya explicamos que no lo es), su margen de error de la muestra total pasa de 4% a 8%! cuando se utiliza el subconjunto de votantes probables.

iii) «El votante probable»: El diseño de los cuestionarios no es lo suficientemente riguroso para identificar a los llamados votantes probables, pues no existe método de verificación. Esto más que un problema es un desafío metodológico que las empresas encuestadoras no han podido superar.

Las empresas responsables de ejecutar estudios de opinión deberán asumir en el futuro que levantar encuestas probabilísticas de tamaños muestrales adecuados es más caro. Pero deberán asumir el costo si desean dejar de tener resultados desastrosos.