Los resultados de la primera vuelta de la elección presidencial fueron especialmente sorpresivos precisamente porque las encuestas anticipaban una votación más alta para Sebastián Pinera que el 36,6% que obtuvo y un apoyo a Beatriz Sánchez sustancialmente inferior al 20,2% que recibió. Al haber realizado sondeos semanalmente, la Encuesta CADEM fue una de las más criticadas.
En su último reporte antes de la elección, el 3 de noviembre, CADEM estimó que la votación de Piñera estaría entre el 43% y el 47%. A su vez, estimó que el apoyo a Guillier estaría entre un 21% y un 25%, y el apoyo a Sánchez entre un 13% y un 15%. Como el responsable de la encuesta CADEM, Roberto Izikson, trabajó como encuestador en el gobierno de Piñera, algunos críticos se apuraron a asociar el error en la predicción de CADEM a teorías de conspiración.
Como parte de las investigaciones del Observatorio Político-Electoral de la UDP (OBPE-UDP), analizamos el informe metodológico que entregó CADEM en octubre de 2017, en el que se explica la forma en que realizaban sus encuestas. CADEM busca representar al 85% de la población nacional encuestando personas en 137 de las 345 comunas del país. Para buscar una muestra que fuera lo más representativa del país, CADEM estimó el peso relativo de la población en cada región. Luego, asignó a cada comuna un número de casos de tal forma que se reflejara adecuadamente el peso relativo que esa comuna tenía en la población regional. Así en su muestra teórica, CADEM encuestaría a 1.416 personas que representaran a las 135 comunas del país, respetando el peso relativo de cada comuna en la población regional. Ya que realizó sus encuestas semanalmente, CADEM optó por hacer un muestreo no probabilístico por cuotas, usando llamadas telefónicas y entrevistas personales en puntos de afluencia.
Para verificar si las comunas incluidas en la encuesta estaban debidamente representadas en relación a su peso poblacional, realizamos el mismo procedimiento que ellos reportan haber efectuado, estimando el peso relativo de cada comuna respecto a la población total de las 137 comunas incluidas en la muestra. Eso nos permitió estimar el número de personas que debieron ser entrevistadas en cada comuna si se hubiera respetado de forma estricta el peso poblacional relativo de cada una de ellas.
Nuestra estimación difiere de la que realizó CADEM en algunas comunas importantes. Por ejemplo, en Maipú y Puente Alto, cuya población estimada es de 410.650 y 447.615 respectivamente, CADEM tiene muestras de 50 y 45 personas, respectivamente. Si se respetara el peso relativo de cada comuna en la población nacional—o regional— el número de entrevistados debió ser 53 y 48, respectivamente. A su vez, las comunas de Talca y Coquimbo, ambas capitales regionales, tienen una población respectiva de 180.754 y 180.719 personas. En la muestra teórica de CADEM, Talca tendría 32 personas encuestadas y Coquimbo, 20. Si se respetara el peso relativo poblacional de cada comuna, ambas ciudades debiesen tener 21 entrevistados.
Comparamos el número de entrevistados en cada comuna que reportó el documento metodológico de CADEM con el número de casos que debió tener la encuesta si se hubiera respetado el peso relativo de cada comuna respecto al total de la población de las 137 comunas incluidas en la encuesta. El Cuadro 1 muestra esas diferencias por región (vea el Cuadro 1). En la Región Metropolitana, CADEM sub-representó a 730.816 personas. Eso llevó a que el número de casos que incluyó en su muestra teórica (573) fuera sustancialmente inferior al que debió incluir (659) para dar el peso justo a los habitantes de esa región en la muestra nacional. No sorprende, por cierto, que dado que la votación de Beatriz Sánchez en la Región Metropolitana (22,8%, marginalmente superior a la de Guillier), CADEM haya subestimado el apoyo que tenía Sánchez. Al mismo tiempo, como a Piñera le fue mejor en regiones que en Santiago, parece razonable entonces que CADEM haya sobreestimado la votación que recibiría Piñera y subestimado la que recibiría Sánchez.
La diferencia entre el número de entrevistados en la encuesta CADEM con el número de los que debieron ser entrevistados la graficamos junto a la votación que recibieron los tres principales candidatos presidenciales el 19 de noviembre en cada una de las 137 comunas. Las figuras que adjuntamos muestran en el eje horizontal la diferencia entre el número de entrevistas que usa la encuesta CADEM y el número de casos que se debieron utilizar si la encuesta hubiera respetado el peso poblacional de cada comuna.
La Figura 1 muestran una correlación negativa entre la sobre-representación de algunas comunas y la votación que recibió Beatriz Sánchez. En aquellas comunas que CADEM sub-representó en su muestra, Sánchez obtuvo una votación más alta.
Figura 1. Sobre y sub-representación comunal en la encuesta CADEM y votación de Beatriz Sánchez (Fuente: Autores, con datos de CADEM y resultados del Servel para 137 comunas incluidas en encuesta CADEM)
A su vez, en aquellas comunas sobre-representadas por CADEM, la votación de Sánchez fue menor. Lo inverso ocurre con Sebastián Piñera, como muestra la Figura 2, pues su votación fue mayor en las comunas sobre-representadas en la muestra de CADEM.
Figura 2. Sobre y sub-representación comunal en la encuesta CADEM y votación de Sebastián Piñera (Fuente: Autores, con datos de CADEM y resultados del Servel para 137 comunas incluidas en encuesta CADEM)
En cambio, no hay una correlación significativa entre la sub y sobre-representación que hizo CADEM de algunas comunas y la votación de Alejandro Guillier, como muestra la Figura 3.
Figura 3. Sobre y sub representación comunal en la encuesta CADEM y votación de Alejandro Guillier (Fuente: Autores, con datos de CADEM y resultados del Servel para 137 comunas incluidas en encuesta CADEM)
La evidencia visual se confirma cuando realizamos correlaciones entre la sobre y sub-representación de comunas y la votación de los tres candidatos.
Para Sánchez, la correlación es negativa (-0,25) y estadísticamente significa.
Para Piñera es positiva (0,13) y estadísticamente significativa –a mayor sobre-representación de la comuna en la encuesta CADEM, mayor la votación de Piñera.
Para Guillier, la correlación es negativa, pero no es estadísticamente significativa.
Dada la importancia que tienen las encuestas en la política actual y buscando contribuir a que las encuestas en el futuro sean capaces de reflejar adecuadamente las preferencias de la gente, contribuimos con esta observación al debate sobre las razones que pudieran explicar por qué los resultados del 19 de noviembre sorprendieron a aquellos que, a partir de las encuestas, esperaban una mejor votación para Sebastián Piñera y una votación más baja para Beatriz Sánchez en la primera vuelta.
COMPARTIR
CONTENIDO DESTACADO
El vínculo entre Desbordes y un político mexicano investigado por enriquecimiento ilícito que es cliente del exfiscal Guerra
Hola, tengo algunas dudas:
1. ¿qué coeficiente de correlación utilizaron?
Imagino que no usaron Pearson, porque eso requiere asumir a priori que las distribuciones son normales, y afectaría los resultados.
2. ¿a qué llaman "correlación estadísticamente significativa?
Quizás se deba a que no se puede decir todo en una nota tan breve, pero me da la impresión que se refieren a correlación cercana a cero, y no al hecho de que el p-value sea mayor que 0,05.
3. Una correlación de -0,25 o de 0,13 no suele catalogarse como negativa o positiva, respectivamente, sino más bien como muy cercana a nula. Una correlación de -0,75 o de 0,75 ya se puede decir más tranquilamente que es negativa o positiva, respectivamente.
Lilian | 13.12.2017
Pienso y creo que, no todos respondemos las encuestas politicas con la verdad, a mi me preguntaron por que candidato votaria y, le nombre uno, pero no vote por el, jajaja
Francisco | 13.12.2017
Las encuestas son puras mentiras porque no reflejan el pensar de la gente lo primero que te preguntan eres de derecha o izquierda si tu dices soy izquierda te cortan al tiro lo digo porque a mi pregunto Cadem después se supo que esta encuestadora pertenecía al grupo de Piñera con eso les digo todo asi que por favor no crean más en las en cuentas son puras patrañas. Así le mienten a la gente que más se puede pedir a la derecha cuando saben que van a perder el 17.
Alejandro Herrera | 13.12.2017
Usar correlacion a esta altura de la ciencia es por decir algo, prehistorico. Hoy podes hacer un fuzzy clustering para visualizar los segmentos. Usas ello y elaboras en heuristica de intencion de voto, para ponderar el producto interno. Resultado es una funcion de utilidad que muestra el exito de voto
Gonzalo | 13.12.2017
La realidad es que con una muestra de ese tamaño y con la aplicación de un muestreo no probabilistico es claro que los resultados no sean los adecuados. Sin embargo el problema es mucho más lógico que esté en la selección de los elementos que en los tamaños, esto se debe a un tema de economía del proceso, de lo contrario sería muy difícil poder llevar a cabo el estudio. En ese sentido siempre será mejor confiar en la aplicación académica de estas metodologías, más centradas en la metodología que asegure un buen resultado, que en obtener un resultado a costas de la metodología. De lo hecho por los autores, a mi gusto es más bien una relación espurea, pero habría que realizar análisis mayores.
Ricardo Navarrete Sauterel | 12.12.2017
Manipularon encuesta...cuyo proposito ponderar a Piñera....
Paulina Burón | 12.12.2017
A mí me llamaron para encuestarme, y cuando me preguntaron si me sentía identificada con la derecha o la izquierda, la respuesta que di pareció no "agradarle" a la encuestadora, quien gentilemente, dio por terminada la encuesta. Ante eso, no puedo más que pensar que el resultado fue manipulado...
Jaime Antonio Aguayo Mardones | 12.12.2017
Entonces es posible que los responsables, conociendo estos mismos gráficos, eliminarán algunos entrevistados para manipular la encuesta. No se podrá saber sin una confesión, pero la sospecha existe.
