En defensa de la encuesta CEP (una respuesta a Marta Lagos)

La última versión de la encuesta del Centro de Estudios Públicos (CEP) ha despertado algunas críticas sobre su representatividad debido a que por primera vez optó por un formato de consulta telefónica, en lugar de su histórica aplicación presencial. En una entrevista difundida por CNN, Marta Lagos formuló cuestionamientos a la nueva metodología. Dos investigadores de Datavoz –empresa que participó en el diseño de la encuesta– y que colaboraron en el estudio, responden en esta columna de opinión.

Nota de transparencia: los autores trabajan para Datavoz, empresa que participó en el diseño de la encuesta CEP. 

La publicación de una nueva versión de la Encuesta CEP ha dado que hablar por varios motivos. Uno de ellos ha sido por el hecho de que es la primera vez que el Centro de Estudios Públicos (CEP) opta por una encuesta telefónica. Ello ha generado algunas suspicacias y varias críticas. Por ejemplo, Marta Lagos, invitada por Fernando Paulsen a comentar la encuesta en su programa Ultima Mirada de CNN, deslizó dos cuestionamientos referidos a la metodología que son incorrectos. Nos parece necesario aclarar esos puntos, debido a que Datavoz colaboró con el CEP en su diseño. Una se refiere a las preguntas de evaluación de los personajes políticos y la otra al diseño muestral de la encuesta.

Veámosla en ese orden.

Sobre las preguntas a los personajes políticos, Marta Lagos advierte correctamente que si a un encuestado se le presenta un listado extenso de actores políticos para que exprese cómo los evalúa (positiva o negativamente), se corre el riesgo de que la atención del encuestado decline a medida que se avanza en el listado de personas. Así, por ejemplo, si un listado siempre se lee en el mismo orden, y el resultado es que los encuestados evalúan mejor al político A que al político Z, no podrá saberse si esa diferencia es reflejo real de sus valoraciones de esos actores políticos o más bien una diferencia artificial causada por el diseño del cuestionario.

Este problema está resuelto en la encuesta CEP de la misma forma que ella plantea que se debería hacer: el orden en que le aparecen los nombres a los encuestadores es aleatorio y ello está programado en el sistema computacional en que se carga el cuestionario y que permite la aplicación de la encuesta en CATI (Computer Assisted Telephone Interview). Por otro lado, Marta Lagos indica que “el encuestador tiene que leer la totalidad de los nombres antes que la persona responda”, pero eso es incorrecto, pues el procedimiento de aplicación adecuado es que se le presenta el nombre de la primera persona y el encuestado evalúa de acuerdo a las categorías dadas, se presenta el nombre de la segunda persona y se evalúa y así sucesivamente. Por lo tanto, al menos al nivel de la forma en que se aplican estas preguntas, no hay razones para dudar de la fiabilidad de los datos obtenidos.

Ahora bien, aunque lo anterior esté correcto, podría haber sospechas sobre el diseño muestral utilizado para el modo de aplicación telefónico. Sobre ese punto, Marta Lagos plantea que si la muestra no fue extraída desde la totalidad de los teléfonos (fijos y móviles) que existen en Chile la encuesta no sería representativa y tampoco probabilística. Error. Específicamente, Lagos indica que en Chile debe haber 23 a 24 millones de teléfonos. Por lo tanto, si el marco muestral tiene menos que esos, indica, “quiere decir que hay una selección de teléfonos que tiene alguna empresa sobre la cual se hizo la muestra. En ese caso, yo diría que tiene la deficiencia que tienen todas las encuestas telefónicas que no representan al 100%”.

Aquí hay que hacer dos aclaraciones.

Primero, Lagos tendría razón si se hubiese seleccionado aleatoriamente números desde un registro de teléfonos en posesión de alguna empresa, pero la ficha técnica de la encuesta CEP dice explícitamente que se usó un sistema denominado Random Digit Dialing (RDD). Este método genera números aleatorios, los somete a un proceso de validación automatizado y luego los llama. La ventaja de esta técnica es precisamente que todo número tiene la misma probabilidad de ser elegido, esté o no en algún registro de teléfonos. A esto se debe agregar la relevancia de reportar la tasa de respuesta, la que permite saber cuál fue la sobre-muestra sorteada de números válidos para alcanzar el tamaño de muestra esperado, que en el caso de la CEP fue de alrededor de 13 mil números válidos para lograr las 1.655 encuestas completas. Este es un indicador que aplica para todo tipo de encuestas (presenciales, telefónicas, on-line) y que se recomienda sea reportado en las fichas técnicas de los estudios de opinión.

Cabe agregar que el RDD es el sistema que utiliza el prestigioso Pew Research Center de Estados Unidos para sus encuestas telefónicas, no hay cuotas y no hay preselección, por lo tanto es 100% probabilístico (ver referencia).

Si algo ha caracterizado históricamente al CEP, es que ha hecho sus encuestas mediante un método estrictamente probabilístico. Antes era cara a cara, pero que la situación de pandemia llevara al CEP a cambiar el modo de levantamiento de datos no significó una renuncia a la opción probabilística.

Segundo, de acuerdo con la CASEN 2017, el 96% de la población adulta del país tiene acceso a un teléfono fijo o móvil, entonces, podría decirse que efectivamente hay un porcentaje muy pequeño de la población adulta que no sería alcanzable en esta encuesta, lo que minimiza el error de cobertura, lo que otro tipo de metodologías no permite. A modo de ejemplo, las encuestas cara a cara en el hogar también enfrentan esas dificultades. Piense usted, por ejemplo, que muchas viviendas están al interior de condominios o en edificios y si son seleccionadas para ser encuestadas podría suceder que no puedan ser contactadas porque, por ejemplo, el conserje no permite el acceso. En tal caso estarían en la misma situación de las personas que no tienen acceso a teléfono.

Lo importante al pensar en los diseños de encuestas en estudios de opinión es tener presente que las diferentes metodologías de muestreo y encuestaje (cara a cara, e-mail, teléfono, etc.) tienen ventajas y desventajas. Si las selecciones de personas a encuestar son aleatorias, entonces se puede extrapolar desde la muestra hacia la población objetivo con poder estadístico que variará según el tamaño de la muestra. Así, se podrá hacer inferencias que en ninguna circunstancia estarán libres de sesgos. Es por ello que pueden surgir diferencias entre los valores que se obtienen mediante diferentes técnicas de levantamiento de información. Lo relevante es saber el origen de esos sesgos, medirlos y en lo posible corregirlos. Precisamente ése es el esfuerzo que Datavoz junto al CEP y otros aliados ha venido realizando desde 2018 a la fecha (véase por ejemplo aquí).