Aprendiendo de la encuesta Casen 2011

No se puede poner fin al debate que rodea la encuesta Casen 2011, y el uso comunicacional artificial que se hizo de la medición de pobreza, como quien apaga una luz. La forma correcta de cerrar y avanzar es asumiendo los errores y sacando lecciones útiles para el futuro. La actual discusión y las lecciones que debemos sacar se enmarcan en tres ámbitos: cambios metodológicos, comunicación de las cifras, y recientemente, la participación de CEPAL en este proceso.

Los cambios metodológicos de esta encuesta fueron varios y más relevantes que en las anteriores olas. No es malo realizar cambios metodológicos ya que estos pueden incluso mejorar la encuesta. Sin embargo, el problema son los efectos que pueden tener éstos en la comparabilidad de las cifras. La manera técnicamente correcta de realizar estos cambios es evaluando qué pasaría con las cifras si se hubiese aplicado el cuestionario antiguo. Por ejemplo, la encuesta Casen 2006 tuvo también cambios en su cuestionario, y en ese entonces, el equipo de Mideplan sugirió evaluarlos tomando un pre-test con dos cuestionarios: la mitad de la muestra con el cuestionario de la ola anterior, y la mitad de la muestra con el cuestionario nuevo. Esto, con el objetivo de comparar los ingresos que arrojaba cada una de las muestras y analizar si ingresos totales no cambiaban con distintas definiciones de ingresos.

«La encuesta CASEN ha sido una buena encuesta, ha servido para hacer cientos de estudios, y su entrega no debe ser usada como botín político. Eso la desprestigia. Son $ 1.500 millones que el Estado está usando cada año para este insumo clave de política pública».

Al parecer, esa evaluación está ausente este año, por ende, no sabemos en realidad qué habría pasado con la pobreza el año 2011 si hubiésemos preguntado por los ingresos percibidos por familiares no remunerados (y11), de la misma manera que lo hacíamos el año 2009. En particular, un riesgo importante asociado a la actual manera de preguntar estos ingresos, es que la gente declare dos veces parte de sus ingresos. El Ministerio de Desarrollo Social (MDS) ha dicho que la responsabilidad de la no duplicación recayó en los encuestadores, lo que es profundamente cuestionable. Eso lo sabemos bien quienes hemos estado involucrados en la aplicación de encuestas.

El segundo tema del cual se deben sacar lecciones es en la comunicación de los resultados. En términos de forma, es inaceptable entregar los datos de la manera en que se hizo. Como nunca antes, el gobierno usó a varios de sus ministros y hasta el propio Presidente de la República para entregar los datos de pobreza. Como si la encuesta CASEN fuera un programa de gobierno en vez de un termómetro de las políticas sociales. En términos de fondo, lamentablemente, el gobierno también abusó afirmando, con soltura y tozudez, que la pobreza ha disminuido en circunstancias que no hay certeza de la comparabilidad dado los claros cambios metodológicos, y además, cuando hay un margen de error que produce que las cifras no sean estadísticamente distintas (suponiendo que son comparables).

Un ejemplo sirve para ilustrar el problema: la forma en que se comunicó el resultado de la CASEN 2000 que marcaba una pobreza de 20,6%. En la encuesta anterior (1998), la pobreza estaba en 21,7%. Las autoridades de entonces dijeron: “La disminución de la pobreza se ha estancado”, aun cuando la caída de la pobreza en ese caso fue mucho mayor que de 2009 a 2011, y que provocó los festejos actuales.

Por otra parte, después de la CASEN 2000, los gobiernos de la Concertación decidieron hacer la encuesta cada tres años. Las razones para este cambio son desconocidas, pero una posibilidad es que se haya pensado que en tres años cae más la pobreza que en dos años, lo que también es cuestionable debido a que, en términos estrictos, el cambio 2000 vs 2003 (3 años) no es comparable al cambio 1998 vs 2000 (2 años). Uno debería analizar el cambio promedio anual. Algo tan simple pero que ha sido omitido del análisis. Estos son indicadores de que existen incentivos fuertes en los gobiernos para utilizar la entrega de datos y comunicación de ellos en forma oportunista e incluso modificar la encuesta para adaptarla a sus objetivos de corto plazo.

«La principal conclusión de este episodio es que para mantener el prestigio y valor de la encuesta se debe independizar del gobierno de turno tanto la metodología, toma de la encuesta, así como la presentación de resultados. El MDS no puede seguir entregando las cifras de pobreza y tampoco debe estar a cargo del cuestionario directamente».

Finalmente, los antecedentes que entregó la investigación de CIPER nos abrieron otro flanco de atención. La medición de pobreza usando la CASEN gozaba de gran credibilidad, en parte debido a que varias instituciones estaban a cargo de la generación de la cifra de pobreza. El MDS realizaba el cuestionario, alguna institución independiente aplicaba la encuesta, INE entregaba la muestra y CEPAL corregía los ingresos y calculaba la pobreza. La idea era que la multiplicidad de instituciones disminuiría la interferencia política del gobierno. Esto se ha alterado en esta ocasión. El solo hecho de que el MDS haya refutado a CEPAL su primer informe, interfiere en el proceso que se había llevado a cabo anteriormente. Una vez que el gobierno se entera de la cifra de 15%, la que no le da dividendo político, el gobierno revisa la metodología de CEPAL y después de eso comunica las cifras de manera exagerada. Esta conversación entre el MDS y CEPAL, lamentablemente, cuestiona la independencia con que la CEPAL calcula la pobreza para Chile.

En resumen, es urgente sacar lecciones de estos temas. Primero, las decisiones de cambios metodológicos, como la comunicación de las cifras de pobreza, debe ser lo más técnica y seria posible. Para ello se debe entender que primero, realizar cambios metodológicos no es malo, pero es necesario a) hacerlos técnicamente bien y en forma transparente de forma de asegurar comparabilidad a través de las distintas rondas de encuestas. Si uno quiere comparar con datos previos, deben ser evaluados para identificar los sesgos que se puedan producir. Y b) un gobierno tiene incentivos para realizar estos cambios por motivos políticos o de corto plazo y pocos incentivos e interés en los impactos que esos cambios tengan en la comparabilidad de los datos y en invertir en transparentar la información que explica los cambios hechos.

Segundo, el efecto de este abuso en la presentación de los datos en términos políticos es un boomerang. La encuesta CASEN ha sido una buena encuesta, ha servido para hacer cientos de estudios y su entrega no debe ser usada como botín político. Eso la desprestigia. Son $ 1.500 millones que el Estado está usando cada año para este insumo clave de política pública.

Por tanto, la principal conclusión de todo este episodio es que, para mantener el prestigio y valor de la encuesta, se debe independizar del gobierno de turno tanto la metodología, toma de la encuesta, así como la presentación de resultados. El MDS no puede seguir entregando las cifras de pobreza, y tampoco debe estar a cargo del cuestionario directamente. Se necesita urgente una institucionalidad nueva que dé confianza, es decir una institución autónoma que dirija el proceso y vele porque este sea transparente, comunicando resultados en forma consistente a través del tiempo y asegurando comparabilidad en los resultados.

«Es inaceptable entregar los datos de la manera que se hizo. Como nunca antes, el gobierno usó varios de sus ministros y hasta el propio Presidente de la República para entregar los datos de pobreza. Como si la encuesta CASEN fuera un programa de gobierno en vez de un termómetro de las políticas sociales».

Si la CEPAL se retira de este proceso, urgiría aún más que un organismo autónomo estuviera a cargo de la CASEN y la medición de pobreza. Parte de esta institucionalidad debe garantizar que cuando se invita a organismos internacionales a ser parte de un proceso para darle transparencia, no se puede interferir en sus decisiones y menos ocultar estas interferencias.

Finalmente, creemos que la discusión respecto a la encuesta debiera servir para retomar temas de fondo que debemos enfrentar. Primero, la línea de pobreza está obsoleta, ya que lo que necesitamos saber es el porcentaje de personas que no tiene suficientes recursos para vivir en la sociedad actual y no la que teníamos hace casi 25 años, e ir incluso más allá, elaborando una medición multidimensional. Segundo, la condición de pobreza monetaria es dinámica, y en realidad un 40% de la población es vulnerable de caer en la pobreza, mientras este gobierno ha puesto su foco en el 3% más pobre. Y tercero, que los precios de los alimentos siguen aumentando, lo que exige un análisis serio sobre sus efectos y cómo combatirlos.

Esperemos que se tomen medidas para mejorar la credibilidad de la encuesta CASEN y la medición de la pobreza, si no, ¿cómo podrá este gobierno o cualquier otro comunicar avances (o retrocesos) si la principal encuesta que los mide está completamente cuestionada por estar sujeta a la interferencia política del gobierno de turno?

(*)Claudia Sanhueza es economista y profesora del Instituto de Políticas Públicas de la Universidad Diego Portales. Fue jefa del proyecto CASEN 2009 como parte de su labor académica en la Facultad de Economía y Negocios, de la Universidad Alberto Hurtado.
(*)Andrés Zahler Torres es investigador y profesor del Instituto de Políticas Públicas de la Universidad Diego Portales. Es economista de la Universidad Católica, doctor en Políticas Públicas en Harvard University e investigador asociado del Growth Lab del Center for International Development en Harvard.