¿La cifra oficial de pobreza es 15% o 14.4%?
Seminario en el CEP: El último round por la CASEN 2011
08.11.2012
Vea además:
-Entrevista a Juan Carlos Feres: “Se demostró que los antecedentes que entregó el Ministerio de Desarrollo Social a la CEPAL no eran veraces”
– Presentación de Soledad Arellano: “Excluir la pregunta ‘y11’ genera un problema de comparabilidad y no a la inversa”
– Presentación de Sergio Urzúa: “Incluso aceptando la inclusión de la ‘y11’, apuesto a que la tasa de pobreza no es 14,4”
– Descargue los videos y documentos del seminario en el sitio web del CEP
En el auditorio subterráneo del Centro de Estudios Públicos (CEP), a minutos de que comenzara el tercero y último de una serie de seminarios organizados para desmenuzar los resultados y aspectos metodológicos de la encuesta CASEN 2011, sólo se escuchaban susurros y cuchicheos mientras algunos tomaban café o leían el diario. El economista Sergio Urzúa conversaba con tres personas frente a uno de esos libreros que rodean la sala a la espera del momento de partir con su presentación.
Entonces diría que está convencido de que la pobreza en Chile no es de 14,4%, como dicen las cifras oficiales, que ni siquiera incluyendo la ya famosa variable “y11” es correcto ese cálculo, y que todo lo que justifica su incorporación en el cuestionario no corresponde –también a diferencia de lo que sostiene la versión oficial– a un pre-test “convencional”. Eran las 9:20 del miércoles 31 de octubre, y sólo faltaba para empezar que llegara la contraparte de Urzúa: la subsecretaria de Desarrollo Social, Soledad Arellano.
La diferencia de este seminario con los dos anteriores es que era el cierre a uno de los capítulos más polémicos que ha enfrentado el gobierno de Sebastián Piñera en el último tiempo, ese que terminó por desbaratar la institucionalidad que ha estado detrás de la medición de la pobreza en Chile durante los últimos 25 años. También era distinto porque casi todo lo que rodea a la encuesta CASEN cambió en el último mes y medio.
La CEPAL, que desde 1987 ha participado directamente en el proceso y ha sido garante de imparcialidad y credibilidad de las cifras a nivel internacional, decidió no continuar con su colaboración activa en los próximos cálculos de pobreza en el país.
Desde ahora, sólo será un órgano asesor. La decisión obligó sobre la marcha a edificar la nueva institucionalidad para una de las herramientas principales de políticas públicas del país. El camino para que el Instituto Nacional de Estadísticas (INE) se convierta en una entidad autónoma y se encargue del procesamiento de datos de la CASEN, ya comenzó a pavimentarse a través de un proyecto de ley que está preparando el Ministerio de Desarrollo Social (MDS) y que se espera ingrese al Congreso en algún momento de noviembre de este año.
Los coletazos del cuestionamiento a la CASEN 2011 no pararon allí. Como resultado de lo anterior, la encuesta de 2012, que ya estaba en curso, se canceló. También se anunció que se revisaría la línea de pobreza vigente desde los ’80, que según la mayoría de los expertos está obsoleta.
La tarea de llevar adelante todos estos cambios seguirá en manos del ministro Joaquín Lavín. El cambio de gabinete del 5 de noviembre no lo movió de su sillón: siguió a la cabeza del MDS. “Hay una meta del Presidente de derrotar la extrema pobreza durante su gobierno y es algo que me motiva mucho en lo personal”, dijo a La Segunda. La idea del gobierno es que esté todo listo para cuando la encuesta se ponga en marcha de nuevo en 2013.
-Al final del día, esta cosa no salió tan mal. Como lo planteé en la versión anterior de este seminario, el vaso lo veo medio lleno y creo que es una oportunidad increíble para poder mejorar la institucionalidad –diría después Urzúa, al comenzar su exposición.
Juan Carlos Feres, el renunciado experto CASEN de la CEPAL, ingresó al auditorio y se sentó junto a Maximiliano Aguilera, ex director del INE. Se saludaron y cruzaron palabras en voz baja. También ya estaba en la sala parte del equipo de la subsecretaría que encabeza Arellano. Entre ellos, Carolina Casas-Cordero, una de los tres funcionarios del MDS que firmaron la minuta que el gobierno envió a la CEPAL para incluir la pregunta “y11” –inicialmente desechada por afectar la comparabilidad– en su cálculo final. Otro de los presentes era David Bravo, el director del Centro de Microdatos de la Universidad de Chile, el organismo encargado del levantamiento de datos de la CASEN (ver entrevista). Todos ellos hablarían más tarde, al comenzar la ronda de intervenciones del público.
A las 9:25, se acabaron los susurros en el auditorio. Las cámaras se encendieron. Acababa de ingresar Soledad Arellano. Sergio Urzúa bajó unos escalones y se sentó en el extremo derecho del panel. A su lado, la subsecretaria instaló su computador y tomó asiento. El director del CEP y moderador del debate, Arturo Fontaine, dio la bienvenida a los asistentes al seminario que lleva por título CASEN 2011: Dos Miradas y dijo que la sesión comenzaría con la exposición de Arellano.
Empezaba así el último round de la CASEN.
LA JUSTIFICACIÓN DE LA “Y11”
Arellano abrió su presentación anticipando que todo lo que diría durante la siguiente media hora era muy distinto a lo que tenía pensado exponer al comienzo. Que lo que quería era dejar atrás lo que había pasado con la última encuesta y hablar de la CASEN 2012, pero que como ya no existía la CASEN 2012, no podría hacerlo. Tampoco se centraría en los cambios que se implementarán para la encuesta del próximo año. Dijo que no le encontraba sentido porque a su juicio, “la idea de convocar a una comisión transversal que estudie el tema de la medición de la pobreza (…) es darle todo el respeto y autonomía. Esperamos que la CASEN 2013 tenga mucho que ver con las recomendaciones que esta comisión va a hacer y no con lo que al gobierno le gustaría o no mantener de la CASEN 2011”.
Entonces, la subsecretaria dijo que se referiría a aspectos técnicos de la última encuesta: a los errores de medición y errores muestrales, pero sobre todo, a la justificación de incluir la variable “y11”, la que en definitiva, bajó los últimos índices oficiales de pobreza en Chile. En el proyector, su material de apoyo tenía los colores y el logo del gobierno. Sobre el pre-test que supuestamente da sustento técnico a la inclusión de esa variable, apenas haría mención.
-La otra vez salió en el diario que el pre-test aún no está publicado, pero lo cierto es que sí lo está desde hace al menos dos semanas (en el sitio web del MDS) y me atrevería a decir que desde hace tres –fue todo lo que dijo sobre el documento que fue el centro del debate en el seminario anterior en el CEP, cuando ya llevaba 27 minutos hablando.
Si bien esa fue la única vez que mencionó al pre-test, Arellano sí se refirió a los mecanismos que el MDS utilizó para disminuir el error de medición. Señaló la estandarización de la entrevista y el diseño del cuestionario. También la revisión de expertos, la prueba de campo, el cuestionario piloto, la evaluación con encuestadores y las entrevistas cognitivas a los encuestados. “Todas estas técnicas de evaluación de preguntas son el pre-testeo de un cuestionario (…) De acuerdo a la literatura especializada, no hay un mecanismo que sea superior a los otros, porque cada uno entrega distintos elementos (…) Por supuesto, lo ideal es tenerlas todas, pero en la vida real sabemos que no vivimos en un mundo de la maximización, sino en uno de la optimización, donde tenemos ciertas restricciones y tenemos que elegir la mejor alternativa”, dijo.
Arellano dijo que la CASEN 2011 contempló la revisión de expertos en temas metodológicos de la encuesta, la prueba de campo que llevó a cabo Microdatos –y que no incluyó la pregunta “y11”–, evaluaciones con encuestadores y jefes de grupo a través de formularios estandarizados y sesiones de discusión grupal, entre otros. Con esto, la subsecretaria aseguraba que la variable de ingresos laborales (la pregunta “y11”) sí había formado parte del pre-test. Pero después, en la ronda de intervenciones del público, Juan Carlos Feres la rebatiría y le diría que eso no era cierto, que la variable nunca fue pre-testeada, que lo que hacía era relativizar lo que los expertos en estadística reconocen como pre-test y que eso que publicó el MDS no es el documento que preparó Microdatos y que entregó al ministerio en noviembre de 2011.
-Lo que está ahí es una relectura que hizo el MDS del documento para efectos de tomar algunas cuestiones que toma ese informe. Lo que señala el término de pre-test a los oídos de todo aquel que está vinculado a la experiencia del levantamiento de encuestas, es el trabajo de campo. Y eso es lo que entendió la CEPAL –le diría el hombre que por 25 años estuvo a cargo de la CASEN en la comisión regional de la ONU (ver entrevista).
Durante el resto de su presentación, Arellano se centró en las justificaciones técnicas de las modificaciones implementadas en la última encuesta. Que la “y11” venía a corregir la falta de correspondencia entre los períodos consultados –semana anterior para determinar si una persona es o no ocupada versus mes anterior para registrar ingresos laborales–, que los ingresos que la pregunta captura sí estaban considerados en las encuestas anteriores y que si esa variable se hubiera ajustado –algo que no se hizo y que más tarde Sergio Urzúa catalogaría como “error técnico”– sí se habría afectado la comparabilidad de los resultados.
Antes de terminar su exposición, la subsecretaria se refirió escueta a los cambios que se vienen para la CASEN y a la institucionalidad completa de la medición de la pobreza. Recalcó que es importante medir la pobreza anualmente, como se tenía contemplado desde 2011 y dijo que, en adelante, “la idea es que el INE sea el que hace los cálculos y el que organiza el levantamiento y nosotros (el MDS) mantendríamos el papel de contraparte técnica que da el contenido a la encuesta”.
URZÚA Y LOS ERRORES TÉCNICOS
Apenas Arellano terminó de exponer, Sergio Urzúa puso en el proyector su presentación y cogió el micrófono que tenía sobre la mesa. Al partir, luego de decir que para él el seminario era “el cierre del capítulo”, reconoció los esfuerzos que ha hecho el MDS para poner a disposición de la ciudadanía nuevos antecedentes sobre el debate, como la nueva base de datos y una serie de documentos con información de las encuestas anteriores. Aunque dijo que aún está a la espera de los datos antes del ajuste por cuentas nacionales, también mencionó dos documentos que el MDS publicó y que a su parecer son clave: la medición de ingreso en CASEN que la CEPAL preparó en agosto de 2012 y el documento que la subsecretaria dijo que corresponde al pre-test y que está fechado el 15 de octubre. Pero también se refirió a una serie de errores técnicos que se cometieron en la medición de 2011, como que la variable “y11” capturó ingresos nuevos, que no haya sido incluida en pre-test a pesar de que los problemas que pretendía solucionar ya habían sido detectados y que no se haya sometido a ajustes.
Todos esos errores –señaló Urzúa- son los que lo llevan a asegurar que, incluso incorporando la famosa variable a la medición, la cifra no da 14,4%, como informó el gobierno en julio de 2012.
Urzúa se manifestó en acuerdo con Arellano en varios de los aspectos que justifican la inclusión de la “y11”: que recoge información relevante de ingresos del trabajo que no son transitorios, que mejora la correspondencia de la semana anterior para determinar si una persona es laboralmente activa o no versus el mes previo respecto de los ingresos y que genera medidas de ingreso más estables. “Pero no hay que olvidar que un elemento importante en todo esto es la comparabilidad –señaló–. Hay que distinguir entre la comparabilidad de las cifras versus el error histórico que ha venido en el cuestionario. Esa es la clave: las cifras que se han entregado, ¿son comparables en el tiempo?”.
El economista del CEP se respondió a sí mismo: “No lo son”.
Respecto a lo que decía Arellano sobre que los ingresos capturados por la “y11” sí estaban considerados en las encuestas anteriores, Sergio Urzúa dijo que los datos no lo corroboran:
-La “y11” registró más de 10 veces el valor que se había descontado de “otros ingresos”, por lo que efectivamente podemos concluir que estaba capturando ingresos que antes no estaban capturados. Es importante que todos los otros ingresos no solamente ajusten, sino que hay variables a ingresos nuevos que se incorporan y que de nuevo piensen en la importancia de la comparabilidad. Eso es un elemento técnico a considerar para lo que viene –aseguró.
Si bien Urzúa reconoció que el desfase temporal en la variable de ingresos laborales había sido detectado en mayo de 2011, criticó que no se haya incluido la pregunta “y11” en el cuestionario piloto que se le entregó a Microdatos para que hiciera el pre-test. Otro error técnico del proceso, a juicio de Urzúa, es que los ingresos capturados por esa pregunta fueron incorporados sin ser ajustados por cuentas nacionales. A eso se suma que el cuestionario no incluyera una categorización de la ocupación, esencial para realizar el ajuste. “Si tengo una variable que está subdeclarada porque no estoy capturando la ‘y11’, y la ajusto porque está subdeclarada para luego sumarle la ‘y11’, me equivoqué. Una vez que se incorpora la variable, los pesos cambian, por lo que se debió haber calculado una tasa de pobreza distinta”, dijo. Y agregó:
-Hay errores técnicos que son importantes de reconocer y que, incluso aceptando la inclusión de la variable “y11”, apuesto a que la tasa de pobreza no es 14,4 por el problema de que debieran ajustarse los factores de los ponderadores para efectos de cuentas nacionales.
La presentación de Urzúa duró cerca de media hora. Durante ese tiempo analizó también resultados insospechados que han tenido algunas políticas públicas –como el acceso a educación superior y la Reforma Previsional– sobre los ingresos de los hogares pobres, se refirió a los cambios que se vienen y a las lecciones que dejan los errores que evidenció la última encuesta CASEN. Y concluyó que pensando en la comparabilidad de las cifras, y con los antecedentes que se disponen, su “hipótesis es que la tasa de pobreza tendría que estar más cerca del 15% que del 14,4% oficial”.
LAS RÉPLICAS DE LOS EXPOSITORES
-El análisis que hace Sergio está equivocado –dijo Arellano al acabar el turno de Urzúa-. Es obvio que la “y11” impacta en la pobreza y que está más concentrada en los primeros quintiles. El punto es que si quieres hacer un análisis sin la variable, tienes que sacar los ingresos laborales de esas personas los años anteriores. Si no, no es comparable.
La subsecretaria también señaló que si la pregunta no fue incluida en el cuestionario piloto sobre el cual Microdatos hizo el pre-test, fue porque en ese momento no se sabía aún cómo solucionar los problemas detectados, que por entonces esa no era la primera prioridad del MDS y que nadie pensó que la variable tendría el impacto que finalmente tuvo sobre la tasa global de pobreza. Y sobre el hecho de no ajustar la variable, Arellano aseguró que fue precisamente esa decisión la que permite que las cifras sean comparables con la serie CASEN. La funcionaria del MDS se manifestó de acuerdo con el economista en que hay que incorporar una serie de subsidios que no están siendo considerados y que tienen impacto en el ingreso de los hogares pobres –becas estudiantiles o almuerzos en escuelas, entre otros– y que hay que tener cuidado con las políticas públicas porque el efecto de los incentivos no está medido.
Urzúa le respondió que es obvio que la “y11” impactó en los índices de pobreza e indigencia, pero que la pregunta tiene que ver con la comparabilidad con la serie. Y argumentó que si no hubo grupo de control, es simplemente porque la variable no estuvo en el pre-test. Y que si no lo estuvo porque no era la “prioridad” del MDS, se ratifica que fue un error técnico. Lo mismo con la falta de ajustes por cuentas nacionales.
-Todos los chilenos estamos a la espera de poder ser convencidos de que la pobreza en el país está en 14,4%. Pero a efectos de darle término a esta discusión, pongámonos de acuerdo. ¿Esto es el resultado de cómo se hacen las cosas en el aparato público y ese va a ser el modus operandi para el futuro o es un tema puntual y ahora vamos a mirar para atrás y decir esto no se puede volver a hacer? No puede ser que por no hacer el pre-test como se debió haber hecho, no podamos hacer la comparación. No tengo ninguna duda de que eso se va a incorporar y que la gente del INE lo va a estar mirando ni que el resultado final de todo esto es más positivo que negativo. Hay que tomar la experiencia y decir esto se hizo bien, esto se hizo mal, y cerrar el capítulo.
