Expertos de la CEPAL y del CEP exigen a Mideplan que divulgue pretest de encuesta CASEN 2011

Vea las presentaciones completas de Juan Carlos Feres y Sergio Urzúa en el CEP

Vea tambiénel video del seminario “Preguntas a la Casen 2011” en el CEP y descargue los pdf de las presentaciones

La primera parte del seminario “Preguntas a la CASEN 2011” que organizó el Centro de Estudios Públicos (CEP) el martes 11 de septiembre por la mañana, ya había terminado. Juan Carlos Feres, el renunciado jefe de la Unidad de Estadísticas e Indicadores Sociales de la División de Estadísticas y Proyecciones Económicas de la CEPAL, había abierto la jornada con una presentación en la que cuestionaba en duros términos varios de los cambios metodológicos que sufrió la última versión de la encuesta que mide la pobreza en Chile, de la cual había estado a cargo en los últimos 25 años. Como que se aumentara fuertemente la representación y el tamaño de las regiones extremas en el muestreo, el cambio en las muestras de comunas a regiones o la inclusión de dos preguntas nuevas en el cuestionario. Una de ellas era la “y11”, aquella que registra los ingresos laborales de los familiares no remunerados, desocupados e inactivos en los hogares encuestados. La misma que, como reveló CIPER en un reportaje a fines de agosto, en primera instancia fue desestimada por la CEPAL en los resultados que envió al Ministerio de Desarrollo Social (ex Mideplan) porque afectaba la comparabilidad de la encuesta con sus versiones anteriores, pero que fue incluida días después, luego de que el ministerio le enviara una minuta indicando que el pretest de la encuesta señalaba que la pregunta no afectaba la comparabilidad porque los datos que recogía no eran nuevos, sino que ya existían en las encuestas previas.

En su presentación, Feres afirmó que nunca vio ese pretest y que la CEPAL no lo pidió porque “no es habitual que le pida a los gobiernos, frente a la información oficial, ningún tipo de confirmación”. Y agregó: “Pero eso es la CEPAL. Desde el punto de vista de la sociedad chilena, lo que corresponde es dar la máxima transparencia. Debiéramos conocer muy prontamente ese informe del pretest y que cada uno se forme el juicio en relación a si hay o no ahí evidencia concluyente que sugiera que la componente de ingresos regulares de la ‘y11’ efectivamente venía siendo captada en la variable ‘otros ingresos’ en años anteriores”.

Por eso fue que, pasado el mediodía, después de terminada la primera parte del seminario, Sergio Urzúa, el economista jefe del Área de Políticas Sociales del CEP y uno de los expositores esa mañana, se dio vuelta y antes de fijar su vista en Feres, miró a algunas de las personas que estaban en las primeras filas del auditorio. La pregunta que había dejado para su intervención final era para Feres, y sobre todo, para los funcionarios del Ministerio de Desarrollo Social (MDS) que observaban la discusión entre los asistentes. Una delegación compuesta por varios de los miembros del equipo técnico a cargo de la CASEN y que encabezaba la subsecretaria del ramo, Soledad Arellano.

-Quiero aprovechar que están Claudia Sanhueza, que participó en las CASEN 2006 y 2009; Carolina Casas-Cordero, que estuvo en la de 2011; y Juan Carlos (Feres) para preguntarles por el pretest. Los equipos de la CEPAL y del Mideplan discutieron el tema y yo no he tenido la oportunidad de preguntarle a David Bravo (director del Centro de Microdatos de la Universidad de Chile) si ellos lo hicieron. No tengo idea, pero ¿quién lo hace? ¿Dónde está? –culminó Urzúa dejando abierta las interrogantes.

Carolina Casas-Cordero, funcionaria del Observatorio Social del MDS y la interlocutora entre el ministerio y el Centro de Microdatos de la Universidad de Chile, que realiza el trabajo de campo de la encuesta CASEN, miró hacia otro lado y guardó silencio.

-Los que están en mejor posición de responder son los colegas del ministerio –contestó Feres–. Lo único que puedo aclarar es que el pretest siempre se hace y uno parte de la premisa de que se hizo. No tengo una referencia directa ni conozco el documento. Muy probablemente, si se siguió la práctica de años anteriores, lo debió haber elaborado Microdatos de la Universidad de Chile, pero sobre eso tampoco tengo ninguna referencia.

Entonces, el profesor de la Universidad de Yale y de la Universidad de Chile, Eduardo Engel, que también estaba en el panel, irrumpió en el diálogo apenas Feres terminó su respuesta. “Ayer conversé con David Bravo y me dijo que Microdatos no hizo el pretest”, señaló.

-Entonces se innovó en esa materia –culminó Feres.

EL PRETEST DE LA DISCORDIA

La no divulgación por parte del Mideplan del pretest que valida la presencia de la pregunta “y11” en la versión del año pasado de la encuesta CASEN, se ha convertido en las últimas semanas en una de las principales piedras de tope en el debate sobre la veracidad de las cifras de pobreza en el país que dio a conocer el gobierno el 20 de julio. Esto porque la inclusión de esa pregunta fue determinante para que el porcentaje oficial de pobres en Chile bajara de 15,1 a 14,4 en el período 2009-2011. Una baja que para los expertos en estadística demuestra un estancamiento en los niveles de pobreza (ver presentación de Sergio Urzúa en el CEP), pero que el gobierno celebró y calificó como “significativa”, aun cuando fue informado de que no lo era.

La importancia del pretest radica en que es la instancia previa que permite medir en terreno si los cambios incorporados al cuestionario efectivamente sirven para captar en forma más precisa y confiable los niveles de pobreza. Pero también, para establecer si esas modificaciones no afectan la comparabilidad de los datos recabados con los de las encuestas anteriores. Para ello, la misma institución que se encarga del trabajo de campo, y que se adjudica por licitación, realiza una pequeña encuesta previa para testear las preguntas antiguas y nuevas. La responsabilidad de este delicado trabajo ha recaído desde 1987, y con la sola excepción de la encuesta de 2009, en el Centro de Microdatos de la Universidad de Chile (antes del año 2000 tenía otra denominación). El resultado de esa prueba es entregado al Ministerio de Desarrollo Social, instancia que determina en función de esos datos el cuestionario definitivo que se aplicará en los hogares encuestados. En otras palabras, el pretest es el paso metodológico que da respaldo técnico a las modificaciones introducidas por el MDS en la CASEN.

Como para todos los participantes en el seminario del CEP el martes 11, no había duda de que la pregunta “y11”, la que determinó una rebaja de 0,6 en el porcentaje de la pobreza, fue incluida en el cuestionario final, la pregunta clave fue: ¿dónde están los pretest que avalan y justifican su inclusión?

-Que la pregunta es nueva, no cabe duda –dijo Feres al referirse a la “y11” en su presentación–. Pero a lo que hay que responder es si además se trata de ingresos nuevos. No basta con que la pregunta sea nueva, porque ya decíamos que estamos constantemente innovando en términos de cómo hacemos el cuestionario e innovamos porque aprendemos de cada nueva experiencia. Cada encuesta nos enseña algo respecto de qué funcionó bien y qué no lo hizo, además de los famosos pretest. No aprender de esa experiencia para ir mejorando los instrumentos sería bastante necio. El tema no está en si la pregunta es nueva, sino en que si lo que capta son efectivamente ingresos nuevos.

EL ORIGEN DE LA “Y11”

Hasta 2009, a las personas que habían calificado como “no ocupados” de acuerdo a su actividad la semana anterior a la encuesta, no se les preguntaba por sus ingresos laborales, a pesar de que esos ingresos se interrogaban respecto del mes anterior. Ese desfase en la periodicidad de los criterios podría haber significado que una persona que quedó sin trabajo una o dos semanas antes de ser consultada haya tenido ingresos regulares dentro del último mes. La “y11” fue incluida en el cuestionario de la CASEN 2011 precisamente para corregir esa disparidad entre el período de referencia para la ocupación de los miembros no remunerados, inactivos o desocupados de un hogar y el período de referencia de sus ingresos. Parte de esos ingresos –aquellos que se originan en una actividad ocasional– ya estaban medidos en las encuestas anteriores, por lo que correspondía seguir considerándolos. Pero no quedaba claro qué pasaba con los ingresos provenientes de antiguos trabajos regulares, que nunca habían sido considerados.

-Para la persona que hoy está cesante con referencia a la semana previa, el trabajo que le generó ingresos el mes anterior pudo haber sido un trabajo regular que se interrumpió ahí y que podría haber venido operando desde hace mucho tiempo, de manera tal de que si son ingresos originados en un trabajo regular, en principio no estarían captados en las encuestas previas y correspondería excluirlos –aseguró Feres en su exposición (vea la exposición completa).

Cabe mencionar que la discusión no tiene que ver con si la inclusión de la variable “y11” es una buena o mala decisión para medir con mayor efectividad los índices de pobreza. Hay un amplio consenso en que la desagregación de los ingresos no ocasionales de los miembros desocupados o inactivos de un hogar, y su medición sistemática, efectivamente cumplen el fin de precisar los ingresos totales de los encuestados. El debate, en ese sentido, apunta a la pertinencia de la pregunta en relación a la comparabilidad de los datos que recoge con los que han sido captados en las encuestas anteriores. Si no son comparables, para que la serie de mediciones no se rompa, la información incluida en la “y11” debe ser desestimada.

Como los datos explícitos incluidos en la encuesta no permitían dilucidar qué parte de los ingresos declarados correspondían a aquellos originados en un trabajo regular, y por lo tanto, si tenían o no correlación con los captados en las encuestas anteriores, la CEPAL –según describió Feres- consideró dos variables que le facilitaron determinar si eran ingresos nuevos o si ya estaban contabilizados en las encuestas de los años previos. La primera: establecer cuántos de los encuestados registrados como “no ocupados” habían trabajado antes. El cruce de la información disponible, según los datos que expuso Feres en el CEP, dio como resultado que el 85% de las personas que respondieron la “y11” había tenido una experiencia laboral, “lo que ya supone una cierta habitualidad desde el punto de vista de la generación de ingresos laborales”. La segunda: saber si esos ingresos fueron percibidos en cada uno de los tres meses anteriores a la encuesta, lo que indicaría que los ingresos declarados no eran necesariamente ocasionales, sino que podrían ser regulares. Alrededor del 80% respondió positivamente a esa interrogante.

Tomando en cuenta esos antecedentes, la CEPAL optó por no computar la variable “y11” como parte de los ingresos del hogar en su informe para el MDS porque impedían la comparabilidad de la encuesta. Por eso, en el informe que envió al ministerio el 12 de julio, los resultados indicaban que la tasa de pobreza a nivel nacional era de 15%, lo mismo que arrojó la medición de 2009.

-Inmediatamente después, hubo una adición de información por parte del ministerio a través de una minuta donde hace referencia a los resultados del pretest, que en esta oportunidad, habría arrojado que esa componente de ingresos regulares habría sido captada regularmente (en las encuestas previas) en la variable “otros ingresos”. Y además, añade como argumento adicional, que en años anteriores hubo cambios similares en la encuesta, que se agregaron y desagregaron preguntas, y que no se había objetado la comparabilidad –señaló Feres en su exposición.

Por primera vez, el gobierno le pedía a la CEPAL que reconsiderara los resultados del procesamiento de datos de la CASEN. La solicitud fue explícita para que se incluyera la “y11”, con la consecuente reducción en la tasa de pobreza. Recién el viernes 14 de septiembre (56 días después de haber hecho públicos los resultados globales de la encuesta), el MDS divulgó en su sitio web la minuta que envió a la CEPAL y que se titula: Inclusión de la Variable y11a en cálculos de Pobreza.

El documento preparado por los funcionarios del ministerio Carolina Casas-Cordero, Andrés Hernando y Alfredo Martin, dice que las experiencias recogidas durante el pretest de la encuesta Casen 2011 y también del contratista Casen 2011, el Centro de Microdatos de la Universidad de Chile, han demostrado que algunas de las partidas que comúnmente mencionan los entrevistados en el ítem “otros ingresos” (ganancias por juegos de azar, herencias y devolución de impuestos) no corresponden a ingresos corrientes de los hogares, y por eso no debían ser consideradas. También indica que la variante sobre ingresos del trabajo del mes anterior sí debe ser integrada. Esto lo fundamenta al decir que el pretest señala que es “altamente posible” que en las encuestas anteriores las personas consultadas hayan incluido esos valores en el ítem de “otros ingresos”. Y agrega:

“Excluir los ingresos reportados en ‘y11’ afecta directamente la validez de la estimación del ingreso total del hogar. Especialmente cuando se considera que la evidencia del pretest es que las personas tendían a reportar en “otros ingresos” la información que ahora se recoge explícitamente en ‘y11a’”.

La justificación técnica para incluir la “y11” que se explica en la minuta, está respaldada en el informe del pretest, el que no se entrega junto con la minuta. La CEPAL no pidió copia de ese documento. Lo asumió como información oficial, por lo que accedió a evaluar el cómputo de la variable excluida. Después se sabría que ni siquiera Andrés Hernando, el renunciado jefe del equipo técnico del MDS y que firmó la minuta entregada a CEPAL para incorporar la variable “y11”, tuvo acceso al informe del pretest. Así lo reconoció a CIPER en una entrevista publicada el 31 de agosto. Así fue que el pretest, un documento clave y hasta ahora secreto, se convirtió en parte central del debate público sobre los datos de pobreza en Chile.

EL GIRO DE LA CEPAL

Después de recibir la minuta el 14 de julio, y a contratiempo por los plazos para hacer públicos los resultados, la CEPAL sometió a reanálisis los datos de la CASEN 2011. Feres relató en su exposición que se procedió a analizar lo que ocurrió con tres variables relacionadas a la “y11”: el comportamiento de las remuneraciones por trabajos ocasionales, por otros ingresos y por trabajos previos al mes anterior.

Con las dos primeras –ingresos que ya estaban captados en encuestas anteriores–, lo que esperaban los expertos era un comportamiento a la baja, ya que componentes que eran parte de esas variables hoy estarían siendo captados a través de otra independiente. Pero no ocurrió así. Los montos declarados por trabajos ocasionales, en vez de bajar, subieron: de $9.537 millones en 2009 a $10.377 millones en 2011. Sí disminuyeron los de la variable “otros ingresos”: en 2009 correspondía a $2.152 millones y en 2011 la cifra fue $675 millones menos.

Si se considera que la nueva variable (trabajos previos al mes anterior) captó casi $25.000 millones, a juicio de Feres “no hay correspondencia en los montos disminuidos en las variables anteriores con los montos agregados en la nueva. Y uno podría pensar y defender a partir de eso que la nueva variable está captando ingresos adicionales que no existían en el pasado, que no eran captados”.

En todo caso, los cambios en las variables no son algo nuevo ni extraño y si hay discusión, la suele zanjar el pretest, aunque en todas las CASEN anteriores, esto ocurría en la fase previa y no posterior a la exploración de campo.

-En 2006 se pasó por desagregación de una a 13 preguntas en la variable “bonificación y gratificaciones”. Pues bien, el monto captado saltó de $18.000 millones en 2003 a $95.000 millones en 2006. Y en “ingresos en especies” ocurrió algo similar: de dos a 11 preguntas y saltó de $9.451 millones a $31.247 millones. En esa oportunidad, el pretest elaborado por Microdatos de la Universidad de Chile señaló explícitamente que este par de cambios no había tenido incidencia estadísticamente significativa. No hay argumentación adicional, porque suele no incluirse dentro de la documentación, pero sí es explícita la conclusión de que con estas magnitudes no hubo un impacto significativo para la comparabilidad de los datos entre esos dos años –señaló Feres en su exposición.

Para el ex jefe de la Unidad de Estadísticas e Indicadores Sociales de la CEPAL, no era trivial determinar si la variable “y11” era o no comparable o si era o no medida antes. Estaba dentro de lo que él denominó “zona de ambigüedad”. Como la inclusión de la variable significaba una incidencia de 0,6 puntos porcentuales en la tasa de pobreza y de 0,4 en la de indigencia, la CEPAL optó por hacer caso al gobierno y reincorporar la “y11” como parte de los ingresos del hogar porque la variación resultante estaba situada dentro del margen de error, por lo que en definitiva, estadísticamente no era significativa. Aunque no solo por eso: también porque, según la minuta, existía un pretest que lo validaba y contaba con el respaldo del Centro de Microdatos de la Universidad de Chile, que históricamente ha estado a cargo de elaborar el trabajo de campo de la encuesta CASEN.

El nuevo informe, con la variable incluida y una tasa de pobreza nacional ya no de 15 puntos, sino que de 14,4, fue enviado al Ministerio de Desarrollo Social el 18 de julio. Sólo un día después de que Feres y la subsecretaria Soledad Arellano sostuvieran una reunión de carácter urgente y dos días antes de que el Presidente Sebastián Piñera y el ministro de Desarrollo Social, Joaquín Lavín, dieran a conocer los resultados al país celebrando la “significativa” disminución de la pobreza en Chile en sólo dos años.

DÓNDE ESTÁ EL PRETEST

Hasta el 31 de agosto, cuando se supo a través de una investigación de CIPER de las dos entregas de resultados que hizo en sólo seis días la CEPAL al MDS –una sin la variable “y11” y otra con ella incluida– y de la minuta que existía de por medio, el rol del pretest no había siquiera sido mencionado en el debate público en torno a la CASEN 2011. Se criticaba que no se hubiera divulgado el margen de error o que la base de datos no hubiera estado disponible sino hasta siete semanas después de presentados los resultados de forma oficial. Y sólo parcialmente. Pero desde entonces, y muy especialmente después de la exposición de Juan Carlos Feres en el CEP, el martes 11, varios expertos han exigido que se hagan públicos a la brevedad todos los documentos que respaldan técnicamente la inclusión de la “y11”, la variable que significó la reducción en la tasa global de pobreza respecto de 2009.

Antes de terminar el seminario del martes 11 de septiembre en el CEP, se abrió una ronda de preguntas. Y la primera en tomar el micrófono fue la subsecretaria de Desarrollo Social, Soledad Arellano. Sus dardos fueron directamente para Eduardo Engel.

-Estoy contenta porque creo que aquí se ha validado que no hubo manipulaciones en la CASEN y que el proceso técnico no tiene duda –dijo Arellano–. Espero que después de esta validación, algunas afirmaciones que se han hecho a la prensa también sean desmentidas. Aquí lo digo especialmente por ti, Eduardo, porque me preocupan mucho las declaraciones en el Financial Times, donde se afecta directamente la imagen institucional de nuestro país, donde se hace mención a que casi estamos llegando a la manipulación de los datos, que en Chile ya no podemos tener certeza sobre nuestras estadísticas. Creo que se pasa a llevar a la CEPAL en este discurso, pero más allá de eso, todos los que hemos participado en este proceso, incluyendo a la CEPAL que está completamente afuera de esto y que entra por rebote, se ha validado que aquí no ha habido presiones o influencias indebidas, que es la frase que aparece como textual tuya, y que además que al gobierno no le gustaron los datos y, como no le gustaron, fue a pedir o casi exigir a la CEPAL que se cambiaran. En ese sentido, yo también espero más.

-No tengo absolutamente nada sobre lo cual pedir perdón. Lo que sí hay es una larga lista de cosas, Soledad, por las que tú, tu ministro y tu Presidente deberían pedir perdón. Esa lista es larga y está en mi presentación, pero no voy a insistir nuevamente porque me estás haciendo pasar una situación sumamente incómoda. Pero realmente los perdones tienen que venir del otro lado. Lo que finalmente quiero hacer, Soledad, es pedirte de una vez por todas que hagan público el pretest de la “y11”. Te lo pidió Sergio (Urzúa), te lo pidió Juan Carlos (Feres) y ahora te lo pido yo. Aquí lo más interesante es que no respondiste ninguna de las peticiones que te hicimos de información, partiendo por el pretest de la “y11”. Ese pretest, por favor, denlo a conocer hoy para que todo Chile lo conozca y saquemos eso de la discusión. La discusión no ha terminado, y no porque somos mala leche, sino que porque el gobierno se niega a entregar información.

-Pedir perdón por haber contribuido a bajar la pobreza no tiene ninguna razón. (…) Nosotros ya hemos dicho que vamos a entregar toda la información de la base de datos con y sin ajustes. Lo habíamos conversado incluso con Juan Carlos (Feres) antes de que saliera todo este tema. Estamos en proceso de ir ordenando las bases y no hay absolutamente nada que ocultar. Todos los documentos se van a ir entregando. Lo único que pido es tiempo porque el equipo que está acá, el viernes (7 de septiembre, cuando se hicieron públicas las bases de datos de la CASEN 2011) terminó a las 20:30 los últimos documentos metodológicos. Y es la misma gente la que va a hacer todo esto en los tiempos debidos. No hay nada que ocultar, así que quédense tranquilos con eso.

-Soledad, no dijiste nada del pretest. ¿Cuándo van a entregarlo?

-Te estoy diciendo: lo vamos a entregar.

-¿Hoy?

-Hoy no sé, porque tenemos al equipo haciendo varias cosas. Cuando desmientas lo del Financial Times, ahí hablamos.

-No hay nada que desmentir. Lo dije en mi presentación y fui muy claro. A mi juicio, y es una crítica que he hecho a la CEPAL varias veces con todo el cariño que le tengo a Juan Carlos, la CEPAL no debió haber cedido cuando, fuera del proceso regular, y después de haber recibido el gobierno la primera cifra de pobreza, no era el momento para pedir reconsideraciones y cambios sobre qué variables entraban y cuáles no. Soledad, también queremos ver toda la documentación y todos los intercambios entre CEPAL y el gobierno, pero ahora y no en diciembre. Tú anunciaste que a recién a fin de año, en diciembre, van a salir los datos. Esto puede ser mucho más rápido. Los que sabemos de estadística nos damos cuenta de que no es cierto, Soledad. Tienen que entregar la información ahora. El margen de error demoraron seis semanas en calcularlo, pero debió haber estado los primeros días. Y dio un 0,8 y no un 0,7. Realmente les pido por el bien de Chile que entreguen todo esto y pidan las excusas del caso y más aun, que asuman las responsabilidades políticas detrás de lo que hicieron.