“¡No volvería a hacer lo mismo! Habría insistido en que ese 15% era la cifra oficial de pobreza”

Hasta hace pocos días el ingeniero comercial Juan Carlos Feres era el experto de la CEPAL que más sabe de encuestas y pobreza en Chile y América Latina. El cuestionamiento a la última encuesta CASEN le provocó un terremoto en su vida profesional. Apenas le ratificó a CIPER la existencia de dos informes de la CEPAL con la cifra final de pobreza en Chile, en el que medió una minuta del Ministerio de Desarrollo Social (MDS) pidiendo la inclusión de la variable “y11”, lo que significó una baja de 0,7 en la cifra oficial, Feres renunció a su cargo, dejando atrás 34 años de reconocida trayectoria en la CEPAL. En esa conversación con CIPER fue transparente sobre una situación insólita: la interacción entre el MDS y la CEPAL. El artículo fue publicado el 31 de agosto pasado dando cuenta de un procedimiento inédito. Bien lo sabe él que desde 1987 –y sin interrupción- se ocupa de la medición oficial de la pobreza en Chile.

De su experiencia lo avalan las llamadas y correos que ha recibido en estos días de distintas autoridades y especialistas de la mayoría de los países del continente. Feres, quien es vicepresidente de la Fundación para la Superación de la Pobreza de Chile, profesor del Magíster en Gestión y Políticas Públicas del Departamento de Ingeniería Industrial de la Universidad de Chile y del Magíster en Economía Aplicada a Políticas Públicas de la Universidad Alberto Hurtado, ha sido consultor de varios gobiernos y coordinador de los principales proyectos sobre medición de condiciones de vida, distribución del ingreso, cohesión social y pobreza en Latinoamérica. Y en esa condición, el martes 11 de septiembre, en un seminario en el Centro de Estudios Públicos (CEP), luego de hacer una exhaustiva exposición metodológica sobre el trabajo realizado en la CASEN 2011, emplazó al MDS a entregar los pre-test, que él nunca tuvo a la vista, y que avalan la inclusión de la variable “y11” en el segundo informe final que él mismo le entregó al ministro Joaquín Lavín con el cálculo de pobreza.

Esta entrevista se realizó el viernes 14 de septiembre, a las 14:00, después que esa mañana CIPER entrevistara a la subsecretaria de Desarrollo Social, Soledad Arellano, quien lo responsabilizó de la idea de incluir la variable “y11”. Fue precisamente esa imputación la que lo obligó a salir del silencio que se autoimpuso y el que se sólo rompió en un marco académico en la reunión del CEP el día 11.Aquí Juan Carlos Feres entrega nuevos elementos que aumentan las contradicciones de un proceso que no termina de sorprender.

“¡No volvería a hacer lo mismo! No le quepa ninguna duda de que habría insistido en que ese 15% era la cifra oficial de la CEPAL y que no había información adicional que motivara a cambiar. Y se lo digo con la más absoluta convicción”.

-¿Es efectivo que usted le dijo a la subsecretaria del Ministerio de Desarrollo Social (MDS), Soledad Arellano, al fines de mayo, en las conversaciones previas a la entrega de los resultados oficiales de la CASEN, que había tomado la decisión de incluir la variable “y11”?
Categóricamente, ¡no! Y este “no” hay que ponerlo en un determinado contexto: este proceso marcó una gran diferencia con los anteriores. El involucramiento en el diálogo técnico del MDS fue muy superior a lo que se vio previamente. Soledad Arellano era de hecho la jefa del equipo técnico del MDS y prácticamente la única persona con quien yo tenía contacto, siempre a iniciativa de ella, a propósito de distintos elementos que iban surgiendo en el proceso de estimación. La primera reunión fue con el equipo técnico del MDS que participó en la encuesta: Carolina Casas-Cordero, Andrés Hernando y otras personas que fueron a mi oficina antes de que empezara esta historia. En esa primera reunión, estuvimos definiendo algunos procedimientos a instancias de ellos. De ahí en adelante, ellos empezaron a acompañar desde el ministerio el proceso que hace la CEPAL. Y lo podían hacer, porque ellos tenían la base de datos inicial y los criterios que nosotros aplicamos para corregir por no respuesta. Lo único que no tienen es el nuevo ajuste que hacemos en CEPAL a cuentas nacionales. Pero, por último, pueden hacer estimaciones preliminares con los mismos coeficientes de ajuste del año anterior. Porque no cambian mucho de año en año. De manera que fueron paso a paso acompañando esto y ya tenían absolutamente calibrado el peso -en la estimación del nivel que fuera- que podía llegar a tener esta variable “y11”. Por lo tanto, era muy importante que se incluyera o no dentro del total de ingresos de los hogares. En una reunión con Soledad Arellano, también en mi oficina, ella me planteó el tema. Le respondí que lo estábamos analizando pues no habíamos llegado al punto de construir el agregado de ingresos de los hogares y que la situación tenía elementos que inclinaban a la apreciación de incluir y otros a excluir esa variable. Que yo le haya dicho que ya tenía la convicción personal de que debía incluirse, ¡lo niego categóricamente! Que se discutió el punto, sin duda: ¡si había una fijación de parte del ministerio respecto de esa variable! Ellos sabían que podía hacer una diferencia importante. Lo sabían porque tenían los datos.

-Vamos entonces al detalle de la secuencia, cuando CEPAL entrega la primera cifra oficial (15%) el 12 de julio.
Mire, le entregamos el resultado el 12 de julio al ministro Joaquín Lavín. Fui con otros dos colegas de CEPAL al ministerio. Esa semana, Soledad Arellano estaba de vacaciones en las Islas Galápagos. Cuando le hago la entrega al ministro Lavín, él tenía su cuaderno desplegado y me dice, leyendo sus notas: “Soledad me pidió que te preguntara por la variable ‘y11’, si se incluyó o no se incluyó”. Le dije que no y le di los argumentos de por qué no se había incluido. Y le agregué una cosa: esto no tiene drama, si el ministerio la quiere incluir, que la incluya, así como optó en una vez anterior por trabajar en una línea distinta a la CEPAL. Pero la convicción de la CEPAL es que no corresponde incluirla. Pues bien, esa reunión, realizada en las oficinas del ministerio en Ahumada y no en La Moneda, debe haber terminado como a las seis de la tarde o incluso un poco más tarde. Como a las 20:00 o 20:30 yo estaba en mi casa, cuando recibo una llamada a mi celular de Soledad Arellano, desde Galápagos, en un tono inicial bastante agresivo respecto de por qué no habíamos incluido la variable en cuestión. Después de darle todos los argumentos, ella pregunta: “¿Qué te haría cambiar de opinión?”. A lo que respondo: «Lo obvio, si tú acreditas que aquí hubo un error, y lo acreditas con una información que demuestre que hemos tomado una decisión equivocada, desde luego que estamos abiertos a enmendar ese error. Pero con los antecedentes que hemos tenido a la vista, la conclusión que nosotros hemos sacado es que no corresponde incluirla». Y la conversación quedó en eso. Así estábamos el jueves 12 de julio por la noche. El sábado 14, cinco para las 12 de la noche, me entra el mail con la minuta de Andrés Hernando y Casas-Cordero. El domingo en la noche, Arellano regresó de sus vacaciones y me llamó por teléfono. Me pidió una reunión urgente. Le dije que habíamos recibido la minuta y que no la habíamos analizado, y que el lunes 16, si bien era feriado, se trabajaba en la CEPAL y que podíamos reunirnos el martes 17 en la tarde ya que necesitábamos tiempo para analizar la información enviada. Le dimos vuelta a la minuta durante ese día y medio y se cambió la decisión. A las 16 o 16:30 de ese martes 17, me reuní con ella en mi oficina. La reunión fue muy breve: me limité a informarle que habíamos cambiado la decisión, que el argumento del pre-test a mí no me parecía contundente, pero les reconocía el mérito de haber nivelado también esa falta de contundencia que había a favor de no incluir la “y11”. Y que en definitiva, quizás lo que había terminado haciendo sentido a favor de incluir la variable, era el hecho de que ellos apelaran a precedentes de años anteriores, en los cuales frente a situaciones relativamente equivalentes se había optado por no cuestionar la comparabilidad. Se fue muy satisfecha. Esa es la historia. Si lo que se quiere ahora es establecer un eventual cambio de opinión de CEPAL, eso no es así. Los hechos son esos.

“Yo asumo los resultados del pre testeo porque me lo está diciendo la autoridad: el Ministerio de Desarrollo Social. No porque yo leí el informe del pre-test. Doy fe de una comunicación oficial”.

-Con los antecedentes de que dispone hoy y de lo que ocurrió al aceptar, sólo con una minuta que no tiene respaldo técnico a la vista, hacer el cambio de la cifra oficial, ¿actuaría distinto?
Sí. No habría cambiado la cifra inicial…

-O habría pedido que le mostraran los pre-test.
Seguro, pero eso habría significado en los hechos que el ministerio se habría visto enfrentado a la obligación de divulgar la cifra inicial de la CEPAL. Y ya no había más tiempo. El ministerio y el ministro Lavín habían dado fechas. Y no había compromiso de fecha. El lunes 9 de julio, usted puede ver en El Mercurio de ese día que el ministro Lavín informó que la CEPAL entregaba el día 12. Me pareció que no era sano para nadie, y particularmente para el gobierno, dilatar la entrega. Y salimos el jueves 12. A esas alturas, si decidía que no se hacían cambios o exigía que me mostraran el pre-test o que se hiciera algún análisis con la encuesta anterior, seguramente se habría trabado un conflicto que lo habría dilatado. No habría sido de fácil solución. Habría tenido que involucrar inmediatamente a la jefatura de CEPAL. Ahora, su pregunta apunta a lo que yo habría hecho a la luz de todo lo ocurrido con el manejo de la información y lo que se conoce y no se conoce de la variable famosa “y11”: ¡no volvería a hacer lo mismo! No le quepa ninguna duda de que habría insistido en que ese 15% era la cifra oficial de la CEPAL y que no había información adicional que motivara a cambiar. Y se lo digo con la más absoluta convicción. Porque si bien esta pregunta “y11” tú no sabes a priori cuánto puede pesar, porque no la has medido por separado, podías intuir que era una pregunta que marcaba una diferencia interesante y, por lo tanto, era del todo aconsejable pre-testearla. Cuando me argumentan que el pre-test arroja lo que arroja, yo no lo pongo en duda, por el carácter oficial de quien me entrega la información: el gobierno.

-¿Cuál diría usted que es el argumento técnico principal que le entrega el MDS en esa minuta del 14 de julio para que incluya la variable “y11”?
Lo que le da el punto de apoyo al argumento es que dice: “Usted se ha enfocado en los ingresos ocasionales, estamos de acuerdo, y me está rechazando la variable porque no estaría medida la parte regular. No, lo que yo le digo es que la parte regular sí estaba medida en la pregunta “otros ingresos”. ¿Y sabe cómo lo sé?, porque me lo dice el pre-test”. Si es así, yo asumo los resultados del pre-testeo porque me lo está diciendo la autoridad: el ministerio. No porque yo leí el informe del pre-test. Doy fe de una comunicación oficial.

-¿Qué características debiera haber tenido ese pre-test para avalar el cambio?
Que efectivamente se sometió a pre-test la variable “otros ingresos” y que la conclusión que se obtiene de ahí es que una componente de ese conjunto de ingresos comprendidos en el rubro “otros”, muy importante, dice relación con ingresos laborales de desocupados e inactivos percibidos en el mes anterior o en los tres meses anteriores. Eso es lo que se afirma en la minuta. Si el pre-test en su informe señala explícitamente aquello, que es lo que yo inferí de lo que me estaban comunicando en la minuta, constituye prueba de lo que se afirma.

-Y si no existe ese pre-test con las condiciones que usted señala y es un focus group, ¿qué significa?
Si es un focus group, que además no está documentado desde el punto de vista de las características técnicas y metodológicas en que fue llevado a cabo, y sobre el rigor de la información obtenida y las inferencias que es posible hacer de esa información, si eso no está suficientemente documentado, no constituye una evidencia robusta para inferir lo que ahora el MDS está argumentando: que de allí surge la evidencia de que la pregunta “otros ingresos” siempre ha contemplado con una importancia sustantiva los ingresos laborales de desocupados e inactivos por lo que era imprescindible agregar la pregunta “y11”. Si es cierto que el contenido de la “y11” estaba anteriormente en otra denominación (“otros ingresos”), uno esperaría que en esta encuesta esta variable disminuya. Y así fue. Pero disminuyó en 600 ó 700 y la “y11” aumentó en 25 mil. Entonces, parece que no sólo era una partecita de “otros ingresos”, sino algo que iba mucho más allá de una componente capturada en encuestas anteriores.

“Lo que está en cuestionamiento es si los resultados de la encuesta CASEN 2011, cuando uno incluye la ‘y11’, son comparables con lo que se había medido el 2009 y antes. Ese es todo el punto. Y no es banal”.

-Lo que indica que el Ministerio de Desarrollo Social tuvo razón en incluir la variable “y11”.
Desde el punto de vista de mejorar la calidad de la medición de los ingresos, sí. Y por eso separo categóricamente la dimensión y legitimidad de apuntar permanentemente al perfeccionamiento del instrumento para capturar mejor la realidad tal cual es, de la otra dimensión importante en la encuesta CASEN: la comparabilidad. Lo que está en cuestionamiento es si los resultados de la encuesta CASEN 2011, cuando uno incluye la “y11”, son comparables con lo que se había medido el 2009 y antes. Ese es todo el punto. Y no es banal.

-La subsecretaria del MDS, Soledad Arellano, afirmó a CIPER que hay cinco técnicas para aplicar un pre-test antes de salir a terreno con el cuestionario de una encuesta. ¿Existe algún protocolo al respecto?
Establecido, no. Hay distintos instrumentos que uno puede utilizar para probar cosas, como por ejemplo, la comprensión de un entrevistado respecto de la forma en que ha sido redactada una pregunta. O, si se quiere darle más precisión, de qué forma es mejor concebida por el encuestado.

-En este caso preciso, el primer cuestionario que llega del ministerio a Microdatos para ser pre-testeado no incluye la pregunta “y11”. ¿Cuál es el cuestionamiento preciso que hace el ministerio a la pregunta “otros ingresos” para incluir más tarde la “y11”?
La pregunta “otros ingresos”, que es residual, comprende no un tipo particular de ingresos sino probablemente más de uno, porque se hace al final, después que se ha preguntado por cada tipo de ingresos. En cierto modo es la forma de preguntar: ¿se le quedó algo en el tintero? En este caso, se la hacen a todos los mayores de 12 años del hogar, incluso a los ocupados, por si se hubiese quedado algo que no respondieron. Lógicamente, a alguien se le puede haber quedado un ingreso y es el momento en que se incluye. Es legitimo tratar de investigar qué es lo que con mayor frecuencia es respondido en esta pregunta global, pero eso requiere hacer un testeo ad-hoc, tiene que ponerse dentro del marco del pre-test. Ahí se le pide a la gente que responda un cierto monto, y después uno insiste: ¿pero ese monto a qué corresponde? Y uno hace explicita la respuesta que está recogiendo. Esto viene, de hecho, en los cuestionarios anteriores a 2009, en los que la pregunta “otros ingresos” va acompañada de un “especifique”, que se escribe a mano. Por ejemplo, si son ingresos laborales de desocupados, eso debiera quedar registrado. No se codifica, pero uno puede volver ahí y decir: ah, es que hubo tal cantidad de gente que me respondió que esta fuente es la que estaba dentro de “otros ingresos”. Si esto se hubiese incluido en el pre-test uno habría esperado una investigación del mismo tipo: preguntar primero por el monto y si hay una respuesta positiva, decirle «explíqueme un poquito más, qué hay ahí dentro». Y de ahí sacar la conclusión de que claramente hay ingresos laborales de desocupados e inactivos. Eso fue lo que no se hizo en un pre-test.

-Y como la pregunta “otros ingresos” viene de antes, ¿tampoco se testeó en esta última encesta CASEN?
No, pero se podría haber recurrido -y es lo que yo estoy planteando que se haga ahora- a una muestra de cuestionarios anteriores, y mirar en los cuestionarios mismos qué respondió la gente. Y en ese momento hacer una codificación de ese campo de la encuesta y poder sacar una conclusión con alguna validez estadística.

-La validez estadística para saber si ameritaba incorporar la pregunta “y11”.
Así es: si era una componente suficientemente importante de los “otros ingresos” como para tratar de investigarla por separado con una pregunta específica. Desgajarla de acá y ponerla por fuera, pero eso como conclusión de la investigación anterior, de que se demostrara que efectivamente en “otros ingresos” había una fuerte presencia de esa fuente de ingresos. Y para eso es el pre-test. Más aún: debió absolutamente ser pre-testeada al intuir el peso que esa variable iba a tener en la cifra final de pobreza.