“Si el MDS argumentó pre-test, tienen que mostrarlos. ¡Los nuestros no son!”

CIPER requirió información del tercer protagonista de la encuesta CASEN 2011, además del Ministerio de Desarrollo Social (MDS) y la CEPAL: el Centro de Microdatos del Departamento de Economía de la Universidad de Chile, unidad que al igual que la CEPAL trabaja en la CASEN desde 1987 (el INE también participa en un factor muy acotado). Su director, David Bravo, uno de los más reputados especialistas en encuestas del medio, está a cargo de Microdatos y del trabajo de campo de la CASEN desde 2000, unidad técnica donde se han recogido históricamente las encuestas y los pre-test a los cuestionarios de la CASEN, con la sola excepción de 2009.

David Bravo es ingeniero comercial de la UC (1991), master y candidato a doctor en Economía de la Universidad de Harvard, investigador afiliado al Population Studies Center de la University of Penssylvania y director académico del Diploma en Evaluación del Impacto de las Políticas Públicas.

Lo que pasó con este preciso pre-test sobre las preguntas “y11” y “otros ingresos” es lo que respondió David Bravo en esta entrevista, realizada en dos tiempos: miércoles 12 de septiembre a las 18:00 y el jueves 13 a las 14:30. Por la importancia de su participación en un tema delicado y en pleno proceso, entregamos exactamente la secuencia de sus respuestas.

-¿Cuál es el trabajo preciso que el Centro de Microdatos de la Universidad de Chile realiza para la encuesta CASEN, del que usted es responsable?
La encuesta CASEN es un levantamiento gigante de datos que además se hace en un contexto muy estrecho de tiempo porque es un proceso que el Ministerio de Desarrollo Social (MDS, ex Mideplan) licita. Como las bases de Contraloría llegaron tarde, el proceso en 2011 finalmente salió como 10 ó 20 días después de lo que estaba en los cronogramas del MDS. Lo que hacemos es fundamentalmente el trabajo de campo de la encuesta, la recolección de los datos, y enviamos la base de datos al MDS, el que toma esa información, le pega la que le manda el INE, que son los factores de expansión que vienen de la muestra, y toda esa información se la manda a CEPAL.

– Porque CEPAL es responsable del resultado final de la encuesta CASEN.
Exacto, CEPAL hace los análisis y el ajuste.

“Esa pregunta ‘y11’ famosa que ya post mortem conoce todo el mundo, no está en nuestro pre-test ni tampoco nos pidieron opinión ni, que yo sepa, opiniones informales. Yo le he preguntado a mi equipo: no sabemos nada del tema”.

-¿En qué etapa de ese proceso se hacen los pre-test que avalan los cambios al cuestionario que ustedes aplican?
Antes de ir al trabajo de campo lo que se tiene que hacer siempre es un pre-test, una encuesta piloto, práctica que está en los estándares mínimos de una recolección seria de encuestas y que, en el caso de CASEN, regularmente implica probar el cuestionario nuevo en una muestra de personas antes de ir a la muestra definitiva. Una muestra que fue seleccionada al azar, que también es aleatoria pero que muchas veces por conveniencia está mucho más centralizada regionalmente. Por ejemplo, este pre-test lo hicimos también, por razones de tiempo, en las regiones V, VI y Metropolitana.

-¿Cuál es la importancia de aplicar un pre-test?
El pre-test es una encuesta piloto que sirve para ver cómo funciona el cuestionario y para detectar eventuales problemas en su aplicación: si las personas entienden mal la pregunta, errores de fraseo, desconocimiento de los términos utilizados… Y en función de eso, quien diseña el cuestionario hace las modificaciones.

-Pero también sirve para probar la comparabilidad, ¿o no?
Sí, en la CASEN así es porque el pre-test se hace en dos grupos en paralelo. A un grupo se le aplica el cuestionario antiguo y al otro el cuestionario nuevo. Y cuando se comparan los resultados de las dos encuestas, se obtiene información que permite tomar finalmente ciertas decisiones. Esto es muy importante en CASEN.

-¿Quiénes son sus interlocutores en el trabajo de la CASEN en el Ministerio de Desarrollo Social?
Al MDS llegó un equipo técnico especializado que sabe de encuestas y que fortaleció la CASEN. Lo trajo el ex ministro Felipe Kast. Mire como son las cosas: nuestra contraparte técnica en el ministerio para esta CASEN 2011 es notoriamente superior a la que teníamos antes. Un interlocutor muy válido, y lo hemos tenido durante todo este proceso. Es muy penoso que ese equipo técnico, al que respeto mucho, esté metido en este asunto.

-Reconstruyamos el camino que se siguió en el proceso de esta encuesta CASEN 2011.
Partimos el 18 de agosto de 2011, cuando el MDS nos dijo: “Aquí están los cuestionarios que ustedes tienen que pilotear, el cuestionario A y el B”. Ese mismo día hicimos una primera reunión. Todo se hizo muy rápido, porque salimos a terreno el 23 de agosto. No nos podíamos demorar porque en octubre había que tomar la encuesta final y antes, había que terminar esta primera sub muestra o réplica y luego venía la segunda. Y la clave es que no te puedes correr en la fecha, porque en la encuesta CASEN la réplica que es comparable con las anteriores tiene que tomarse en ciertos meses y semanas, porque si te corres, ya no es comparable. Este es un trabajo muy intenso, partió el 18 de agosto y hasta el 23 de agosto se hace todo lo necesario antes de salir a terreno para el piloto o pre-test. Eso duró hasta el 2 de septiembre. Ahí recogimos las últimas encuestas de las aproximadamente 1.200 que hicimos en el piloto. Una encuesta CASEN chiquita, pero que incorpora todos los procesos. La base de datos se envía y ahí es donde entra el MDS, que toma la decisión y finalmente nos manda el cuestionario que hay que aplicar.

-¿Ustedes no intervienen en esa decisión final?
El MDS toma las decisiones, para lo cual usan nuestra información y la que estimen conveniente, porque el responsable por el cuestionario es el ministerio. Así lo dice nuestro contrato. Antes, el año 87, esto era un poco más colegiado, pero hoy prácticamente está todo radicado en el MDS. Eso tal vez es parte del problema.

-Entonces, respecto de los pre-test, es el MDS el que les indica qué preguntas y materias testear.
El pre-test entra el primer día. En esa primera reunión técnica del 18 de agosto vimos los cuestionarios que nos mandó el ministerio con la indicación: “Esto hay que pre-testearlo”. Si tú detectas algo, se lo comentas, pero esto es muy rápido, porque si el 23 de agosto tienes que estar en terreno, entre el 18 y el 23 tienes que capacitar a la gente. Ello implica imprimir el cuestionario, hacer un manual para los encuestadores y luego convocarlos.

“NO HAY NADA REFERENTE A LA ‘Y11’ EN NUESTRO INFORME”

-¿Les pidió el MDS un pre-test para la pregunta “y11”?
No en nuestro pre test. En el pre-test oficial no está la pregunta que recoge la “y11”. La “y11” es una pregunta que no estaba en el pre-test. Por lo tanto, no hay nada referente a eso en nuestro primer informe que se entrega en septiembre.

-¿Y no hay ningún aspecto relacionado con la pregunta “otros ingresos” del cuestionario anterior y que determine la inclusión de la “y11” en su informe al MDS?
Nada. No tenemos ninguna pregunta sobre el tema y tampoco dimos ninguna opinión sobre la materia, porque para haber dado alguna opinión institucional tendríamos que haber tenido esa pregunta. Si me lo pregunta, este es un tema que salió después: no estuvo en el pre-test.

-¿La pregunta se agregó en el cuestionario final que le envió el ministerio después del informe de los pre-test?
Nos llegó en el cuestionario final. Y como todo esto es muy vertiginoso, llega el cuestionario final, tienes que partir a terreno y nos dimos cuenta en el camino que estaba la pregunta “y11”. Esa pregunta “y11” famosa que ya post mortem conoce todo el mundo, no está en nuestro pre-test ni tampoco nos pidieron opinión ni, que yo sepa, opiniones informales. Yo le he preguntado a mi equipo: no sabemos nada del tema. ¿Quiere decir esto que no haya pre-test? Yo sólo puedo dar cuenta de lo que conozco.

-¿Quién más en este esquema de trabajo de la encuesta CASEN puede hacer pre-test?
Cualquier institución encuestadora. No sé si ocurrió así, pero le pongo un ejemplo: en las múltiples encuestas en que yo he dirigido el proceso completo, he estado en esta circunstancia en la que tienes un cuestionario y luego, cuando ya partiste el pre-test, tienes algo que quieres hacer. ¿Qué es lo que regularmente uno hace?: otro pre-test, o un pre-test más chico para focalizar ese problema. Si esto se hubiera detectado y se hubiese querido hacer un pre-test sobre la “y11”, me imagino que el equipo técnico del ministerio debería haber dicho: “Bueno, el equipo de Microdatos está trabajando en este pre-test grande, pidámosle a alguna otra institución que haga este pre-test”. Pero eso debería quedar reportado.

-Por transparencia y por claridad metodológica.
Claro, cualquier acción de un funcionario público queda reportada, pero metodológicamente también es necesario. El informe metodológico de una encuesta debería incluir eso. Probablemente es parte de las cosas que todavía falta por incorporar. Y ahora sí importa, es clave.

-¿En esas especificaciones metodológicas está el sello de calidad?
Sí, aunque sea la parte invisible. Por esa razón nosotros nos jugamos en las cosas que nadie mira, porque aparte del error muestral está el error no muestral en las encuestas, que puede ser tan grande como el otro y que es cómo uno hace la encuesta. Los mecanismos de calidad son clave en el trabajo de una encuesta bien hecha y nosotros gastamos tiempo documentando. Eso lo tiene súper claro el equipo técnico del ministerio que encabeza Carolina Casas-Cordero, una de las personas que probablemente más sabe de este tema y que tiene clarísima esa exigencia.

– ¿No encabezaba ese equipo técnico Andrés Hernando en el MDS?
Puede ser que Hernando haya sido el jefe de Carolina Casas-Cordero, pero mi contraparte, siempre, ha sido ella. En este lenguaje técnico nos entendemos. Ahora, hay cosas de las que yo no soy informado ni tampoco tengo por qué ser informado. Por ejemplo, ellos encargan a quien quieran una supervisión externa de nuestro trabajo en terreno. Es parte del contrato.

-¿Qué pre-test se hicieron para esta encuesta 2011?
Se pre testeó el cuestionario. Le puedo mostrar el informe… Es bien incómoda la situación, porque todos estos informes que entregamos son reportes que debieran ser parte de un documento metodológico que se entregue con los resultados o más tarde, pero que se entregue.

LA CAJA NEGRA

“En esta oportunidad, desgraciadamente, se abrió la caja donde nos dimos cuenta de cuán sensible era el sistema que aplica la CEPAL. Equivale como al margen de error”.

-Y ustedes los hacen para que sean publicados, conocidos.
Claro, tal como los informes que tampoco se han conocido nunca y que CEPAL le manda al ministerio con los datos donde documenta todo su trabajo y, además, abre la caja negra. Porque lo que hace CEPAL siempre ha sido una caja negra, en términos de que los datos no se tocan. Porque cuando levantamos una información que viene de una persona encuestada, ese dato es sagrado, uno puede decir que tiene problemas de consistencia, un error, cosas que se chequean en terreno, pero una vez que los datos vuelven, eso que está ahí no se toca. Se entregan al ministerio. Para muchos de los investigadores que participamos en estas discusiones, los datos que las personas responden, aun cuando entre comillas parezcan inconsistentes, no debieran tocarse. Y si se hace, debiera haber total transparencia respecto de cómo altero esos datos. Entonces, lo que hace CEPAL, y lo ha hecho siempre, es que ellos toman los datos, hacen ajustes por no respuesta y después hacen el ajuste vía cuentas nacionales, y ese procedimiento, la información de cómo se hizo, no se reporta. Y la esencia de este trabajo un poco más científico, es que alguien pueda rehacer lo que hicimos. Por eso, durante largo tiempo, desde antes de la encuesta CASEN 2006, nosotros y muchos académicos hemos venido pidiéndole al ministerio que entregue los datos sin ajustar.

-¿Por qué cree usted que no se entregan los datos sin ajuste?
Mire, esto no tiene que ver con este ministro. Es una demanda que hoy es transversal. Si le pregunta, por ejemplo, a Ignacio Irarrázaval de la Universidad Católica, a Rodrigo Castro… Está siempre esa sensación de que al gobierno que le toca enfrentar esta demanda dice: “Nosotros vamos a entregar los datos, como no hay ajuste de ingreso, el índice de pobreza va a aparecer mayor y yo voy a pagar los costos”. Y lo que tienen que hacer es entregar todos los datos hacia atrás, para que se reconstruyan las series…

– Usted trabaja en la encuesta CASEN desde 2000, con acceso a datos de primera categoría para entender cómo ha evolucionado la pobreza en este país. Dejando de lado la transparencia de los datos, ¿está estancada, mal medida, cómo ha evolucionado?
Los datos que conozco son los mismos que conocen todos: trabajamos con datos públicos. Nosotros recolectamos los datos con mucho detalle, pero esa base de datos es un levantamiento que por contrato hacemos para el MDS: no tenemos independencia para poder trabajarlos. Tampoco se puede, porque no tiene los factores de expansión que entrega el INE. Entonces, lo que yo conozco son los mismos datos que todos los investigadores: los que se publican. Del ajuste que hace después CEPAL, a veces da un reporte, a veces no, pero nunca se incluye en un documento metodológico del ministerio. En esta oportunidad tampoco. Si usted se fija, el documento metodológico del MDS no incluye lo de CEPAL y debería haberlo puesto como anexo, de manera tal que diga: “Se tomaron estos datos y esto fue lo que se hizo”. Si CIPER no hubiera preguntado si había dos resultados de la CEPAL, no hubiera salido el tema en cuestión de la minuta…

– ¿Y cuál es su apreciación a partir de esos datos ajustados?
Mirando la serie completa, mi apreciación es que Chile ha tenido una baja en el indicador que se ha puesto: pobreza e ingreso. Y evidentemente, entre el 2006 y ahora estamos relativamente estancados en lo que se refiere a pobreza de ingreso. Cuando de alguna manera se anunció esta caída en la pobreza, yo di mi opinión: advertí que la caída era leve si uno consideraba el margen de error que se había reportado previamente en CASEN. No sé si usted sabe, pero si va a los documentos metodológicos de 2009, 2006 hacia atrás, el margen de error de la CASEN era 0,36, 0,4, más o menos. En esta oportunidad fue 0,81, pero además calcularon para atrás y todos subieron, lo cual probablemente indica que los calcularon mejor. Yo entiendo que es un error metodológico no entregar la ficha técnica de la encuesta. Por cierto, a mí me violenta. Me molesta que no se entregue y no le hace honor al equipo técnico que está detrás. Pero cuando se habla de una caída de la pobreza, desde el punto de vista ético, si yo lo enfatizo, es porque es estadísticamente significativo. La caída del 15,1 al 14,4 era de 0,7; y si el margen de error que había reportado antes el ministerio para las encuestas era 0,4., ¿cuál es mi conclusión?: una caída muy leve. Después nos enteramos todos de que en realidad no era así, y que el margen de error por diseño era 0,7, y ahora es 0,81. En consecuencia, yo comparto esa crítica a la forma cómo se entregó.

“Yo todavía le doy el beneficio de la duda al equipo técnico del MDS que ha estado en esto. Quizás hay alguna separación de lo que son responsabilidades más bien políticas…”

– ¿Por qué cree usted que no se entregó la información de respaldo y los pre-test?
Honestamente, la única respuesta la encuentro en lo que ustedes en CIPER descubrieron de lo que había ahí… Porque nosotros no incluimos en el pre-test la “y11”, y eso es un hecho. Además, cualquier persona que pida el informe de Microdatos lo verá: ahí está la constancia.

– Andrés Hernando le dijo a CIPER que él tampoco vio los pre-test de la “y11”, y que él le dio fe a lo que le dijo Carolina Casas-Cordero.
Creo que Carolina Casas-Cordero es la única persona que le puede responder esa pregunta, porque si efectivamente hubo pre-test sólo los pudo haber encargado ella. Y si no hubo pre-test yo supongo que eso es lo que debería haber salido en una minuta que a estas alturas todos estamos esperando.

– ¿Un pre-test necesita tiempo de procesamiento para ser informado públicamente?
Un pre-test es un hecho, es una mini encuesta. Y se hace antes de que Carolina Casas-Cordero me escriba a mí y al equipo de Microdatos: “Aquí va la versión final del cuestionario”. Y eso fue el 16 de septiembre. Ahí la etapa de los pre-test tiene que estar terminada. Ya los hiciste. Los pre-test tienen que ser realizados antes de la fecha en que nos comunican el cuestionario final. Y si no hiciste pre-test, tienes que dejarlo consignado en alguna parte: “No tuvimos el tiempo, no lo hicimos”.

-Pero en este caso, lo que queda consignado es que el pre-test sí está hecho. Lo dice el MDS en la minuta que le envió a la CEPAL el 14 de julio para incorporar la variable “y11” que modificó la cifra final.
Nosotros no podemos hablar al respecto, porque no pre testeamos esa pregunta. En consecuencia, no tengo evidencia que aportar. Y si ese pre-test se hizo, es obvio que tuvo que haber sido hecho antes de ir a terreno, fecha que yo sí conozco exactamente porque el 16 de septiembre nos llegó un correo diciendo: “Éste es el cuestionario final, apliquen”. Eso le da más o menos los márgenes de hasta dónde se pudo haber hecho ese pre-test. Ahora, un pre-test es un trabajo en terreno, se hace con cierto rigor, con personas, con hogares. Nosotros nos demoramos 10 días, entre el 23 de agosto y el 2 de septiembre, y tuvimos que capacitar a los encuestadores antes. Entonces, si aquí hubo un pre-test, tal vez hubo un trabajo paralelo…

-Le insisto: debe haber una razón para que transcurridos 48 días desde que se entregó la cifra final de pobreza aún no conozcamos ese pre-test.
Deberían hacer público el informe que nosotros entregamos. Si el tema es el pre-test, sería bueno que nuestro informe se conociera. Y por eso me interesa hablar con usted. Porque a mí no me habían hecho la pregunta y yo consideré que no tenía que andar informando lo que no me han preguntado. Pero si usted me hace la pregunta, por supuesto que le tengo que decir que no está en nuestro pre-test la variable “y11” tal como la conocemos ahora. La “y11” es nueva, se metió después de que nosotros pre-testeamos. No estaba en el cuestionario que pre-testeamos y que nos enviaron el 18 de agosto de 2011. En el cuestionario nuevo final aparece la “y11” tal como la conocemos. ¿Eso es factible?: sí, pero no estaría avalado por un pre-test, porque el pre-test es para evaluar una pregunta antes de que se aplique y tiene como objetivo modificar el cuestionario.

-Pero si no se hizo antes, ¿lo puedo hacer después?
¡No! Yo puedo mandar a 100 personas a aplicar una encuesta, y a eso le puedo llamar pre-test, pero esas personas hicieron su trabajo de campo con fecha 2012. Entonces, cuando yo hago un pre test, que es una encuesta, son personas que trabajan en días muy específicos.

-¿Puedo fabricar un pre-test técnicamente?
… eh… Eso seria una violación completa a la ética. Nosotros además, somos una institución pública. Es un problema que tiene que tomar la Contraloría. Porque, por ejemplo, tenemos pagos a encuestadores con fechas precisas, trabajo de campo… Si yo lo hago un mes después…, yo no hago un pre-test con mis amigos… Tendría que reportar quién hizo el trabajo, cuándo, cómo lo hizo. Mire, cuando nosotros hacemos un pre test queremos chequear en condiciones equivalentes, y es antes.

– ¿Se puede falsificar un pre-test?
Es que yo tendría que construir una historia. Ahora, ¿esto lo pudo haber hecho el ministerio? Bueno, que le pregunte la Contraloría. Además, estarías invalidando el instrumento. Esa encuesta no la puede hacer el ministerio, eso invalida el pre-test, por algo contratan a una institución externa.

“NO ES STÁNDAR LO QUE HACE LA CEPAL”

– ¿Le parece plausible, dados los hechos que tiene a la vista, que sólo incorporando la variable “y11” la pobreza haya bajado de 15 a 14,4 en los dos informes de CEPAL?
Aquí entramos al tema al que por mucho tiempo hemos querido entrar. Cuando yo repetidamente he llamado lo que hace la CEPAL una caja negra, no he buscado ser peyorativo. Nosotros tenemos un respeto muy profundo por los datos que se recogen, que tienen un margen de error, porque las personas cuando responden a veces se equivocan. Pero considerando eso, lo que responde un encuestado es algo válido. De ahí en adelante, si yo toco ese dato, lo tengo que dejar escrito y reportado, de manera tal que cualquier investigador pueda reconstruir el método.

– ¿Podría ser más preciso en lo que está diciendo?
Que no es estándar lo que hace la CEPAL.

– ¿Se refiere a que debe haber un sistema que garantice que nadie pueda manipular los datos?
Exacto. Por ejemplo, el INE hace una encuesta de ingreso los últimos trimestres, una encuesta suplementaria de ingreso. El INE no hace el ajuste que hace CEPAL de cuentas nacionales, no toca los datos. Me podrían decir: “Es que lo hemos venido haciendo así”. Se puede argumentar que CEPAL lo hace por encargo del MDS. Pero yo no lo haría. Y lo vengo diciendo desde hace diez años: no lo haríamos. No está dentro de nuestros principios tocar los datos en ningún sentido.

– ¿Ese tipo de prácticas determinan finalmente esta enorme sospecha que se ha instalado ahora respecto de la inclusión de la variable “y11”?
En esta oportunidad, desgraciadamente, se abrió la caja donde nos dimos cuenta de cuán sensible era el sistema que aplica la CEPAL. Equivale como al margen de error. Entonces, cuando nosotros nos abocamos a que los datos estén levantados de manera tal que el error que viene de los encuestadores sea el mínimo, un trabajo meticuloso que asegura la calidad de los datos, que disminuye el error no muestral, el trabajo de una institución que quiere hacer las cosas seriamente; y resulta que viene después otra institución, toma estos datos, lo que respondió la gente, y le chanta unos factores… De acuerdo, dirán que así lo vienen haciendo desde 1987, pero entreguen los datos sin ajustar de manera tal que cualquier investigador pueda reconstruir el camino. ¡Así funciona en la academia! Por lo menos entrégalos. ¡Hay que encender la luz!

-¿Usted habría aceptado cambiar su primer resultado oficial, como lo hizo la CEPAL, en virtud de una minuta que no trae anexados los pre-test que avalan la inclusión de la “y11”?
Es que yo no habría hecho lo que hace la CEPAL. Yo no habría hecho ni siquiera la primera vuelta. Sobre el resto, no puedo opinar porque no sé cuál es el contrato que tiene la CEPAL con el ministerio ni cuáles son los estándares. El único que puede hablar de eso, porque ha sido la misma persona todos estos años, es Juan Carlos Feres.

-Juan Carlos Feres le dijo a CIPER que es la primera vez desde 1987 que el gobierno de turno le pide cambiar un resultado.
Precisamente por ello, la pregunta clave es por qué lo hizo. El problema es la responsabilidad que cada uno asume. Cuando yo asumo la responsabilidad del trabajo técnico del levantamiento de la encuesta, lo asumo con todos los costos.

– Pero el problema de credibilidad también recae sobre ustedes, Microdatos y la Universidad de Chile.
Pienso que nosotros estamos bastante… Mire, yo estoy preocupado por la encuesta CASEN. Porque ahora nosotros tenemos a cargo el proceso 2012 de la encuesta que está comenzando…

-¿Me está diciendo que a pesar de la gravedad de las sospechas no dilucidadas, Microdatos está trabajando en la encuesta CASEN que ahora será anual y se entregará el próximo año sin ningún cambio al sistema?
Sí, esta encuesta se licitó, las bases fueron a la Contraloría este año y hace unas pocas semanas supimos que habíamos ganado la licitación…

– ¿Y están haciendo el trabajo a pesar de que la CEPAL no ha dicho si continuará haciendo el análisis final oficial?
Bueno, la discusión surgió después de que nos presentamos a la licitación. Nos comprometimos a hacer lo que está en el contrato. Y fue antes de la polémica. Pienso que es fundamental que la autoridad despeje estas materias lo antes posible, antes de que nosotros vayamos a terreno en octubre.

“No entiendo por qué necesita tiempo para liberar los datos con el detalle de los ingresos. ¡Esos datos ya están! Los mismos datos de la CEPAL, pero con el detalle de la ‘y11’, con los datos ajustados, o incluso sin ajuste, ¡por qué no los liberan!”.

-¿Cree posible trabajar en una encuesta fidedigna sin que se hayan aclarado todas las dudas y sospechas sobre la encuesta CASEN 2011?
Necesitamos que el ministerio dé cuanto antes una señal bien precisa sobre esta materia. A mí me tocó ir a unas reuniones que organizó la subsecretaria del MDS hace un par de semanas, después que surgieron algunos elementos de esta discusión, pero antes de los artículos de CIPER. Soledad Arellano llamó a economistas que han participado en la discusión. A la reunión que fui -porque hicieron varias- estaba Osvaldo Larrañaga; Rodrigo Herrera del PNUD; Vicente Espinoza de la USACH; Jaime Ruiz Tagle, de la Universidad de Chile; Arístides Torche, profesor de la Católica… Creo que la subsecretaria quiso ahí responder a ciertos puntos. Pero en ningún momento de esa reunión tuvimos información de lo que salió después en CIPER: de la interacción que hubo con CEPAL.

-¿Soledad Arellano no les informó que había habido dos resultados oficiales de la CEPAL y que el segundo fue producto de una minuta de su ministerio?
No. Y ahí hubo un error. Como otros, que por lo menos yo se los dije a la subsecretaria en esa reunión: las cosas que se debieron saber el día uno. A las cinco preguntas que surgieron, deberían haber mandado a un responsable técnico que hubiera dicho: “Las respuestas a estas cinco preguntas son las siguientes. Sobre la base de datos, va a estar el 10 de septiembre, por decir una fecha; la base de datos con ajuste y sin ajuste se las vamos a entregar el 20 de septiembre”. Un cronograma, pero poner fechas. La subsecretaria en esa reunión tampoco dio ninguna fecha. Fue vaga cuando podría haberlo precisado, al menos una estimación. No espero que hagan una autocrítica pero hubiese sido bastante útil que hubiesen dicho: “Sí, en realidad deberíamos haber hecho lo que regularmente se hace, que es que antes de entregar los datos yo entrego los aspectos básicos…”. Lo que es peor y que sigue aumentando la polémica, es que aún no entrega un cronograma.

– ¿La subsecretaria no les informó en esa reunión del cambio de la cifra final en virtud de la minuta del ministerio para incluir la pregunta “y11”?
No, no, nada de eso. Es parte de la “caja negra del proceso”, lo que yo siempre he criticado y que en esta vuelta dejó en evidencia que a veces nos preocupamos mucho del error muestral, pero acá tienes de un plumazo una decisión arbitraria sobre cosas que deberías resolver antes de conocer los datos. Jamás después.

-Con mayor razón: ¿está consciente de que involucra el prestigio de la Universidad de Chile al aceptar realizar el trabajo de la nueva encuesta CASEN?
Por supuesto que ese tema nos preocupa. Efectivamente, hay una cuestión de credibilidad que es clave…

-¿Por qué Microdatos sigue participando si no están resueltos los problemas de credibilidad, metodología y sin certeza de que la evaluación final se hará sin interferencia?
Por dos razones: hay una obligación contractual; y honestamente, históricamente, lo que aquí ha habido es un principio de buena fe.

-¿Buena fe de quién?
Lo que ha operado es la institucionalidad. Lo más crítico es que esto no puede estar radicado en un ministerio. Da lo mismo que se tenga un equipo técnico muy especializado, porque al final, el problema surgió.

“ENFRENTAMOS UNA SITUACION DELICADA”

-En 2009, Microdatos no participó en la licitación del trabajo en terreno de la encuesta CASEN por un problema ético del uso final de los datos (ver recuadro). Usted tomó la decisión y es la única vez, desde 1987, que la Universidad de Chile no participó. ¿No es este un problema ético igual de importante?
Es un buen punto el que plantea… Ahora, claro, es multiplicado. Enfrentamos una situación delicada. Tenemos un contrato suscrito que tiene obligaciones y, por cierto, la calidad de la información que nosotros vamos a recolectar en octubre se va a ver afectada por esta discusión abierta. Por eso la polémica debiera cerrarse con urgencia. Eso es lo que hemos estado diciendo en el ministerio: “Entreguen la información”.

– ¿Qué le responden?
No nos han dicho nada… Yo no he hablado con Carolina Casas- Cordero. Hemos conversado el tema con Soledad Arellano, quien nos ha dicho lo que ya se conoce: estamos liberando la información. Efectivamente, esto es inédito en lo que ha sido la historia de las encuestas CASEN. Y como el trabajo de terreno es el bien más preciado, hay que liberar los datos. ¡Todos queremos que se liberen! Nosotros podríamos aislar el trabajo de terreno original de todo el ruido final, mandarle esto a un panel internacional o a quien sea, a cualquier investigador y luego se podría rehacer…

-Bien mezquina su apreciación: para salvar el prestigio de la Universidad de Chile usted mostraría su trabajo, ¿y qué pasa con el resto del proceso?
No, no, no, lo que le estoy diciendo es que el problema con la caja negra es que hay que abrirla. Hoy existen mecanismos que antes no existían que permiten abrir esa caja, entre otros, la Ley de Transparencia.

-¿Qué pasaría si no existe un pre-test que avale técnicamente la inclusión de la pregunta “y11” y no se entrega la base de datos sin el ajuste de la CEPAL?
Sería una vergüenza. Es impensable que algo así ocurra, hablaría mal de las instituciones y de los equipos. Yo todavía le doy el beneficio de la duda al equipo técnico del MDS que ha estado en esto. Quizás hay alguna separación de lo que son responsabilidades más bien políticas… Si efectivamente el ministerio argumentó la presencia de pre-test, tienen que ser mostrados. ¡Los nuestros no son! Deberían darnos una explicación o haberla dado en un principio. Si hubo pre test es imprescindible que los pongan a disposición. Y si argumentaron que los hubo y no los hubo, es una vergüenza. Si en realidad argumentaron vagamente, tal como aparece en la minuta, eso también es una vergüenza para el ministerio y para la CEPAL, porque la pregunta es por qué tú aceptas una cosa de esa naturaleza. Y nosotros estamos en el filo…

-La subsecretaria Arellano responde que necesita tiempo para liberar todos los datos. ¿Qué tiempo se necesita técnicamente para mostrar un pre-test?
Yo no entiendo por qué necesita tiempo para liberar los datos con el detalle de los ingresos. ¡Esos datos ya están! O sea, los mismos datos de la CEPAL, pero con el detalle de la “y11”, con los datos ajustados, o incluso sin ajuste, ¡por qué no los liberan! Ya los tiene, no necesita tiempo para eso.

-¿Cuál es el límite que Microdatos se ha puesto para seguir trabajando en la encuesta CASEN 2012?
Nosotros vamos a seguir en la medida que estén las condiciones mínimas para poder hacer bien nuestro trabajo. Y a mi juicio, las condiciones mínimas están dadas. Hay una fecha límite: en octubre empieza el trabajo de terreno. Ya estamos haciendo el pre test, que tiene este problema. Efectivamente, podemos argumentar que las condiciones no están dadas en un cierto momento. Es una decisión delicada que tiene aspectos administrativos contractuales: cumplir o no cumplir un contrato. Pero más allá de un tema de abogados, el problema es si la información que se va a recoger está en peligro de ser recogida con una calidad mínima necesaria. Eso no tiene que ver con este gobierno ni con el anterior: es una línea que no vamos a cruzar. Todavía no estamos ahí. Pero estamos bastante cerca.

-Se refiere supongo a la garantía del uso que se dará a los datos que ustedes recogen minuciosamente en terreno y a lo largo de todo el país.
Ahí empezamos a tocar el corazón del trabajo: para qué se usan estos datos. Porque se pueden corregir malas políticas, malas decisiones, liberar los datos y rehacer un montón de estos cálculos; pero si tocaste el trabajo de terreno, tocaste el corazón de esta encuesta. Y ahí a nosotros se nos cruza una línea ética, política… Porque nosotros respondemos por la calidad de los datos que recolectamos.

-Si dice que la única que pudo encargar un pre-test en el MDS es Carolina Casas-Cordero, su interlocutora, ¿por qué no le pide a ella los documentos técnicos y el pre-test?
He sido relativamente formal, porque ella ha sido contraparte técnica y su nombre salió a raíz de la minuta técnica a la CEPAL que firmó con Andrés Hernando…

– ¿Le sorprendió que Andrés Hernando dijera en entrevista con CIPER que se sentía usado?
Me sorprendió bastante. Además que evidentemente no cuadra toda esta teoría conspirativa de la que se habla si Hernando, el jefe del equipo técnico, hizo esas declaraciones. Muy sorprendente. CIPER puso el dedo en la llaga y ese es un cambio de escenario. Porque han ocurrido cosas bastante inéditas que han reforzado lo que yo y otra gente venimos diciendo: que falta una mejor institucionalidad, que hay que liberar las bases de datos sin ajuste y con ajuste, de manera que uno pueda revisar la historia. Ese es un aspecto. Ahora, si se argumentó que había pre-test y en realidad no fue pre testeado, eso es un tema que tiene que ver con ética, veracidad. Muy delicado.

– ¿Qué se hace ahí?
Ese es un punto que debe ser aclarado de manera muy rápida: se hizo o no se hizo. Y si no se hizo, que se argumente y justifique. Tienen que dar una explicación técnica. Y ahí la pregunta será a Feres o a quien sea de por qué la CEPAL no pidió la evidencia. Y por favor, entreguen los datos y veamos si estamos en condiciones de que esto funcione o estamos en un nivel de escalamiento de un problema que hace que en realidad no haya condiciones para que esta encuesta se levante. Ahí es donde entramos nosotros. Es evidente que aquí todos los que participan en la encuesta CASEN estamos involucrados.

JUEVES 13 SEPTIEMBRE (14:30)
LOS FOCUS Y EL INFORME OFICIAL DE MICRODATOS

“Lo que el ministerio puede haber inferido de nuestra información, eso tendrán que justificar ellos cómo lo hicieron y en base a qué elementos. Nuestro informe está ahí y ellos lo podrían hacer público”.

-¿Tuvo otras preguntas nuevas -como la “y11”- en el último cuestionario de la CASEN 2011 que no fueron pre-testeadas?
Me parece que no. Y desgraciadamente es una pregunta que resultó ser determinante. Como le dije ayer, el proceso de pre-test partió el 18 de agosto de 2011. Se hizo en un trabajo de campo entre el 23 de agosto y el 2 de septiembre. A eso nosotros le agregamos dos componentes de información, cosas que quizá ayer no le comenté: lo primero es que le aplicamos a las personas que hicieron la encuesta pre-test un pequeño cuestionario. Básicamente para detectar de manera más cualitativa, y con preguntas bien precisas, si hay algún aspecto que consideran que no funcionó en preguntas específicas. Los encuestadores tienen la posibilidad de decir: “Esta pregunta no se entiende”. Esa información también está en nuestro informe.
Hay otro elemento que es más cualitativo: se hace una reunión donde se pone en una mesa a los jefes de grupo -los jefes de los encuestadores, pero que también hacen encuestas- con los sectorialistas del ministerio que diseñaron el cuestionario, más gente nuestra. Yo no estuve en eso. Es como un focus. Entonces, se tantea con ellos. Esas tres piezas de información son las que de acá salen al MDS, las que ellos deberían usar para efectos de definir el cuestionario final. Si ellos usan otra pieza de información, no lo sé.

-Repasemos las fechas en que se hicieron cada una de esas etapas hasta el informe final de sus pre-test para la encuesta CASEN 2011 que Microdatos envió al MDS.
Terminamos el trabajo de terreno el 2 de septiembre de 2011. Entre el 2 y el 9 de septiembre se procesaron los datos y se mandó la base de datos. Es así de rápido. Y mandamos el 9 de septiembre el informe escrito. Este focus group, que es importante para tantear y responder preguntas, se hizo el 5 de septiembre. El grupo técnico que trabaja ahí son todos los sectorialistas del MDS. Y el 16 de septiembre recibimos el cuestionario final.

-El Ministerio de Desarrollo Social argumenta en la minuta que le entregó a CEPAL –“Inclusión de la variable ‘y11a’ en cálculos de pobreza”– que de acuerdo al pre-test, se infiere que en la variable “otros ingresos” estarían contenidos los ingresos laborales de desocupados e inactivos…
Puede haber sacado esa deducción el ministerio… Quiero ser bien preciso en eso: no está en nuestro informe, ¿ok? Me pongo al otro lado de la mesa. ¿Qué tengo?: información cualitativa, que son básicamente estas entrevistas que tuvieron los sectorialistas del ministerio con los jefes de grupos nuestros. Puede haber salido alguna pregunta ahí sobre la materia, pero nosotros no tenemos registro de esa reunión puntualmente tal como salió. No está en nuestro informe.

-¿Eso significa que en ninguna etapa de los pre-test ustedes informaron sobre “otros ingresos”?
Nosotros no informamos sobre esa materia. Lo que el ministerio puede haber inferido de nuestra información, eso tendrán que justificar ellos cómo lo hicieron y en base a qué elementos. Nuestro informe está ahí y ellos lo podrían hacer público. Sobre estas materias es bien escueto… Mire, yo hoy tuve una reunión en el Ministerio de Desarrollo Social, porque estamos en medio del piloto, y les pregunté de manera expresa sobre el tema de la “y11”. Les dije que le había dado a CIPER una entrevista sobre la materia, que me había hecho esta pregunta, y que es fundamental que alguien técnico del ministerio aclare esto y salga a responder. Ellos me confirmaron que en realidad no hicieron ningún pre-test. O sea, toda esa elucubración que surgió en algún momento…

-No es elucubración, está escrito en la minuta técnica del MDS, firmada por Andrés Hernando, Carolina Casas-Cordero y Alfredo Martín, enviada a CEPAL el 14 de julio, donde se pide la inclusión de la “y11”, avalado por la existencia de “pre-test”.
Bueno, una persona confiable del ministerio, a la que me gustaría que usted llamara, en el fondo a mí me dijo: “Bueno, no hay pre-test. Lo pusieron ustedes, más los elementos que ustedes nos mandaron”. No es que ellos encargaran un pre-test especial.

-Entonces es gravísimo para Microdatos porque en la minuta a CEPAL dice textual: “experiencias recogidas durante el pre-test de la encuesta CASEN 2011 –así como también de la experiencia del contratista CASEN 2011 (Centro de Microdatos de la Universidad de Chile)-indican que…” Más adelante: “de la evidencia del pre-test es altamente posible que parte de esta información…” Y hay otras tres menciones al pre-test, que entonces sólo ustedes hicieron.
Nosotros no tenemos ninguna recomendación expresa. Ni sobre la “y11” ni sobre “otros ingresos”. A la persona que me dio la información le dije: “Dile a la subsecretaria que le pido que salgan lo antes posible a decir exactamente qué hicieron. Den a conocer la minuta que enviaron a la CEPAL. Entréguenla. Entreguen todo de una vez y háganlo ya”. Mire, ayer, la parte que más me incomodó fue cuando usted me preguntó si un pre-test se podría fabricar. Yo le vuelvo a reafirmar todo lo que ya le dije: es muy difícil que eso no se pille. Menos con la lupa que hay en este minuto sobre esto…

“Si usaron nuestro nombre de manera indebida, y si esto tuvo algún efecto sobre Juan Carlos Feres en cómo reaccionó al cambiar su informe final, ahí es otro el escenario”.

-Le reitero, en la minuta del MDS a CEPAL dice exactamente, después del título “Mejorar Captura de Otros Ingresos”, “experiencias recogidas durante el pre-test de la encuesta CASEN 2011, así como también de la experiencia del contratista CASEN 2011 (Centro de Microdatos de la Universidad de Chile)”…
No, eso segundo no es correcto, porque si así fuera, nosotros lo hubiéramos dejado establecido en nuestro informe. Nosotros vamos a tener que desmentir eso. Desgraciadamente…

-Lo está haciendo con CIPER en este momento.
Claro, pero cuando conozcamos públicamente lo que es la famosa minuta vamos a tener que hacer una declaración formal. Nosotros tenemos el informe que entregamos al MDS. Y aquí está. Usted lo puede revisar íntegramente (lo muestra página por página). Esta es la versión final que queda. Son temas de actas, reuniones y tiene el informe de pre-test en la página 19. Un análisis de los datos y la base de datos final que se entrega en un CD. Están anexos los cuestionarios que se implementaron. La “y11” tal como la conocemos no aparece… Después viene cómo y cuándo se capacitaron los encuestadores… Los informes son bien precisos. Metodológicamente, tienes que consignar si hubo alteración de algún tipo. Y si encargas un pre-test debería venir con un exceso de detalle. Y finalmente cuántas encuestas se hicieron: 1.194.
Cuando los encuestadores terminan su trabajo, nosotros les aplicamos una pauta para que ellos nos den algunas impresiones. Y ahí en el informe hay un resumen de lo que rescatamos. “¿Cuáles fueron las preguntas más frecuentes que le hicieron los entrevistados sobre la encuesta?”. Vamos a la parte de ingresos: “¿Nos podría indicar si en alguna de las preguntas hubo algún problema de comprensión en la formulación de la entrevista o con el contenido de alguna de ellas?”. Obvio que nadie va a hablar de la “y11”, porque no estaba tal cual la conocemos, pero no hay nada sobre su contenido y tampoco apareció la “y22” de la asignación…
“Y” son las preguntas de ingreso. Está una referencia a la asignación social, por ejemplo: véala aquí, los encuestadores dicen que falta claridad en el concepto. Se vieron pocos datos. Poca gente reporta tener una asignación social, la gente la desconoce. No sabe de lo que está hablando… Estos son los informes.

-Podemos seguir leyendo…
Por supuesto, véalo completo, para eso se lo estoy mostrando, ya que el ministerio no lo libera… Este es sobre el cuestionario: comentarios al cuestionario utilizado en pre-test de los coordinadores de grupo, que son los jefes de los encuestadores. Básicamente, referencias a cómo el manual debería mejorar… Acá tampoco se desprende explícitamente nada que tenga que ver con el tema en cuestión. Vamos a las encuestas. Aquí viene el tema de lo que recogimos en el pre-test, los datos y hay un foco en algunas preguntas. Vamos a la pregunta Y, de ingreso. Cuestionario A y cuestionario B. Estas son las preguntas… Nada sobre el tema en cuestión. Este es el análisis que nosotros hacemos…

-En ese informe de pre-test entonces no hay nada referido a cómo mejorar “otros ingresos”.
Nosotros no decimos nada de esto explícitamente. Yo no conozco la minuta que le envió el ministerio a la CEPAL y para mí el principio de la buena fe es clave. Especialmente en la interacción con equipos técnicos. Yo no me meto con ministros y compañía. Lo que debe hacer el MDS es publicar esa minuta. Ahora, si viene el ministerio y dice: “No, en realidad nos equivocamos. Fuimos nosotros los que dedujimos esto”, y usaron nuestro nombre de manera indebida, y si esto tuvo algún efecto sobre Juan Carlos Feres en cómo reaccionó al cambiar su informe final, ahí es otro el escenario.

-De acuerdo a lo afirmado por Feres, el hacer mención a los pre-test en la minuta para avalar la inclusión de la pregunta “y11” fue determinante. Si efectivamente no hubo un pre-test como corresponde, la CEPAL puede argumentar haber sido engañada. Un hecho así tiene múltiples y graves repercusiones.
Yo me muevo por evidencia. Supongo que usted también. Por lo tanto, para ambos es clave esa evidencia. Y debe ser entregada. Y a la brevedad. Aquí hay una: nuestro informe de pre-test al Ministerio de Desarrollo Social.

-¿Me permite subirlo al sitio web de CIPER para que todos puedan leerlo y sacar sus conclusiones?
Somos nosotros los que tendríamos que hacerlo, creo yo. Y para ello deberíamos pedirle al ministerio que lo libere. Que entregue el informe, que haga una declaración rápido. Yo voy a pedir que lo liberen. Y voy a persistir con la buena fe…

-Más de alguien va a decir que usted actúa así porque está tratando de salvar un contrato que le reporta más de $1.200 millones a Microdatos por encuesta. Me refiero al dinero de la encuesta del próximo año.
Bueno, desgraciadamente eso es parte de lo que nosotros vamos a tener que tragar en esta vuelta por rescatar el buen trabajo. Por eso le pedí al MDS esta mañana que saquen ya una aclaración sobre la materia y entreguen los documentos de respaldo… Ahora tengo que pedirles expresamente que entreguen este informe nuestro de pre-test. Encuentro absurda esta situación, porque desde el punto de vista del equipo técnico del MDS, si ellos dijeron “en realidad lo que nosotros hicimos fue esto”, ¡que lo digan! Y que digan exactamente lo que hicieron, aunque desde el punto de vista técnico sea discutible. No tengo idea, pero paremos esta escalada…

-Delicado, porque afecta la credibilidad y la fe pública: se trata de un punto que por sí solo, al incluirlo, hizo bajar siete décimas la pobreza.
Claro, y el hecho de escribir una minuta sobre esa materia, conociendo los datos y sabiendo en qué dirección va, uno se podría preguntar: ¿hicieron el mismo esfuerzo por otros cambios que tal vez iban en la otra dirección? Ya todo entra en tela de sospecha… Ese es un punto. El otro punto tiene que ver con la encuesta 2012, en la que estamos nuevamente en medio del proceso. Usted me hizo ayer una pregunta bien importante: ¿cómo afecta esta polémica las encuestas que vamos a hacer, el piloto? Por supuesto, este ruido afecta, porque cuando vas a hacer la encuesta necesitas que la gente responda libremente. En consecuencia, tanto para el proceso 2011 como 2012, si el MDS quiere proteger la encuesta, tiene que rápidamente entregar todo lo que tiene pendiente. Zanjar su agenda.

-¿Y cómo garantizará con el sello de la Universidad de Chile que el resultado final de la CASEN 2012 no estará sujeto a ningún tipo de sospecha o manipulación si ni siquiera la CEPAL ha confirmado su participación?
Yo no puedo garantizar que no haya manipulación de datos. Y tampoco puedo partir de la base de que la hubo en la encuesta 2011. Digo que en este minuto hay ruido. No sé cómo va a seguir en las próximas semanas. Y lo único que tengo claro es que si el ministerio quiere contribuir, debe zanjar esta discusión entregando toda la información que anda dando vuelta y reventando la burbuja que haya. Que se entreguen los informes. Si eso no ocurre, efectivamente, el problema seguirá creciendo y definitivamente puede alterar los datos que se recogen, la materia prima clave. Ahí esto no tiene solución. Lo que dijo Feres en el CEP es que lo que se hizo se puede corregir. Es feo. Ya se informó, pero si efectivamente se detectara que hay un error, esto se puede rehacer y corregir. Porque los datos de campo son los mismos, están intactos. Nuestra responsabilidad en este proceso son los datos de campo. Y por ello, estamos mirando atentamente el desarrollo…

-Antes de tomar una decisión, imagino. Una decisión que no es fácil, porque respecto de la encuesta CASEN en curso, ya contrató a los encuestadores y otros insumos. ¿Se puede renunciar a $1.200 millones así como así?
Desgraciadamente eso es parte del costo en el que estamos metidos. Y también hay un contrato. Si yo digo en un momento determinado que no voy a hacer el trabajo, va a haber un costo para la universidad en que no solamente está el dinero ya gastado. Por eso es que yo no le puedo responder: tengo que tener en cuenta varios otros aspectos. Lo único que me interesa es poder poner las manos al fuego por un determinado trabajo. Le puedo garantizar que vamos a hacer la evaluación que corresponda. Y para su información, este pre-test incluye la famosa “y11”.