La sombra del conflicto de interés en los problemas de la PSU
27.12.2017
Hoy nuestra principal fuente de financiamiento son nuestros socios. ¡ÚNETE a la Comunidad +CIPER!
27.12.2017
Por Mladen Koljatic y Mónica Silva
El reportaje de CIPER “Rectores inician reforma a la PSU en medio de disputa por el control de la prueba” hace una significativa contribución para esclarecer por qué no se han corregido las fallas de la prueba y las dificultades que se vislumbran para efectuar cambios en ellas.
El Consejo de Rectores de las Universidades Chilenas (CRUCh) ha demorado más de cinco años en reaccionar ante las más importantes recomendaciones hechas por los expertos de Pearson Education para mejorar la calidad y equidad de la PSU. Recién hace dos semanas el CRUCh conformó un comité técnico, que se supone “introducirá correcciones a la prueba” en medio de una polémica por el rol que desempeñaría Jorge Manzi, uno de los creadores de la PSU. La petición del DEMRE era que se congregara un comité internacional, para garantizar independencia de sus miembros y minimizar el riesgo de conflictos de interés. Los rectores optaron por un comité nacional, con participación de solo dos expertos internacionales.
Sobre el rol de Manzi en el comité, el Sistema Único de Admisión (SUA), entidad asesora de los rectores, intentó incluirlo como asesor y el propio interesado argumentó a CIPER que “sería lamentable que la gente que sabe de algo no pueda participar [ya que] en Chile no tenemos muchos especialistas”. Ciertamente aunque no hay un exceso de especialistas en Chile, son muchos más que los cinco nombres de expertos propuestos por M. Elena González, actual directora del SUA.
La buena noticia es que una mayoría de rectores entendió que la independencia y ecuanimidad eran atributos importantes a considerar y no votaron por la participación de Jorge Manzi, aun cuando hay rectores que insisten en incorporarlo a pesar del evidente conflicto de interés que esto representa.
Desde el 2004 y hasta el 2013 el antiguo comité técnico asesor del CRUCh para la PSU (en adelante CTA) fue la entidad encargada de evaluar las pruebas y estuvo liderado por David Bravo, uno de los creadores de la PSU en conjunto con Jorge Manzi. Es evidente que raramente se es buen juez de lo que uno mismo hace y el caso de la PSU no fue una excepción. La falta de independencia de juicio y la carencia de objetividad de los informes oficiales del CTA del CRUCh quedó de manifiesto al contrastar éstos con los informes del Educational Testing Service (ETS) del 2005 y de Pearson del 2013. Los informes del CTA no reconocieron los problemas de las pruebas. En particular, al analizar los errores cometidos por el CTA en relación a las PSU de Matemáticas y Ciencias, resulta evidente la necesidad de garantizar la independencia de quienes tienen a su cargo las pruebas.
La PSU de Matemáticas funcionó mal desde su primera aplicación. El problema de su inadecuado grado de dificultad era tan evidente que no pudo pasar inadvertido a alguien medianamente experto en medición. Sin embargo, Jorge Manzi y David Bravo negaron en forma pública y reiterada el problema, a pesar de que el primer informe internacional de la PSU realizado por el ETS del año 2005 lo confirmó e instó a los expertos del DEMRE –organismo de la U. de Chile que elabora la prueba– a corregirlo. Más grave aún, el CTA tomó la decisión en 2011 de endurecer aún más la PSU de Matemáticas, agravando el problema, como reconoció el informe de Pearson (vea ese documento).
La pregunta de los expertos de Pearson, “si la PSU no predice los resultados que se obtendrán en la universidad, ¿por qué estamos usándola?” es legítima, aun cuando sea incómoda y es válida para cualquier país del mundo”
Algo semejante ocurrió con la PSU de Ciencias. Los expertos del DEMRE sabían que era incorrecta la forma de cálculo del puntaje. En un informe de Fiscalía del DEMRE del año 2004, se describe el rol de Bravo y Manzi (entre otros) desde el CTA para impedir al DEMRE entregar puntajes separados en Biología, Química y Física, a sabiendas de que ello perjudicaba a un grupo de estudiantes. En una carta del Coordinador de Ciencias del DEMRE, Pablo Valladares, éste dejaba constancia de que era poco ético que los postulantes vieran “disminuido o aumentado artificialmente el puntaje de su prueba sólo por haber rendido uno u otro electivo de Ciencias”. Ese año, se les había aumentado artificialmente el puntaje a los que rindieron Biología y se les disminuyó a los que rindieron Química (vea la carta enviada a la jefa del DEMRE en 2005 y publicada por CIPER).
De no mediar el informe de Pearson del año 2013 (y el del ETS liberado por la Universidad de Chile en el año 2012), los únicos reportes de la calidad de la PSU conocidos por el público habrían sido los emitidos por el CTA del CRUCh, los cuales no daban cuenta de los problemas de las pruebas.
En la entrevista de Ciper a Jorge Manzi, éste descalifica el informe de Pearson, por su supuesto “lenguaje cargado” y por comparar la capacidad predictiva de la PSU con la realidad norteamericana, argumentando que “el sistema universitario norteamericano es muy distinto al nuestro…”.
Su crítica carece de legitimidad, por cuanto en sus propios análisis de la PSU, el CTA del cual era parte Manzi, comparaba sus resultados con los de estudios norteamericanos (vea el informe del CTA en septiembre de 2010). Cabe, además, recordar que el cambio de pruebas impulsado por Manzi y Bravo estuvo directamente inspirado en los cambios a la prueba de admisión norteamericana (SAT) propuestos por Richard Atkinson.
La pregunta de los expertos de Pearson –“si la PSU no predice los resultados que se obtendrán en la universidad, ¿por qué estamos usándola?” – es legítima, aun cuando sea incómoda y es válida para cualquier país del mundo. La validez predictiva es una condición necesaria, más no suficiente, para respaldar el uso de una prueba. Una prueba de admisión se justifica si y sólo si sirve para predecir el rendimiento y no otorga ventaja injustificada a un grupo de la población en desmedro de otro(s). Los estándares internacionales de medición consagran la oportunidad de aprender como un principio básico de equidad (vea el informe Standards for Educational and Psychological Testing).
La PSU viola el principio de la oportunidad de aprender para el alumnado de la enseñanza media técnico-profesional, con el agravante de que sus creadores sabían de antemano que la prueba dejaría en desventaja a este grupo (ver reportaje de CIPER en el que Manzi reconocie saber del perjuicio al grupo técnico profesional sin tomar cartas en el asunto].
Al respecto, Juan José Ugarte, jefe de la División de Educación Superior del Mineduc, cuando se liberó el informe de Pearson en el año 2013, señaló: “Para poder colocarle nota a la PSU hay que mirar calidad y equidad. Y en eso, hoy día tiene nota roja” (revista Qué Pasa, “La PSU Rinde Examen”, edición 2.174, pág. 32). Desgraciadamente, cinco años han transcurrido y en la actualidad la PSU sigue con nota roja.
Por lo anterior, no es de extrañar que los creadores de la PSU estén disconformes con el informe de Pearson e intenten descalificarlo, puesto que dejó de manifiesto problemas muy serios en las pruebas que debieron ser reconocidos y corregidos por el CTA y no lo fueron.
Dentro de las recomendaciones que no se han implementado aún están las de acotar los contenidos a evaluar en las pruebas hasta el segundo medio, puesto que los currículos científico-humanista y técnico profesional difieren a partir de tercero medio. Pendientes están, asimismo, los cambios anteriormente mencionados en las pruebas de Matemáticas y de Ciencias.
Los rectores, luego de liberado el informe de Pearson, en lugar de citar a los expertos extranjeros que lo redactaron para conocer de primera mano su diagnóstico, consultaron a Jorge Manzi y David Bravo acerca de los cambios a introducir en las pruebas.
En su presentación al CRUCh los miembros del CTA y la actual directora del SUA (M. Elena González), descalificaron la urgencia y relevancia de los cambios medulares recomendados por los expertos de Pearson para mejorar la calidad y equidad de las pruebas. Los primeros arguyeron que tales sugerencias podían deberse a una supuesta “mala comprensión del sistema educativo o de admisiones chileno” y que de adoptarse las recomendaciones, éstas podrían tener “consecuencias mayores”, sin especificar cuáles serían estos efectos indeseables.
Para dejar atrás el pasado e implementar los cambios que las pruebas requieren, es indispensable que el CRUCh cautele que los expertos del nuevo comité asesor estén libres de conflictos de interés”
M. Elena González, hoy directora del SUA, señaló que su visión era “coincidente con las recomendaciones del CTA”.
Así, con González a la cabeza del SUA, los cambios medulares sugeridos por Pearson para transitar hacia una prueba más predictiva y menos lesiva para las oportunidades de los más pobres no fueron acogidos por los rectores. La institucionalidad bajo la cual se ha manejado el sistema de admisión ha permitido que se sirvan los intereses particulares de algunos grupos influyentes, sacrificando en el proceso el bien común.
Para dejar atrás el pasado e implementar los cambios que las pruebas requieren, es indispensable que el CRUCh cautele que los expertos del nuevo comité asesor estén libres de conflictos de interés y se comprometan a concretar la agenda de modificaciones pendientes, que son, por lo demás, las que todo el país espera para avanzar en calidad, equidad y transparencia.