Rectores inician reforma a la PSU en medio de disputa por el control de la prueba

Mientras 295 mil estudiantes chilenos se jugaron esta semana una parte de su futuro en la Prueba de Selección Universitaria (PSU), los equipos académicos que piensan y hacen esa prueba, libraron una férrea batalla por el control del test. Ese enfrentamiento tuvo su clímax el jueves 30 de noviembre en Temuco, durante la reunión del Consejo de Rectores (CRUCH). En esa cita los rectores debían escoger a los integrantes del comité que estudiará e introducirá correcciones a la prueba y los grupos en pugna pusieron sus cartas sobre la mesa para ganar cupos en esa nómina.

De un lado estuvo el DEMRE, departamento de la Universidad de Chile que entre otras funciones elabora las preguntas de la PSU, organiza la jornada de rendición de la prueba y entrega los resultados. Dirigido hoy por la matemática Leonor Varas, este organismo viene insistiendo desde hace una década que la PSU falla en el aspecto más importante que debe tener el sistema de selección: no identifica bien a los alumnos que van a tener mejor desempeño en la universidad.  CIPER accedió a documentos recientes del DEMRE que apuntan a la línea de flotación de la prueba y proponen cambios que mirados en conjunto harían de la PSU algo muy parecido a la antigua Prueba de Aptitud Académica (PAA).

Al otro lado hay un bloque que se resiste a hacer cambios de fondo en la PSU y donde destaca el Sistema Único de Admisión (SUA), entidad asesora de los rectores en materias relacionadas con la prueba. En su directorio están los rectores de las universidades de Valparaíso, de Chile, Católica, Santiago, Federico Santa María, Playa Ancha, Tarapacá y Magallanes. Según fuentes del DEMRE, quienes han alineado al SUA con la defensa de la PSU, por sobre la opinión de otros rectores, han sido Ignacio Sánchez (PUC) y Aldo Valle (Valparaíso). A ellos se sumó en esa tarea la doctora en Educación María Elena González, actual directora del SUA.

En octubre pasado el SUA dio a conocer el estudio “Validez Predictiva de Factores de Selección” del psicólogo José Luis Saiz que defendió a la PSU de una de sus principales críticas: sí predice bien el desempeño que van a tener los alumnos en primer año (ver documento). Ese es hoy uno de los caballos de batalla del SUA para resistir cambios.

El DEMRE y el SUA han incrementado la fuerza de sus choques desde hace un par de meses cuando se tomó la decisión de formar el comité que debe reformar la prueba.  Como resulta obvio, ese comité será clave en determinar si los cambios que se deben hacer son menores, como quiere el SUA, o estructurales, como pretende el DEMRE.

La ventaja del SUA es que tenía la responsabilidad de recolectar los nombres –postulados por las universidades­– de los candidatos a integrar el citado comité y presentarlos a los rectores en la reciente reunión de Temuco.

“¿POR QUÉ ESTAMOS USÁNDOLA?”

El SUA comenzó a proponer como asesor a Jorge Manzi, director del Centro de Medición Mide UC y uno de los autores de la PSU. Su nombre generó duras críticas en el DEMRE. Durante los primeros 10 años de aplicación de la prueba (2004-2013), Manzi formó parte de un Comité Técnico (CTA) que asesoraba a los rectores en la evaluación de la PSU. Un informe del DEMRE  responsabilizó al CTA, en la época en que lo integraba Manzi, de haberse opuesto a las reformas que habría requerido la prueba. Particularmente, se le critica haber neutralizado el duro informe de la consultora estadounidense Pearson que en la página 64 dice: “Si la PSU no predice los desempeños en la universidad, ¿por qué estamos usándola?”.

En las semanas previas al encuentro de Temuco, las distintas universidades enviaron propuestas de académicos para conformar el nuevo comité asesor. Se estimaba que al momento de votar los rectores tendrían una lista de al menos 14 nombres para cuatro puestos nacionales (otro dos integrantes vendrían fuera de Chile). Pero a Temuco el SUA llevó solo cinco nombres, restringiendo a un mínimo las opciones que podían escoger los rectores. Según fuentes de CIPER presentes en la reunión, cuando algunos rectores preguntaron por qué la lista era tan reducida, Elena González dijo que eso era atribución del SUA.

En la lista estaba Jorge Manzi y la integraban también José Luis Saiz (psicólogo de la Universidad de la Frontera, autor del estudio que defiende la capacidad predictiva de la PSU); Verónica Santelices, de la Facultad de educación de la UC; Alejandra Mizala, economista de la Chile, y Salomé Martínez, matemática de la Chile.

Con la nómina sobre la mesa comenzó un intenso tira y afloja en torno al nombre de Manzi, el más polémico de los candidatos. Los testimonios recogidos por CIPER indican que el rector Sánchez (UC) propuso que los cinco candidatos fueran electos “pues siempre uno falta o se enferma”. La propuesta, que aseguraba que todos los candidatos quedaran dentro, fue rechazada por los rectores, quienes insistieron en votar por cuatro y eliminar a uno. En ese escenario, el rector Valle (de Valparaíso) propuso que el quinto quedara como suplente.

Los rectores votaron. Mientras los otros candidatos y candidatas recibían entre 24 y 21 votos, Manzi sólo obtuvo 13. Una nota de La Tercera que informó en detalle sobre la reunión de los rectores, afirmó que Manzi quedó fuera del comité. Sin embargo, fuentes consultadas por CIPER creen que es necesario ver el acta final, que se conocerá la próxima semana, donde quedará claro si la idea de “un suplente” fue aceptada o no por los rectores.

Consultado por CIPER sobre este tema, Manzi respondió: “La única información que he conocido es la que aparece en La Tercera. No he recibido información del CRUCH, de manera que no puedo clarificar lo que significa ‘suplente’ en caso que esa categoría se usara”.

Aunque parece una disputa de nombres, la verdadera pugna está entre dos miradas contrapuestas sobre cómo debe ser, en adelante, la selección de estudiantes que aspiran a tener una educación superior. Pues, con creciente fuerza, las propuestas que emanan del DEMRE apuntan a un modelo más parecido a la antigua PAA, opción que en el fondo implica decir que estos casi 15 años de PSU han sido, en gran parte, un error.

La votación sobre el futuro de la PSU tuvo lugar justo cuando Jorge Manzi, a través de Mide UC, participa en un proyecto con el Ministerio de Educación del Perú que estudia la posibilidad de implementar en ese país una prueba única de acceso a la universidad. El académico habló con CIPER antes de la votación de Temuco. Se refirió al Informe Pearson y a su posible integración al nuevo Comité Asesor convocado por el CRUCH. Cuando se le preguntó si la paternidad de la PSU no le impedía ser un evaluador ecuánime de esa prueba contestó: “Sería lamentable que la gente que sabe de algo no pueda participar. En Chile no tenemos muchos especialistas” (ver entrevista al final de este artículo).

DOCUMENTOS DEL DEMRE

La posición del DEMRE sobre la PSU se sintetiza en dos documentos a los que accedió CIPER. El primero es un informe presentado al Consejo de Rectores (CRUCH) en mayo de 2017 en el que se argumenta que la  PSU “resulta estrecha e insuficiente para la amplitud y complejidad de las nuevas necesidades”. Se destaca allí que, por estar fuertemente ligada a medir el currículum vigente de los establecimientos científico humanistas, introduce distorsiones que perjudican a diversos grupos, por ejemplo, a los alumnos rezagados (los que vuelven a rendir la prueba y cuyos conocimientos se desactualizan rápidamente y que son un tercio de los postulantes); o a los los alumnos de liceos técnico-profesionales (TP) que no estudian los mismos contenidos y que también constituyen un tercio de los postulantes.

Todo esto, dice el informe, “deteriora la calidad de la selección” de una prueba que usan 36 universidades para elegir a sus alumnos. Dicho en breve, el DEMRE está preocupado porque, con muy poca frecuencia, al que le va bien en la PSU, le va bien en el primer año de carrera. Esto, que técnicamente se denomina la “validez predictiva”, ya había sido advertido en el mencionado informe de 2013 emitido por la consultora Pearson en el que se afirmó que  “resulta evidente el bajo poder predictivo de la PSU de Lenguaje y de Historia”. Mejor poder predictivo tenían las pruebas de Matemáticas y Ciencias, dijo Pearson, pero en ningún caso “se logran índices de validez cercanas al límite inferior de lo que se observa  internacionalmente en este tipo de pruebas”.  Esto llevó a la agencia norteamericana a hacer la incómoda pregunta citada más arriba “Si la PSU no predice los resultados que se obtendrán en la universidad, ¿por qué estamos usándola?” (ver minuta del informe Pearson)

El cuestionamiento de Pearson provocó un remezón y en el mismo 2013 el CRUCH dio señales que parecían anunciar una profunda reforma de la PSU. Pero a cuatro años de ese informe, el DEMRE constata que, aunque se han hecho muchos avances, los problemas más graves –consignados más arriba– no se han resuelto.

En un segundo informe del DEMRE que revisó CIPER y que circula reservadamente en ese organismo, se ofrece una explicación para la demora en corregir los defectos que tendría la PSU. Se trata del documento “Responsabilidades en los problemas de la PSU-M y PSU de Ciencias”, fechado en enero de 2017 y catalogado como “informe de circulación restringida”.  Junto con detallar los problemas que acarrea la PSU desde que comenzó a implementarse hace una década, el texto  argumenta que si los cambios sugeridos por Pearson no se han llevado adelante, se debe a la oposición que presentó el Comité Técnico Asesor (CTA), una instancia asesora del CRUCH.

Dice el informe reservado del DEMRE:

“En la sesión del 28 de marzo de 2013. Pocas semanas después de liberado el informe Pearson, el CTA sugirió al CRUCH que se desechara la sugerencia de los expertos internacionales, descalificándola, sin presentar argumentos para ello”.

Como evidencia de esta afirmación, el DEMRE adjunta un documento de marzo de 2013 en el que se transcriben las ideas centrales que la CTA expuso ante el CRUCH: entre ellas, que varias de las reformas importantes que propone la consultora estadounidense “puede corresponder a una mala comprensión de Pearson del sistema educativo o de admisión chileno”; y que “muchas de las recomendaciones de Pearson están basadas en el sistema norteamericano, por lo que se ignoran las condiciones educativas e institucionales que explican la forma en que la prueba está construida”. El CTA advirtió también que si algunas de estas medidas se adoptaban “se podrían tener consecuencias mayores” (ver transcripción).

El CTA  era dirigido entonces por David Bravo (director del Centro de Encuestas de la UC) e integrado por Jorge Manzi. De allí los resquemores que despertó en el DEMRE la postulación de Manzi.

LAS AREAS DE CONFLICTO DE LA PSU

En el documento que el DEMRE entregó a los rectores en mayo de este año se detallan una serie de debilidades que ese organismo detectó en la PSU y que se basan en lo que investigadores nacionales e internacionales han dicho sobre esta prueba. Ante cada problema, el DEMRE entrega una solución que, en términos generales, apunta a crear un test que tenga distintos niveles de complejidad, con controles  obligatorios básicos y otros específicos, en la línea de lo que fue la Prueba de Aptitud Académica. Los cinco puntos clave que destacan en el informe del DEMRE son:

1) Enfrentar en forma urgente el problema de la “limitada validez predictiva” de la PSU que detectó el informe Pearson, a través reducir la dependencia de la prueba del currículum científico humanista. Esto, por cuanto no todos lo conocimientos que se incluyen en la PSU forman parte del currículum de los estudiantes de liceos Técnico-Profesionales, lo que perjudica sus opciones. De acuerdo a la interpretación del DEMRE, la PSU predice mal porque estructuralmente se pensó para medir, a la vez, habilidades universitarias y contenidos de enseñanza media. Ambas cosas no se pueden hacer y para que la PSU prediga mejor, es necesario “reducir y sintetizar los extensos temarios” que se incluyen hoy.

Este cuestionamiento del DEMRE fue respondido por el SUA a través del citado estudio “Validez Predictiva de Factores de Selección”, de José Luis Saiz.  En ese informe se concluyó que la correlación entre la PSU y las notas del primer año de universidad ha mejorado ligeramente desde 2013 a la fecha, especialmente la de la PSU de Matemáticas que registraría una correlación comparable con el estándar internacional.

En el tema de la validez predictiva, que es central para que la PSU sea una prueba con sentido y no una simple jerigonza burocrática, está lejos de generar un acuerdo al interior de la institucionalidad que gobierna esta prueba y será tarea del nuevo comité asesor llegar a una conclusión en este tema.

2) Más allá de la capacidad de predecir, el DEMRE remarca que la PSU de Matemáticas tiene un grado incorrecto de dificultad: resulta muy sencilla para quienes quieren estudiar carreras relacionadas con esa disciplina y es muy difícil para la mayor parte de la población. Por ello, muchos puntajes se agrupan en el top de los resultados, haciendo difícil discriminar un orden que ayude a seleccionar. Al otro lado, en las zonas de bajos puntajes, también hay una gran concentración, lo que se suma a otro problema: son tan pocas las respuestas correctas que obtienen los estudiantes que es difícil discriminar si un puntaje se debe a lo que sabe un alumno o al azar.

La propuesta del DEMRE es volver a una estructura como la de la PAA, con una prueba obligatoria (en la que se revisen contenidos de primero y segundo medio) y otra específica y electiva, para carreras que van a requerir un nivel avanzado de matemáticas y que se basará en los contenidos de tercero y cuarto medio.

3) Una prueba con problemas históricos, que no mejoró substancialmente en la reciente medición del SUA, es la de Lenguaje. Supuestamente, mide escritura, pero lo hace a través de preguntas de selección múltiple, sin que los alumnos redacten una línea. El informe del DEMRE sugiere que ese tipo de ítem, si es que mide algo, no captura ciertamente la habilidad de escribir, por lo que sugiere eliminar las secciones de conectores y plan de redacción.

4) Separar las pruebas de ciencias. Este es uno de los capítulos más delicados de la actual PSU. Desde que comenzó a aplicarse, diversos investigadores han reportado “graves problemas técnicos”, dice el informe reservado del DEMRE. Los estudios que lo han remarcado son los de Nancy Lacourly, un informe del Educational Testing Service (ETS) contratado por el DEMRE en 2004 (dado a conocer por CIPER), y el de la consultora Pearson. En Ciencias los alumnos deben rendir un examen que tiene dos partes. La primera es un módulo común y la segunda un módulo electivo donde el postulante decide si contesta preguntas de Química, Física o Biología. Luego se corrigen las pruebas y se hacen equivalentes las respuestas de las tres áreas. El problema es que esas áreas difícilmente son equivalentes. En la práctica ha ocurrido que al tratar de hacer comparable los puntajes, se ha perjudicado a alguna disciplina.

Ya en 2005, Pablo Valladares, coordinador de Ciencias en el DEMRE, sostuvo que el mecanismo usado para calcular los puntajes en esa prueba era  “poco ético”, pues alteraba la calificación de los alumnos dependiendo de si habían decidido contestar el electivo de Química o el de Biología. “Se les aumentó artificialmente la puntuación a los que rindieron Biología y se les disminuyó a los que optaron por Química”, escribió en una carta que envió a Graciela Donoso, jefa de la unidad de investigación del DEMRE (ver carta). El problema sigue vigente hasta hoy, pues “no hay comparabilidad en los módulos electivos, tanto en lo relativo a su construcción como a su dificultad”, sostiene el DEMRE en su propuesta a los rectores.

Siguiendo lo que se propone desde la primera vez que se detectó este problema en 2004, la propuesta de solución, una vez más, es volver a algo parecido a la antigua PAA: una prueba común de ciencias y tres específicas con puntajes distintos. El informe insiste: “Resulta de extrema urgencia definir una agenda que permita transitar a la separación de las prueba de Ciencias”.

MANZI: “UN INFORME CON LEGUAJE CARGADO”

Dadas las críticas que se hacen al CTA, CIPER intentó consultar a David Bravo, ex director de ese organismo, pero este prefirió no responder. Sí lo hizo Jorge Manzi, quien estuvo en la CTA desde 2004 hasta 2013. La entrevista se hizo antes de la votación de Temuco:

– El informe Pearson fue durísimo con la PSU y por ello llama la atención que los problemas centrales que detectó no han sido resueltos en cuatro años. ¿Qué responsabilidad tiene en eso el Consejo Técnico Asesor  (CTA) del que usted formó parte? ¿Sostuvo ante los rectores que Pearson estaba equivocado?

– Para poner las cosas en contexto, déjeme decirle que cuando el informe Pearson fue entregado, yo era integrante del Consejo Técnico Asesor. Luego, el CTA se disolvió porque los rectores constituyeron una entidad (el SUA) para hacerse cargo de la prueba, cuya tarea era supervisar el mejoramiento que se derivaba del informe Pearson. Así, lo que nos tocó hacer en el CTA fue básicamente identificar las recomendaciones de Pearson, que eran más de 120, clasificarlas y luego exponérselas a los rectores. Hay que decir que muchas se han implementado.

– Las que no se implementaron son las recomendaciones que hacen de Pearson un informe duro.

-Sí, es un informe duro, pero yo creo que lo que lo hace duro es el tono en que está escrito. Es un informe que usa un leguaje cargado, en el sentido de cómo se dicen las cosas.

– ¿Le atribuye mala intención a Pearson?

– No. A lo que me refiero, por ejemplo, en el caso de la validez predictiva Pearson dice que la PSU tiene una validez estadística por debajo de los estándares internacionales. Pero solo compara la PSU con las pruebas que se hacen en Estados Unidos, lo que es muy poco para hablar de “estándar internacional”. Además, el sistema universitario norteamericano es muy distinto al nuestro: los estudiantes no entran a carreras directamente sino que su primer año tiene una formación general de college, con un menú de cursos muy acotado. Entonces, cuando se hace un juicio tan categórico como el de Pearson, para mí es evidencia de una falta de cuidado.

– Hay una forma fácil de rebatir el argumento de Pearson: mostrar que la validez predictiva de la PSU es igual a la de muchos países. ¿Puede dar ejemplos de eso?

– Lo que pasa es que dado lo idiosincrático que es cada sistema universitario, comparase con estándares internacionales es algo que hay que tomarse con cuidado. Hay que compararse con sistemas universitarios como el nuestro, donde los estudiantes entran  a carreras profesionales  terminales. Y no hay muchos para mirar.

– Más allá de la comparación, el nivel de predicción de  la PSU es numéricamente bajo, sobre todo en Lenguaje e Historia.  Y en la PSU de Matemática, dependiendo de la carrera, también falla. Entiendo que para la carrera de derecho la PSU de Matemáticas predice al revés. O sea un buen puntaje en la PSU se relaciona con malas notas en el primer año.

– Creo que eso no se puede decir para una carrera genérica, para todo el país. Puede ocurrir en alguna facultad de derecho, en alguna universidad. Por otra parte, este año el SUA publicó un informe de validez predictiva que para mi gusto es mucho más revelador de lo que de verdad está pasando (se refiere al estudio del psicólogo Saiz). Yo creo que en Matemática y Ciencias tenemos un nivel de predicción bastante razonable, atendiendo que estamos prediciendo todo el rango de carreras que tenemos en Chile. Sin embargo en Lenguaje y en Historia sí tenemos un nivel de predicción muy por debajo de las otras  dos.

– Parte de los problemas que tiene la PSU se atribuyen a que se basa en el currículum de primero a cuarto medio. Eso es injusto para estudiantes de los liceos técnicos profesionales que no tienen el mismo currículum, pero, más de fondo, es injusto porque es evidente que a mayor dinero y mejor colegio, mayores oportunidades de aprender el currículum. ¿Por qué no volver a medir algo que debiera ser equitativamente repartido, como la aptitud para estudiar?

– Hoy no hay pruebas que no estén basadas en el currículum, en esencia porque la idea de que existe una aptitud independiente de la experiencia educativa es simplemente insostenible. Los sicólogos que hemos tratado de construir pruebas libres de cultura nos hemos encontrado con problemas gigantescos. Entonces, se asume que las habilidades están normalmente distribuidas en la sociedad, pero la verdad es que sólo en la primera infancia, cuando los chicos parten, son muy parecidos. Pero cuando llegan a la enseñanza escolar, las diferencias han crecido fuertemente por razones  socioeconómicas entre otras. Yo soy una persona totalmente convencida de que la educación tiene que ser lo más equitativa posible. Y eso, para mí, lo brinda una educación donde las oportunidades de aprender son equivalentes. ¿Me van a decir que cambiando la prueba vamos a resolver el problema que hay en Chile?

– Sin embargo, la PSU no es solo un termómetro: abre la puerta de la universidad a un grupo y excluye a otro. Al basarse en el currículum parece consagrar la desigualdad.

-Insisto. La oportunidad de aprender no se logra con pruebas, sino con oportunidades de aprendizaje que emergen de políticas educativas.

– Sobre la prueba de Ciencias, los problemas que se han detectado son graves. Desde 2005 el DEMRE dice que hay una distorsión en los puntajes. Hay generaciones que han dado esas pruebas y que pueden sentirse estafadas.

– El problema de Ciencias no se origina en el empecinamiento de alguien que quiere hacer una cosa rápida y exótica, sino que viene determinado por una situación curricular. El currículum no incluye Biología, Física y Química en todos los niveles de la enseñanza media. Se podría haber resuelto que la prueba llegara hasta segundo medio, por supuesto.

– ¿Por qué no se hizo?

– Porque el acuerdo al que se llegó era que si el espíritu del currículum era hacer una formación científica integral no es necesariamente un error combinar esas habilidades.

– El costo es que tratando de hacer compatibles los puntajes, se perjudicó a algunos alumnos y se favoreció a otros. Eso se denunció hace más de 10 años. Los alumnos merecen una explicación.

-Por supuesto, si es que esa fuera la evidencia que existiera sistemáticamente. Pearson planteó la posibilidad que se calculen puntajes separados para las tres ciencias, pero también comentó la posibilidad de calcular puntajes comparables. Con respecto a la metodología para calcular el puntaje comparable, Pearson sugiere recurrir a un método convencional, el que corresponde al método actualmente en uso, según he podido confirmar con el experto en comparabilidad que ayudó a establecer el procedimiento en el DEMRE.

– ¿Le parece que está en condiciones de integrarse al comité asesor del CRUCH y evaluar ecuánimemente una prueba que usted creó?

– Si me dicen que por saber de un tema quedó inhabilitado… Creo que sería lamentable que la gente que sabe de algo no pueda participar, porque no tenemos muchos especialistas en Chile.

– Gracias a la inversión en capital humano avanzado hay muchos especialistas. Le reitero, ¿usted tiene la distancia suficiente para evaluar la PSU y corregirla si es necesario?

-Lo que entiendo que se va a organizar es un comité asesor, no una entidad resolutiva. Por otra parte, no tengo ningún conflicto de interés con Pearson, porque nunca he tenido una relación con esa entidad.

– ¿Está promoviendo, a través del Mide UC, una suerte de PSU en Perú?

-Lo que el Mide UC está haciendo es una asesoría para el Ministerio de Educación del Perú, para analizar la factibilidad de establecer pruebas de selección para la educación superior en ese país. Esto se basa en una invitación que nos hicieron para postular a una licitación, a la que nos presentamos como centro de medición, en conjunto con una universidad peruana. El Ministerio de Educación del Perú seleccionó nuestra propuesta, la que entre otras cosas debe sistematizar la experiencia internacional en este ámbito, y efectuar recomendaciones que sean adecuadas para el contexto peruano, que en este ámbito es muy diferente al chileno.