MÓNICA SILVA Y MLADEN KOLJATIC, INVESTIGADORES DE LA UC:
Por Juan Andrés Guzmán
Mónica Silva y Mladen Koljatic, ambos académicos de la Facultad de Ciencias Económicas y Administrativas de la Universidad Católica, han estado en la primera línea de la crítica a la PSU desde hace años. En varios aspectos los cuestionamientos del Informe Pearson confirman lo advertido por ambos en cartas, columnas e investigaciones. Para ellos, el pecado original de la PSU está en que fue construida para alcanzar dos objetivos que nunca debieron mezclarse: seleccionar a los jóvenes más capacitados para la universidad y, a la vez, medir lo que aprendieron los alumnos en la Enseñanza Media.
El problema es que al medir contenido no se mide necesariamente la capacidad para aprender sino, fundamentalmente, el acceso que el joven tuvo a aprender. En un país con tanta desigualdad en el acceso a la educación de calidad, el aumento indiscriminado de contenidos en la PSU ha sido muy dañino para los alumnos más pobres y en particular para los que estudian en la Educación Técnica.Silva y Koljatic sostienen que ambos asuntos no deben medirse con una sola prueba, fundamentalmente porque Chile es tan segregado que los jóvenes que mejor manejan los conocimientos de la Educación Media son los que han podido pagar los mejores colegios. Las investigaciones de ambos mostraron también que muchos de aquellos que tienen éxito en la PSU registran un bajo rendimiento en los primeros años de universidad. Es decir, la PSU posee una baja capacidad de predecir el rendimiento de los estudiantes en la universidad. El informe Pearson lo refrendó: “Aunque las pruebas de la PSU de Matemática y de Ciencias mostraron valores medios de validez predictiva, en ninguna instancia lograron un índice de validez predictiva que se acercase al límite inferior de índices de validez predictiva observados internacionalmente”.
-¿Por qué el Ministerio de Educación y las universidades crearon una prueba que mezcla la selección de alumnos con la evaluación de los conocimientos impartidos en la Enseñanza Media Científica Humanista?
Existen varios documentos que dan luces acerca del origen de este desacierto. Está el informe de la Comisión Nuevo Currículum en que se señala el doble propósito de las pruebas, actas del Cruch y un documento del Banco Mundial, entidad que le dio un préstamo al gobierno de Chile para implementar la reforma educacional de la Enseñanza Media de fines de los ‘90. El Banco Mundial, como es lógico, exigía que se evaluaran los resultados. Aparentemente las autoridades ministeriales decidieron cambiar la prueba de admisión, que había recibido muchas críticas, por otra que además de seleccionar alumnos, cumpliera este propósito. (Ver Document of the World Bank.pdf). Es decir, la idea que subyace al cambio de la Prueba de Aptitud Académica (PAA) por la PSU, es que la nueva prueba iba a servir para evaluar la Enseñanza Media (científica humanista) además de seleccionar alumnos para las 25 universidades del Consejo de Rectores (CRUCH). La PSU entonces, desde el principio se planteó como una suerte de SIMCE de 4° Medio, y por ello ha ido incorporando todos los contenidos curriculares de la Enseñanza Media, sirvan o no para predecir el rendimiento universitario. El resultado es que esta prueba terminó atiborrada de contenidos innecesarios.
Fruto de la controversia que se generó al inicio de la PSU, las autoridades del CRUCH decidieron que en la primera prueba se incluyeran menos contenidos. Pero desde entonces hasta ahora se ha ido añadiendo más contenido. No porque fuera necesario ni conveniente para fines de mejorar la predicción ni la equidad, sino porque así estaba establecido.
En 2004, luego del mal funcionamiento que mostró la PSU de Matemáticas, cuyo grado de dificultad era a todas luces inadecuado como lo consignó el informe encargado por la Universidad de Chile al Educational Testing Service (ETS), muchos investigadores no podíamos creer que siguieran añadiendo contenidos y endureciendo las pruebas. Escribimos varias cartas y columnas al respecto, sin recibir respuesta. En los años siguientes pasó lo que era previsible: el aumento de contenido no mejoró su capacidad predictiva y dejó en creciente desventaja a los alumnos de liceos técnicos. Ahora, luego del informe del Pearson, hay que hacer el camino inverso: estudiar qué contenidos reducir.
-¿Por qué evaluar lo aprendido en la Enseñanza Media no sirve para predecir la capacidad de un estudiante para cursar estudios superiores? Uno tiende a pensar que el que más sabe tiene más disposición a aprender.
El aumento de contenido no mejoró su capacidad predictiva y dejó en creciente desventaja a los alumnos de liceos técnicos. Ahora, luego del informe del Pearson, hay que hacer el camino inverso: estudiar qué contenidos reducirEl problema es que al medir contenido no se mide necesariamente la capacidad para aprender sino, fundamentalmente, el acceso que el joven tuvo a aprender. En un país con tanta desigualdad en el acceso a la educación de calidad, el aumento indiscriminado de contenidos en la PSU ha sido muy dañino para los alumnos más pobres y, en particular, para los que estudian en la Educación Técnica.
Para evaluar la calidad de la educación impartida está el SIMCE. Ese debiera ser el "termómetro de la educación". La PSU debiera ser el "termómetro de la capacidad de tener éxito en la universidad". Darle a la PSU una doble función fue un error. Ese error y sus consecuencias le fue advertido al CRUCH en múltiples instancias. Pero en lugar de corregir el error los creadores de la PSU negaron que la prueba tuviera dos funciones, calificándolo de un "malentendido de la opinión pública" y siguieron adelante con el cronograma de añadir contenidos año a año, sin ganar en capacidad predictiva y aumentando el perjuicio para los alumnos de la Educación Técnica. En síntesis, una buena prueba de admisión debe examinar aquellos contenidos que son necesarios y suficientes para tener una buena predicción.
-Cuando se dice que la PSU tiene un bajo nivel de predicción, ¿quiere decir que la mayoría de los jóvenes que obtienen buenos puntajes, tienen luego rendimientos malos o mediocres en las carreras a las que acceden?
Sí. Pero puede ser también que alumnos con bajos puntajes en las pruebas, y por lo tanto, que uno esperaría les fuera mal, les vaya bien. En términos bien simples lo que hoy ocurre con la PSU es que no tenemos seguridad de que los que están entrando sean los que deban estar ahí. Ni tampoco que los que están fuera debieran haber quedado fuera.
-Si no predice bien, ¿para qué sirve la PSU?
Si una prueba de admisión no sirve para predecir quiere decir que no está cumpliendo la principal función para la cual fue diseñada. La calidad de una prueba de admisión se juega en su capacidad para predecir el rendimiento universitario y en no dar ventajas injustificadas o ilegítimas a ningún grupo en desmedro de otro. En ambos puntos la PSU falla. De ahí la gravedad del informe de Pearson: señala que los pilares sobre los que debe sostenerse una prueba como ésta presentan fallas estructurales.
-Una de las pruebas de la PSU donde hace años se prendieron las alarmas, es la de Ciencias. En un informe de la fiscalía del DEMRE (Ver Informe fiscalía Demre PSU Ciencias.pdf) se cuestiona la forma en que se calcula el puntaje en esa prueba porque se perjudica a los que rinden química y se favorece a los que rinden biología. ¿Qué opinan de esa prueba y de lo que acusa la fiscalía del DEMRE?
Este tema reviste gran importancia. Primero, porque tal cual se planteó era una prueba eminentemente injusta para los alumnos de la Educación Técnico Profesional. Lo sabían los funcionarios ministeriales, los rectores y los creadores de las pruebas. La solución era fácil: exigir a los alumnos de liceos técnicos que rindieran sólo el módulo básico. Ello requería la entrega de cuatro puntajes.
Darle a la PSU una doble función fue un error. Ese error y sus consecuencias le fue advertido al CRUCH en múltiples instancias. Pero en lugar de corregir el error los creadores de la PSU negaron que la prueba tuviera dos funciones, calificándolo de un “malentendido de la opinión pública"-Parece evidente que el CRUCH y Comité Técnico Asesor (CTA, organismo que asesora al Cruch en la PSU) sabían que la prueba tenía problemas en varias áreas. Sin embargo, no ha habido reconocimiento de ese hecho hasta la semana pasada, cuando se conoció el informe de Pearson. ¿Qué explicación encuentran para eso?
-¿Les parece que el CRUCH y la CTA omitieron información sensible sobre los problemas que presentaba la prueba?
Tenemos claro que sí omitieron informar acerca del crecimiento de la brecha para los alumnos de la Educación Técnica Profesional. En diez años, en ninguno de los ocho informes oficiales emitidos por el CRUCH, reportan dato alguno para el grupo de la educación técnica. Por otra parte, las actas que obtuvo el abogado Moisés Sánchez de ProAcceso (Nota de R. Sánchez denunció a Chile ante la Comisión Interamericana sobre Derechos Humanos por la discriminación de la PSU contra los estudiantes técnico profesionales), confirman que los rectores, creadores de la PSU y la ministra al momento de implementar el cambio de pruebas sabían que, al menos la prueba de Ciencias, no era adecuada para los egresados de la Educación Técnica porque sus contenidos tomaban como referente la Educación Científica Humanista. Y esa no es la única que resultó ser lesiva para los alumnos técnico profesionales de acuerdo al informe de Pearson.
La calidad de las pruebas de admisión se juega en su capacidad para predecir el rendimiento universitario y en no dar ventajas injustificadas o ilegítimas a ningún grupo en desmedro de otro. En ambos puntos la PSU falla. De ahí la gravedad del informe de Pearson-¿Les parece correcto que la prueba se siga administrando, como en la actualidad, a cargo de la Universidad de Chile y del DEMRE? Algunos temen que todo este episodio termine privatizando la prueba y quitándole a la U. de Chile los cerca de $7 mil millones que recibe por la prueba para traspasarlos a alguna empresa comercial.
-El rector de la Universidad de Chile dijo, tras el informe de Pearson, que solo era necesario fortalecer la institucionalidad. ¿Les parece que eso es lo que falta?
Nos parece que al rector de la U. de Chile junto a su equipo del DEMRE, a los otros rectores de las universidades del CRUCh y a sus expertos asesores, les ha faltado humildad para reconocer sus faltas. Efectivamente se requiere cirugía mayor en la institucionalidad y una buena dosis de transparencia y rendición de cuentas, dos ingredientes que han brillado por su ausencia en la administración y la evaluación de la PSU en estos diez años. A la luz de lo sucedido el CRUCH no es la institución adecuada para hacerse cargo del sistema de admisión.