PSU: La crisis que se ocultó

Vea además:
– «El CRUCH no es la institución adecuada para hacerse cargo del sistema de admisión a las universidades»

– “El cambio de la PAA a PSU fue liderado por gente con militancia política, pero nadie experto en evaluación ni en educación”

Hace dos semanas un informe de la consultora internacional Pearson (Ver Informe Pearson) volvió a manchar la opaca reputación de la Prueba de Selección Universitaria (PSU) que cada año rinden más de 200 mil jóvenes y que usan 33 universidades para elegir a sus alumnos. Pearson reportó cerca de un centenar de problemas en distintas áreas de la prueba. Entre ellos, dos son particularmente graves pues afectan la razón de ser de la PSU.

1) Detectó que la PSU posee una baja capacidad para seleccionar a los jóvenes que tendrán un buen desempeño en la universidad. Es decir, muchos de los que obtienen una buena puntuación en la PSU presentan rendimientos malos o mediocres en la universidad. A su vez, es posible que muchos de los que quedaron fuera por sus malos puntajes pudieran haber desarrollado sus carreras sin problemas.

“Dicho en palabras simples, hoy no tenemos seguridad de que los que están entrando a la universidad son los que deben estar ahí”, explicó a CIPER Mladen Koljatic, doctor en Educación y uno de los investigadores que hace años cuestiona la idoneidad de la PSU para elegir a los mejores. Para Koljatic, si una prueba de admisión no sirve para predecir el rendimiento de los alumnos, sencillamente no sirve para lo que fue hecha (Ver entrevista completa).

2) Pearson estableció también que la PSU está construida de tal modo que los que tienen éxito en ella son los jóvenes con más recursos. El grupo perjudicado es el que estudió en escuelas municipales y particularmente los que se formaron en los establecimientos Técnico-Profesionales (TP), en donde sencillamente no se enseñan todos los contenidos que se incluyen en la prueba. En 2013, de los 230.000 alumnos que rindieron la PSU, el 30% provino de establecimientos TP. Ellos no tuvieron ninguna oportunidad de obtener un buen puntaje. El problema más grave es que, hasta hace un año, ni siquiera sabían que corrían con desventaja. Solo en enero de 2012 el CRUCH reconoció por primera vez que la PSU perjudicaba a los alumnos de los TP.

Hoy el abogado de ProAcceso, Moisés Sánchez, impulsa una denuncia contra Chile ante la Comisión Interamericana de Derechos Humanos por la discriminación que ha afectado a los alumnos de los establecimientos TP que llevan ocho años dando una prueba que sencillamente no pueden pasar.

Aunque el informe de Pearson provocó revuelo en la prensa y el Ministerio de Educación, junto a algunos rectores, reaccionó anunciando cambios en la PSU, los antecedentes reunidos por CIPER muestran que muchos de los problemas detectados por Pearson ya eran conocidos por los operadores del sistema desde hace años y se han mantenido durante el mismo tiempo sin ser corregidos, perjudicando a miles de jóvenes, especialmente a los más pobres.

BAILE DE MILLONES

Para entender lo que sigue es necesario tener claro quiénes controlan la PSU y para qué la están usando, pues es eso lo que le ha permitido a la prueba gozar de estabilidad pese a que se acumulaba evidencia en su contra.

El dueño de la prueba es el Consejo de Rectores (CRUCH), organismo que reúne a 25 universidades estatales y privadas. Para evaluar los resultados de este test y proponer cambios, el CRUCH designó a un Comité Técnico Asesor (CTA), donde participan los autores concretos de la PSU: Jorge Manzi, director del Centro de Medición MideUC y David Bravo, director del Centro de Microdatos de la Universidad de Chile. Por último, está el Departamento de Evaluación, Medición y Registro Educacional de la Universidad de Chile (DEMRE), que administra la prueba. El DEMRE organiza los bancos de preguntas, monta el gran evento anual que implica examinar a un cuarto de millón de jóvenes en todo Chile y, cosa muy importante, cobra la inscripción de $26 mil a ese cuarto de millón de jóvenes, lo que implica que la Universidad de Chile recauda cada año $7 mil millones.

Este entramado es lo que se llama “la institucionalidad de la PSU”. La Universidad Católica siempre ha querido administrar esta prueba por los recursos y por la influencia política que representa. Por eso, tras la difusión del informe Pearson, su rector, Ignacio Sánchez, comentó que era tiempo de crear una “nueva institucionalidad”. El rector Víctor Pérez, de la de Chile, replicó rápidamente que lo que había que hacer era reforzar “la institucionalidad existente”.

En el corazón de ese diálogo está el control del los $7 mil millones ya mencionados, además de los montos que las universidades reciben por concepto de Aporte Fiscal Indirecto (AFI), que el Fisco reparte a las universidades que se quedan con los 27.500 alumnos de mejores puntajes. En 2012 la U. de Chile obtuvo $4.600 millones por AFI; en segundo lugar quedó la UC con $ 4.000 millones.

Es probable que lo que pase o deje de pasar con la PSU en las reuniones del CRUCH -que se han anunciado para marzo- se relacione directamente con cómo se reparten estos enormes recursos y otros muy cuantiosos que en estos meses han estado en disputa, como los casi $12 mil millones de los Fondos Basales. Estos, en teoría, dependen de la cantidad de investigación que realizan las universidades, pero que según el rector de la U. de Chile, actualmente están ligados a la cantidad de lobby que se hace ante el Ministerio de Educación.

Por ser sobre todo un gran manantial de recursos para las universidades, algunas fuentes describen a la PSU como un taxi que le pertenece al CRUCH, pero que es manejado por el DEMRE, siguiendo un recorrido que fija milimétricamente el Comité Técnico Asesor (CTA). Según Pearson, ese taxi realizó varias maniobras que dañaron a muchos alumnos. Eso hace necesario determinar quién es el responsable: el que ha manejado el taxi todo este tiempo, el que ha dado las instrucciones o el dueño del vehículo.

En un informe de la Fiscalía del DEMRE de 2005, al que accedió CIPER, el fiscal Sergio Caruman Jorquera ya manifestaba entonces su preocupación por la determinación de las responsabilidades. A Caruman le parecía que se estaba perjudicando a algunos alumnos que rendían la prueba de Ciencias y llamaba a aclarar el organigrama detrás de la PSU pues el DEMRE aparecía como comprometido con decisiones adoptadas por el CTA.

“El DEMRE oficia de facto como ejecutor de las decisiones emanadas del CTA en representación del CRUCH, lo cual supone una dependencia irregular dada la configuración del sistema actual. Esta situación es muy sensible jurídicamente hablando porque, para todos los efectos legales, el DEMRE es el único responsable de la totalidad de los procedimientos del proceso pero no está a cargo de la toma de decisiones centrales”, escribió Caruman.

El problema que preocupaba al fiscal era la forma de calcular el puntaje de Ciencias. Allí los alumnos deben rendir un examen que tiene dos partes. La primera es un módulo común y la segunda un módulo electivo donde el postulante decide si contesta preguntas de Química, Física o Biología. El problema se presenta cuando se corrigen las pruebas y se determinan los puntajes. El fiscal acusaba que el procedimiento de cálculo del CTA quitaba puntaje a los alumnos que rindieron Química y aumentaba puntos a los que rindieron Biología.

El fiscal Caruman no fue el único que reparó en este problema. En julio de 2005 el encargado de Ciencias del DEMRE, Pablo Valladares, envió una carta a Graciela Donoso, jefa de la unidad de Investigación del DEMRE, argumentando que la fórmula del cálculo que se estaba usando en Ciencias era “poco ética”. Valladares explicó su dura evaluación argumentando: “Mi comentario se basa en la cantidad de personas perjudicadas o favorecidas por habérseles disminuido o aumentado artificialmente el puntaje de su prueba sólo por haber rendido uno u otro electivo de Ciencias. Esto queda claramente establecido al pensar que tanto la prueba de Biología como Química se ajustaron a la curva de puntajes de Física. Esto quiere decir que se les aumentó artificialmente el puntaje a los que rindieron Biología y se les disminuyó a los que rindieron Química”.

A Valladares le preocupaba el perjuicio que podía causa a los alumnos de Química sobre todo aquellos que estaban cerca del puntaje de corte y que podían haber quedado fuera de las carreras que querían sin saber el motivo. Cabe recordar que en 2013 la prueba de Química la rindieron 31 mil alumnos.

Consultado por CIPER, Valladares explicó que la doctora Nancy Lacourly, de Ingeniería de la Universidad de Chile, argumentó ante el CTA en términos similares: la forma de hacer el cálculo era incorrecto (Ver entrevista completa). Tiempo después otro grupo de investigadores llegó a la misma conclusión: los especialistas del Educational Testing Service (ETS) que fueron contratados por la Universidad de Chile para evaluar la PSU.

El informe del ETS, finalizado en 2005, se mantuvo en secreto por siete años. La Universidad de Chile se negó a entregarlo aduciendo motivos comerciales. Un grupo de académicos que quería conocer los reparos que el ETS había hecho a una prueba que año a año mostraba más falencias, tuvo que recurrir a los tribunales, pero la U. de Chile ganó: mantuvo el secreto.

CIPER accedió a esos datos a través de la Ley de Transparencia y los dio a conocer. En su informe, entregado en 2005 y en las reuniones que sostuvieron con los miembros del CTA y de la Universidad de Chile, los investigadores del ETS advirtieron varios de los problemas que Pearson cuestionó ocho años después. Entre ellos, el problema de Ciencias.

-En 2005 el DEMRE, la gente del ETS y la Dra. Lacourly, por separado, concluimos lo mismo. Siempre le comunicamos a David Bravo y Jorge Manzi nuestros análisis. Sin embargo, no fuimos considerados. Nunca entendí que había detrás de esto- dijo a CIPER Valladares

El académico recordó, además, que los investigadores del ETS, “dijeron a David Bravo y Jorge Manzi -en una reunión a la que asistí- que publicaran en una revista científica el algoritmo que usaban para la prueba de Ciencias para que fuera evaluado por pares internacionales independientes. No sé si esto se hizo. Por mi parte, les pedí en una reunión que esto se transparentara a la opinión pública. David me dijo que eso no era necesario. Desde el inicio fue controvertida la forma del cálculo de este examen”. (Ver entrevista completa).

PARTIR EN DESVENTAJA

El cálculo del puntaje no es el único problema detectado en la prueba de Ciencias. Los rectores del CRUCH; el Ministerio de Educación, liderado entonces por Mariana Aylwin y los miembros del CTA, tenían claro que en el test de Ciencias y en toda la PSU en general, había un grupo de alumnos perjudicados: los que estudian en establecimientos Técnico Profesionales (TP). Esto porque la PSU es una prueba basada en el currículum de la Enseñanza Media Científico Humanistas y los jóvenes que están en los TP solo pasan ese currículum hasta 2° Medio.

La certeza que tenían de este hecho se demuestra en una minuta del Ministerio de Educación al que accedió CIPER (Ver página 5 de la Minuta).  El documento, de 2001, da cuenta de una reunión entre la entonces ministra de Educación Mariana Aylwin y los equipos que están dando forma a la PSU, y allí se plantea “la complejidad que surge con aquellos estudiantes que provienen de la Educación Técnico Profesional, toda vez que la prueba de Ciencias considera los conocimientos de 1° y 2° años, en tanto que Biología, Física o Química para 3° y 4°”

En esa reunión se propuso como solución realizar una prueba de tecnología para que estudiantes de los TP no tuvieran que enfrentar las de Biología, Física o Química. Pero finalmente no se hizo nada. Y la prueba siguió igual aún cuando todos esos miles de jóvenes han debido rendir una prueba en la que se les pregunta por cosas que nunca tuvieron la oportunidad de estudiar: conocimientos que además, ni siquiera está claro que sirvan para determinar quiénes son los que mejor se van a desempeñar en una carrera universitaria.

Nueve años después de esa minuta, Mónica Silva y Mladen Koljatic, investigadores de la Universidad Católica, insistieron en ese problema en un paper publicado en el CEP: “A pesar de que los alumnos de buen rendimiento escolar provenientes de la modalidad técnico-profesional hagan su mejor esfuerzo en la prueba de Ciencias, la desventaja queda en evidencia cuando se trata de lidiar con quienes han tenido cuatro horas semanales de Ciencias durante los dos últimos años de Enseñanza Media, además de preuniversitarios individuales e institucionales de los colegios con mayores recursos”. Y agregan: “En sus reportes, el CTA ha omitido de sus análisis esta modalidad educacional, lo cual enmascara el perjuicio a los grupos más vulnerables”. (Ver entrevista completa a Silva y Koljatic).

La omisión de esta realidad continuó hasta 2012, cuando por primera vez el CRUCH reconoció que los estudiantes de TP eran perjudicados en la prueba. Entonces se anunciaron cambios que aún no están definidos.

Además de estas situaciones de discriminación, existen otras falencias que también fueron descritas en el informe del ETS y que como no se corrigieron, han vuelto a aparecer en el informe Pearson. Por ejemplo, la complejidad creciente que registra la prueba de Matemáticas. Pearson señala que el grado de dificultad de este examen no sólo sigue siendo inadecuado -como ya lo había advertido la investigación del ETS-, sino que se ha exacerbado al incluir en la versión de 2011 cinco ítems de mayor dificultad.

El problema de agregar contenidos a las pruebas ha sido descrito en las investigaciones de Silva y Koljatic.

“Hay que comprender bien lo que pasa con la PSU: se pretende que con una sola prueba se evalúe bien a alumnos que postulan a carreras tan distintas como Ingeniería o Educación Parvularia. Eso es imposible de lograr porque las Matemáticas que requieren los alumnos no es la misma. Por eso se necesita que el sistema pueda discriminar en distintos niveles y por eso antes existía una prueba de aptitud general y una prueba de contenidos avanzados. Pero lo que tenemos ahora es como si evaluáramos a niños de 4to básico y de 4to medio con una sola prueba que mide conocimientos de 8vo básico. Es obvio que resultará imposible para los de básica y muy fácil para los de media. Pero ni siquiera podrá discriminar bien a los que tienen buenos resultados porque en la parte alta todos son puntajes nacionales, pero para esa población las preguntas eran fáciles, entonces no hay un criterio para seleccionar entre estos buenos rendimientos”, dijo Silva a CIPER.

Junto con eso, Silva y Koljatic sostienen que otro gran problema de la PSU es que busca seleccionar a los mejores alumnos haciendo una prueba de contenidos. Eso en Chile es imposible, pues el sistema educación está tan segregado socialmente que los jóvenes que mejor manejan los conocimientos de la Educación Media son los que han podido pagar los mejores colegios. Peor aún, los datos de ambos investigadores muestran que, a medida que ha ido aumentando la cantidad de contenidos, ha ido bajando la capacidad de la prueba de seleccionar a los alumnos que tendrán un mejor desempeño en la universidad.

Estos reparos se vinculan con otro que hizo el ETS en 2005 y que reiteró ahora último el informe Pearson: no se debe usar el resultado de la PSU para otro fin que no sea la selección de alumnos. Hoy, sin embargo, una prueba que tiene los sesgos sociales que se han mencionado, sirve para entregar los fondos estatales del ya citado AFI y la Beca Vocación de Profesor. Esta beca, que financia toda la carrera de Pedagogía de los alumnos que obtienen sobre 600 puntos en las PSU, está construida sobre la idea de que, para mejorar la educación en Chile, es necesario contar con mejores profesores, y para ello hay que estimular que alumnos con mejores puntajes en la PSU entren a esa carrera.

La constatación de que más alto se llega en la PSU mientras más alto se empine el ingreso de la familia, además del cuestionamiento a la capacidad predictiva de la PSU, deja en la incertidumbre la efectividad de ese plan. Según afirman Silva y Koljatic, las mismas cifras del CRUCH muestran que  existe una muy baja correlación entre puntaje PSU y rendimiento académico en Pedagogía. Incluso hay carreras donde la capacidad de la PSU de predecir es negativa, lo que quiere decir que a mayor puntaje PSU, menor rendimiento académico. ¿Es razonable usar la PSU, tal como está ahora, para elegir a los mejores profesores?

Silva y Koljatic argumentan que “para fines de escoger alumnos que tengan éxito en la carrera de Pedagogía y que se conviertan a futuro en maestros destacados, sería deseable realizar un estudio más acabado de la capacidad predictiva de la PSU y notas de Enseñanza Media para todas las carreras de Pedagogía del sistema universitario. Se ve que hay una variabilidad sustancial en términos de la capacidad predictiva de las pruebas para distintas universidades. Asimismo, es necesario investigar el efecto de la inclusión de otras variables que, además de promover un acceso más equitativo a los beneficios, pueden ser buenos predictores del rendimiento universitario en Pedagogía, como por ejemplo, la posición relativa que ocupa el alumno en su curso, entre otras”.

LA UNIVERSIDAD QUE LE CORRESPONDE

Parece evidente a estas alturas que la PSU ha puesto al sistema universitario en un lugar muy distinto al que prometieron los promotores de la PSU. En 2001, cuando comenzó a discutirse sobre este examen, se aseguraba que la PSU mejoraría la equidad en la selección universitaria. Se decía, con justa razón, que el anterior examen -Prueba de Aptitud Académica (PAA)-  era susceptible de entrenamiento vía pre universitario y por ello el éxito lo conseguían los jóvenes con más recursos. Se argumentaba también que la PSU, al estar basada en lo aprendido en la Enseñanza Media, haría que pesara menos el origen social del alumno pues tendría más impacto la escuela que el capital cultural de la familia. Incluso se esperaba que la nueva prueba provocara que los padres exigieran a sus colegios que pasaran todo el currículo “porque entra en la prueba”.

Eso, sin embargo, no ocurrió. La segregación social que recogía la PAA consiguió expresarse en la PSU. Los gráficos del CTA muestran como hoy una relación directa entre el ingreso familiar y el puntaje que obtienen los alumnos (Ver página 40 del informe de la CTA sobre el proceso 2013).  A más dinero, más puntaje. Jorge Manzi, uno de los autores de la PSU, ha dicho que la brecha en el rendimiento de los distintos grupos sociales es fuerte, pero se mantiene igual que en la PAA. Y en defensa de la PSU ha argumentado que este examen es solo un termómetro que recoge la segregación que hay en Chile. (Ver informe del CTA)

Silva y Kojatic, por el contrario, creen que en la PSU la segregación social se expresa con más fuerza. En el paper publicado en el CEP afirman: “El aumento de contenidos en las pruebas PSU no ha favorecido a los alumnos de sectores más vulnerables, sino que, por el contrario, los ha perjudicado”. La forma en que mide la PSU ha dejado sin opciones “al grupo de alumnos vulnerables más capaces dentro de su generación”.

El resultado de esto es que los jóvenes de estrato social medio-bajo, talentosos pero con bajo puntaje en la PSU, acceden cada vez menos a las universidades del Consejo de Rectores.  “El aumento de la brecha de rendimiento en la PSU es consistente con la baja en el porcentaje de alumnos de colegios municipales que logran ser admitidos en algunas de las universidades más prestigiosas del Consejo de Rectores, tales como las universidades de Chile, Católica, de Concepción, de Santiago y Católica de Valparaíso “, afirman Silva y Koljatic.

¿A dónde están yendo esos jóvenes? Parece evidente que en esta década de funcionamiento de la PSU hayan acudido a universidades privadas que exigen bajo puntaje y que, coincidentemente, son las que han estado bajo fuerte cuestionamiento e incluso investigación judicial por lucro, cuestionamientos a su calidad y por el comportamiento poco ético e incluso delictual de sus dueños, como la Universidad del Mar, Pedro de Valdiva, Sek, Bernardo O´Higgins, Uniacc y Santo Tomás, por citar algunas que han sido objeto de investigaciones este año.

En este punto la PSU empieza a mostrar que lejos de mejorar la equidad en la selección universitaria, como buscaban sus creadores, ha servido al mercado de la educación para distribuir a los alumnos -según su nivel social- en universidades que se han ido especializando también en niveles sociales. Así, replicando lo que ocurre en el sistema de educación básica y media, donde hay colegios para ricos, para sectores medios y para pobres, hoy Chile ofrece universidades para ricos, para sectores medios y para pobres, con niveles de calidad muy distintos.

Así, la PSU, en la práctica, está sirviendo para colocar a cada cual donde le corresponde según el mercado.