Evaluación internacional de la PSU en 2005 recomendó cambios en matemáticas que no se aplicaron

Vea también:  «PSU: académicos acusan que consolida la desigualdad«

Entre los académicos que se dedican a investigar sobre educación hay un estudio que tiene carácter de mito urbano. Se trata de la “Evaluación Externa de las Pruebas de Selección Universitaria” hecha en 2005 por la institución norteamericana Educational Testing Service (ETS). Durante los últimos siete años un grupo de investigadores (entre los que destacan Mónica Silva, Mladen Koljatic, Francisco Javier Gil junto al abogado de Pro Acceso, Moisés Sánchez) ha intentado acceder a esa investigación para revisar sus conclusiones, con la sospecha de que la ETS había sido lapidaria al evaluar la PSU y había recomendado hacerle grandes cambios. Sin embargo, la Universidad de Chile, que administra la PSU, se negó reiteradamente a entregar el estudio aduciendo que el contrato con ETS se lo impedía. El mismo grupo de académicos más los estudiantes de la FEUC presentaron una demanda en contra del rector de la Chile, apelando al derecho a la información pública. Pero el juicio benefició a la Universidad.

CIPER tuvo acceso al estudio a través de la Ley de Transparencia y Acceso a la Información, y lo hace público por primera vez. En él se sugieren cambios importantes que nunca se aplicaron.

Tras alabar a los autores de la PSU por diseñar “una evaluación de gran escala y de grandes consecuencias en un periodo de tiempo extremadamente reducido y con recursos relativamente limitados”, la ETS critica la prueba de Matemáticas. Dice que la deben reexaminar para que coincida con el nivel de la población a que está destinada. La considera “muy difícil para la población a la que va dirigida”.

La recomendación de la ETS a primera vista es extraña, porque bajando la exigencia solo se conseguiría mejorar artificialmente los resultados de los alumnos. Para la investigadora de la UC, Mónica Silva, no se trata de eso. “Hay que comprender bien lo que pasa con la PSU: se pretende que con una sola prueba se evalúe bien a alumnos que postulan a carreras tan distintas como ingeniería o educación parvularia. Eso es imposible de lograr porque la matemática que requiere los alumnos no es la misma. Por eso se necesita que el sistema pueda discriminar en distintos niveles y por eso antes existía una prueba de aptitud general y una prueba de contenidos avanzados. Pero lo que tenemos ahora es como si evaluáramos a niños de 4to básico y de 4to medio con una sola prueba que mide conocimientos de 8vo básico. Es obvio que resultará imposible para los de básica y muy fácil para los de media. Pero ni siquiera podrá discriminar bien a los que tienen buenos resultados porque en la parte alta todos son puntajes nacionales, pero para esa población las preguntas eran fáciles, entonces no hay un criterio para seleccionar entre estos buenos rendimientos”.

Para la especialista, con esta recomendación “la ETS quería hacer una cirugía mayor a una prueba que estaba mal concebida”.

A pesar de la recomendación sin embargo, el Departamento de Evaluación, Medición y Registro Educacional (DEMRE), que es el organismo que confecciona la PSU, siguió agregando contenidos a la prueba de Matemáticas, pasando de evaluar solo las materias de 1° y 2° medio en 2004, a evaluar todo el currículo de la enseñanza media, actualmente.

Según explican Mladen Koljatic, académico de la Universidad Católica, el hecho de que cada año la PSU sume más contenidos ha perjudicado a los estudiantes más pobres, que bajan cada vez más sus puntajes y que según cálculos del 2009, contestaban bien 6 preguntas de las 70 de la PSU de matemáticas.

“El informe de ETS confirma lo que hemos dicho desde hace años: que existen problemas serios con la PSU de Matemáticas, que hubo apresuramiento injustificado en el cambio de pruebas (desde la PAA a la PSU) y que fue un error pretender usar la prueba de admisión para propósitos múltiples”, añade Mladen Koljatic, luego de revisar el documento final de la ETS.

“La Universidad de Chile debió haberle puesto freno al aumento de materia en la prueba. A pesar de que el informe no es muy específico en los cambios que se deben realizar, es evidente, para cualquier persona que sabe un poco de medición, que la solución era tener dos pruebas de matemáticas, una prueba específica y otra de contenidos generales”, añade Mladen Koljatic.

SEGREGACIÓN

Casi desde que se empezó a aplicar, en 2003, la PSU recibió duras críticas. La más reiterada y documentada es que esta prueba resulta más fácil para los jóvenes de familias acomodadas que para los jóvenes pobres. Ser del quintil más rico asegura 150 puntos de ventaja sobre el quintil más pobre, con lo que la PSU se vuelve una herramienta para perpetuar la brecha social que hay en Chile. Esta tendencia es tan marcada y constante que según el académico Francisco Javier Gil, “si el movimiento estudiantil hubiera conseguido la educación gratuita que pedía, no habría significado mucho para los alumnos más pobres, porque ellos no están llegando a las universidades”. (Ver reportaje)

Para Gil el problema es que la PSU no mide ni inteligencia ni constancia, sino conocimiento. Y medir conocimiento resulta injusto pues no está homogéneamente distribuido entre las distintas clases sociales. Aprender implica haber tenido acceso a aprender; haber contado con libros y profesores de calidad; haberse formado en ambientes donde la cultura tiene sentido. Todo eso cuesta dinero. Para Gil, preguntar por conocimientos es hoy casi como preguntar por la cantidad de recursos de que dispuso la familia para educar a su hijo.

Una segunda crítica fuerte que se ha hecho a la PSU tiene que ver con que hay una gran masa de estudiantes que quedan fuera de la prueba antes siquiera de participar en ella: son los jóvenes que se educan en escuelas técnico-profesionales y a los cuales no se les pasa todo el currículo que se pregunta en la prueba.

En este tema la evidencia llevó a que en diciembre del año pasado el CRUCH (organismo que reúne a 25 universidades chilenas) reconociera por primera vez que la PSU perjudica las opciones de los alumnos de la educación técnico-profesional. Y anunciara cambios para la PSU que se rendirá en 2012. Para Silva y Koljatic ese reconocimiento constituyó “una aceptación tácita del error de creer que una prueba de altos contenidos constituiría un avance en equidad en un país con tan alta desigualdad en la calidad de la educación como es Chile”. (Ver columna)

En el estudio de la ETS se hace una alusión a este punto, llamando a los autores de la PSU a “considerar” los bajos rendimientos de ciertos “subgrupos de la población”.

En otras recomendaciones, la entidad norteamericana insta a la Universidad de Chile a “clarificar el propósito de la PSU”, de modo que esta se use sólo para la admisión universitaria. En ese sentido los autores de la ETS recomendaron “desalentar otros usos del puntaje de las pruebas”, entre ellos, usarla para evaluar lo aprendido en la educación media (como se hace, por ejemplo, en los rankings con los colegio con mejores resultados de la PSU), o usarla para distribuir becas y beneficios estudiantiles.

Actualmente, la mayoría de las ayudas estudiantiles dependen del rendimiento en esta prueba. Un ejemplo es la Beca Juan Gómez Millas, que cubre hasta $1.150.000 del arancel anual de una carrera, a los alumnos provenientes de los dos primeros quintiles socioeconómicos que alcanzaran los 600 puntos en la PSU. Ese puntaje es inalcanzable para los jóvenes más pobres y por ello en 2010 solo la consiguieron 596 estudiantes. Si el puntaje de corte fuera 450 puntos, 43 mil jóvenes de los dos primeros quintiles podrían acceder a esa beca.

El ex director del DEMRE, Lautaro Cisternas, afirmó a CIPER que la universidad de Chile aplicó muchas de las recomendaciones que le realizó la ETS para gestionar y preparar la PSU. Dice sin embargo que respecto de la crítica a la PSU de Matemáticas “era un tema que le correspondía resolver al Comité Técnico del Consejo de Rectores, porque la PSU es un instrumento del Consejo de Rectores, que se asesora con un comité especializado, donde hay expertos en educación. Son los mismos expertos que tomaron la decisión, el último año, de aumentar la prueba de matemáticas en 5 preguntas más”.

Entonces, ¿el Comité Técnico Asesor conocía los resultados de este informe de la ETS?
Por supuesto.

Jorge Manzi, quien integra el Comité, afirmó que jamás vio ese informe.
¡Uf!… ¿Eso dijo? Eso no más puedo decir.
Jorge Manzi, doctor en psicología, director del Centro de Medición MideUC y profesor de la Universidad Católica, es uno de los autores intelectuales de la PSU. Además, es parte del comité encargado de evaluar los resultados cada año e informar al Consejo de Rectores sobre la capacidad de la prueba de seleccionar a aquellos que tendrán un mejor desempeño académico en la universidad.

Jorge Manzi no niega la brecha entre los puntajes que obtienen los alumnos más acomodados y los de colegios técnico-profesionales. Pero discute que sea una distorsión provocada por la prueba. Cree que ésta solo refleja los problemas del sistema de educación y asegura que no ganaríamos nada ignorando la información que entrega. Desde ese punto de vista, la PSU es el termómetro y marca cuán enfermo está el sistema.

Consultado sobre este estudio Manzi dijo a CIPER que jamás lo había visto.