“El cambio de la PAA a PSU fue liderado por gente con militancia política, pero nadie experto en evaluación ni en educación”

Si usted no es ingeniero o matemático es muy difícil que entienda esta forma de evaluación.

Pablo Valladares, investigador y académico de la Universidad de Tarapacá, es uno de los que primero prendió las alarmas sobre la PSU. En 2005, cuando era coordinador de Ciencias en el DEMRE, sostuvo que el mecanismo usado para calcular los puntajes en esa prueba era  «poco ético» pues alteraba la calificación de los alumnos dependiendo de si habían decidido contestar el electivo de Química o el de Biología. «Se les aumentó artificialmente la puntuación a los que rindieron Biología y se les disminuyó a los que optaron por Química», escribió en una carta que envió a Graciela Donoso, jefa unidad de investigación del DEMRE (Ver carta). El texto de Valladares forma parte de una intensa discusión sobre la validez de la PSU que se dio entre académicos y sin que la opinión pública ni los alumnos se enteraran. En esta disputa las decisiones finales no siempre fueron el resultado de un debate científico. Para Valladares, una de las razones del problema actual de la PSU es que se omitió una mirada educacional sobre el sistema. “El proceso de cambio de la PAA a la PSU fue encabezado por economistas, sicólogos, académicos de distintas áreas, todos con militancia política, pero ¡nadie! experto en evaluación ni en educación. Ningún doctor en educación ni evaluación. Por eso el descalabro que ha ocurrido con estos procesos”.

-El argumento central de su crítica es que en la PSU se baja el puntaje de los que optaron por rendir la prueba de Química y sube la puntuación de los que escogieron Biología. ¿Por qué se hace eso? Un ejemplo puede ayudar a entender el problema. Hagamos cuenta que usted, su editora y yo rendimos la PSU de Ciencias. Los tres respondemos las mismas 10 preguntas del módulo común. Luego usted rinde la electiva de Química, su colega la de Física y yo la de Biología, pero ninguno de los tres responde ninguna pregunta del electivo. Es decir, nos quedamos sólo con las 10 preguntas del módulo común. Lógicamente los tres deberíamos tener el mismo puntaje, pero no es así. Usted, que rindió Química tendrá menor puntaje; segundo su editora, que rindió Física; y yo, que rendí Biología, tendré el mayor puntaje.  Ahora, si los tres estamos postulando a Medicina: ¿quién se ve beneficiado? Más aún, si estamos los tres en el puntaje de corte, quién dio la PSU de Ciencias-Biología se vio beneficiado. Escuché en alguna oportunidad que había un análisis de cuantos postulantes se habían visto beneficiados o perjudicados por esta situación en uno de los procesos que participé, pero no vi ningún informe.

-¿Por qué se calcula de ese modo?

El error fue pasar de PAA a PSU sin tener el material necesario, ni los equipos técnicos especializados.

Es lo que decidieron hacer para resolver el problema de tener un solo puntaje en Ciencias, con independencia del electivo que se haya dado. Lo que ocurre es que, cuando se correlaciona el puntaje de Ciencias con la PSU de Lenguaje por un lado, y con la de Matemáticas por otro, se observan claramente tres grupos: los que rinden la electiva de Química, que son los que tienen mejores resultados; los del electivo de Física, que tienen resultados intermedios;  y los del electivo de Biología, que tienen los más bajos resultados. Las razones de estas diferencias son muchas. Una de ellas es que el número de contenidos en Química y Física son alrededor de 60, mientras que los de Biología son sobre 100, por lo que prepararse para la PSU de Ciencias es más difícil si uno rinde Biología. Pero lo importante es que hay tres grupos distintos de alumnos que no pueden ser comparados entre sí con un mismo puntaje. Sin embargo, las autoridades de la época consideraron necesario calcular un solo puntaje para todos. Por ello, el algoritmo desarrollado por Jorge Manzi, David Bravo (Nota de R. Ambos son los autores de la PSU e integran el Comité Técnico Asesor (CTA) que asesora al CRUCH en el tema de la PSU) y otros, ajustaron los puntajes a Física. De esta manera, por lo menos hasta que estuve ahí, en 2007, se bajó la escala de puntaje a los que rindieron la electiva de Química, se les aumentó a los que contestaron la electiva de Biología, y Física quedó igual. Uno de los problemas que genera esta forma de cálculo es que a medida que aumentan los puntajes, la brecha se hace más alta, y por lo tanto las diferencias son más significativas. Como estos puntajes pelean punto a punto la entrada a las carreras más emblemáticas, como Medicina, variaciones como estas son muy complejas. Este mecanismo fue cuestionado en un informe que desarrolló la Doctora Nancy Lacourly  de la Facultad de Ingeniería de la Chile; también los colegas del Educational Testing Service (ETS) compartían nuestras aprensiones. Ellos incluso les dijeron a David Bravo y Jorge Manzi, en una reunión a la que tuve la oportunidad de asistir, que publicaran en una revista científica dicho algoritmo para que fuera evaluado por pares internacionales independientes. No sé si esto se hizo. Por mi parte, les pedí en una reunión que esto se transparentara a la opinión pública, y David me dijo que eso no era necesario. Desde el inicio fue controvertida la forma del cálculo de este examen.

-¿Cómo se originó este método de cálculo? No sé cómo se origina el algoritmo, pero lógicamente se pensó primero en la estructura de la prueba (un módulo común que mezcla contenidos de tres áreas científicas distintas, y un módulo específico) y después vieron como solucionar el tema del puntaje único, cuando lo inteligente debió ser lo contrario. Es decir, solo buscaron un algoritmo para calcular un sólo puntaje de test que corresponde a un engendro raro, difícil de entender. Si usted no es ingeniero o matemático, es muy difícil que entienda esta forma de evaluación. –

¿Puede ser una propuesta hecha por el Comité Técnico Asesor (CTA)? No lo sé. Solo sé que ellos intervinieron fuertemente en las decisiones de esta prueba. Después de cada examen analizaban las estadísticas de cada ítems y decidían, por ejemplo, si se anulaban o no las preguntas con resultados estadísticos que no se ajustaban a lo que deseaban del instrumento. Siempre me opuse rotundamente a eso.

-¿Es el CRUCH la entidad donde se decidió usar este cálculo? No lo creo. Me parece que parte del problema es que las universidades no se han hecho parte lo suficiente en esta discusión. Mientras estuve en el DEMRE nunca recibimos una consulta de algún representante de alguna universidad del CRUCH preguntándonos algún detalle técnico. Nunca participaron con nosotros representantes del CRUCH en las discusiones profundas del sistema, sólo en la construcción de ítems para enriquecer los bancos de preguntas. Es importante mencionar que cada universidad del CRUCH tiene un representante en el DEMRE, pero hasta donde sé, siempre estaban a cargo de organizar la toma de la PSU y el pre-test, pero nunca de participar en discusiones estructurales de la misma.

-En su carta de 2005 usted propuso, para solucionar este problema, entregar puntajes separados para cada una de las pruebas dejando que las universidades ponderaran de acuerdo a sus intereses. En esa línea iba, según entiendo, la propuesta hecha por la auditoría ETS hecha también el  2005. Así es, y también concluyó lo mismo la Dra. Lacourly  de Ingeniería. Ya éramos tres, DEMRE, ETS y la Dra. Lacourly,  quienes por separado, concluimos lo mismo, y siempre se les comunicó a David Bravo y Jorge Manzi nuestros análisis. Sin embargo, no fuimos considerados. Nunca entendí que había detrás de esto. Solo me llamaba la atención que por esa fecha salían los primeros resultados de Ciencias en pruebas internacionales, donde los resultados eran paupérrimos. Por otra parte siempre nos llamó profundamente la atención que quienes encabezaron el proceso de cambio de PAA a PSU fueron economistas, sicólogos, académicos de distintas áreas, todos con militancia política, pero ¡nadie! experto en evaluación ni en educación. Ningún doctor en educación ni evaluación. Por eso el descalabro que ha ocurrido con estos procesos.

El proceso de cambio de PAA a PSU fueron economistas, sicólogos, académicos de distintas áreas, todos con militancia política, pero ¡nadie! experto en evaluación ni en educación. Ningún doctor en educación ni evaluación. Por eso el descalabro que ha ocurrido con estos procesos.

-Hasta que usted estuvo en el DEMRE, ¿se debatieron otros problemas que se han descrito en la PSU? Por ejemplo, ¿recuerda si se discutió el problema de los estudiantes de Liceos Técnico-Profesionales que no pueden rendir correctamente una PSU que abarca toda la Enseñanza Media pues su currículum incluye el contenido sólo hasta 2do Medio?
Discutimos miles de cosas, desde la organización interna, pasando por la liberación de información a la opinión pública, hasta los bancos de preguntas, la informatización, etc. Por ejemplo, los bancos de ítems no estaban preparados para el cambio de PAA a PSU, no existía un número de preguntas que nos permitieran desarrollar un instrumento como el que teóricamente se requería. Con el tiempo pudimos construir un buen banco de preguntas, fue un gran trabajo que se desarrolló en el DEMRE. Inicialmente debíamos construir una PSU en base a preguntas que nos harían llegar del proyecto SIES, sin embargo, lo que nos llegó de ese proyecto fue un chiste. Al menos a Biología nos llegaron 77 preguntas, de las cuales rechazamos el 90% por errores técnicos y conceptuales, y lo que dejamos eran solo preguntas de reconocimiento, es decir, preguntas sencillas, que requerían solo recordar una estructura o función para responderla correctamente. Ahí no había nada que nos permitiera desarrollar una PSU como teóricamente se requería. Pienso que el error fue pasar de PAA a PSU sin tener el material necesario, ni los equipos técnicos especializados. Por ejemplo, en el Comité de Ciencias éramos sólo tres personas, sin contar los académicos externos. No teníamos bancos de preguntas, no existían bases de datos computacionales, ni siquiera teníamos computadores en nuestras oficinas, ¡trabajamos con tarjetas de cartón! Ahí el trabajo de Omar Flores fue fundamental, quién convenció de modernizar al DEMRE y sus comités. Por otro lado tuvimos cursos de especialización en estadística, vinieron los colegas del ETS a darnos conferencias, algunos colegas tuvieron la suerte de viajar a especializarse en el ETS en USA, etc. Después que me fui, se aumentó el número de personas en el Comité de Ciencias, pero ya habían transcurridos tres procesos de admisión a las universidades. Los constantes errores que se produjeron tanto en procesos de admisión como pre-test fue consecuencia, a mi juicio, en gran medida de este déficit. Pero respondiendo a su pregunta, no recuerdo discusiones sobre una prueba para alumnos de Liceos Técnicos-Profesionales. Sí supe que hubo una comisión que trabajó menos de un año en una propuesta, pero nunca supimos que fue de ellos, ni que resultado se obtuvo de su trabajo.

-¿Piensa usted que a los alumnos de los establecimientos Técnicos Profesionales y a los de muchos establecimiento municipales que no alcanzan a ver todo el currículum que entra en la PSU, los perjudica una prueba que crecientemente tiene contenidos vistos en toda la Enseñanza Media? Lógicamente que sí, los perjudica claramente, ya que la prueba se construye a partir de una matriz constituida por contenidos, habilidades y dificultades. Quién no estudie los contenidos, mal podrá responder las preguntas de habilidades cognitivas importantes o profundas, y consecuentemente de mayor dificultad. Por lo tanto sus puntajes siempre se mantendrán por debajo del promedio.

En una reunión los colegas del Educational Testing Service les dijeron a David Bravo y a Jorge Manzi que publicaran en una revista científica el algoritmo usado en Ciencias, para que fuera evaluado por pares internacionales independientes. No sé si esto se hizo.

-¿Se discutió en el DEMRE o con la CTA o en el Cruch la capacidad predictiva que tenía la prueba y que ha sido puesta en duda especialmente por Mónica Silva y Mlanden Koljatic? Sí, se discutió.  Y la verdad, nos llegaban los análisis de David Bravo, donde concluía que estos instrumentos eran muy buenos predictores. Si bien nunca nos convencimos mucho de ello, debo reconocer que mi experiencia como académico en universidades privadas y estatales me hizo considerar la efectiva predicción del instrumento, pero eso era sólo una experiencia personal. De los autores que usted menciona, siempre leímos y discutimos los artículos que publicaban, y  personalmente les encontraba mucha razón, sus argumentos técnicos eran muy profundos y serios. Lamentablemente, el DEMRE nunca hizo un análisis serio e independiente, al menos hasta donde recuerdo.

-A la luz de los antecedentes que se han ido reuniendo, ¿le parece que la PSU selecciona a los alumnos más capacitados para estudiar en la universidad? En cierta forma sí, pero esto tiene muchos bemoles. Más allá de ser un buen predictor, lo que sí queda claro es que refleja las desigualdades que existen en la educación chilena, y uno de sus argumentos era precisamente disminuir la brecha entre los colegios privados de los públicos, y eso no ha sucedido con este instrumento.