Recientemente, CIPER publicó una columna del experto en medición educativa, Richard P. Phelps, quien menciona lo que a su juicio son fortalezas y deficiencias de los dos principales sistemas de medición estandarizada en Chile: SIMCE y PSU. Phelps fue invitado desde Estados Unidos por la Universidad Finis Terrae para debatir el rol de las pruebas estandarizadas en Chile. En su columna, Phelps señala que la PSU es una prueba de altas consecuencias (se usa para decidir a qué carrera y universidad entrará quien toma la prueba), que adolece de problemas como el excesivo involucramiento de economistas en su creación, la variedad de propósitos que de ella se desprende, y la poca transparencia en su diseño. Por el contrario, Phelps señala que el SIMCE estaría libre de estos problemas. Desde el Colectivo Una Nueva Educación creemos que su percepción sobre el SIMCE es equivocada. Por ello, en esta columna rebatiremos algunos equívocos e imprecisiones descritos por el experto norteamericano, considerando aspectos técnicos y políticos del SIMCE.
Creadores y defensores del SIMCE señalan que es una herramienta para evaluar y mejorar la calidad de las escuelas. Sin embargo, en todos los documentos formales asociados al SIMCE, no existe ninguna definición de “calidad de la educación”
En primer lugar, es necesario mencionar que la crítica de Phelps a la variedad de propósitos de la PSU también es válida para el SIMCE. La investigación más reciente sobre el SIMCE (el año 2013, financiada por el Consejo Nacional de Educación[1]) ha detectado 17 propósitos para este instrumento. Investigadores como Cristián Bellei han advertido desde hace aproximadamente 10 años sobre los peligros que la multiplicidad de usos y propósitos atribuidos al SIMCE conlleva para la validez del proceso. Esta advertencia también ha sido consignada (pero no resuelta) en el informe de la Comisión SIMCE del año 2003. Una prueba con 17 propósitos diferentes implica un problema técnico, ya que cada uno requiere procesos de validación diferentes que justifiquen las interpretaciones que se realizan en base a los puntajes de la prueba.
Además, a diferencia de lo que Phelps sostiene, el SIMCE tiene su “caja negra” al igual que la PSU. No solamente en relación con sus marcos de evaluación, los que en otras evaluaciones estandarizadas se publican, sino también en torno a sus procesos de elaboración, aplicación y corrección. Ya en 1999 en un estudio de Bárbara Eyzaguirre y Loreto Fontaine se indican los problemas relacionados con las preguntas del SIMCE y los contenidos evaluados, problemas que se reiteran en estudios más recientes. Además, el citado estudio publicado en 2013 en el cual se recoge la perspectiva de diversos actores que participan en diferentes roles y etapas del SIMCE, revela problemas en la calidad de las preguntas, en la construcción de los instrumentos, en la comparabilidad de resultados de un año a otro, y en las condiciones laborales de constructores y correctores, que podrían tener una incidencia en la calidad del instrumento y de las interpretaciones que se hacen de sus puntajes. El SIMCE claramente no está bien diseñado como Phelps supone.
Más importante aún, el SIMCE se basa en una noción de calidad que no está definida. Creadores y defensores del SIMCE señalan que es una herramienta para evaluar y mejorar la calidad de las escuelas. Al ahondar en esta afirmación nos encontraremos nuevamente en una nebulosa, pues ¿qué es la calidad de la educación? Pareciera ser una pregunta que no responden ninguno de los que con convicción afirman que es ese su propósito. De hecho, el informe citado señala que en todos los documentos formales asociados al SIMCE, no existe ninguna definición de “calidad de la educación”. Usualmente, se cae en la afirmación, reduccionista e inadecuada, de que dicha calidad correspondería al puntaje obtenido en el SIMCE. Sin embargo, la ausencia de definición de ‘calidad’ implica un defecto técnico, puesto que si se desconoce qué se evalúa, difícilmente se puede construir un instrumento que entregue evidencia al respecto. Al no estar definida “la calidad de la enseñanza”, cualquier interpretación que se realice sobre ésta en base a los resultados del SIMCE no puede ser válida, y las decisiones que se tomen sustentadas en ello pueden ser consideradas como poco éticas. Al no haber una definición de calidad educativa asociada a lo que el SIMCE busca medir, la “mejora” de la calidad, entendida como un incremento en el puntaje SIMCE, da cuenta de una grave falencia, una irresponsabilidad política que comenzó en la dictadura militar y que se ha profundizado durante los años de transición.
Por otra parte, Phelps se equivoca al desestimar el SIMCE como una prueba con altas consecuencias. Un bajo desempeño de la escuela en el SIMCE implica disminución en las matrículas, pérdida de financiamiento, disminución de la remuneración de los profesores (pérdida del bono SNED), amenaza de cierre de la escuela, todas consecuencias graves, que afectan directamente a profesores y alumnos. Estos elementos, por nombrar algunos, constatan que el SIMCE es efectivamente una prueba con altas consecuencias. De hecho, son éstas las que obligan a las escuelas y sus profesores a someterse a un currículum nacional progresivamente reducido y a modificar sus prácticas pedagógicas en función de estos estándares. La evidencia refleja que las altas consecuencias del SIMCE introducen distorsiones en el proceso educativo, pues incentiva prácticas como el entrenamiento para la prueba en los establecimientos, exclusión de estudiantes de bajo rendimiento, uso de incentivos materiales a profesores y estudiantes para subir los puntajes, estigmatización, despido de profesores y posible desmotivación de los estudiantes al contestar la prueba. Recientemente algunas instituciones ofrecen programas de postítulo con el objetivo explícito de enseñar a los profesores a mejorar los puntajes en el SIMCE, en vez de mejorar sus prácticas pedagógicas en función de las necesidades de los alumnos. Una distorsión grave y triste del sentido de la enseñanza y la educación.
Sammuel Messick, uno de los padres de la teoría contemporánea sobre validez en evaluación, dice que un ejercicio necesario es ver cómo funcionaría el sistema educativo si sacáramos una evaluación específica de dicho sistema. Si la evaluación es más perjudicial que beneficiosa para el sistema, ello juega en contra de su validez. En ese sentido, es posible y técnicamente recomendable pensar en un escenario sin el SIMCE, al menos en sus condiciones actuales. Como dice Phelps, es importante saber si los estudiantes están aprendiendo, y en ello la evaluación juega un papel importante. No obstante, hay que preguntarse primero si eso es lo que el SIMCE está haciendo y, en ese sentido, si resulta necesario. Hay formas alternativas de evaluar que producen menos daños y podrían contribuir a mejorar nuestro sistema de enseñanza, el SIMCE es sólo una opción, que produce (y no mide) una serie de distorsiones educativas. En este sentido creemos que la sugerencia de Phelps de eliminar la PSU es tanto o más válida para el SIMCE, acorde a lo aquí expuesto.
En síntesis, en discrepancia con lo planteado por Phelps, el SIMCE, en sus condiciones actuales, posee una variedad de propósitos que le restan validez, es una “caja negra” que presenta múltiples problemas técnicos y tiene altas consecuencias nocivas y perniciosas para el sistema educativo en su conjunto. Por todo lo anterior, debemos decir Alto al SIMCE, no sólo por todas estas dificultades técnicas, sino también por una necesidad política y valórica fundamental: rescatar el sentido de enseñar y educar en Chile.
[1] El título del reporte es “Análisis crítico de la validez del sistema de medición de la calidad de la educación (SIMCE)”
COMPARTIR
CONTENIDO DESTACADO
Expareja del diputado Urruticoechea revela que usó durante cinco años la tarjeta del Congreso para cargar combustible
Creo que muy necesario contar con herramientas de medición de la educación, pero lamentablemente el SIMCE carece del objetivo que tienen toda herramienta: la toma de decisiones para la mejora de la calidad. El SIMCE, y estoy de acuerdo con la publicación, en que también carece de saber "que calidad quiere medir" si es que aún no se sabe que es calidad. Comete el mismo despropósito de las pruebas escolares: se toma la prueba para colocar una nota, pero no se usa para medir las falencias de alumno y tomar las medidas adecuadas de mejoramiento para que el niño aprenda. Las pruebas escolares mal utilizadas resultan en un castigo que afecta la autoestima del alumno, y así la prueba SIMCE actúa como un castigo para el colegio. De ahí que los colegios la usen como medios comerciales y no como herramientas pedagógicas.
Ivan Salinas | 09.03.2014
No pues Ernesto. No hemos olvidado la historia. Simplemente entendemos que el uso del SIMCE, en esa forma, fue mantener el carácter del Estado, que en simpleza significa negar derechos y transformarlos en subsidios. Si se trata de maquillar el SIMCE con usos pedagógicos, pues las políticas de principios de los 90 son el mejor ejemplo: que una herramienta de orientación de mercado tenga una justificación "progresista" como orientador de política subsidiaria. La radicalidad de esa crítica es a lo que llamamos, no a las defensas de las políticas de la concertación, que finalmente contribuyeron a profundizar el modelo de la dictadura. El SIMCE siempre fue una política de mercado. Que se hayan convencido de otra cosa es simplemente la claudicación a los principios del Estado según Jaime Guzmán.
Ernesto Toro Balart | 25.02.2014
El SIMCE original siempre tuvo una definición de calidad, y un sentido claro de su misión. Como no se trataba de tener una definición exquisitamente conceptual sino operativa, quienes diseñamos el primer SIMCE optamos por reconocer que una educación es de calidad cuando: (i) los estudiantes aprenden; (ii) muestran desarrollo personal; (iii) las partes se sienten satisfecha con la labor de la escuela, estudiantes, docentes , familias; y (iv) cuando hay eficiencia interna, es decir, buenos resultados de aprobación, baja deserción, escasa rotación de docentes. Un quinto criterio no lo llegamos a medir: pertinencia del curriculum para con la población escolar atendida. El sentido era informar a la escuela sobre su desempeño, sobre sus resultados, facilitando así la planificación de mejoras. Se medía al curso y no al niño o niña individual, pues la acción del Sistema Nacional de Supervisión llegaba entonces con posibilidades de intervenir a nivel de la escuela y curso, Con el tiempo, el mercado indujo mutaciones que distorsionaron todo. Ganó el ranking y la persecución a los docentes. Perdió la escuela y la comunidad escolar. Estúpidamente se persiguió a directores y docentes por resultados bajos en las mediciones, lo que estimuló la preparación ad hoc para la prueba, restar horas a materias distintas a las evaluadas, excluir estudiantes con necesidades educativas especiales, trabajar las respuestas de los apoderados en la encuesta de satisfacción, etc. Y el MINEDUC no tuvo la firmeza para defender este aporte de información como parte de su esfuerzo por mejorar la calidad de la enseñanza y de los aprendizajes. En su primera medición, 1988, el SIMCE mostró el claro efecto de las políticas del sector en los resultados medidos. En breve, en las escuelas municipales se llegó al 40% de respuestas correctas en las pruebas cognitivas, al 60% en las particulares subvencionadas y al 80% en las particulares pagadas. Después de recuperada la democracia, el Programa P 900 fue el mejor ejemplo del buen uso del SIMCE para focalizar el mejoramiento, al beneficiar al decil de más bajos puntajes en forma prioritaria. Toda esta historia, que parece un cuento de niños a la luz de los giros que ha adoptado la arena educacional, es ignorada o cooptada simplemente. Â
Víctor Caballero Rozas | 24.02.2014
 De acuerdo casi plenamente con el comentario, salvo la arenga política final. Soy un profesor destacado y siempre he cuestionado la falta de concordancia entre los objetivos de las pruebas SIMCE y PSU versus los objetivos de la Evaluación Docente; tanto es así que mis resultados con 4° medios no se condicen con mis resultados en la Evaluación Docente, lo cual refleja no falta de mérito mío, sino dos sistemas de evaluación que no tienen puntos de contacto. Intuyo que el concepto de calidad de educación en uno y otro sistema son diferentes, siendo a mi entender más integral el de la evaluación docente y más restringido el del simce (si es que lo hay).
Felipe Trujillo López | 20.02.2014
Creo que el debate no debe girar en torno a medir o dejar de hacerlo. De hecho, la columna no plantea esto, sino solo la posibilidad de convivir sin el SIMCE, lo que no implica prescindir de la medición como práctica, pues el proceso de enseñanza aprendizaje requiere de una recogida de datos constante y sistemática por parte de los planteles educacionales, que, a su vez, es parte de un proceso evaluativo acorde con el grueso de los objetivos de los planes y programas que emanan desde Ministerio de Educación.
Lo que sí es urgente discutir, y el artículo invita a aquello, es cuánto se contradicen éstos últimos (objetivos fundamentales transversales {OFT} y  Aprendizajes Esperados de cada asignatura, que por lógica debiesen ser la prioridad) con los excesivos propósitos del SIMCE, ya que algunos de éstos, como la medición de contenidos específicos, obliga al profesor a recurrir a una inventiva extraordinaria para enfocar sus clases hacia el reforzamiento constate de aquellas materias que supuestamente (nunca están del todo claras) evaluará el Simce, y descuidar aspectos sustanciales de los textos de estudio, los cuales, ante la estresante presión de la prueba estandarizada, terminan siendo mucho más hiperinflados de lo que ya son, perdiéndose la posibilidad de aprovecharlos completamente y, en consecuencia, de desarrollar habilidades, portencialmente, más importantes.Â
A esto se suma que el sistema de evaluación docente y las evaluaciones particulares de algunos colegios privados y particulares subvencionados, que miden una amplia gama de indicadores que el profesor debe alcanzar competentemente, tales como la preparación de la enseñanza, el trabajo en aula y la evaluación del proceso, y que se ciñen, lógicamente, a los objetivos fundamentales y específicos del MINEDUC, no encajan necesariamente, con el sentido del SIMCE. Por ejemplo, un profesor puede, perfectamente, ser evaluado como "destacado", a la vez que obtiene pésimos resultados en el SIMCE. Ocurrirá, también, lo contrario, toda vez que un pésimo profesor tenga la función de realizar facsímiles y más facsímiles de entrenamiento con sus alumnos que repercutirán en una buena memorización, manejo de habilidades específicas y en excelentes resultados estandarizados. Esto último puede ser, perfectamente, una realidad en la educación ABC1, donde el capital cultural de los alumnos es un camino seguro hacia la obtención de buenas puntuaciones, tal como queda reflejado año a año.
Se debe discutir y avanzar hacia la refinación de nuestro curriculum educativo, volviéndolo más realista desde el punto de vista social, y acercarlo constructiva, y no punitivamente, hacia las escuelas de nuestro país. Y creo, además, que la calidad apunta a ese sentido, pues sólo tendremos un sistema educacional competente en la medida en que éste se haga cargo de las necesidades sociales y culturales de nuestra diversa sociedad y no, por el contrario, contribuya a profundizar sus problemáticas como la segregación y la desigualdad, como ocurre actualmente. Sólo después de avanzar, sustentablemente, hacia esta meta descrita, tendremos, casi como fruto natural, una prueba estandarizada y con conciencia social y política.
Tal como cuando un profesor planifica: primero el diagnóstico, luego la planificación, el proceso, su evaluación formativa y sólo entonces la evaluación final y que más tarde se estandarizará en el tiempo, integrando, por cierto, el dinamismo inexorable de nuestro mundo. Ocurre que aún no hacemos un buen diagnóstico, y seguimos ocupando prueba que, así las cosas, parece ser un enclave más de nuestra aciaga dictadura militar. Â
Alicia velásquez | 20.02.2014
El concepto de calidad como apoyo teórico es bien problemático; es un concepto vacío como la iustitia, la lex, etc...una serie de conceptos que son fundamento político. Algunos académicos consideran que debe entenderse contextualizadamente para que pueda tener sentido metodológico. En cualquier caso en una evaluación que se precia de seria tales dificultades conceptuales deben ser abordadas sí o sí.
Otra cosa es que entender la evaluación como medición es un enorme malentendido. La evaluación pedagógica es un proceso continuo de observación y acción para el avance del aprendizaje. l gente que trabaja con ese concepto en educación le hace un chico favor  al sentido de educar...si es que educar es el objetivo, digo..
Paolav | 20.02.2014
Si aceptáramos que el SIMCE tiene como objetivo mejorar la calidad de la educación, debería eliminarse, pues esta probado que no lo ha conseguido. Sólo se ha convertido en una estrategia de marketing pagada por el Estado, para colegios no estatales y lo que es peor, ha estigmatizado a escuelas con niños vulnerables
Cristián Labra | 19.02.2014
Imperfecto, críptico y sobreutilizado, no son razones para dejar de medir. Son razones para mejorar el sistema de medición
Mauricio Gutiérrez | 19.02.2014
corrijo mi comentario anterior: El que tuvo incomprensión lectora fui yo...ofrezco mis disculpas !
