SIMCE: La utilidad política por sobre la calidad técnica

La evaluación en educación debiese tener como objetivo el fortalecimiento de una educación pública y democrática, la retroalimentación a las prácticas docentes y el apoyo al aprendizaje de los estudiantes. Sin embargo, el SIMCE junto a la gran diversidad de pruebas estandarizadas nacionales e internacionales se instalan como una forma de control en un escenario en que el Estado se desliga de su responsabilidad directa en educación. El uso de la evaluación como herramienta de gobierno para el control, es propio de una ideología neoliberal, tal como lo han registrado las investigaciones de autores de trayectoria como Jenny Ozga, Martin Lawn, Fazal Rizvi y más recientemente Sotiria Grek (ver, por ejemplo, Grek, 2009; Lawn and Ozga, 2009; Ozga, 2009; Rizvi & Lingard, 2010). Nosotros compartimos esta perspectiva crítica sobre el sistema educativo, rechazamos los valores que promueve este modelo neoliberal y creemos que se puede hacer algo mucho mejor, más democrático, justo y participativo.

En ese contexto, la respuesta de la presidenta del Consejo de la Agencia Nacional de Calidad, Luz María Budge, a nuestra columna, publicada en CIPER el 19 de febrero, sostiene el modelo neoliberal en educación con su lógica de control estatal sin responsabilidad. En la columna de señora Budge, difundida por CIPER el 21 de febrero, se hace explícita su defensa del principio de “libertad de enseñanza” como pilar fundamental de la educación, con declaraciones preocupantes, como la referida a que nuestro sistema “además permite a quien lo desee, abrir y administrar establecimientos escolares”. Esta lógica orientada al mercado aumenta la segregación escolar y transforma el derecho a la educación en un bien de consumo. Dicho principio orientado al mercado ha sido defendido por los grupos más conservadores del país desde el siglo XIX, se consolidó durante un gobierno autoritario y fue mantenido por los gobiernos de la Concertación. La columna de la señora Budge valida esta perspectiva neoliberal en educación, la que ha sido ampliamente cuestionada por movimientos estudiantiles, profesores, directivos y académicos de diversas universidades.

Luz María Budge indica que la falta de definición con respecto a la noción de “calidad” es intencional, ya que bajo el principio de libertad de enseñanza son los padres los que deciden qué entienden por dicha calidad. Esta visión es coherente con el modelo clientelista y de mercado que actualmente nos rige en evaluación, y que ha sido sumamente dañino para la educación pública en Chile. Sin embargo, la explicación política de la señora Budge no tiene asidero en el aspecto técnico de la evaluación. Si no se define qué se está entendiendo por “calidad”, luego ¿cómo podemos evaluarla? Las etiquetas que usamos en evaluación son relevantes, debido precisamente a que pueden llevar a interpretaciones erróneas si no corresponden a lo que estamos evaluando. Si ya se ha reconocido que el SIMCE (Sistema de Medición de la Calidad de la Educación) NO mide la calidad, al menos se debería cambiar el nombre de este instrumento. Nuevamente emerge la “caja negra”: si el SIMCE no mide calidad, tal como lo dice su nombre, ¿cuál es el constructo esencial de esta medición? ¿Qué mide el SIMCE?

En su respuesta, la señora Budge alude a que el SIMCE mediría el currículo nacional, pero hay que tener presente que éste ha cambiado varias veces. Primero, se modificó a fines de los años ’90, luego se actualizó en 2002 y 2005, se ajustó en 2009 y se reemplazó en 2012 por las bases curriculares, las cuales para algunos expertos que participan en el diseño del SIMCE implican un cambio paradigmático en las disciplinas que no permite comparación. Sabemos que en torno al SIMCE se han hecho esfuerzos por mantener la comparabilidad de resultados de un año a otro, evaluando los aspectos comunes entre los diferentes marcos curriculares. Pero si el cambio curricular modifica el constructo teórico a evaluar, entonces ya no deberíamos realizar comparaciones. Junto con ello, las áreas evaluadas han sufrido modificaciones que tampoco permiten tal comparación, como el cambio en 2007 desde Lectura y Producción de Textos en Lenguaje a solamente Lectura.

La señora Budge establece que el SIMCE tiene tres propósitos: “(i) monitorear y evaluar el sistema educativo y las escuelas, (ii) movilizar a las escuelas y a sus sostenedores hacia la mejora de los resultados de aprendizaje que obtienen sus estudiantes e (iii) informar a la comunidad escolar, a las familias y a la opinión pública”. Sobre estos tres propósitos, resulta extraño que la columnista los califique como “claros y definidos”, cuando históricamente el SIMCE ha tenido múltiples propósitos y actualmente es utilizado con diversos fines. Desde un instrumento orientado a la administración de recursos públicos, a una medida para castigar el desempeño de profesores y amenazar con el cierre de establecimientos. Ello queda de manifiesto en la última iniciativa de la Agencia de Calidad, ya aprobada, que busca implementar una ordenación de escuelas para, con el eufemismo de “orientar la política pública”, cerrar escuelas públicas y profundizar la privatización del sistema.

En cualquier caso, resulta favorable que una autoridad pública en educación se pronuncie sobre los propósitos que tiene el SIMCE, pues da mayor claridad respecto a las intenciones que se tienen con este instrumento. Importante es destacar que ninguno de estos propósitos busca apoyar a los profesores o colaborar con directivos, sino institucionalizar el control sobre sus prácticas. Esta es una tendencia a la cual ya estamos acostumbrados en la educación pública: se mide y controla, no se entrega el apoyo suficiente, y luego se castiga. Los usos que la señora Budge atribuye a “terceros” son derivados de políticas públicas promovidas por el mismo aparato gubernamental al que ella pertenece. Por ejemplo, la ley de Subvención Escolar Preferencial conecta los puntajes del SIMCE con la determinación de la calidad de la educación en una escuela y la necesidad de establecer metas (traducidas en puntaje) para recibir una mejor subvención. Es esta misma ley la que permite que, debido a bajos resultados sostenidos en el tiempo, se les quite el reconocimiento a las escuelas públicas, como si estas pudieran competir en igualdad de condiciones con establecimientos donde hay más recursos y los niños provienen de un entorno socioeconómico más privilegiado.

En un aspecto más técnico, resulta preocupante que la señora Budge no proporcione evidencia acerca de la forma en que la validez de las interpretaciones relacionadas con esos propósitos es garantizada. Un informe sobre la validez de este instrumento (Flórez, 2013) revela como el SIMCE es una evaluación que mide habilidades básicas de unas pocas sub-áreas de algunas disciplinas del currículum y que presenta problemas de construcción (como preguntas mal clasificadas en relación a la habilidad que miden). La información que nos entrega el SIMCE padece de estos problemas técnicos internos, por lo que no nos entrega información clara sobre el sistema educativo y las escuelas, menos aún sobre cómo mejorarlas. De la misma manera, si se observa el Informe de Resultados para Docentes y Directivos del año 2007, la promoción de rankings de establecimientos es establecida desde el Estado (no desde un “tercero”), pues allí se indica en qué lugar se ubicaría la escuela evaluada entre 100 escuelas de su mismo tipo.

Las interpretaciones no válidas de los resultados también provienen de los documentos del SIMCE, donde se habla de progresión de aprendizajes por establecimiento, en circunstancias que no hay medidas de valor agregado que permitan asegurar que las variaciones en puntaje de un año a otro se deban a la escuela, ya que pueden deberse simplemente a aspectos del grupo de estudiantes que rinde la prueba. Por lo tanto, los propósitos del SIMCE no aluden a usos no intencionados, sino a fines que las instituciones que gobiernan la educación han atribuido al SIMCE de manera acumulativa e intencionada. Esto no es negativo en sí mismo, pero es altamente improbable que el mismo instrumento pueda responder válidamente a todos estos propósitos al mismo tiempo.

Sobre el tercer propósito, Taut, Cortés, Sebastian y Preiss (2009), ya han indicado que los padres no toman mayormente en cuenta la información derivada del SIMCE, lo que coincide con la percepción de los docentes entrevistados en el estudio de Flórez (2013) y con la evidencia internacional, que indica que solamente los padres de estratos sociales medio-altos y altos toman en cuenta este tipo de información. Además, debemos cuestionarnos si los resultados de aprendizaje en una prueba limitada y con problemas de validez, son la mejor forma para involucrar a las familias con sus comunidades escolares o una forma adecuada para garantizar el derecho de los estudiantes a una educación.

Frente a todos estos argumentos que cuestionan la validez técnica del SIMCE y exponen sus múltiples falencias, creemos que se debería proveer evidencia pública que respalde su validez, en lugar de realizar defensas ideológicas e institucionales. En esa dirección, sería positivo que la Agencia de Calidad transparentara los informes de ACER, ETS y la OCDE, como una forma de contrarrestar la sensación de “caja negra” con respecto a esta prueba, especialmente en relación con los “desafíos” que estas agencias indicaron acerca del SIMCE (indicar explícitamente las limitaciones de una evaluación también incrementa su validez). Hasta la redacción de esta columna, solamente está disponible públicamente el Informe de la Comisión SIMCE, que indica muchos aspectos que siguen sin solución en la actualidad  (por ejemplo, la presión sobre las escuelas que lleva a la distorsión de las prácticas pedagógicas). Además, dicho informe presenta conclusiones peculiares, como aquella que sostiene que una buena medida frente a la presión que las escuelas experimentan con el SIMCE es realizar pruebas más frecuentes y en más áreas, lo que nos parece una contradicción.

A lo anterior hay que agregar que hay una diferencia entre las agencias evaluadoras y los investigadores en evaluación. Las primeras son negocios de larga data y con mucho éxito debido a los usos políticos que permiten las evaluaciones estandarizadas, y se relacionan principalmente con el predominio de una perspectiva psicométrica derivada de la tradición estadounidense. En ese sentido, es probable que agencias evaluadoras como las que realizaron las auditorías a las que se refiere la señora Budge no hayan cuestionado mayormente los procedimientos del SIMCE, puesto que significaría cuestionar su propio trabajo o lógica interna. Investigadores y teóricos de la evaluación como Haertel, Anastasi, Hubley, Zumbo, Koch, De Luca, Greene, entre otros, han criticado por años la forma mecanicista, excesivamente pragmática, poco holística y centrada en el aspecto estadístico con que las agencias evaluadoras ponen en práctica los principios de la validez en evaluación. Solamente de forma reciente autores como Paul Newton y Stuart Shaw han comenzado a reconciliar la teoría sobre validez con la práctica a través de procedimientos concretos en los que diferentes aspectos de la validez se integran en un modelo de validación, y la Agencia de Calidad haría bien en seguir estos esfuerzos. Como dice Kane, analizar la validez de un sistema de evaluación aun cuando sea complejo, no significa que no deba hacerse.

El SIMCE, en términos técnicos, no ha demostrado ser una prueba “válida” y “confiable”, como indica la señora Budge. Más aún, para autores como el Doctor Fernando Maureira, investigador del Centro de Investigación y Desarrollo de la Educación (CIDE), podría estar contribuyendo a un incremento en la inequidad del sistema al establecer una competencia desigual. La consecuencia de ello no es sino la destrucción de la educación pública.