En la última década, México ha realizado importantes esfuerzos para la creación y la implementación de pruebas que permitan evaluar de manera fidedigna la calidad de la educación. Estos esfuerzos, sin embargo, han enfrentado grandes dificultades. ¿Dónde estamos parados en esta materia, cuáles son los principales desafíos y cómo superarlos?
El Gobierno mexicano adquirió en septiembre de 2000 una serie de compromisos complementarios a los establecidos en los denominados “Objetivos de Desarrollo del Milenio”. Entre las metas prometidas destacaba la de “lograr que una mayoría significativa de los estudiantes de educación primaria y secundaria alcance niveles de aprendizaje satisfactorios en las asignaturas de lenguaje y matemáticas, conforme a los estándares y los exámenes establecidos por un organismo independiente de evaluación” (Fernández, 2011).
Ante los malos resultados obtenidos por los estudiantes en las primeras pruebas estandarizadas realizadas en México (Guevara Niebla, 1992), las autoridades se comprometieron a establecer, a partir de 2002, mecanismos de evaluación educativa confiables e independientes, con información transparente sobre los resultados, de acuerdo al objetivo fijado de obtener niveles satisfactorios tanto en lenguaje como matemáticas en estudiantes de primaria y secundaria. En última instancia, los resultados de las evaluaciones servirían para definir y orientar las políticas públicas en el sector y como una ventana al interior del sistema educativo, para que los ciudadanos puedan exigir cuentas de sus resultados. ¿Cuáles han sido los avances en este rubro?
I. Las pruebas estandarizadas y la medición de la calidad educativa en México
Las pruebas estandarizadas se convirtieron en un instrumento clave dentro de los esfuerzos de evaluación educativa en México que buscan contribuir a la consecución de objetivos valiosos en este sector, ya que su información permitiría:
- Determinar en qué medida los estudiantes están asimilando los conocimientos y desarrollando las habilidades que el sistema educativo nacional brinda.
- Identificar fortalezas y debilidades particulares en los alumnos, en términos de conocimientos y habilidades.
- Detectar si existen grupos de la población en los que el desempeño en estas áreas es particularmente subóptimo.
- Identificar los factores tanto socioeconómicos como estructurales asociados al desempeño escolar.
- Verificar si los estándares educativos definidos por la autoridad gubernamental están siendo alcanzados de forma satisfactoria.
Observar cambios a lo largo del tiempo en el desempeño escolar de los educandos.1
En última instancia, el uso de las pruebas estandarizadas debería estar encaminado a proveer, tanto a la autoridad encargada del sistema educativo como a sus beneficiarios (estudiantes, maestros y padres de familia), un instrumento informativo útil sobre los resultados que dicho sistema está generando en los salones de clase.
En el país destacan tres esfuerzos complementarios entre sí en materia de pruebas estandarizadas. En el ámbito nacional, el Instituto Nacional de Evaluación de la Educación (INEE), creado en 2002, implementa los Exámenes para la Calidad y el Logro Educativos (Excale) y la Evaluación Nacional del Logro Académico en Centros Escolares (enlace), desarrollada a finales de 2005 por la Secretaría de Educación Pública (SEP). En el ámbito internacional, México, como miembro de la ocde, ha participado desde 2000 en la prueba pisa (Programme for International Student Assessment).
Los Excale evalúan en qué medida los estudiantes están logrando adquirir los aprendizajes establecidos por el currículo nacional en cuatro áreas: español, matemáticas, ciencias naturales y formación cívica y ética. Aunque sus resultados no son individuales, brindan un diagnóstico del desempeño de los sistemas educativos estatales y nacional.
El propósito de la enlace es medir el aprendizaje de los estudiantes respecto al currículo escolar. Para ello se examinan el español, las matemáticas y una tercera asignatura que se rota cada año, a fin de ir cubriendo el currículo completo. En su aplicación participa toda la estructura educativa del sistema básico (jefes de sector, supervisores, apoyos técnicos/pedagógicos, directores de escuela y maestros).
México ha entendido que, como parte de la comunidad internacional, debe realizar evaluaciones educativas para medir las capacidades de sus estudiantes y entender su desempeño respecto a otros países. Así, México aplica desde el año 2000 la prueba pisa, que evalúa las competencias de los jóvenes de 15 años de edad en lectura, matemáticas y ciencias para determinar su pericia en el análisis y la resolución de problemas, el manejo de información y el enfrentamiento de la vida cotidiana.
Los resultados de todas las pruebas estandarizadas mencionadas apuntan a que la calidad educativa en las aulas mexicanas es preocupantemente deficiente, ya que la mayor parte de los alumnos evaluados tienen niveles insuficientes o no satisfactorios en sus resultados.
II. Las pruebas estandarizadas, sus limitaciones
y posibilidades de mejora
Aunque los resultados recientes de la prueba enlace denotan un ligero avance, lo cual invita a un cierto optimismo, deben ser vistos con reserva. Diversas investigaciones y entrevistas a maestros y alumnos de escuelas públicas sugieren que en la aplicación de la evaluación se ha extendido el lamentable fenómeno del plagio (Fernández, 2012), que se debe en gran medida al uso que le da la autoridad como instrumento de evaluación docente y como mecanismo para premiar con incentivos económicos a los maestros y escuelas con mejor desempeño. La implementación de una política pública de esta naturaleza, cuando el sistema educativo está controlado por el Sindicato Nacional de Trabajadores de la Educación (SNTE), ha terminado por mermar la utilidad que debiera tener este instrumento estandarizado. Para entender este fenómeno es preciso tomar en cuenta que muchas veces tanto los funcionarios de educación a nivel estatal como quienes coordinan la aplicación de la prueba son miembros del SNTE, cuyo proceso de selección, en la mayoría de los casos, no responde a criterios de mérito académico, sino a una lógica de lealtad político-sindical (Fernández, 2012; Ornelas, 2008, 2012), en la que no existen los incentivos para sancionar a quienes boicotean la aplicación de pruebas estandarizadas.
Los resultados de las pruebas Excale contrastan con la información brindada por enlace. Aunque estrictamente las pruebas no son comparables en términos de contenido y del universo de educandos evaluados, sus propósitos de diagnóstico educativo no son tan disímiles. Excale sugiere que las mejoras del sistema educativo son prácticamente nulas en términos estadísticos; incluso, en las secundarias generales, técnicas y privadas, el número de alumnos con desempeño insuficiente en español ha aumentado. Y si bien enlace tiene una aplicación censal y la de Excale es muestral, las conclusiones obtenidas a partir de sus resultados no deberían ser tan diametralmente distintas. Las diferencias marcadas refuerzan lo que documenta la prensa nacional y exhiben diversos videos: hay prácticas recurrentes de copia y fraude en la aplicación de enlace (Espinosa, 2010; Santiago, 2013; El Heraldo de Chiapas, 2010). Se calcula que tan solo en 2011 aproximadamente 4.7% de las pruebas aplicadas en el país arrojaron resultados poco confiables por sospechas de fraude académico (Unidad de Planeación y Evaluación de Políticas Educativas, 2012).
A este problema se han sumado críticas desde el ámbito académico que advierten sobre el uso excesivo de las pruebas estandarizadas en la definición de políticas educativas. Entre los señalamientos más recurrentes se plantea que, por concentrarse en español, matemáticas y una materia adicional rotativa, las pruebas son incapaces de medir el desempeño en otras áreas del conocimiento. Asimismo, la vinculación entre los estímulos económicos y de evaluación docente con el desempeño escolar en áreas específicas del conocimiento supone que se multiplican los incentivos para que los docentes descuiden e incluso abandonen la enseñanza de otras áreas importantes (Lavy, 2004; Ladd, 2007). Así, las pruebas estandarizadas pueden producir educadores centrados en desarrollar habilidades para contestar pruebas de opción múltiple y no en fortalecer el desarrollo de las habilidades de razonamiento y análisis de los estudiantes.
Sin duda, dentro del análisis de las pruebas estandarizadas se deben recoger los factores socioeconómicos y culturales, así como las condiciones estructurales del sistema educativo que impactan el desempeño de los estudiantes (Carnoy y Rothstein, 2013). La escolaridad de los padres de familia, las condiciones socioeconómicas de las familias, el acceso a herramientas de aprendizaje del siglo XXI (una computadora con internet), el estado de la infraestructura de la escuela y la gestión escolar del director, entre otros, son factores asociados al desempeño de los estudiantes que deben ser analizados.
III. ¿Qué hacer? En defensa del uso
de las pruebas estandarizadas
Las pruebas estandarizadas nacionales e internacionales deben ser un instrumento para obtener información relevante de lo que ocurre en el interior de las aulas mexicanas. Hasta ahora, el impulso a la investigación académica y la evaluación de políticas públicas para aprovechar los insumos generados por estos instrumentos ha sido limitado. No sorprende por ello que cada año se observen al menos dos momentos mediáticos —tres, cuando se presentan los resultados de pisa— en torno a la implementación de las pruebas estandarizadas y la difusión de sus resultados. Hacia finales del ciclo escolar, destacan las denuncias de venta de copias de cuestionarios, que preceden la aplicación de enlace. Secciones sindicales —principalmente asociadas a la disidencia magisterial— amenazan e incluso boicotean su aplicación, principalmente en Oaxaca, Michoacán y Guerrero. La prensa documenta el fraude en la aplicación de los exámenes mientras que la autoridad educativa minimiza la amplitud del fenómeno y promete investigaciones “hasta las últimas consecuencias”. Meses después, al arrancar el ciclo escolar, se presentan los resultados. La prensa reitera lo ya sabido en los últimos siete años: la mayor parte de nuestros estudiantes no tiene una adecuada formación escolar. La autoridad enfatiza que los resultados globales confirman que el país avanza —quizás a paso lento, pero firme— en la persecución de la calidad educativa, pero evita cualquier referencia a los fraudes académicos documentados previamente.
El Gobierno anuncia más programas para la formación docente y para mejorar la infraestructura educativa. El mismo ciclo, una y otra vez.
No se han implementado políticas de difusión efectiva de los resultados ni se han usado estos como insumo para mejorar la práctica docente, como lo demuestra la última encuesta del Instituto de Fomento e Investigación Educativa (IFIE). Por ello, como sí ocurre con los resultados de la prueba Excale, las bases de datos de enlace deberían ser públicas y aparecer en un formato que permita su análisis. La modificación de enlace debe permitir la comparación de los resultados de un mismo alumno en el tiempo, con lo que se tendrá un insumo mucho más útil para analizar los resultados educativos.
Adicionalmente, es necesario desarrollar mecanismos para detectar el fenómeno de copia en la aplicación de la prueba enlace y establecer castigos a quienes realizan y solapan el fraude académico. Una medida de esta naturaleza requiere el desarrollo de dispositivos institucionales para que el Estado mexicano recupere la rectoría y el control del sistema educativo. En el caso de la evaluación docente, los instrumentos estandarizados deben ser complementados con otras herramientas que permitan una evaluación más global, como la observación en clase y las encuestas a estudiantes. Recientes estudios internacionales sugieren que una combinación de instrumentos en la evaluación docente permite aprovechar correctamente los resultados de las pruebas estandarizadas (Kane, 2012; Bill and Melinda Gates Foundation, 2013).
Todo instrumento de evaluación es perfectible. No se trata de desdeñar las pruebas estandarizadas como insumo relevante en el diseño de políticas educativas. La experiencia internacional, en países tanto desarrollados como en vías de desarrollo, reconoce un uso creciente de este tipo de instrumentos para apuntalar políticas públicas en el ámbito educativo (Cullen y Reback, 2006; Kellagan y Greaney, 1992, 2001; Ladd, 2007; Mourshed, Chijioke y Barber, 2010; Stufflebeam, Madaus y Thomas Kellaghan, 2000).
Los beneficios de la educación, tanto para el individuo como para la sociedad (crecimiento económico, disminución de la desigualdad, productividad y capacidad de innovación tecnológica), se incrementan conforme aumenta la calidad de la enseñanza en las aulas. Por tanto, los esfuerzos para medir la calidad educativa con el fin de mejorar las políticas educativas son imprescindibles.
La legislación educativa que vaya a discutirse en las próximas semanas en el Congreso debe garantizar suficientes recursos para que el INEE cumpla con sus nuevas responsabilidades como garante de la evaluación educativa. Los nuevos responsables del INEE deben apuntalar la investigación educativa para que, junto con insumos de la academia y de centros de investigación como México Evalúa, pueda contribuir a fortalecer la cultura de la evaluación en un ámbito estratégico para el desarrollo nacional como lo es la calidad educativa.
______________________________________________
1 Vincent Greaney and Thomas Kellaghan, Assessing National Achievement Levels in Education, National Assessments of Educational Achievement, World Bank, Washington, D.C., 2008. Los autores hacen un buen recuento de la utilidad de las pruebas estandarizadas como insumo para la definición de políticas públicas en educación.
MARCO ANTONIO FERNÁNDEZ MARTÍNEZ es doctor en Ciencia Política por Duke University, especialista en economía política y director de investigación de México Evalúa.
Es de suma importancia que centros de investigación y análisis independientes al gobierno, como es el caso de ustedes, tengan una participación muy estrecha con el sistema educativo de nuestro país, (sugeriendo, vigilando, criticando, informando a la sociedad) para que se logre que el nível de conocimientos de nuestro jóvenes se incremente en forma sustancial, lo que les permitirá a estos jóvenes verdaderamente competir por un puesto en este mundo globalizado.