PISA en América Latina: ¿mejora o estancamiento?

Las pruebas PISA se han convertido en el termómetro mundial de la educación. Desde su primera edición en el año 2000, la OCDE se ha encargado de medir los aprendizajes de los alumnos de 15 años en decenas de países mediante evaluaciones periódicas cada tres años. Los resultados de la última edición de 2018 acaban de publicarse y han suscitado la atención sobre los rendimientos comparados de los sistemas educativos. En esta nota analizaremos los de los países participantes de América Latina.

Los resultados muestran, en primer lugar, una gran distancia entre los países de América Latina y los de la OCDE, que representan al conjunto de países más desarrollados del mundo. Esta distancia también se expresa en el contexto socioeconómico de los estudiantes, que PISA mide con el PIB por habitante y la inversión por alumno. Es decir, que las variables de contexto parecen ser decisivas a la hora de comprender los resultados de aprendizaje de los estudiantes. Esto no quita para que la educación pueda revertir parcialmente el contexto social de un alumno, una escuela o un país, pero nos indica que debemos tener mucho cuidado en atender qué estamos comparando realmente. Si lo que queremos comprender es el desempeño de las escuelas, entonces el ‘ranking’ de PISA nos dice muy poco, porque los resultados de un país están condicionados por el contexto socioeconómico que escapa a las posibilidades de intervención de las escuelas.

[Recibe diariamente los análisis de más actualidad en tu correo electrónico o en tu teléfono a través de nuestro canal de Telegram]

Esta primera mirada nos indica que debemos tener cuidado al hacer comparaciones sin contexto. Por eso, es más relevante mirar los resultados de aprendizaje dentro de los países de América Latina, con realidades más similares entre sí. En el Gráfico 1 vemos los resultados del año 2018 para los siete países que vienen participando de manera regular en PISA. Ahí vemos que Chile se ubica claramente por encima de los demás países en Lectura y Ciencias, mientras comparte esa primera posición con Uruguay en Matemáticas. México se encuentra un escalón más abajo y luego se intercambian posiciones, en relativa paridad, Brasil, Colombia, Argentina y Perú.

Estos resultados deben leerse en relación con otros datos. Uno de ellos, muy relevante, es la inclusión educativa. En el Gráfico 2 se presentan los resultados promedio de las tres áreas evaluadas y el porcentaje de jóvenes de 15 años de edad que efectivamente asiste a la escuela. Esto nos permite observar de manera más amplia el cumplimiento del derecho a la educación, ya que los países de América Latina tienen todavía grandes deudas de cobertura escolar.

Los resultados indican que Chile tiene un sistema educativo que logra mayor inclusión y calidad que el resto de los países de la región. Argentina, en cambio, tiene bajos resultados de aprendizaje pero altos niveles de inclusión, sobre todo en comparación con países como Colombia, Brasil y México, que lo superan en los resultados de aprendizaje pero están muy lejos de garantizar la cobertura de los estudiantes de 15 años de edad. México, en contraposición con Argentina, parece tener un sistema que logra mejores resultados pero es más excluyente a edad más temprana.

Una tercera dimensión analítica es la evolución en el tiempo de los resultados. Esta medida, sin embargo, debe ser analizada con mucha precaución, dado que la OCDE ha cambiado múltiples aspectos de las pruebas, y algunos de ellos han afectado a la comparabilidad inter-temporal de los resultados para América Latina, tal como demostramos en un estudio reciente.

Se trata de una cuestión técnica con consecuencias en la medición: en la edición 2015 de PISA se cambió la forma de valorar las pruebas que los estudiantes dejaban incompletas. Hasta entonces, esas respuestas se consideraban válidas; desde ese año, no se cuentan. Esto tuvo efectos sólo en los países de América Latina, que tenían altos niveles de no respuesta. Lamentablemente, la OCDE no ha presentado de manera acorde este cambio, lo que impide la comparación válida de los resultados en el tiempo. El Gráfico 3 muestra los resultados originales que presenta PISA en su informe de 2018 y los resultados re-escalados, en un ejercicio realizado por la propia OCDE publicado en los anexos de su edición de 2015. Los resultados realmente comparables son los re-escalados, dado que comparan con la misma metodología a los países participantes.

La evolución temporal muestra una curva ascendente clara y constante en el caso de Perú, mejoras entre 2000 y 2009 en Chile y Brasil (aunque especialmente en este último hay cuestionamientos metodológicos a estas mejoras) y vaivenes en los demás países participantes de manera regular desde el año 2000: Uruguay, México, Colombia y Argentina. En ninguno de estos cuatro parece haber una tendencia de mejora o de empeoramiento.

Cabe destacar que el estancamiento es la marca registrada de la enorme mayoría de los países que participan en la prueba PISA desde 2000. Esto nos indica la complejidad que tienen los sistemas educativos y la capacidad limitada del Estado para afectar sus resultados de aprendizaje.

Al menos Perú y Chile son parte de ese pequeño conjunto de países excepcionales de todos los participantes en PISA (unos 50 que son comparables en el tiempo por su participación regular) que han logrado mejorar sus resultados. Podemos aprender de ellos numerosas lecciones de política educativa, tal como hemos hecho en el mayor estudio comparado de las políticas educativas en América Latina de los últimos años.

La publicación de los resultados de PISA llama la atención de todo el mundo. No es extraño encontrar títulos de escándalo en los diarios de los países participantes. Esta breve nota indica que es necesario ser extremadamente cuidadosos antes de realizar análisis superficiales sobre los resultados o las mejoras.

PISA es una prueba que tiene grandes problemas: saca de contexto los sistemas educativos creando rankings que confunden más de lo que aportan; no corrige sus limitaciones metodológicas, promueve análisis equivocados y tiene sesgos curriculares peligrosos. Lo que mide PISA es una parte de los sistemas educativos: es un recorte tanto etario como curricular. Nada sabemos de todo lo que aprenden los alumnos de historia, artes, educación física o ciudadanía. Algunos países que han empeorado en PISA quizás incluso estén mejorando sus sistemas educativos porque están priorizando otras áreas de aprendizaje que no son medidas, como es el caso de Australia.

Distintos expertos internacionales en educación han remarcado lo peligroso que es confiar a ciegas en la prueba PISA como medida de un sistema educativo. Esta colonización del debate educativo genera una perspectiva sesgada sobre las prioridades culturales de un país.

Pero así como remarcamos estas limitaciones, debemos realzar los beneficios de la prueba PISA. En primer lugar, es una prueba que tiene un diseño basado en competencias; es decir, que mide lo que los estudiantes son capaces de hacer con el conocimiento. No se trata tanto de medir su memoria de corto plazo, sino su capacidad de transferencia: cómo usar lo aprendido en situaciones nuevas. Esto es sumamente valioso, porque permite comprender las dimensiones profundas del aprendizaje, aun con las limitaciones propias que tiene toda prueba estandarizada.

Por otra parte, la prueba nos brinda una información única sobre los sistemas educativos participantes. Los seis tomos de más de 350 páginas que se publicarán con la prueba 2018 permiten entender aspectos como la segregación educativa, los recursos de las escuelas, las opiniones de alumnos, docentes y directivos, datos de todo tipo que no podrían recabarse de manera confiable sin la existencia de PISA. Es quizás más valiosa la prueba por toda esta información recolectada que por el uso ya repetido de sus listas para medir sistemas tan diferentes. Ojalá esta información pueda ser aprovechada por investigadores y educadores de todo el mundo para ampliar la comprensión de los sistemas educativos y las estrategias de mejora, que siempre serán más complejas de lo que aparentan los resultados a simple vista.

Autoría

Deja un comentario