España, Estados Unidos y la estabilidad de PISA

La publicación de los datos de PISA se ha convertido en un día de la marmota. Los datos de España aparecen por debajo de la media, la prensa y algunos expertos se rasgan las vestiduras y otros expertos decimos que no es para tanto.

Casi dos décadas con el ritual cansa un poco; pero lo bueno de que haya pasado tanto tiempo es que ya tenemos una perspectiva histórica sobre los resultados. Para entenderlos bien, conviene saber qué mide PISA, tanto desde un punto de vista sustantivo como metodológico. Desde el primero, mide lo que el informe denomina literacia, una capacidad general de leer y de solucionar problemas de matemáticas o ciencias, que tienen que ver más con la capacidad de reflexión que con los contenidos curriculares aprendidos de la escuela.

En parte es una necesidad, pues la gran cantidad de países que participan en el estudio imposibilita que se compare sobre el currículum. Además, deja fuera del estudio materias con fuerte contenido nacional, como la Historia. Al ser estas capacidades tan genéricas hay expertos, como Julio Carabaña, que sostienen que lo que mide PISA no se aprende de forma principal en el sistema educativo, por lo que la información sobre competencias que aporta es de escasa relevancia para la vida escolar. 

Por otro lado, hay quienes critican el estudio por ser excesivamente tecnocrático y estar sujeto a una lógica neoliberal. Pero si bien es cierto que lo que mide PISA no es todo lo que podemos entender por ‘calidad educativa’, ésta en alguna medida debe incorporar lo que mide PISA. Si uno mira las pruebas liberadas, es decir, las preguntas a disposición del público, entiende la importancia de que los jóvenes sepan dar cuenta de los retos que se les plantean. Además, la correlación que observamos entre los datos españoles de PISA por comunidad autónoma en el presente con las tasas de alfabetización en el siglo XIX muestran que PISA sí está captando información relevante sobre el sistema educativo.

[Recibe diariamente los análisis de más actualidad en tu correo electrónico o en tu teléfono a través de nuestro canal de Telegram]

Además de la cuestión sustantiva, está la más técnica de cómo mide PISA. La forma de medición es relativamente compleja. Sin pararnos en tecnicismos, podemos decir que, de forma arbitraria, los datos están calibrados aproximadamente para que su distribución sea normal, con una media de 500 y un promedio de lo que se apartan de esa media (la desviación típica) de 100.

Uno de los errores habituales en la histeria que rodea a PISA es pensar que si se está por debajo de 500 se ha suspendido… no, simplemente se está por debajo de la media. El suspenso en PISA equivale a no mostrar un nivel mínimo. PISA divide las puntuaciones en seis niveles de competencias, y el suspenso sería no llegar al nivel 2; cuya puntuación varía según la prueba y el año, pero que está aproximadamente en 420 puntos.

Las puntuaciones de España suelen estar entre 480 y 490 puntos; por debajo de la media y alejado del suspenso. Pero, ¿qué son 10 o 20 puntos en PISA? Realmente no lo sabemos. PISA establece de forma aproximada, según el año del informe, que entre 30 y 50 puntos equivalen a un curso académico, a base de suponer que la diferencia que hay entre dos estudiantes de 15 años que están en cursos distintos se explica por lo que aprenden en la escuela. Pero ya hemos dicho antes que esto es un supuesto generoso, pues lo que pregunta PISA se aprende en la escuela sólo de forma muy genérica.

Otra forma de interpretar los datos de PISA es tener en cuenta su distribución estadística que, al ser normal y conocer su media y desviación típica, la podemos transformar en otras distribuciones normales más intuitivas. Por ejemplo, la estatura. Si transformamos las puntuaciones PISA en una distribución normal de 1,7 metros de media y 10 centímetrom de desviación típica, podemos concluir que 10 puntos de PISA equivalen a un centímetro. Los titulares perderían mucha épica si dijesen: La estatura media de la OCDE es de un 1,7 y la de España de 1,65.  Además, en general, unos 10 puntos de PISA están dentro de los márgenes de error propios de la prueba, márgenes aleatorios, a los que hay que sumar el error de anclar la prueba para que podamos comparar distintos años.

Podríamos seguir con la histeria de que el futuro de los países se juega en que seamos cinco milímetros más altos o más bajos. Pero esto lleva a otra cuestión. Desde que hay pruebas similares a las de PISA, España suele aparecer junto con Estados Unidos. En la Tabla 1 vemos que, de las 21 comparaciones posibles, en seis hay diferencias significativas entre ambos países, y en esos casos lo son por márgenes muy estrechos (en torno a un centímetro). Es decir, son diferencias estadísticamente significativas, pero socialmente de escasa relevancia.

Quizá el dato más llamativo sea la bajada de 20 puntos de España entre 2003 y 2006, para luego volver a subir en 2008 al mismo nivel de 2003. En su momento se especuló mucho con el sospechoso habitual: las nuevas tecnologías. Si vemos que ese año no era la Lectura la prueba estrella (sobre la que más se pregunta) y que la bajada se produjo de forma más bien generalizada… cabe pensar que fue un problema puramente metodológico. Lo mismo que en 2018 hay una tendencia a la bajada en Ciencias. Por muchos sitios ha aparecido el titular de algo así como una catástrofe en Ciencias… si vemos la serie, estamos más o menos estamos donde siempre, aunque esta vez más alejados de Estados Unidos. 

Pero lo que más llama la atención es que, siendo EE.UU. y España dos países tan distintos, y a lo largo de nada menos que 18 años, permanezcamos tan hermanados y estables en el tiempo. Las variaciones de un año a otro son de pocos milímetros y no muestran tendencias claras; más bien denotan estabilidad. Sea lo que sea que está midiendo PISA, no se ve afectado por las crisis económicas ni por los recurrentes cambios de políticas educativas en ambos países, por no contar que las diferencias internas en cada uno pueden ser tan grandes como las que hay entre países.

También parece exagerado, como sostienen tanto defensores como detractores de PISA, que esta prueba se convierta en un certificado de la calidad del ‘capital humano’, influyente en la toma de decisión de en qué países invertir.

Queda, para los responsables de PISA, explicar por qué la prueba se manifiesta tan insensible a cambios de todo tipo; y para la prensa y los amantes de las emociones fuertes, acabar con los titulares que magnifican variaciones erráticas de milímetros cada tres años.

Autoría

Dejar un comentario