Un artículo de Fernando Trujlllo. Profesor de la Universidad de Granada. Especialista en educación y enseñanza de idiomas.

Querida amiga, querido amigo:

Nuestra cita periódica con PISA ha llegado. Durante unos días los medios de comunicación prestarán una atención extraordinaria a la Educación y nuestros representantes políticos aparecerán en televisiones, radios, prensa escrita y redes sociales para bendecir sus políticas y justificar sus deficiencias. No te preocupes: afortunadamente la presión habrá pasado en unos días y todo volverá, aparentemente, a su cauce.

Obviamente, cuando digo que todo volverá a la normalidad me refiero a la presión mediática. Con el paso de los días desaparecerán los titulares dedicados a la Educación y volveremos a nuestra ración habitual de escándalos, sucesos y deporte a la que ya empezamos a estar acostumbrados.

Sin embargo, cuando la prensa ya no hable de nosotros permanecerá en el inconsciente colectivo esa cantinela según la cual unos están en la élite y otros en el furgón de cola, unos han subido como cohetes y otros permanecen estancados secularmente. Esa información, como una lluvia pertinaz, será más duradera porque los políticos la usarán durante años, hasta la próxima prueba, cada vez que les interese y reforzará una imagen distorsionada y simplista de la realidad.

Por mí parte hoy quería decirte que haces bien en leer la información que aparece en los medios de comunicación sobre PISA pero también quiero pedirte que practiques la sospecha como estrategia de lectura. El reduccionismo que practican los medios de comunicación lleva los datos de PISA hasta el absurdo y tú, como profesional, no debes instalarte en el absurdo informativo si no quieres confundirte también tarde o temprano.

Desafortunadamente, leer PISA es una tarea dificultosa. Hay muchos datos y su manejo es complicado, en muchos casos exclusivo para especialistas no ya en Educación sino en Estadística. No es fácil tener una opinión personal más allá de los informes oficiales o sus versiones reducidas en los medios de comunicación, aunque cada edición de PISA la OCDE intenta ofrecer – más o menos- mejores herramientas de visualización de datos.

Podemos empezar por saber qué mide PISA. PISA no está vinculado, en principio, con ningún currículo nacional de los países de la OCDE y, por tanto, no pretende medir el conocimiento generado a partir de la experiencia escolar. Digo “en principio” porque es evidente que, por un lado, PISA evalúa competencias que se generan normalmente a partir de una experiencia formal de aprendizaje (por ejemplo, la lectura) y porque, por otro lado, PISA ha tenido un impacto en los currículos nacionales; en el caso español, la influencia más clara del marco teórico de PISA tiene lugar en el currículo de la materia “Lengua castellana y literatura” en relación, precisamente, con la lectura y esta influencia ha sido puesta de manifiesto en distintas publicaciones (véase, así, Felipe Zayas, 2012).

Sin embargo, hay un impacto mucho más claro y que quizás tú, que estás día a día en tu centro educativo, puedas constatar.

Me refiero a que la explicación de los supuestos milagros PISA puede estar relacionada con una modificación relevante de las situaciones de aprendizaje que se crean en un centro. Pongamos un caso hipotético, y tú ya me dirás si conoces algo parecido: si una comunidad autónoma quiere mejorar sus resultados en PISA solo tiene que utilizar la evaluación de diagnóstico que desde la LOE aparece en nuestra normativa para crear un ranking, opción que no estaba permitida en la LOE pero que la LOMCE sí permitió; al crear esta situación competitiva los centros pueden querer aspirar a aparecer bien situados en ese ranking y, por tanto, a modificar su enseñanza – aunque sea puntualmente – para acercarla a los requisitos exigidos en las pruebas de diagnóstico, que serán convenientemente liberadas para que los centros que así lo deseen puedan entrenar a sus estudiantes con pruebas similares a las que se utilizarán en la evaluación de diagnóstico, y que habrán sido previamente ajustadas a la tipología de pruebas que se utilizan en PISA.

Gordon Stobart lo explica como el principio de la prepotencia administrativa: "cuánto más administrativa sea la finalidad de una evaluación, más relevante será su papel".

En el caso de la evaluación de diagnóstico en ciertas comunidades, esta cobra relevancia al construir la comunidad autónoma un ranking público pues este tiene un impacto claro en el interés de las familias por los centros y la matriculación de estudiantes en clave de mercado. De esa forma, al ganar relevancia la evaluación de diagnóstico y sus resultados, PISA cobra inmediatamente relevancia en el día a día de los centros de determinadas comunidades autónomas. Es más, con esta estrategia los resultados en PISA de una comunidad autónoma mejorarán en el período que la OCDE concede entre prueba y prueba incluso si esta comunidad autónoma deja de hacer políticas educativas de amplio espectro (por ejemplo, políticas educativas vinculadas con lectura o con bibliotecas escolares). Es decir, la comunidad autónoma obtendrá mejores resultados en PISA invirtiendo menos en Educación.

Esta situación puede estar ocurriendo en nuestro país, y en muchos otros, obviamente. No hace falta que te explique si ocurre o no en tu comunidad autónoma. Tú sabrás mejor que nadie cómo se usa y se hace la evaluación de diagnóstico, cómo se utilizan los resultados, qué políticas educativas está realizando tu comunidad autónoma y, finalmente, cuáles han sido los resultados de tu comunidad autónoma en PISA (o si ha habido cambios significativos en los últimos años).

Sin embargo, el objetivo del sistema educativo no es tener buenos resultados en PISA (como así se establecía en la LOMCE en sus primeras versiones, no lo olvidemos). Nuestro objetivo es la formación integral de la persona, considerando no solamente su faceta cognitiva sino también social, emocional y física. En Educación trabajamos para educar seres humanos, no para hacer competitivas nuestras economías. El objetivo del sistema educativo viene establecido en la ley y en el currículo y ambos trascienden la limitada – aunque poderosa – capacidad evaluadora de PISA. Si no fuera así, podríamos olvidarnos de la oralidad, por ejemplo, en beneficio de la lectura simplemente porque PISA no puede – por una cuestión presupuestaria – evaluar la oralidad. ¿Imaginas semejante despropósito? Mejorando en PISA podría darse la circunstancia de que estemos realmente empeorando nuestro sistema educativo y en este caso PISA ocultaría más de lo que muestra.

Por otro lado, la lectura simplista que transmiten los medios de comunicación deja PISA reducido a una ridícula carrera de caracoles. Ya va siendo hora de que nos demos cuenta de que en PISA, si no se produce el milagro por la prepotencia administrativa, no es fácil mejorar los resultados. Y no es fácil porque el peso de la situación socio-económica de un territorio (sea un país de la OCDE o una comunidad autónoma en nuestro país) es decisivo en relación con los resultados.

PISA utiliza un constructo llamado Índice Social, Económico y Cultural para establecer la influencia de las rasgos socio-económicos de los estudiantes en la puntuación obtenida en la evaluación. Según el Informe Preliminar que el Ministerio ofrece en relación con PISA, “El ESCS del conjunto de los países de la UE (-0,07) es muy próximo al del promedio de la OCDE (-0,04)”. En el caso español, este índice “va desde el -0,10 en la Comunidad de Madrid al -0,87 en Andalucía”.

En relación con los resultados, en los países que han participado en PISA “este índice explica el 38,8% de la variabilidad en las puntuaciones medias obtenidas” pero dentro de España, “en el caso de las comunidades autónomas, se observa que más del 50% de la variabilidad observada en las puntuaciones medias en ciencias, obtenidas por las distintas comunidades, es explicada por el índice social, económico y cultural de las mismas”. Así pues, aunque hay comunidades autónomas que obtienen unos resultados mejores de lo que hace prever su índice, en general el índice – a pesar de que es un constructo, una simplificación de la realidad – sigue siendo la mejor explicación de los resultados de PISA.

Ahora llévate esto a tu realidad. Piensa si los padres de tus alumnos tienen estudios superiores o no, o si tienen capacidad adquisitiva para garantizarles recursos – incluidas las tan tradicionales clases particulares – que les permitan aprender más y mejor o si no los tienen. Piensa en las condiciones de vida de tu alumnado. Y piensa en los medios con los que tú cuentas para atenderlos: ¿puedes cubrir con los recursos tecnológicos de tu centro las carencias de su hogar?¿Puedes proporcionarles con tu biblioteca escolar las experiencias lectoras de las cuales no goza en su casa? Y el adulto que le acompañe en la lectura, ¿quién será?

Y, cuidado, no te quedes en la anécdota de aquel chiquillo que a pesar de que no tenía sí pudo obtener buenos resultados o aquel otro que aunque tenía nunca hizo nada con su vida: en términos estadísticos el efecto Mateo se cumple una y otra vez: porque a cualquiera que tiene, se le dará, y tendrá más; pero al que no tiene, aun lo que tiene le será quitado.

En fin, PISA sirve, en esencia, para constatar que no somos capaces de poner en marcha el ascensor social; pero PISA no es neutro: frente a esa constatación sus tablas comparativas crean un poderoso efecto de profecía autocumplida que cambia radicalmente no solo el sentido de la escuela sino sus prácticas, perjudicando precisamente a quienes menos tienen; mientras tanto, algunos de nuestros responsables educativos o no son capaces de verlo, o se contentan con obtener el espejismo de los buenos resultados o están utilizando esos resultados para maquillar otras realidades que PISA oculta.

En mi opinión, si el Ministerio y las comunidades autónomas quisieran realmente mejorar, empezarían a plantearse o bien hacer un uso y una lectura distintos de PISA o simplemente abandonar PISA. Obviamente, habrá mucha gente que diga que así nos quedamos ciegos, sin datos para conocer cómo avanza el sistema. No coincido con esta opinión al menos por dos razones. Por un lado, PISA muestra tanto como oculta. Sabemos mucho sobre lectura y nada sobre oralidad, mucho sobre matemáticas y nada sobre la condición física de nuestro alumnado: ¿quién diría que unas cuestiones son más importantes que otras? Por otro lado, me pregunto si el Ministerio y las autonomías no tienen ya capacidad para realizar evaluaciones que no caigan en la trampa de PISA: tenemos un Instituto Nacional de Evaluación Educativa y un buen número de Oficinas y Agencias de Evaluación autonómicas: ¿no podrían estos organismos, junto con una Inspección Educativa centrada en el acompañamiento, realizar este trabajo sin caer en los errores de concepto de PISA? PISA tiene un problema importante de comunicación de resultados, que está vinculado con un problema de raíz que emana del propio objetivo de la Organización para la Cooperación y el Desarrollo Económico: la presentación de los datos agregados en forma de tablas competitivas se entiende dentro de la lógica del capitalismo y su mercado global pero no desde la lógica de la escuela, que se resiente de esta visión competitiva de los sistemas educativos.

Así pues, querida compañera, querido compañero, te animo a trascender las lecturas simplistas de PISA. Hay mucha información, y muchos artículos de investigación, sobre el tema y necesitamos tener una opinión bien formada (e informada) sobre un asunto tan complejo como este, pero sin olvidar que PISA no es una herramienta neutral y que la realidad educativa es aun más diversa y compleja que lo que PISA es capaz de vislumbrar.

PISA es solo una luz que ilumina ciertos aspectos de la realidad, y en muchos casos distorsiona tanto como ilumina. No quedemos vislumbrado por este faro interesado y, en todo caso, establezcamos un buen sistema de iluminación a lo largo del camino que queramos hacer y procuremos que este sistema que no perjudique al caminante con su luz cegadora.

Salud