Hace una semana más o menos, se lanzó la plataforma DataChile, que provee información de indicadores sociales y económicos del país. Los objetivos del portal tienen que ver con la mejora de decisiones públicas y privadas bajo el supuesto de que más información va a conducir a más eficiencia y eficacia en las decisiones. El diseño del portal es impecable, refleja un enorme trabajo de programación por parte del equipo de Cesar Hidalgo, y puede tener un impacto positivo.
Sin embargo, quienes trabajamos con datos sabemos que su publicación tiene que ser respaldada por material que eduque a los usuarios respecto de qué interpretaciones y usos pueden hacer de éstos. Tal vez esto no es demasiado sensible en todas las áreas cubiertas por el portal, pero sí lo es en relación a los datos de educación. En particular, el portal DataChile provee información respecto de los puntajes PSU y de las notas de enseñanza media (NEM) de los establecimientos, a través de diversos elementos gráficos.Es posible que alguien que no tenga un conocimiento adecuado de la PSU realice rankings de las escuelas basados en sus puntajes y realice inferencias respecto de su calidad
Dada la forma en la que se presentan los datos, es posible que alguien que no tenga un conocimiento adecuado de la PSU realice rankings de las escuelas basados en sus puntajes y realice inferencias respecto de su calidad: “el establecimiento A tiene un puntaje promedio de 450 y el establecimiento B tiene un puntaje promedio de 500, por lo tanto, el establecimiento B es mejor que el establecimiento A”. Peor aún, esto puede derivar en inferencias de segundo orden del tipo “entonces voy a intentar matricular a mis hijos en el establecimiento B”.
Esto es ciertamente delicado. Primero, va a estigmatizar a los colegios de bajo rendimiento, que ahora son identificables por todos los ciudadanos (peor aún, el portal presenta el número de estudiantes que rinde la PSU por establecimiento, lo que en algunos casos podría conducirnos a identificar el puntaje de personas específicas). El desempeño en la PSU tiene relación con otros factores, como el nivel socioeconómico de los estudiantes, y considerar los puntajes a espaldas de todos los factores contextuales va a desfigurar cualquier interpretación justa. Por ejemplo, proveer únicamente información del tipo de colegio (privado, subvencionado, municipal, corporaciones de administración delegada) no sirve pues el tipo de colegio también está relacionado con ciertos factores que influyen en el desempeño PSU, genera una falsa idea de causalidad, e incluso puede disminuir expectativas de padres y estudiantes que no tienen la oportunidad de atender colegios particulares. Si se ajustaran los puntajes promedios por el costo de educar a cada estudiante, tal vez tendríamos otro panorama. La información que se presenta y la forma en la que se presenta tienen un impacto en la sociedad que no es arbitrario.
Segundo, aun cuando se presentara la información bien contextualizada, la PSU es una prueba normativa (no referida a criterio) que no nos dice si un estudiante sabe respecto de un tema o no, sino que nos dice si un estudiante sabe más de un tema que otro estudiante en base a ciertos contenidos: la PSU ordena a los estudiantes en base a una medida (e.g. matemáticas) y normaliza los puntajes para poder hacer inferencias comparables a través de las distintas pruebas (media 500, desviación estándar de 110, etc. ). Moreover, lo hace basado en contenidos específicos de materias específicas que supuestamente tienen la capacidad de predecir el desempeño de los estudiantes en el primer año de la educación superior. A pesar de que el establecimiento B tenga mejor puntaje promedio que el establecimiento A en la PSU, si usáramos otras medidas, basadas en otros criterios y otras materias, y ponderando la evidencia de forma distinta, podríamos tener un resultado sumamente diferente; podría ser que el establecimiento A aparezca mejor evaluado o que ambos aparezcan igualmente bien o mal evaluados. Lo concreto es que la medición no es una ciencia exacta y cada prueba estandarizada está diseñada para un uso particular.
De hecho, una gran parte de los esfuerzos en medición educacional tienen que ver con la validación de las interpretaciones y usos de los puntajes. En psicometría, la validez no tiene que ver con una prueba, sino con sus interpretaciones y usos. Por ejemplo, pensemos en una prueba estandarizada que no recibe mayores críticas, como el examen de conducir. El desempeño en el examen de conducir se toma como evidencia de la capacidad de ser un buen conductor (interpretación) y se utiliza para otorgar permisos para conducir (uso). El examen de conducir no fue diseñado para otros usos y si lo utilizáramos para otros usos, el problema de validez sería evidente. Esto es lo mismo que ocurre con otras pruebas estandarizadas, como por ejemplo, la PSU. Para defender las interpretaciones y usos de los puntajes en pruebas estandarizadas, los psicometristas están obligados a presentar evidencia de distinta índole, incluyendo evidencia respecto de las consecuencias de un uso en particular (ver Messick 1989, o lo estándares de APA, AERA, y NCME, 1999 o 2014).
Si el promedio PSU va a ser interpretado como medida de la calidad de los establecimientos (interpretación) y utilizado para crear rankings de escuelas o tomar decisiones de matrícula (uso), estamos frente a un serio problema de validez. Puede que los directores tengan el incentivo de orientar todos sus esfuerzos a la preparación de la PSU, de expulsar estudiantes de peor rendimiento en ésta, de atraer a estudiantes de mayores recursos, de quitar atención a aspectos psicoemocionales o de inclusión, afectando así la equidad del sistema, un problema mayor en el contexto chileno.
La PSU no es un instrumento de política pública – es una prueba que facilita las decisiones de selección de alumnos a la educación superior y la publicación de sus resultados a nivel colegio no es adecuada; es difícil pensar buenos usos de la PSU en este contexto. Este cuestionamiento se extiende a otras medidas utilizadas en el portal, como por ejemplo, el promedio de las Notas de Enseñanza Media (NEM). El promedio de enseñanza media no es una medida comparable pues depende de las asignaturas que un estudiante elige tomar, de la dificultad de las pruebas que rinde, del criterio de evaluación de sus profesores, etc. ¿De qué sirve ordenar a los colegios por NEM y relacionarlos con la PSU? Tal vez ahora los directores de los colegios obliguen a sus profesores a re-pensar sus formas de evaluar de forma de ser más consistentes con los promedios PSU, y eso sí que desfiguraría el panorama evaluativo; estos no son efectos deseable.
En conclusión, es muy importante que DataChile explicite lo que se puede y no se puede hacer con sus datos, que sea explícito en señalar sus riesgos, y que en lo relativo a educación, reconsidere la información provista o al menos considere proveer medidas agregadas en niveles más altos para no fomentar interpretaciones y usos incorrectos. De lo contrario, no tendrá el impacto que espera.
Comentarios