#Educación

La responsabilidad de #DataChile

0 |
COMPARTIR
EN WHATSAPP
COMPARTIR
EN WHATSAPP

https://es.datachile.io/

Hace una semana más o menos, se lanzó la plataforma DataChile, que provee información de indicadores sociales y económicos del país. Los objetivos del portal tienen que ver con la mejora de decisiones públicas y privadas bajo el supuesto de que más información va a conducir a más eficiencia y eficacia en las decisiones. El diseño del portal es impecable, refleja un enorme trabajo de programación por parte del equipo de Cesar Hidalgo, y  puede tener un impacto positivo.


Es posible que alguien que no tenga un conocimiento adecuado de la PSU realice rankings de las escuelas basados en sus puntajes y realice inferencias respecto de su calidad

Sin embargo, quienes trabajamos con datos sabemos que su publicación tiene que ser respaldada por material que eduque a los usuarios respecto de qué interpretaciones y usos pueden hacer de éstos. Tal vez esto no es demasiado sensible en todas las áreas cubiertas por el portal, pero sí lo es en relación a los datos de educación. En particular, el portal DataChile provee información respecto de los puntajes PSU y de las notas de enseñanza media (NEM) de los establecimientos, a través de diversos elementos gráficos.

Dada la forma en la que se presentan los datos, es posible que alguien que no tenga un conocimiento adecuado de la PSU realice rankings de las escuelas basados en sus puntajes y realice inferencias respecto de su calidad: “el establecimiento A tiene un puntaje promedio de 450 y el establecimiento B tiene un puntaje promedio de 500, por lo tanto, el establecimiento B es mejor que el establecimiento A”. Peor aún, esto puede derivar en inferencias de segundo orden del tipo “entonces voy a intentar matricular a mis hijos en el establecimiento B”.

Esto es ciertamente delicado. Primero, va a estigmatizar a los colegios de bajo rendimiento, que ahora son identificables por todos los ciudadanos (peor aún, el portal presenta el número de estudiantes que rinde la PSU por establecimiento, lo que en algunos casos podría conducirnos a identificar el puntaje de personas específicas). El desempeño en la PSU tiene relación con otros factores, como el nivel socioeconómico de los estudiantes, y considerar los puntajes a espaldas de todos los factores contextuales va a desfigurar cualquier interpretación justa. Por ejemplo, proveer únicamente información del tipo de colegio (privado, subvencionado, municipal, corporaciones de administración delegada) no sirve pues el tipo de colegio también está relacionado con ciertos factores que influyen en el desempeño PSU, genera una falsa idea de causalidad, e incluso puede disminuir expectativas de padres y estudiantes que no tienen la oportunidad de atender colegios particulares. Si se ajustaran los puntajes promedios por el costo de educar a cada estudiante, tal vez tendríamos otro panorama. La información que se presenta y la forma en la que se presenta tienen un impacto en la sociedad que no es arbitrario.

Segundo, aun cuando se presentara la información bien contextualizada, la PSU es una prueba normativa (no referida a criterio) que no nos dice si un estudiante sabe respecto de un tema o no, sino que nos dice si un estudiante sabe más de un tema que otro estudiante en base a ciertos contenidos: la PSU ordena a los estudiantes en base a una medida (e.g. matemáticas) y normaliza los puntajes para poder hacer inferencias comparables a través de las distintas pruebas (media 500, desviación estándar de 110, etc. ). Moreover, lo hace basado en contenidos específicos de materias específicas que supuestamente tienen la capacidad de predecir el desempeño de los estudiantes en el primer año de la educación superior. A pesar de que el establecimiento B tenga mejor puntaje promedio que el establecimiento A en la PSU, si usáramos otras medidas, basadas en otros criterios y otras materias, y ponderando la evidencia de forma distinta, podríamos tener un resultado sumamente diferente; podría ser que el establecimiento A aparezca mejor evaluado o que ambos aparezcan igualmente bien o mal evaluados. Lo concreto es que la medición no es una ciencia exacta y cada prueba estandarizada está diseñada para un uso particular.

De hecho, una gran parte de los esfuerzos en medición educacional tienen que ver con la validación de las interpretaciones y usos de los puntajes. En psicometría, la validez no tiene que ver con una prueba, sino con sus interpretaciones y usos. Por ejemplo, pensemos en una prueba estandarizada que no recibe mayores críticas, como el examen de conducir. El desempeño en el examen de conducir se toma como evidencia de la capacidad de ser un buen conductor (interpretación) y se utiliza para otorgar permisos para conducir (uso). El examen de conducir no fue diseñado para otros usos y si lo utilizáramos para otros usos, el problema de validez sería evidente. Esto es lo mismo que ocurre con otras pruebas estandarizadas, como por ejemplo, la PSU. Para defender las interpretaciones y usos de los puntajes en pruebas estandarizadas, los psicometristas están obligados a presentar evidencia de distinta índole, incluyendo evidencia respecto de las consecuencias de un uso en particular (ver Messick 1989, o lo estándares de APA, AERA, y NCME, 1999 o 2014).

Si el promedio PSU va a ser interpretado como medida de la calidad de los establecimientos (interpretación) y utilizado para crear rankings de escuelas o tomar decisiones de matrícula (uso), estamos frente a un serio problema de validez. Puede que los directores tengan el incentivo de orientar todos sus esfuerzos a la preparación de la PSU, de expulsar estudiantes de peor rendimiento en ésta, de atraer a estudiantes de mayores recursos, de quitar atención a aspectos psicoemocionales o de inclusión, afectando así la equidad del sistema, un problema mayor en el contexto chileno.

La PSU no es un instrumento de política pública – es una prueba que facilita las decisiones de selección de alumnos a la educación superior y la publicación de sus resultados a nivel colegio no es adecuada; es difícil pensar buenos usos de la PSU en este contexto. Este cuestionamiento se extiende a otras medidas utilizadas en el portal, como por ejemplo, el promedio de las Notas de Enseñanza Media (NEM). El promedio de enseñanza media no es una medida comparable pues depende de las asignaturas que un estudiante elige tomar, de la dificultad de las pruebas que rinde, del criterio de evaluación de sus profesores, etc. ¿De qué sirve ordenar a los colegios por NEM y relacionarlos con la PSU? Tal vez ahora los directores de los colegios obliguen a sus profesores a re-pensar sus formas de evaluar de forma de ser más consistentes con los promedios PSU, y eso sí que desfiguraría el panorama evaluativo; estos no son efectos deseable.

En conclusión, es muy importante que DataChile explicite lo que se puede y no se puede hacer con sus datos, que sea explícito en señalar sus riesgos, y que en lo relativo a educación, reconsidere la información provista o al menos considere proveer medidas agregadas en niveles más altos para no fomentar interpretaciones y usos incorrectos. De lo contrario, no tendrá el impacto que espera.

 

TAGS: #DataChile #PSU

Los contenidos publicados en elquintopoder.cl son de exclusiva responsabilidad de sus respectivos autores.
Te invitamos a conocer nuestras  Reglas de Comunidad

Comentarios

Quedan 1500 carácteres.

 

PARTICIPA

Popular

Hago una invitación a todos los privilegiados de la escasa buena educación pública, a los que tuvieron mejores oportunidades que nosotros y a cada uno de los chilenos, pero sobre todo a los políticos a ...
+VER MÁS
#Educación

Más que un colegio, un camino. La educación es el foco

Un tarde al regresar de comprar licor y drogas  encontró vacía la casa. Preguntó por sus padres a medio barrio y nadie le pudo decir lo sucedido. De esa forma, Carlitos se quedó sin nadie a quien desan ...
+VER MÁS
#Cultura

Se acabó la fiesta, gordito

El uso de la MTyC en los países desarrollados está asociado a “una insatisfacción creciente junto con la pérdida de la confianza en la biomedicina tecnológicamente sofisticada y, claro, también debi ...
+VER MÁS
#Salud

Medicinas tradicionales y complementarias

De las entrañas de San Joaquín, a los 11 años, me extirparon y re acomodaron en "el centro cívico", a estudiar lejos de mis amigos, de mi casa, de mi entorno socioemocional. Se nos olvidó que ...
+VER MÁS
#Educación

¿Y qué cosa vibra, compañeros?

Popular

Un cambio súbito y no anunciado en la funcionalidad de búsqueda de Facebook ha asestado un duro golpe a toda la comunidad de investigación basada en fuentes de acceso público
+VER MÁS
#Tecnología

Cómo el repentino cambio de Facebook obstaculiza las investigaciones sobre derechos humanos

Nuestro sistema de salud, requiere urgente una reforma, que de una vez por todas, visibilicemos que en Chile estamos vulnerando los derechos humanos
+VER MÁS
#Salud

Sistema de salud, en Chile estamos vulnerando los derechos humanos

Cuento mi historia por todas esas mamás que están buscando información en Internet, un testimonio, una esperanza para sus hijos con alguna anomalía VACTERL
+VER MÁS
#Salud

Nacer y no morir con una enfermedad rara

Una prueba esencial para las democracias no es si afloran o no tales figuras [los líderes populistas y autoritarios], sino si la elite política y, sobre todo, los partidos políticos se esfuerzan por impe ...
+VER MÁS
#Política

La decisión de Chile Vamos