#Educación

La responsabilidad de #DataChile

0 |
COMPARTIR
EN WHATSAPP
COMPARTIR
EN WHATSAPP

https://es.datachile.io/

Hace una semana más o menos, se lanzó la plataforma DataChile, que provee información de indicadores sociales y económicos del país. Los objetivos del portal tienen que ver con la mejora de decisiones públicas y privadas bajo el supuesto de que más información va a conducir a más eficiencia y eficacia en las decisiones. El diseño del portal es impecable, refleja un enorme trabajo de programación por parte del equipo de Cesar Hidalgo, y  puede tener un impacto positivo.


Es posible que alguien que no tenga un conocimiento adecuado de la PSU realice rankings de las escuelas basados en sus puntajes y realice inferencias respecto de su calidad

Sin embargo, quienes trabajamos con datos sabemos que su publicación tiene que ser respaldada por material que eduque a los usuarios respecto de qué interpretaciones y usos pueden hacer de éstos. Tal vez esto no es demasiado sensible en todas las áreas cubiertas por el portal, pero sí lo es en relación a los datos de educación. En particular, el portal DataChile provee información respecto de los puntajes PSU y de las notas de enseñanza media (NEM) de los establecimientos, a través de diversos elementos gráficos.

Dada la forma en la que se presentan los datos, es posible que alguien que no tenga un conocimiento adecuado de la PSU realice rankings de las escuelas basados en sus puntajes y realice inferencias respecto de su calidad: “el establecimiento A tiene un puntaje promedio de 450 y el establecimiento B tiene un puntaje promedio de 500, por lo tanto, el establecimiento B es mejor que el establecimiento A”. Peor aún, esto puede derivar en inferencias de segundo orden del tipo “entonces voy a intentar matricular a mis hijos en el establecimiento B”.

Esto es ciertamente delicado. Primero, va a estigmatizar a los colegios de bajo rendimiento, que ahora son identificables por todos los ciudadanos (peor aún, el portal presenta el número de estudiantes que rinde la PSU por establecimiento, lo que en algunos casos podría conducirnos a identificar el puntaje de personas específicas). El desempeño en la PSU tiene relación con otros factores, como el nivel socioeconómico de los estudiantes, y considerar los puntajes a espaldas de todos los factores contextuales va a desfigurar cualquier interpretación justa. Por ejemplo, proveer únicamente información del tipo de colegio (privado, subvencionado, municipal, corporaciones de administración delegada) no sirve pues el tipo de colegio también está relacionado con ciertos factores que influyen en el desempeño PSU, genera una falsa idea de causalidad, e incluso puede disminuir expectativas de padres y estudiantes que no tienen la oportunidad de atender colegios particulares. Si se ajustaran los puntajes promedios por el costo de educar a cada estudiante, tal vez tendríamos otro panorama. La información que se presenta y la forma en la que se presenta tienen un impacto en la sociedad que no es arbitrario.

Segundo, aun cuando se presentara la información bien contextualizada, la PSU es una prueba normativa (no referida a criterio) que no nos dice si un estudiante sabe respecto de un tema o no, sino que nos dice si un estudiante sabe más de un tema que otro estudiante en base a ciertos contenidos: la PSU ordena a los estudiantes en base a una medida (e.g. matemáticas) y normaliza los puntajes para poder hacer inferencias comparables a través de las distintas pruebas (media 500, desviación estándar de 110, etc. ). Moreover, lo hace basado en contenidos específicos de materias específicas que supuestamente tienen la capacidad de predecir el desempeño de los estudiantes en el primer año de la educación superior. A pesar de que el establecimiento B tenga mejor puntaje promedio que el establecimiento A en la PSU, si usáramos otras medidas, basadas en otros criterios y otras materias, y ponderando la evidencia de forma distinta, podríamos tener un resultado sumamente diferente; podría ser que el establecimiento A aparezca mejor evaluado o que ambos aparezcan igualmente bien o mal evaluados. Lo concreto es que la medición no es una ciencia exacta y cada prueba estandarizada está diseñada para un uso particular.

De hecho, una gran parte de los esfuerzos en medición educacional tienen que ver con la validación de las interpretaciones y usos de los puntajes. En psicometría, la validez no tiene que ver con una prueba, sino con sus interpretaciones y usos. Por ejemplo, pensemos en una prueba estandarizada que no recibe mayores críticas, como el examen de conducir. El desempeño en el examen de conducir se toma como evidencia de la capacidad de ser un buen conductor (interpretación) y se utiliza para otorgar permisos para conducir (uso). El examen de conducir no fue diseñado para otros usos y si lo utilizáramos para otros usos, el problema de validez sería evidente. Esto es lo mismo que ocurre con otras pruebas estandarizadas, como por ejemplo, la PSU. Para defender las interpretaciones y usos de los puntajes en pruebas estandarizadas, los psicometristas están obligados a presentar evidencia de distinta índole, incluyendo evidencia respecto de las consecuencias de un uso en particular (ver Messick 1989, o lo estándares de APA, AERA, y NCME, 1999 o 2014).

Si el promedio PSU va a ser interpretado como medida de la calidad de los establecimientos (interpretación) y utilizado para crear rankings de escuelas o tomar decisiones de matrícula (uso), estamos frente a un serio problema de validez. Puede que los directores tengan el incentivo de orientar todos sus esfuerzos a la preparación de la PSU, de expulsar estudiantes de peor rendimiento en ésta, de atraer a estudiantes de mayores recursos, de quitar atención a aspectos psicoemocionales o de inclusión, afectando así la equidad del sistema, un problema mayor en el contexto chileno.

La PSU no es un instrumento de política pública – es una prueba que facilita las decisiones de selección de alumnos a la educación superior y la publicación de sus resultados a nivel colegio no es adecuada; es difícil pensar buenos usos de la PSU en este contexto. Este cuestionamiento se extiende a otras medidas utilizadas en el portal, como por ejemplo, el promedio de las Notas de Enseñanza Media (NEM). El promedio de enseñanza media no es una medida comparable pues depende de las asignaturas que un estudiante elige tomar, de la dificultad de las pruebas que rinde, del criterio de evaluación de sus profesores, etc. ¿De qué sirve ordenar a los colegios por NEM y relacionarlos con la PSU? Tal vez ahora los directores de los colegios obliguen a sus profesores a re-pensar sus formas de evaluar de forma de ser más consistentes con los promedios PSU, y eso sí que desfiguraría el panorama evaluativo; estos no son efectos deseable.

En conclusión, es muy importante que DataChile explicite lo que se puede y no se puede hacer con sus datos, que sea explícito en señalar sus riesgos, y que en lo relativo a educación, reconsidere la información provista o al menos considere proveer medidas agregadas en niveles más altos para no fomentar interpretaciones y usos incorrectos. De lo contrario, no tendrá el impacto que espera.

 

TAGS: #DataChile #PSU

Los contenidos publicados en elquintopoder.cl son de exclusiva responsabilidad de sus respectivos autores.
Te invitamos a conocer nuestras  Reglas de Comunidad

Comentarios

Quedan 1500 carácteres.

Nuevo

VER TODO

Nuevo

Quienes creemos en que otro mundo es posible, no debemos bajar los brazos ni esfuerzo alguno en proclamar a los cuatro vientos que la solución no pasa por el armamentismo, sino que por el desarme total. Me ...
+VER MÁS
#Sociedad

La receta de Trump para frenar las matanzas

Creo en la obligación moral de los liberales de reconocer que no siempre tendremos la razón, que personas que piensan distinto a nosotros también podrán tener soluciones apropiadas a los problemas polí ...
+VER MÁS
#Política

Manifiesto liberal 'de derechas'

La comprensión y la empatía son las únicas formas de que las personas nos entendamos y nos respetemos pero es cosa también de que los padres entreguen una buena educación a los niños y el sistema educ ...
+VER MÁS
#Sociedad

Los Asperger: la lucha por la inclusión en la sociedad

El decir no al acoso y abuso sexual laboral en chile, es decir no a la desigualdad laboral, es decir no a la agresión sexual en el trabajo, es decir no a continuar con el abuso que han sufrido algunas muje ...
+VER MÁS
#Género

Carta abierta en contra del abuso y acoso sexual laboral en Chile

Popular

Cada día de cárcel se ha transformado en una presión ascendente en contra del gobierno ya que la población logra visualizar, con la impunidad de “Capaya”, que la lucha contra la corrupción solo es ...
+VER MÁS
#Internacional

Ecuador: movilización en respaldo de Jorge Glas

La propuesta aprobada por CNED sobre las bases curriculares para tercer y cuarto año medio, responden a una mirada organizativa de las asignaturas en función de una determinada manera de mirar el currícu ...
+VER MÁS
#Educación

Bases curriculares para III y IV Medio: ¿Una oportunidad de cambio?

Hace años atrás todo lo que se podía aprender cabía en una enciclopedia, se podía memorizar y permanecía inamovible por muchos años. Hoy, eso ya no sirve.
+VER MÁS
#Educación

Un decreto que habla mucho más que de repitencia

Todos los medios hablan de ALEX SMITH LEAY, la operación de inteligencia de CARABINEROS más famosa del último tiempo se posiciona solamente en ese nombre, un civil que trabajó para carabineros, que no d ...
+VER MÁS
#Justicia

Alex Smith -El profesor- Huracán