Aportación de las evaluaciones - sociedadyeducacion.org³n... · tics Índice El contexto...
39
UNESCO Institute for Statistics Aportación de las evaluaciones internacionales a la calidad educativa Silvia Montoya, PhD Director Universidad Complutense Madrid, España 12 de Julio, 2017
Transcript of Aportación de las evaluaciones - sociedadyeducacion.org³n... · tics Índice El contexto...
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Aportación de las evaluaciones internacionales a la calidad
educativa
Silvia Montoya, PhD Director
Universidad Complutense Madrid, España
12 de Julio, 2017
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Índice
El contexto político: Objetivos de DesarrolloSostenible (ODS) y la agenda post-2015
El monitoreo de los resultados de aprendizajeen los ODS
¿Qué sabemos sobre la economía política delas evaluaciones?
¿Pueden las evaluaciones internacionales decalidad educativa informan la política pública?
2
UN
ESC
O In
stit
ute
fo
r St
atis
tics
La agenda post-2015: los Objetivos de Desarrollo Sostenible
La agenda post-2015 reconoce de manera explícitala pobreza, la inequidad, la seguridad alimentaria, lasustentabilidad del medio ambiente y launiversalidad de los derechos humanos
El desarrollo sostenible requiere informaciónsostenible
Cambio de paradigma: Se necesita más informacióna nivel local para contribuir con planeamiento einversión estratégicos, monitoreo y rendición decuentas
3
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Foco en temas de calidad y equidadreflejados en los indicadores globales Calidad
Se debería hacer foco en un conjunto pequeño demedidas de resultados
Debería tener medidas directas de aprendizaje yhabilidades
Otras medidas de calidad también deben considerarse
Equidad
Desagregar, cuando es posible, indicadores parafortalecer cuestiones en equidad de género
Asegurar que la desventaja múltiple es capturada
Asegurar que grupos y contextos desfavorecidosdifíciles de medir tengan atención especial
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Contexto – niveles de aprendizaje
Preocupación creciente acerca de bajos niveles de aprendizajes (a pesar de incrementar el acceso)
Heterogeneidad en el uso de evaluaciones como herramientas de planeamiento y monitoreo
Escepticismo acerca del rigor técnico de ciertos enfoques o requerimientos evaluativos de manera que que
Hay países con sus propias mediciones de aprendizaje
Otras mediciones diferentes al conocimiento podrían ser importantes
5
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Pero no conocemos las características
Información detallada sobre la evaluación:
Propósito
Alcance
Actores principales interesados
Diseño de la evaluación
Cobertura
Reporte y uso de los resultados
Con la excepción de algunas fuentes con:
Información detallada sobre la cultura de evaluación enpaíses
Ciertos reportes en catálogo del IEU, Saber, OCDE y otrosesfuerzos
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Índice
El contexto político: Objetivos de DesarrolloSostenible (ODS) y la agenda post-2015
El monitoreo de los resultados de aprendizajeen los ODS
¿Qué sabemos sobre la economía política delas evaluaciones?
¿Pueden las evaluaciones internacionales decalidad educativa informan la política pública?
7
UN
ESC
O In
stit
ute
fo
r St
atis
tics
4 niveles de monitoreo de las metas educativas*
*UN Secretary General’s Synthesis Report, Diciembre 2014
Monitoreo con vínculo a plan nacional; reconocer contexto y abordar inclusión y objetivos amplios de aprendizaje.
Conjunto de indicadores comparables internacionalmente definidos por países en UNSC (11 indicadores para ODS 4).
Grupo de indicadores más amplio que el conjunto global con mayor cobertura conceptual de las metas (43 indicadores en educación).
Para monitoreo de acciones validadas por grupos regionales.
Fuente: Compendio de Datos sobre el Desarrollo Sostenible.UIS, 2016.
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Monitoreo global y temático
Monitoreo
Global: 17 ODS
Monitoreo temático: ODS
4 y de metas en otros ODS
UN
ESC
O In
stit
ute
fo
r St
atis
tics
UN
ESC
O In
stit
ute
fo
r St
atis
tics
El acceso a los datos de monitoreo del ODS4E-Atlas para la Educación 2030
Repositorio para los indicadores del ODS4-Education 2030
Lista completa de indicadores temáticos con datos, definiciones y metodología
http://tellmaps.com/sdg4/
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Indicadores para el monitoreo:¿quiénes definieron las propuestas de indicadores
globales y temáticos?
IAEG-SDGs (Grupo Interinstitucional y de Expertos sobre los ODS): 28 Estados Miembros (representados por ONE/INE)
47va. Sesión de UN Statistical Commissionaprobó propuesta del IAEG (8-11 Mar 2016)
http://unstats.un.org/unsd/statcom/47th-
session/documents/2016-2-IAEG-SDGs-E-
Revised.pdf
Indicadores globales Indicadores temáticos
• TAG (Grupo Asesor Técnico) elaboró propuesta, con participación de Estados Miembros (12) y organizaciones de la sociedad civil
• Se adopta en Marco de Acción Educación 2030 (noviembre de 2015, anexo II versión preliminar)
http://www.uis.unesco.org/Education/Documents/
43-indicators-to-monitor-education2030.pdf
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Indicadores para el monitoreo:¿quiénes definieron las propuestas de indicadores globales
y temáticos?
IAEG-SDGs con el secretariado de la División de Estadística de Naciones Unidas (UNSD).
− Represent. regional: Brasil, Colombia, Cuba, Jamaica y México
http://unstats.un.org/sdgs/iaeg-sdgs/
Indicadores globales Indicadores temáticos
• Instituto de Estadística de la UNESCO (UIS) en el marco del Grupo de Cooperación Técnica sobre los indicadores para el ODS4 (TCG)
‒ Represent. regional:
• Países IAEG
• Países del Comité de Dirección: Argentina, Bolivia y Brasil.
http://tcg.uis.unesco.org/
UN
ESC
O In
stit
ute
fo
r St
atis
ticsIndicadores para el monitoreo:
¿Cuántos son?
229 indicadores para agenda de desarrollo global que incluye 169 metas
11 indicadores para las 10 metas del ODS 4
http://unstats.un.org/sdgs/indicators/database/
Indicadores globales Indicadores temáticos
• 43 indicadores que incluyen los 11 globales
• TCG acuerda en Madrid:
‒ 29 indicadores para monitoreo en 2017
‒ 14 requieren mayor desarrollo
(ver listado en carpetas, o
http://tcg.uis.unesco.org/resultoftcgmeeting.php)
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Indicadores ODS globales de educación (1)
4.1.1 % de niños, niñas y adolescentes que han alcanzado un nivel mínimo de competencia en lectura y matemáticas
4.2.1 % de niños menores de 5 años cuyo desarrollo se encuentra bien encaminado en salud, aprendizaje y bienestar psicosocial
4.2.2 Participación en la enseñanza organizada (un año antes de la edad oficial de ingreso en la enseñanza primaria)
4.3.1 Participación de los jóvenes y adultos en la enseñanza académica y no académica
4.4.1 % de jóvenes y adultos con competencias de TIC
4.5.1 Índices de paridad (género, localización, recursos económicos, etc.)
4.6.1 % de jóvenes y adultos que alcanza por lo menos un nivel fijo de competencia funcional en alfabetización y aritmética elemental
* Redacción abreviada con propósitos expositivos. La redacción exacta debe consultarse en propuesta del IAEG
(E/CN.3/2016/2/Rev.1*, Anexo IV)
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Indicadores ODS globales de educación (2)
4.7.1 (y 12.8.1) Grado en que la educación para la ciudadaníaglobal y la educación para el desarrollo sostenible se incorporan en políticas educativas, currículos, formación docente y evaluación de estudiantes
4.a.1 % de escuelas con acceso a servicios básicos e instalaciones (electricidad, Internet, computadoras, infraestructura adaptada a estudiantes con discapacidad, suministro básico de agua potable, instalaciones de saneamiento básicas segregadas por sexo y instalaciones básicas para lavarse las manos)
4.b.1 Volumen de la asistencia oficial para el desarrollo destinada abecas
4.c.1 % de maestros que han recibido al menos el mínimo deformación docente organizada
* Redacción abreviada con propósitos expositivos. La redacción exacta debe consultarse en propuesta
del IAEG (E/CN.3/2016/2/Rev.1*, Anexo IV)
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Participación y terminación
• Participación en ECCE
• Participación en enseñanza primaria y secundaria
• Participación de jóvenes y adultos
• Terminación de enseñanza primaria y secundariaPolítica y provisión del servicio educativo
• Años de educación obligatoria y no obligatoria desde pre-primaria a enseñanza secundaria
• Políticas públicas que promueven la equidad.
• Oferta de GCED, educación en VIH y sexualidad y educación en Derechos Humanos
Conocimiento, habilidades, aprendizaje y preparación
• Resultados de aprendizaje en la enseñanza primaria y secundaria
• Preparación: preparación para la escuela en niños menores de 5 años; ambiente estimulante de aprendizaje en casa
• Habilidades: Habilidades TIC, alfabetización digital. Habilidades de alfabetización.
• Conocimiento: GCED, ciencias ambientales y geociencias17
Incluida solo en el marco temático
Dimensiones cubiertas por el marco global y temático (1)
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Participación y terminación
• Participación en ECCE
• Participación en enseñanza primaria y secundaria
• Participación de jóvenes y adultos
• Terminación de enseñanza primaria y secundariaPolítica y provisión del servicio educativo
• Años de educación obligatoria y no obligatoria desde pre-primaria a enseñanza secundaria
• Políticas públicas que promueven la equidad.
• Oferta de GCED, educación en VIH y sexualidad y educación en Derechos Humanos
Conocimiento, habilidades, aprendizaje y preparación
• Resultados de aprendizaje en la enseñanza primaria y secundaria
• Preparación: preparación para la escuela en niños menores de 5 años; ambiente estimulante de aprendizaje en casa
• Habilidades: Habilidades TIC, alfabetización digital. Habilidades de alfabetización.
• Conocimiento: GCED, ciencias ambientales y geociencias18
Incluida solo en el marco temático
Dimensiones cubiertas por el marco global y temático (1)
UN
ESC
O In
stit
ute
fo
r St
atis
tics
19
Infraestructura escolar y entorno
• Recursos
• Entorno
Becas
• Cantidad
• Volumen de flujos de asistencia oficial para el desarrollo
Docentes
• Cualificaciones
• Capacitación
• Motivación
• Apoyo
Incluida solo en el marco temático
Dimensiones cubiertas por el marco global y temático (2)
UN
ESC
O In
stit
ute
fo
r St
atis
tics
20
Infraestructura escolar y entorno
• Recursos
• Entorno
Becas
• Cantidad
• Volumen de flujos de asistencia oficial para el desarrollo
Docentes
• Cualificaciones
• Capacitación
• Motivación
• Apoyo
Incluida solo en el marco temático
Dimensiones cubiertas por el marco global y temático (2)
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Índice
El contexto político: Objetivos de DesarrolloSostenible (ODS) y la agenda post-2015
El monitoreo de los resultados de aprendizajeen los ODS
¿Qué sabemos sobre la economía política delas evaluaciones?
¿Pueden las evaluaciones internacionales decalidad educativa informan la política pública?
21
UN
ESC
O In
stit
ute
fo
r St
atis
tics
La economía política de las evaluacionesinternacionales
La psicometría importa, pero...
El muestreo, la administración y la logística sonfuentes de error y sesgo más importantes
Hay necesidad para asegurar la calidad de losaspectos
Los resultados son políticamente sensibles y difíciles demanejar: la complacencia no puede ser el camino depaíses en vías de desarrollo
No se trata solo de métodos, se trata de políticaeducativa
UN
ESC
O In
stit
ute
fo
r St
atis
tics
También sabemos que es un asunto donde queda mucho por hacer
Incorporar actores clave
Comunicación
Respetar el ciclo de vida de la información
Diseño conceptual y metodológico
Recolección de información
Procesamiento de datos y control cruzado
Diseminación de la información
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Y es necesario pasar hacia una política y práctica educativa basada en la información
Alimentar decisiones sobre política y gestión educativa
Modificar comportamientos donde hay desafíos
La mayoría del tiempo tenemos problemas invisibles cuyosefectos se manifiestan años después
La mejora de resultados de aprendizaje depende de factores yactores múltiples que no participan de la discusión
Maneras diferentes de trabajar para modificarcomportamiento:
Deberías hacer X (versión A): regulaciones y castigos
Deberías hacer X (versión B): incentivos
Cambios sistémico y cultural donde X es “¿Qué hacemos?”
UN
ESC
O In
stit
ute
fo
r St
atis
tics
¿Qué se requiere?
Herramientas de medición que provean informaciónsobre resultados
Evaluaciones usadas para establecer líneas de base y,aún más importante, retroalimentación
Saber que la medición regular es necesaria
Foco en resultados bien definidos y puntos dereferencias
Conocimiento sobre la relevancia de mediciones para losdiferentes actores
Capacidad para la acción
Recursos y políticas consistentes para lograr los objetivos
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Índice
El contexto político: Objetivos de DesarrolloSostenible (ODS) y la agenda post-2015
El monitoreo de los resultados de aprendizajeen los ODS
¿Qué sabemos sobre la economía política delas evaluaciones?
¿Pueden las evaluaciones internacionales decalidad educativa informan la política pública?
26
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Las evaluaciones internacionales, política pública y la mejora de los aprendizajes
El papel de la evaluación en los países es mejorar el aprendizaje
Hay, sin dudas, aspectos técnicos relevantes
Buena prueba: La toma de muestras, la administración y lasoperaciones son tan importantes como la psicometría
Si estos elementos están ausentes no es posible informar a lapolítica: difícil de resolver un problema cuando no se loentiende
Sólo los gobiernos tienen las herramientas para corregir lasfallas del mercado:
Información
Incentivos27
UN
ESC
O In
stit
ute
fo
r St
atis
tics
¿Informan las evaluaciones internacionales la política pública?
Siguen un marco contextual
En el análisis general de
Plan de estudios
Contexto, características de los sistemas educativos
Un modelo del entorno de aprendizaje, procesos yrecursos.
28
UN
ESC
O In
stit
ute
fo
r St
atis
tics
¿ Cómo ayudan las evaluaciones internacionales la política pública?
Siguen un marco contextual
Rendimiento de los estudiantes
Antecedentes e indicadores socioeconómicos de losestudiantes
Características de los estudiantes, profesores y escuelas
Equidad en la educación
Se puede hacer un análisis más profundo de lossistemas educativos combinando la informaciónrecolectada. 29
UN
ESC
O In
stit
ute
fo
r St
atis
tics
1. ¿Es significativa la variación en el rendimientoeducativo entre las escuelas y los países?
Posible analizar el grado de variación en el desempeño entre países, escuelas, etc.
Indicador clave: entre y dentro de la varianza escolar
Diferencia PIRLS 2001
El 31,2% se encuentra entre países
El 20,6% es entre escuelas dentro de los países
El 48,2% se encuentra entre los estudiantes dentro de las escuelas (Wilms (2006).
La gama de resultados es más alta en los países más ricos que son más homogéneos en términos de logro.
30
UN
ESC
O In
stit
ute
fo
r St
atis
tics
2. ¿Es significativa la relación entre el desempeño en lectura y el nivel socioeconómico (SES)?
Indicador clave: gradiente SES estimado mediante análisis de regresión
El rendimiento de las escuelas varía dentro del país incluso después de la contabilidad por el SES del estudiante y el SES promedio de la escuela.
31
Wilms (2006). Learning divides. UIS
UN
ESC
O In
stit
ute
fo
r St
atis
tics
3. ¿Los resultados de las escuelas varían después de considerar NES promedio del estudiante y de la escuela?
Indicador Clave: rendimiento medio ajustado porNES
Dos efectos:
Tipo A: Puntuación media de estudiantes por NES en cadaescuela
Tipo B: El NES del estudiante controló una vez la NESmedia de la escuela
La variación se reduce, pero las escuelas siguenmarcando una diferencia
Forma de identificar a los que hacen algo diferente32
UN
ESC
O In
stit
ute
fo
r St
atis
tics
4. ¿Hay rendimientos decrecientes en el rendimiento de lectura por NES?
¿El efecto del NES sobre el logro del estudiante es menor en los niveles más altos de NES?
Algunos países presentan rendimientos decrecientes, pero otros no producen ningún efecto o aumentan los retornos.
¿Hay un efecto de piso?
No
Implicaciones políticas
Los defensores de políticas específicas son necesarios ya que no hay umbral mínimo.
Los bajos niveles de lectura se producen en promedio o por encima del promedio de SES
33
UN
ESC
O In
stit
ute
fo
r St
atis
tics
5. ¿Son los gradientes socioeconómicos convergentes a medida que aumenta el NES? ¿La variación en el logro se reduce a medida que aumenta el
NES?
La correlación entre las puntuaciones medias ajustadas por las pendientes NES y NES es negativa: los gradientes convergen.
34
Wilms (2006). Learning divides. UIS
UN
ESC
O In
stit
ute
fo
r St
atis
tics
6. Qué implican los gradientes convergentes desde el punto de vista de la política pública?
Las escuelas están haciendo bien para tratar a losniños NES bajos:
Implicación de la política: Las escuelas necesitantener programas especiales para que los niños conNES bajo alcancen una calidad uniforme
La calidad de la escuela es mala y afecta a menosestudiantes promedio y por encima del promedio quepodrían obtener ayuda adicional
Implicación de la política: obtener ayuda para losestudiantes por debajo del NES promedio
35
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Algunas simulaciones de política
36
Intervenciones universals, versus focalizadas, versus compensatorias
Wilms (2006). Learning divides. UIS
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Algunos puntos para pensar….. La comprensión total de lo que los datos informan y
no informan es crucial
La combinación y el análisis de los datos sobre loslogros y la información de antecedentes es necesariapara la identificación del impacto
La agregación y análisis de datos permite a losgobiernos comprender sus propios procesos yevaluar su impacto
¿Es suficiente? No, se necesitan asociaciones y unaamplia estrategia de creación de capacidad
37
UN
ESC
O In
stit
ute
fo
r St
atis
tics ¡Gracias!
Silvia Montoya
Directora, Instituto de Estadísticas de la UNESCO
@montoya_sil
@UNESCOstat
38
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Referencias
Compendio de Datos sobre el Desarrollo Sostenible. UIS,2016.
Informe del Grupo Interinstitucional y de Expertos sobre losIndicadores de los Objetivos de Desarrollo Sostenible.Comisión de Estadística. 47º período de sesiones. 8 a 11 demarzo de 2016 (E/CN.3/2016/2/Rev.1*).
Indicadores temáticos para el monitoreo de la AgendaEducativa 2030. Propuesta del Grupo Consultivo Técnico(TAG). Octubre de 2015.
Disponibilidad de información para el cálculo de losindicadores OSD 4–Educación 2030. Diagnóstico paraAmérica Latina y el Caribe. Documento informativo del UISnro. 30. Agosto de 2016.
