Pruebas Para Evaluar Sistema Mexico 2008

PRUEBAS EN GRAN ESCALA PARA EVALUAR EL SISTEMA EDUCATIVO

Felipe Martínez Rizo

Seminario Taller

LA EVALUACIÓN PARA LA MEJORA DE LA CALIDAD DE LA EDUCACIÓN BÁSICA

México, mayo 27, 2008

INTRODUCCIÓN

Los niveles de aprendizaje que alcanzan los alumnos son una dimensión fundamental de la calidad de un sistema educativo, pero no la única.

La evaluación no debe reducirse a aplicar pruebas; debe incluir indicadores de otras dimensiones, como la cobertura del sistema, su eficiencia y equidad, el impacto en la vida adulta, etc.

Esta presentación se limitará a lo relativo a pruebas de aprendizaje.

La medición del aprendizaje para evaluar esa dimensión de la calidad del sistema educativo, frente a otras evaluaciones del aprendizaje.

Dos aspectos a considerar:

La distinción entre evaluación en gran escala y evaluación en aula.

Los propósitos de una evaluación y sus consecuencias en cuanto a las características técnicas de cada una.

a) Evaluación en gran escala y en aula

La evaluación siempre ha sido parte de la educación, pero en la forma tradicional, a cargo de cada maestro.

Cuando las escuelas atendían a una minoría privilegiada eso bastaba para asegurar que todo alumno alcanzara un mínimo de conocimientos y habilidades.

A medida que se atendió a niños menos favorecidos, aumentó la heterogeneidad de su rendimiento y los estándares implícitos de los docentes se diversificaron; terminar cierto grado escolar ya no asegura los mínimos aceptables.

Surgen pruebas para medir el aprendizaje en forma comparable en gran escala.

Dos formas de ver las pruebas estandarizadas:

a) Las pruebas como herramienta clave de la evaluación del aprendizaje de los alumnos, mejores que las evaluaciones de los maestros, que no serían confiables.

b) Las pruebas como medio que da elementos valiosos pero insuficientes, a complementar con evaluaciones de los maestros, que son insustituibles.

Las pruebas como apoyo al maestro

El trabajo del maestro es insustituible para que los alumnos aprendan y para evaluar si ello ocurre. Evaluar en forma integral es complejo, pues debe incluir:

Todas las áreas del currículo;

Todos los niveles cognitivos;

El avance a lo largo del ciclo escolar;

Las circunstancias personales de los alumnos, a tener en cuenta al tomar decisiones importantes para el futuro de cada uno.

¿Puede evaluarse con validez y confiabilidad comparables con pruebas en gran escala?

Con la finura que puede alcanzar la evaluación a cargo del maestro NO.

Ninguna decisión individual importante debería basarse sólo en pruebas;

En cambio, las pruebas pueden dar algo que los maestros no pueden: información comparable sobre conjuntos grandes de alumnos.

Por ello son indispensables para evaluar al sistema educativo como tal, y para complementar la evaluación del maestro, dándole referentes.

b) Los propósitos de las evaluaciones y sus consecuencias para el diseño y la aplicación

Principio básico: las características técnicas de una prueba tienen sentido en función del

propósito que persigue.

Ejemplo de dos propósitos usuales en pruebas:

Seleccionar los mejores prospectos para una carrera entre muchos candidatos.

Medir el grado en que los alumnos alcanzan los objetivos establecidos en el currículo.

Características derivadas del propósito de una prueba de selección:

Interés por la dimensión predictiva de la validez, privilegiando habilidades intelectuales (vs. contenidos) ya que aquéllas predicen mejor el éxito en los estudios que éstos.

Eliminar preguntas de dificultad muy baja o muy alta, que no contribuyen a distinguir los mejores aspirantes de los menos buenos.

Características derivadas del propósito de una prueba de aprovechamiento:

Interés por la dimensión concurrente de la validez, buscando congruencia con otras valoraciones del desempeño, como las evaluaciones de los maestros.

Contenido alineado al currículo, y no de habilidades que se deben a rasgos individuales o a la influencia del contexto familiar.

Incluir preguntas de todos los grados de dificultad.

Propósitos y diseños de otras pruebas

Propósito Pruebas Características para el diseño

Selección de alumnos para niveles menos elevados

Exani I, IIIDANIS

Sustentantes voluntarios; importa validez predictiva; contenido de habilidades; ítems de dificultad media; referencia normativa; una sola forma de prueba; no cuestionarios contexto; análisis simples, puntajes.

Selección de alumnos para niveles más elevados

Exani III Examen de Ingreso a

Residencias Médicas

Sustentantes voluntarios; importa validez predictiva; contenido habilidades y conocimientos complejos; ítems de dificultad alta; referencia normativa; una sola forma de prueba; no contexto, sólo puntajes.

Pruebas de certificación

Exámenes de cuerpos

especialesEGEL

Sustentantes voluntarios; validez concurrente; contenidos curriculares; ítems de varias dificultades incluyendo respuesta construida; referencia criterial; una forma; no cuestionarios de contexto; análisis simples basados en puntos de corte.

Identificación de alumnos destacados para premiación

Olimpiadas del

Conocimiento

Sustentantes seleccionados; validez de contenido, centrado en conocimientos; ítems de dificultad alta; referencia normativa; una forma; no cuestionarios de contexto; análisis simples.

Diagnóstico del sistema educativo o subsistemas como tales, para diseño de políticas

PISATIMSSLLECEExcale

Muestras; importa validez concurrente; contenidos sin referencia al currículo (PISA) o con ella (los demás); ítems de todas las dificultades, de opción múltiple y respuesta construida; referencia criterial; varias formas (matricial); importan los cuestionarios contexto; análisis complejos, HLM…

Diagnóstico individual (escuelas o alumnos) para retroalimentación y rendición de cuentas

ENLACE Censo; importa validez concurrente; contenidos curriculares; ítems de varias dificultades sólo de opción múltiple; referencia normativa o criterial; una sola forma; cuestionarios contexto opcionales; bastan análisis simples y pueden hacerse complejos.

Propósitos de EXCALE y ENLACE

EXCALE aporta elementos para el diagnóstico del sistema educativo como tal, para el diseño de políticas, sin pretender dar resultados por alumno y escuela.

ENLACE da elementos de diagnóstico individual y de retroalimentación a maestros, alumnos y padres de familia.

Cada propósito tiene consecuencias para el diseño y la aplicación.

Dar resultados individuales implica:

Una aplicación censal, que incluya a todos los miembros de la población.

Una sola forma para comparar los resultados de cada alumno con los demás.

Pruebas cortas y preguntas de opción múltiple, por las dificultades de la aplicación masiva y del procesamiento de las respuestas.

Cuidar la proporción efectiva de sustentantes, ya que la ausencia de dos o tres niños puede sesgar de manera importante los resultados.

Cuidar el factor de copia por el uso de una sola forma y el menor control de la aplicación.

Evaluar el sistema educativo permite:

Emplear muestras de alumnos en la aplicación.

Utilizar un diseño matricial, cubriendo ampliamente el currículo sin un tiempo prolongado de respuesta de cada alumno.

No preocuparse por el factor copia, gracias al diseño matricial y la aplicación controlada.

No preocuparse por la proporción de sustentantes sobre la matrícula, al ser muestral y no dar resultados por escuela.

En cambio, y lógicamente, Excale requiere cuidar los errores de muestreo.

1. LOS EXÁMENES DE LA CALIDAD Y EL LOGRO EDUCATIVO (EXCALE)

Son las pruebas desarrolladas por el INEE con el propósito de evaluar el sistema educativo en cuanto al nivele de aprendizaje alcanzado por los alumnos.

Se aplican en cuatro grados clave de la educación básica (3° de preescolar; 3° y 6° de primaria y 3° de secundaria) en un ciclo de cuatro años.

Cubren progresivamente las principales áreas de los planes de estudio.

Utilizan muestras representativas de las entidades federativas y las modalidades educativas.

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN

Características de las pruebas Excale

• Alineadas al currículo con amplia cobertura

- Español (lectura-gramática-escritura); Matemáticas

- C.Naturales; C. Sociales (Geografía-Historia-Ed. Cívica)

• Extensas (≈ 400 preguntas) y matriciales: resultados para el sistema, no para cada escuela o alumno

• Escalas con TRI; Valores plausibles…

• Preguntas cerradas y abiertas

• 4 niveles de logro: Avanzado, Medio, Básico y Por debajo del básico.

• Cuestionarios de contexto para factores asociados


El ciclo de Excale

• 2005: 3°secundaria - 6°primaria

• 2006: 3°primaria

• 2007: 3°preescolar; 6°primaria (muestra nacional)

• 2008: 3°secundaria

• 2009: 6°primaria

• 2010: 3°primaria; 3°secundaria (muestra nacional)

• 2011: 3°preescolar; 6°primaria (muestra nacional)

El ciclo de Excale, 2005-2016

2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016

00 H H H

03 EMNS EMNS EMNS

06 E-M E-M EMNS E-M EMNS E-M

09 E-M EMNS E-M EMNS E-M EMNS

12 E-M EMNS EMNS

Etapas del desarrollo de los Excale: Diseño, construcción y validación

• Definición del marco de referencia.

• Definición del modelo de la prueba.

• Definición de los contenidos a evaluar.

• Especificación de los reactivos a utilizar.

• Construcción de los reactivos.

• Validación y cuidado de sesgo de reactivos por jueceo.

• Piloteo de las preguntas.

• Armado, edición e impresión de cuadernillos.

Etapas del desarrollo de los Excale:Análisis y corrección de resultados

• Análisis psicométrico de los reactivos.

• Confiabilidad de las pruebas.

• Equiparabilidad de los resultados.

• Análisis DIF de los reactivos.

• Estudios de validez de la prueba.

Etapas del desarrollo de los Excale:Aplicación, análisis y reporte de resultados

• Diseño de cuestionarios de contexto.

• Diseño del muestreo poblacional.

• Aplicación de pruebas y cuestionarios.

• Recolección, lectura y calificación de resultados.

• Establecimiento de niveles de logro.

• Análisis y reporte técnico de resultados.

• Elaboración de reporte final y publicación de resultados.


La difusión de resultados

• Difusión inicial (en agosto del año siguiente):

Análisis básicos por entidad y modalidad educativa

Análisis iniciales de factores asociados

• Difusión posterior (posteriormente):

Análisis más profundos (multinivel);

Análisis de tendencias, cuando es posible


Diferencias de resultados entre las áreas evaluadas en 3° de primaria

% de alumnos en los niveles de competencia de las áreas evaluadas


Resultados por entidad federativa


Capital cultural escolar de los estudiantes por entidad federativa


Relación entre CCE y aprendizaje: Ciencias Naturales, 3º de primaria


Condiciones de Infraestructura Escolar por entidad


Relación entre IE y aprendizaje: Ciencias Naturales, 3º de primaria


2. LAS PRUEBAS PISA DE LA OCDE

PISA es un programa para evaluar a jóvenes de 15 años de edad, inscritos en cualquier grado escolar a partir del primero de secundaria.

Se lleva a cabo cada tres años: 2000, 2003, 2006. Evalúa las competencias necesarias para la vida actual

en lectura, matemáticas y ciencias. En 2006 participaron 57 países: los 30 de la OCDE y

otros 27. En México está a cargo del INEE. En México la muestra permite análisis por entidad y

modalidad educativa.


¿Cómo se presentan los resultados de PISA?

Principalmente de dos maneras: Mediante la puntuación obtenida en promedio por los

estudiantes de un país. Mediante los porcentajes de alumnos en cada uno de

varios niveles de desempeño.

Se hacen otros análisis para explorar cómo varían los resultados entre países y en cada uno; diferencias de resultados entre tipos de escuelas; y la relación de los resultados con características de los alumnos, sus familias y las escuelas, que se recogen mediante cuestionarios que se aplican junto con las pruebas.


Escala y ordenamientos de PISA

La escala está diseñada de modo que el promedio de los países de la OCDE es igual a 500 puntos.

Los puntajes individuales más altos pueden llegar hasta 800 puntos y los más bajos hasta 200.

Los promedios de los países varían entre poco más de 550 puntos y alrededor de 400 en la OCDE, y hasta unos 300 en otros países.

Los países pueden ordenarse según la puntuación promedio obtenida por sus estudiantes.


Los niveles de desempeño de PISA

En cada escala se definen niveles de desempeño, en función de lo que los alumnos pueden hacer.

En Lectura se definen 5 niveles; en Matemáticas y Ciencias 6.

En las tres áreas el Nivel 2 representa el mínimo necesario para la vida en la sociedad actual.

Se identifica un nivel adicional, para aquellos alumnos que no alcanzan siquiera el Nivel 1.

Niveles Descripción genérica

Nivel 6 Situarse en uno de los niveles altos significa que un alumno tiene potencial para realizar actividades de alta complejidad cognitiva, científicas u otras.

Nivel 5

Nivel 4 Por arriba del mínimo y, por ello, bastante buenos, aunque no del nivel óptimo para la realización de las actividades cognitivas más complejas.

Nivel 3

Nivel 2 Mínimo adecuado para desempeñarse en la sociedad contemporánea.

Nivel 1 Insuficientes (en especial el 0) para acceder a estudios superiores y para las actividades que exige la vida en la sociedad del conocimiento.

Nivel 0

Descripción genérica de los niveles

Limitaciones de los ordenamientos

En todo ordenamiento hay alguien delante y detrás, y no siempre los primeros están bien y los últimos mal.

Por ello un ordenamiento sólo permite hacer juicios relativos, en términos de mejor o peor, que no es lo mismo que bueno o malo.

Si la distancia que separa un puntaje de otros es menor que el margen de error que tienen los resultados, la diferencia no es significativa.

Por ello la impresión de claridad de los ordenamientos simples es engañosa y hay que tener en cuenta las distancias que separan los resultados.

Ventajas de los niveles de desempeño

Los niveles de desempeño permiten juicios en relación con los niveles deseables, en términos de adecuado o inadecuado, y no de mejor o peor. Su análisis permite identificar dos tipos de problemas:

Tener altas proporciones abajo del Nivel 2 implica que muchos jóvenes no están siendo preparados para una vida fructífera en la sociedad actual.

Tener muy pocos estudiantes en niveles altos (5-6) quiere decir que no se está preparando a los mejores para que puedan ocupar puestos de alto nivel en el terreno científico, académico, gerencial, de dirección.

Medias de desempeño en la escala global de Ciencias, por país

Medidas de desempeño en la escala global de Ciencias, por entidad

Relación entre medias de desempeño en Ciencias y ESCS, por país

Relación entre medias de desempeño en Ciencias y ESCS, por entidad

Comparando proporción de estudiantes en Niveles bajos (0-1) y altos (2 o más), en Ciencias los mexicanos se distribuyen casi por mitad:

51% abajo del Nivel 2, y 49% por arriba.

Estas cifras son: Muy inferiores a países mejores, con relaciones entre

niveles bajos y altos de 5-95, 10-90 ó 20-80.

Algo inferiores a las de Chile y Uruguay: 40-60.

Mejores a Argentina, Brasil y Colombia: 60-40.

Muy superiores a países más bajos: 80-20 o 90-10.

Además México tiene muy pocos alumnos en niveles 5-6.

País-entidad Media% por niveles de desempeño

≤ 1 ≥ 2 2-4 5-6

Finlandia 563 4.1 95.9 75.0 20.9

Canadá 534 10.0 90.0 75.6 14.4

OCDE 500 19.2 80.8 71.8 9.0

USA 489 24.3 75.7 66.6 9.1

España 488 19.6 80.4 75.5 4.9

D. Federal 445 32.9 67.1 66.3 0.8

Querétaro 440 36.4 63.6 62.8 0.8

Aguascalientes 437 36.6 63.4 63.1 0.3

Nuevo León 435 37.0 63.0 62.6 0.3

Chile 438 39.6 60.4 58.5 1.9

Uruguay 428 42.0 58.0 56.5 1.4

México 410 50.9 49.1 48.9 0.3

Indonesia 393 61.5 38.4 38.4 0.0

Argentina 391 56.2 43.8 43.4 0.4

Brasil 390 61.0 39.0 38.5 0.6

Colombia 388 60.1 39.9 39.7 0.2

Guerrero 379 69.1 30.9 30.9 0.0

Tabasco 378 66.0 34.0 33.8 0.2

Chiapas 374 69.3 30.7 30.4 0.3

Oaxaca 368 70.7 29.3 29.2 0.1

Qatar 349 79.1 20.9 20.6 0.3

Kyrgyzstán 322 86.3 13.7 13.7 0.0

Porcentaje de alumnos por niveles

de desempeño en Ciencias


≤ 1 ≥ 2 2-4 5-6

Finlandia 563 4.1 95.9 75.0 20.9

Canadá 534 10.0 90.0 75.6 14.4

OCDE 500 19.2 80.8 71.8 9.0

USA 489 24.3 75.7 66.6 9.1

España 488 19.6 80.4 75.5 4.9

Bach. Gral. 439 35.4 64.6 64.0 0.5

Media Sup. 438 35.8 64.2 63.8 0.4

Bach. Téc. 435 35.9 64.1 63.8 0.2

Profesional T. 434 38.3 61.7 61.7 0.0

Chile 438 39.6 60.4 58.5 1.9

Uruguay 428 42.0 58.0 56.5 1.4

México 410 50.9 49.1 48.9 0.3

Indonesia 393 61.5 38.4 38.4 0.0

Argentina 391 56.2 43.8 43.4 0.4

Brasil 390 61.0 39.0 38.5 0.6

Colombia 388 60.1 39.9 39.7 0.2

Sec. General 392 62.2 37.8 37.5 0.3

Sec. Técnica 382 65.5 34.5 34.5 0.0

Secundaria 374 70.1 29.9 29.8 0.1

S. Trabajadores 366 78.1 21.9 21.9 0.0

Qatar 349 79.1 20.9 20.6 0.3

Telesecundaria 341 85.8 14.2 14.2 0.0

Kyrgyzstán 322 86.3 13.7 13.7 0.0

Estudiantes por nivel de

desempeño en Ciencias, por

nivel y modalidad educativa


≤ 1 ≥ 2 2-4 5-6

Finlandia 563 4.1 95.9 75.0 20.9

Canadá 534 10.0 90.0 75.6 14.4

OCDE 500 19.2 80.8 71.8 9.0

USA 489 24.3 75.7 66.6 9.1

España 488 19.6 80.4 75.5 4.9

Querétaro 470 19.3 80.7 80.2 0.6

D. Federal 461 24.5 75.5 74.9 0.6

Colima 459 24.4 75.6 75.2 0.4

Aguascalientes 458 24.2 75.8 75.4 0.4

Chile 438 39.6 60.4 58.5 1.9

Uruguay 428 42.0 58.0 56.5 1.4

México 438 35.8 64.2 63.8 0.4

Indonesia 393 61.5 38.4 38.4 0.0

Argentina 391 56.2 43.8 43.4 0.4

Brasil 390 61.0 39.0 38.5 0.6

Colombia 388 60.1 39.9 39.7 0.2

Sinaloa 418 47.6 52.4 52.0 0.3

Oaxaca 417 46.3 53.7 53.5 0.2

Tabasco 412 50.3 49.7 49.5 0.2

Guerrero 396 58.8 41.2 41.2 0.0

Qatar 349 79.1 20.9 20.6 0.3

Kyrgyzstán 322 86.3 13.7 13.7 0.0

Estudiantes de media superior por niveles de desempeño en

Ciencias

Dos grandes retos para México: que todos los jóvenes de 15 años estén en la escuela y

alcancen al menos el Nivel 2 de desempeño, y que aumento su número en los niveles altos

Objetivo del Milenio: en 2015 el 80% de los jóvenes al fin de secundaria al menos en Nivel 2.

Actualmente en Niveles 0 y 1:

En estados menos desarrollados y secundaria: 65% en Ciencias; 60% en Lectura; 75% en Matemáticas.

En entidades más desarrolladas y EMS sólo 33% en Ciencias; 30% en Lectura; 40-45% en Matemáticas.

En la OCDE 19% en Ciencias; 22% en L y M.

CONCLUSIÓN

El uso de los resultados de las pruebas Excale y PISA por escuelas y maestros.

El Explorador de Excale y el fomento de su utilización.

PISA para docentes. La evaluación como oportunidad de aprendizaje.


Herramienta informática de Internet que contiene:

•La descripción e importancia curricular de cada uno de los contenidos de las pruebas Excale.

•Ejemplos de preguntas de los contenidos evaluados.

•Porcentajes de aciertos por tipo de habilidad y conocimiento, modalidad escolar y entidad federativa.

•Los contenidos de los Excale de 6º de primaria y 3º de secundaria; posteriormente, se incluirá el de 3º de primaria.

PISA para docentes:

Obra producida por el INEE en 2005, a partir de los resultados difundidos en diciembre de 2004.

Contiene las unidades de reactivos de PISA liberadas hasta entonces, con análisis pedagógicos de algunas, para propiciar la reflexión de maestros y alumnos sobre el proceso de e/a.

Se difundieron 250,000 ejemplares en secundarias y escuelas de media superior de todo el país.

Se organizaron talleres sobre el uso de esta obra, para las Áreas Estatales de Evaluación.

El uso combinado de EXCALE y ENLACE

ENLACE censa la población y muestrea el currículo; informa del manejo de pocos temas, pero para cada escuela y alumno.

EXCALE muestrea la población y censa el currículo; informa de muchos temas pero no de cada alumno.

La información que dan conjuntamente las dos pruebas es muy completa.

EXCALE es más útil para autoridades para la definición de políticas; ENLACE para los padres de familia; ambas pruebas para los maestros.

Potencial positivo y negativo de las evaluaciones

Las evaluaciones en general, y las pruebas en particular, son una herramienta poderosa.

Sus consecuencias pueden ser positivas o negativas.

Depende de cómo se hagan las evaluaciones, de cómo se interpreten sus resultados, y de qué decisiones se tomen a partir de ello.

La proliferación de pruebas refleja insatisfacción general sobre la calidad educativa, justificada, pero muchas veces asociada a visiones simplistas, en tres sentidos:

Los diagnósticos simplistas no toman en cuenta los diversos factores de las escuelas y su contexto que influyen en la calidad;

Los medios simplistas de valorar ésta se reducen a la aplicación de pruebas de rendimiento, sin distinguir su enfoque y nivel técnico;

Las estrategias para remediar la situación se reducen a proponer asignar recursos a las escuelas según los resultados de sus alumnos en las pruebas.

Otra concepción de los tres puntos:

Diagnóstico: la calidad no es satisfactoria, pero hay que tener en cuenta el contexto. Las causas son complejas y no deben sorprender a quien tenga una visión amplia.

Medios de valorar la situación: una evaluación adecuada no puede reducirse a los resultados de pruebas; debe haber indicadores de otras dimensiones de la calidad, estadísticas y acercamientos cualitativos.

Estrategias de mejora: dada la complejidad de las causas deberán ser complejas también; resultados a mediano y largo plazo.

MUCHAS

GRACIAS

Pruebas Para Evaluar Sistema Mexico 2008

Documents

Transcript of Pruebas Para Evaluar Sistema Mexico 2008