Características prueba TERCE

Catalina CovacevichSeminario internacional de

elaboración de ítems para TERCE, UNESCO

Bogotá, 25 al 27 de mayo del 2011

Contexto y objetivos de TERCE

El propósito del Tercer Estudio Regional Comparativo y Explicativo (TERCE) es evaluar y comparar el desempeño de estudiantes latinoamericanos de primaria en las áreas de Lenguaje, Matemática y Ciencias naturales. El estudio también considera el análisis de estos resultados en función de factores del alumno, aula, escuela y contexto.

TERCE está basado en el Segundo Estudio Regional Comparativo y Explicativo (SERCE) y sus resultados en lectura, matemáticas y ciencias naturales serán comparables con los de SERCE.

UNESCO ha contratado a MIDE UC para la tarea de construir los instrumentos de la aplicación piloto.

Agenda de TERCE

Actividad Fechas

Ajuste al análisis curricular Diciembre 2010 - abril 2011

Desarrollo de instrumentos para pilotaje

Marzo - diciembre 2011

Aplicación piloto Mayo 2012 (HN) 1-15 Septiembre 2012 (HS)

Entrega de bases de datos piloto 15 noviembre 2012

Análisis de aplicación piloto 15 Noviembre 2012 – 15 febrero 2013

Informe aplicación piloto 15 febrero 2013

Seminario para decidir cierre de instrumentos

Primera semana Marzo 2013

Entrega de versiones definitivas de instrumentos

Marzo 2013

Aplicación definitiva Mayo/junio 2013 (HN) Septiembre/ octubre 2013(HS)

Entrega primer informe de resultados aplicación definitiva

Diciembre 2014

Marco de evaluación

 Las pruebas de TERCE se basan en los currículum de los países participantes y en las habilidades para la vida, modelo presente en los currículum, que considera que la escuela debe promover conocimientos, habilidades, valores y actitudes que sirvan a los estudiantes para participar activamente en la sociedad, como individuos y como ciudadanos.

Para TERCE, ICFES realizó una revisión al análisis curricular elaborado para SERCE, analizando qué cambios curriculares han transcurrido desde entonces e incorporando en el análisis los curriculum de los países que no participaron del análisis curricular previo.

ICFES desarrolló un documento de ajuste al análisis curricular SERCE (presentado ayer), a partir del se elaboraron las tablas de especificaciones para las pruebas TERCE.

 Estas tablas se revisarán por área disciplinaria

 

Cantidad y tipos de ítems

 Al igual que en SERCE, los ítems serán de dos tipos: selección múltiple y producción de respuestas.

El tipo de ítem se escoge en función de la naturaleza del aprendizaje que se desea medir.

En la prueba TERCE definitiva se aplicarán la misma cantidad de ítems que en SERCE en las pruebas de lectura, ciencia y matemáticas, y además se conservará la proporción de ítems de respuesta cerrada y de producción de respuesta.

Los ítems aplicados en SERCE se distribuyeron de la siguiente manera:

Grado Área Ítems de respuesta cerrada

Ítems de producción de respuesta

Total de ítems

Tercero Lectura 66 0 66 Escritura 0 2 2 Matemática 66 6 72

Sexto Lectura 96 0 96 Escritura 0 2 2 Matemática 87 9 96 Ciencias naturales 84 6 90

Estructura de la prueba definitiva

Para TERCE (al igual que en SERCE) se utilizarán seis formas de prueba, utilizando un sistema de bloques rotados.

Cada prueba TERCE tendrá seis bloques, compuestos por un determinado número de ítems, que varía según el grado y la materia.

Se armarán seis formas de prueba: cada forma tiene dos bloques y cada bloque aparece en dos formas, una vez al principio y otra vez al final. Por lo tanto, cada estudiante responde dos bloques.

Prueba

Cantidad de bloques

Ítems por bloque

Total ítems

Lectura 3º 6 11 66 Lectura 6º 6 16 96 Matemática 3º 6 12 72 Matemática 6º 6 16 96 Ciencias naturales 6º 6 15 90

Estructura de la prueba piloto

Para la prueba piloto, se pretende probar aproximadamente un 75% más de ítems nuevos de los que se utilizarán en la aplicación definitiva.

Prueba Ítems

nuevos a pilotear

Ítems SERCE

a pilotear

Bloques a pilotear Formas

a pilotear

Ítems para la aplicación definitiva TERCE

Lectura 3º 77 22 9 (7 nuevos + 2 de anclaje)

9 66 (44 nuevos)

Lectura 6º 112 32 9 (7 nuevos + 2 de anclaje)

9 96 (64 nuevos)

Matemática 3º

84 24 9 (7 nuevos + 2 de anclaje)

9 72 (48 nuevos)

Matemática 6º

112 32 9 (7 nuevos + 2 de anclaje)

9 96 (64 nuevos)

Ciencias naturales 6º

105 30 9 (7 nuevos + 2 de anclaje)

9 90 (60 nuevos)

Tiempo de aplicación 

Prueba Ítems por forma

Total tiempo Tiempo estimado para resolver cada ítem (sin contar el tiempo adicional)

Lectura 3º 22 60 (más 10 minutos adicionales) 2,7 minutos (163 segundos)

Lectura 6º 32 60 (más 10 minutos adicionales) 1,9 minutos (112 segundos)

Escritura 3º 1 45 minutos (por confirmar)

45 minutos (por confirmar)

Escritura 6º 1 45 minutos (por confirmar)

45 minutos (por confirmar)

Matemática 3º

24 60 (más 10 minutos adicionales) 2,5 minutos (150 segundos)

Matemática 6º

32 70 (más 10 minutos adicionales) 2,2 minutos (112 segundos)

Ciencias naturales 6º

30 60 (más 10 minutos adicionales) 2 minutos (120 segundos)

El tiempo de aplicación asignado para las pruebas en SERCE se mantendrá para TERCE. Esta información debe ser tomada en cuenta al construir los ítems.

La evaluación de escritura en TERCE

A partir del análisis curricular se ha optado por el uso de una evaluación auténtica, centrada en tareas comunicativas concretas, según la orientación predominante actualmente en la enseñanza de la lengua materna en la región: el enfoque comunicativo.

Este implica considerar diferentes aspectos de la situación de comunicación y a partir de ello proponer un texto, que recurra a las estructuras y formas de organización internas más adecuadas para resolver la tarea comunicativa. 

Se solicitará la realización de una única tarea de escritura por estudiante, la que será evaluada con rúbricas que definirán niveles de desempeño bien delimitados en cada uno de los dominios descritos.

La propuesta se describe en el documento “Propuesta de la evaluación de la escritura” y se profundizará en este tema en la sesión dedicada a escritura.

Proceso de construcción de los ítems

Los ítems serán construidos por:

los países participantes en el estudio

equipos técnicos de MIDE UC.

Cada prueba será coordinada un profesional experto (profesor y experto en la disciplina, con conocimientos en evaluación), quien capacitará en la elaboración de ítems y supervisará la elaboración.

Los ítems pasarán por varias instancias de revisión: el encargado de cada prueba

el equipo de constructores de MIDE UC

un profesional experto en la disciplina

un profesional experto en evaluación

 Los ítems seleccionados serán editados y diagramados. Esta selección final de ítems es sometida al visto bueno de un grupo de expertos de UNESCO.

Pre piloto (1)

Las preguntas abiertas serán sometidas a un pre piloto con el objetivo de probar las pautas de corrección y de obtener respuestas reales para generar los manuales de corrección.

Este pre piloto tendrá un carácter exploratorio y se realizará con una muestra pequeña e intencionada.

 Cada país podría escoger la muestra, pero se solicita que por favor sean colegios de rendimiento promedio, o rendimiento bajo.

Pre piloto (2)

Prepiloto de matemática y ciencias naturales

Primera semana de agosto

Prueba Preguntas Formas Preguntas por forma

Muestra total

Total países

Muestra por país

Mat 3º 18 2 9 200 (100 por forma)

3 66

Mat 6º 24 2 12 200 (100 por forma)

3 66

Ciencias 6º

18 2 9 200 (100 por forma)

3 66

Total 200 132*

Pre piloto de escritura Finales de junio

Prueba Preguntas Formas Preguntas por forma

Muestra total

Total países

Muestra por país

Escritura 3º

4 4 1 240 3 80 (cada país aplica cada forma en un colegio diferente, mínimo 20 estudiantes)

Escritura 6º

4 4 1 240 3 80 (cada país aplica cada forma en un colegio diferente, mínimo 20 estudiantes)

Bibliografía necesaria para la elaboración de ítems

Manual de elaboración de ítems TERCE

Análisis curricular TERCE

Aportes para la enseñanza de la lectura/ la matemática/ las ciencias naturales

Habilidades para la vida

Características formales del envío de ítems

Fechas de envío: Ítems de escritura, 3 de junio

Ítems de respuesta abierta de matemática y ciencias naturales, 8 de julio

Ítems de respuesta cerrada, 22 julio

Cantidad de ítems: cada país construirá la cantidad de ítems que pueda. En las sesiones por área disciplinaria se les pedirá una estimación.

Estándares de calidad: los especificados en el manual, que serán revisados en la siguiente presentación y ejercitados en la tarde

Formato de entrega: cada ítem debe enviarse utilizando las fichas de envío de ítems disponibles en el manual. Se revisará cómo completarlas en las sesiones. A continuación se destacan algunos elementos de la ficha.

Código del ítem

Los códigos de envío de ítems constan de 7 caracteres:

Por ejemplo, el primer ítem construido por Brasil para lectura en 6º grado tendría el código BRSL601

Caracter 1 Caracter 2 Caracter 3 Caracter 4 Caracter 5 Caracter 6 Caracter 7

Sigla del país

Área disciplinaria

(L-E-M-C)

Grado (3-6)

Número del item construido por el país

para ese curso y esa área disciplinaria.

PAÍS Código

1 ARGENTINA ARG

2 BRASIL BRS

3 CHILE CHL

4 COLOMBIA COL

5 COSTA RICA COR

6 ECUADOR ECU

7 GUATEMALA GTM

8 HONDURAS HON

9 MÉXICO MEX

10 NUEVA LEÓN NUL

11 NICARAGUA NIC

12 PANAMÁ PAN

13 PARAGUAY PRG

14 PERÚ PER

15 REP.DOMINICANA RPD

16 URUGUAY URU

Modo de envío de los ítems

Los ítems se deben enviar a través de una aplicación de la web, disponible en el link:

http://146.155.36.92/unesco/

Cada país tendrá un nombre de usuario y clave

Los ítems no deben enviarse por correo electrónico, ya que arriesga la confidencialidad del proceso

Cada ítem debe ir en un archivo word independiente y tener como nombre el código del ítem

Cada imagen debe ir en un archivo separado y tener como nombre el código del ítem

Aplicación web para envío de ítems

Requisitos formales de envío de las imágenes

Todas las imágenes (dibujos, tablas, gráficos, etc.) deben enviarse como archivos TIFF o JPG.

Las imágenes utilizadas deben ser escaneadas de la imagen original (libro, folleto, lámina, etc.) en resolución mínima de 200 DPI e idealmente 300 DPI. No se deben escanear fotocopias, sino imágenes originales.

Si se utilizan imágenes de Internet, estas deben tener un mínimo de 400 pixeles y deben ser guardadas directamente en formato JPG o TIFF. No deben escanearse imágenes impresas de Internet.

Dentro de lo posible, las imágenes deben ser a escala real.

Referencias

Toda fuente debe citarse, incluyendo las imágenes, tablas y gráficos.

Escribir la referencia completa del estímulo o contexto donde se indique: autor, título, editorial, país, año de edición y página.

Si el estímulo fue adaptado, señalarlo.

Se solicita que las fuentes se citen utilizando los criterios APA, disponibles en el anexo II.

Al momento de diagramar las pruebas, estas citas se simplificarán.

Datos de contacto equipo MIDE UC

Nombre Cargo Correo

Alexis Williamson Coordinador prueba ciencias awilliamson@uc.cl

Roxana Aranda Coordinadora prueba matemática rarandag@uc.cl

Paz Ramírez Coordinadora prueba lectura paramira@uc.cl

Natalia Ávila Coordinadora prueba escritura naavila@uc.cl

Catalina Covacevich Jefa de proyecto ccovacep@uc.cl

Fin