Jornada PIAAC 19 Feb 2014 INEE&Fundación Tripartita: Características, niveles de rendimiento y...
-
Upload
instituto-nacional-de-evaluacion-educativa -
Category
Education
-
view
173 -
download
3
description
Transcript of Jornada PIAAC 19 Feb 2014 INEE&Fundación Tripartita: Características, niveles de rendimiento y...
1
PIAACPrograma internacional para la evaluación de competencias de la población adulta. 2013
http://www.mecd.gob.es/inee/Ultimos_informes/PIAAC.html
2
Evaluaciones muestrales, cíclicas, a gran escala
I. Estudios de evaluación internacional
Informes internacionales comparativos
Cuestionarios de contexto + pruebas cognitivas
Metodología: • Marco teórico: Qué evaluar, elaboración de ítems,
distribución de ítems ….…• Selección de la muestra• Traducción de materiales, aplicación, corrección,
limpieza de datos…• Análisis TRI de las respuestas. Dificultad de los ítems
y puntuación lograda por los alumnos
3
Curriculum
Competencias para la vida
Evaluamos
Lo deseable
I. Estudios de evaluación internacional
4
Curriculum
Competencias para la vida
Evaluamos
La realidad
I. Estudios de evaluación internacional
5
• Áreas de evaluación Comprensión lectora (Componentes de la comprensión lectora) MatemáticasResolución de problemas en entornos informatizados (no aplicada en España)
II. Principales características
• Objetivos Conocer el nivel de las competencias de la población adulta en los diferentes paísesRelacionar educación y formación con el mercado laboral
6
• Muestra
24 países, 166.000 adultos de 16 a 65 años
II. Principales características
7
Primera ronda: 24 países participantes
* La Federación Rusa también ha participado en el estudio aunque sus resultados no se presentan en esta edición .
II. Principales características
OCDE Australia EEUU Canadá Japón Corea UE Alemania Francia Austria Inglaterra/Irlanda N. Chipre Irlanda Dinamarca Italia Eslovaquia Noruega España Países Bajos Estonia Polonia Finlandia República Checa Flandes (Bélgica) Suecia
Federación Rusa*
8
• Muestra
24 países, 166.000 adultos de 16 a 65 años
II. Principales características
Población de 16 a 65 años empadronada en 2011 en un municipio
de España.
Encuesta a hogares Carta de presentación y folleto explicativo, pagina web e incentivos 6 intentos para contactar con la persona seleccionada
9
II. Principales características
10
II. Principales características
11
• Muestra
24 países, 166.000 adultos de 16 a 65 años
Población de 16 a 65 años empadronada en 2011 en un municipio
de España.
Encuesta a hogares Carta de presentación y folleto explicativo, pagina web e incentivos 6 intentos para contactar con la persona seleccionada
6.055 adultos residentes en España participaron en el estudio
II. Principales características
12
• Formato de aplicaciónEn ordenador portátil o en papel, dependiendo de la competencia digital de los entrevistados
• Fechas de aplicación en campoDel 1 de septiembre de 2011 al 1 de mayo de 2012
• Instituciones participantesInstituto Nacional de Evaluación Educativa (MECD)Servicio Público de Empleo Estatal (Ministerio de Empleo y Seguridad Social)
• Instituciones colaboradorasFundación Tripartita para la formación en el empleo S.G. de Estadística y Estudios (MECD)Instituto Nacional de Estadística (Economía)
II. Principales características
13
• Supervisión por el PIAAC BPC (Board of Participating Countries)• Apoyo del Secretariado de la OCDE• Consorcio internacional de empresas, lideradas por ETS
– Desarrollo de cuestionarios e instrumentos– Apoyo a las operaciones de la encuesta– Control de calidad– Preparación de la base de datos– Apoyo para el análisis de los resultados
• Cada país es responsable de la implementación a nivel nacional– Diseño de la muestra (INE)– Adaptación y traducción de los materiales (INEE y SEPE)– Recogida de datos y elaboración de la base de datos (INEE)– Responsables nacionales del programa – NPM (INEE y SEPE)
II. Principales características
14
• Corrección– Automática, si el entrevistado realizó las pruebas en ordenador– Manual, si las pruebas se realizaron en cuadernillos– Dos correctores. Control de corrección
Evaluación de la calidad de los datos (Consorcio)Proceso de adjudicación: evaluación de un conjunto de indicadores en
las áreas de:MuestreoTasa de respuesta y análisis de sesgo por no respuestaRecogida de datos Instrumentación
II. Principales características
15
• Componentes
Inicio del caso (IC)
Cuestionario de antecedentes (CA)
Ejercicio básico
Ejercicio (Ordenador o papel)
II. Principales características
16
II. Principales características
CU
ES
TIO
NA
RIO
Cuestionario de antecedentes
Experiencia en el manejo de ordenador
PR
UE
BA
CO
GN
ITIV
A
17
Objetivos
Distinguir nivel y distribución de competencias de subgrupos de la población
Determinar los factores asociados a la adquisición, desarrollo, mantenimiento y pérdida de competencias a lo largo de la vida
Estudiar la relación entre el dominio de competencias y los resultados económicos y sociales
III. Cuestionario de Antecedentes
18
Características demográficas básicas de los entrevistados Edad, sexo, país de origen, estructura familiar, idioma en casa, nivel educativo padres, …
Antecedentes educativos y participación actual en actividades de aprendizajeCualificación más alta, estudios iniciados pero no completados, estudios formales y/o no formales en el último año; Formación en el último año, interés y barreras para acceder a la formación, situación laboral al recibir formación, dentro o fuera de las horas de trabajo, utilidad en trabajo, tipo de apoyo de la empresa ….
III. Cuestionario de Antecedentes
Situación laboral y trayectoria profesionalActividad actual, historia laboral, empleo actual, último empleo, salario o ingresos, ocupación, sector de actividad, tamaño de la empresa, …
19
JRA (Job Requirement Approach) – Enfoque de los requisitos del puesto de trabajo
El entrevistado indica el nivel de las habilidades que se requieren en su trabajo actual en varios dominios de habilidad. El método de JRA se ha aplicado con éxito en diferentes encuestas, como la Encuesta Habilidades británica (British Skills Survey), US O*NET Survey y varias encuestas internacionales de postgrado (CHEERS y REFLEX).
III. Cuestionario de Antecedentes
20
Uso de habilidades genéricas en el puesto de trabajoEstrategias de aprendizaje; discrecionalidad de las tareas; capacidad de influencia, de cooperación, de auto organización; habilidades físicas
III. Cuestionario de Antecedentes
Uso de habilidades de procesamiento de la informaciónLectura, escritura, matemáticas, TIC y resolución de problemas, en el trabajo y en la vida diaria
Resultados socialesConfianza (en sí mismo y en otros), participación política, voluntariado, autoevaluación de la salud,…
21
IV. Dominios de evaluación
22
Niveles de rendimiento Escala de 0 a 500 puntos. Una persona que alcance un determinado punto de la escala
tiene probabilidad 0,67 de responder a un ítem localizado en ese punto.
Seis niveles de rendimiento:
Niveles Intervalos
inferior al 1 [0, 176)
1 [176, 226)
2 [226, 276)
3 [276, 326)
4 [326, 376)
5 [376, 500]
IV. Dominios de evaluación
23
Comprensión Lectora
V. Interpretación de resultados
24
Observe la lista de normas de la escuela infantil. Seleccione la información de la lista para contestar la pregunta
¿A qué hora, como muy tarde, deben llegar los niños a la escuela?
Las normas de la escuela infantil representan un ítem de dificultad media y se centra en los siguientes aspectos de comprensión lectora:
V. Interpretación de resultados
25
¿Qué músculos se beneficiarán más si usa el banco de entrenamiento?
¿Qué artículo de equipamiento listado recibe el mayor número de
valoraciones “ineficiente”?
Pregunta 1Haz una cruz en la celda de la tabla que contiene la información sobre equipamiento para el ejercicio físico para responder a esta pregunta:
Pregunta 2Haz un círculo sobre la celda de la tabla que contiene la información sobre equipamiento para el ejercicio físico, respondiendo a esta pregunta:
Es una prueba relativamente fácil. Se centra en los siguientes aspectos de comprensión lectora:
V. Interpretación de resultados
26
V. Interpretación de resultados
27
Matemáticas
V. Interpretación de resultados
28
Si la temperatura marcada baja aproximadamente 30 º Celsius, ¿cuál sería la temperatura en
grados Celsius (o C)?
Responda a esta pregunta:
Es una prueba de baja dificultad. Se solicita a los encuestados que introduzcan una respuesta numérica basada en el gráfico proporcionado y se centra en los siguientes aspectos de capacidad de cálculo:
V. Interpretación de resultados
29
Responda a esta pregunta:
¿Cuántas centrales eólicas se necesitarían para remplazar la energía generada por el reactor nuclear?
Es una prueba de dificultad media. Se centra en los siguientes aspectos de capacidad de cálculo:
V. Interpretación de resultados
30
¿En qué periodo(s) se produjo un descenso de nacimientos?- Señale todos los que sean pertinentes- 1957-1967- 1967-1977- 1977-1987- 1987-1997- 1997-2007
Es una prueba de dificultad media. Se centra en los siguientes aspectos de capacidad de cálculo:
Responda a la siguiente pregunta
V. Interpretación de resultados