1
Enrique Roca
Competencias básicas y evaluaciones generales de diagnóstico:
los retos técnicos y políticos para la contribución a la
mejora educativa.
22 nov 07
2
Competencias básicas y evaluaciones deOCDE, IEA y UE
Evaluación general de diagnóstico
3
Los pilares de la educación (Informe Delors):
Aprender a conocer
Aprender a hacer
Aprender a ser
Aprender a convivir
Unión Europea: ¿qué educación para el siglo XXI?
competencias, ciudadanía
4
Competencias básicas/
LOE: aprender, participar, evaluar
Autonomía/participación
Currículo
Evaluación:OCDE, IEA, UE
Diagnóstico
5
Evaluaciones
¿para qué?
RENDIR CUENTAS
CONOCER
MEJORAR
COMPARAR
6
• OCDE– PISA (Comprensión lectora, matemáticas, ciencias): resultados dic 2007– TALIS (Estudio internacional de enseñanza y aprendizaje - profesores)– Liderazgo en los centros educativos– Valor añadido en los sistemas educativos– RNFIL (Reconocimiento de los aprendizajes no formales e informales)
• IEA– PIRLS (comprensión lectora 9 años): resultados, nov 2007– ICCS (estudio internacional sobre educación cívica y ciudadana)– TEDS-M (Est. Int. sobre formación inicial del profesorado de matemáticas)
• Unión Europea– Aprender a aprender – EBAFLS (Banco de items para la evaluación de lenguas extranjeras)– Indicador europeo de competencia lingüística
Participación española en estudios internacionales de evaluación
7
PISA(Programme for International Student
Assessment): Programa para la Evaluación Internacional de Alumnos
Es un estudio internacional de evaluación educativa de las competencias de los alumnos de 15 años:
•PISA 2000, competencia principal Lectura•PISA 2003, competencia principal Matemáticas•PISA 2006, competencia principal Ciencias
El Informe PISA 2006 se publicará el 4 de diciembre de 2007
Se está trabajando ya en PISA 2009, que volverá a tener la Lectura como objeto principal de estudio
Elaboración y revisión de ítems de lectura, con el GIP (Grupo Iberoamericano de PISA) para el estudio piloto y el principal
8
PIRLSEstudio Internacional sobre el progreso en
comprensión lectora
La recogida de datos se realiza mediante una prueba escrita y cuatro cuestionarios de contexto: alumnado, familias, centros y profesorado
Evalúa el rendimiento en comprensión lectora de los niños y niñas de 4º de primaria (9-10 años)
En España el estudio final se realizó entre abril y mayo de 2006, con la participación de todas las comunidades autónomas y en las 5 lenguas oficiales del Estado
El Informe Internacional PIRLS 2006 se publicará en noviembre de 2007. En la misma fecha se presentará un informe español
9
España y UE en ICCS
Primer estudio internacional sobre educación cívica y ciudadana en el que participa España
Dirigido a alumnos de 2º de la ESO
Instrumentos de mediciónAlumnos: pruebas cognitivas y cuestionarios sobre actitudes y contextoCuestionario del profesorCuestionario a los directoresInforme sobre el contexto nacional
CalendarioPrueba piloto nov 2007Estudio principal febrero - abril 2008Informe final septiembre 2010
Módulo europeo
10
El objetivo del indicador es medir periódicamente el conocimiento de idiomas entre los jóvenes europeos
Se espera la aplicación de la prueba piloto en 2008 y la realización de estudio definitivo en 2010
En esta primera fase se evaluarán cinco lenguas y tres destrezas (comprensión oral y escrita, y expresión escrita
Países participantes:UE
Propuesta de la Comisión Europea en 2005
Indicador Europeo de Competencia Lingüística
11
Aprender a aprender
Tiene por objeto valorar la adquisición de la competencia clave “aprender a aprender” (learning to learn) por parte de los jóvenes, que para la comisión juega un papel crucial
El CRELL (Centre for Research on Lifelong Learning) y un grupo de expertos elaboran la pruebas para el estudio piloto que hoy está en fase de revisión
Estudio piloto en la primavera de 2008
12
(LOE, art. 144)
El Instituto de Evaluación y …las administraciones educativas (...) colaborarán en la realización de evaluaciones generales de diagnóstico de las competencias
básicas
Evaluaciones de diagnóstico LOE
(LOE, art. 21, 29)
Al finalizar 4º de primaria y 2º de ESO ... todos los centros realizarán una evaluación de diagnóstico de las competencias básicas alcanzadas por sus alumnos.
Esta evaluación, competencia de las administraciones educativas, tendrá carácter formativo y orientador para los centros e informativo para las familias y para el conjunto de la comunidad educativa,
(...) Tendrán como marco de referencia las evaluaciones generales de diagnóstico(...)
13
Propuesta de calendario
Competencias
2008
2009 2010201
12012
2013
2014
2015201
6
4º EP
PrincipalPilot
o
12 y 34 y 5
21 y 36 y 7
31 y 24 y 8
2º ESO
PrincipalPilot
o
12 y 34 y 5
21 y
34 y
6
31 y
27 y
8
PISA
Lect Matemat Cienc
1: Competencia en comunicación lingüística.2: Competencia matemática.3: Competencia en el conocimiento y la interacción con el mundo físico.4: Tratamiento de la información y competencia digital.5: Competencia social y ciudadana.6: Competencia cultural y artística.7: Competencia para aprender a aprender.8: Autonomía e iniciativa personal.
14
Poblaciones
PoblacionesInformación
ProporcionadaEvaluación 4º de EP Evaluación 2º de ESO
Alumnado 4º EP Alumnado 2º ESO- Rendimiento.- Contexto y procesos
Profesorado Profesorado - Recursos y procesos
Dirección Dirección - Contexto y recursos
15
Primera etapa: . Selección aleatoria de centros en cada una de las comunidades autónomas.
. A efectos de la estratificación de la población, se consideran las 17 CCAA
Segunda etapa: . En cada uno de los centros seleccionados, se elegirá aleatoriamente un grupo de alumnos de 4º de primaria (centros con más de una línea).
. En 2º de ESO, un número determinado de alumnos (entre los de 2º).
Tamaño de la muestra: . Que permita una confianza no inferior al 95,5% y un error de estimación inferior al 5%.
. Diseño matricial para aplicación de diferentes cuadernillos
Muestras:
16
Indice socioeconómico y cultural (ISC) de los alumnos,
. Construido a partir de variables relativas a nivel de estudios y situación laboral de padre y madre, recursos culturales del hogar...
. ISC tipificado. Mismo tipo de escalas que la de puntuaciones de resultados (PISA)
. Dos niveles de ISC: de cada alumno y de cada centro
Uso de otras variables e índices de contextos
Uso de variables de recursos y de procesos
Contextos
17
400
500
600
-2 -1 0 1 2
Indice socio-económico y cultural
Re
nd
imie
nto
en
ma
tem
áti
ca
s
OCDE España Alemania Finlandia USA
Relación entre índice socioeconómico y cultural y rendimiento en matemáticas
18
400
500
600
-2 -1 0 1 2
Indice socio-económico y cultural
Re
nd
imie
nto
en
ma
tem
áti
ca
s
OCDE España País Vasco Cataluña Castilla y León
Relación entre índice socioeconómico y cultural y rendimiento en matemáticas
19
471
489
514
458
508
532
400 500 600
Estudiosobligatorios
Bachillerato
Universidad
OCDE
España
Resultados en función del mayor nivel educativo alcanzado por las madres
Influencia del entorno socioeconómico y cultural en los resultados:
20
Resultados en función del número de libros en la casa
402
436
471
502
526 534
350
400
450
500
550
0-10 11-25 26-100 101-200
201-500
Más de500
Influencia del entorno socioeconómico y cultural en los resultados
21
Pruebas de lápiz y papel y registros en audio para la comprensión oral
Pruebas escritas: basadas en situaciones-problema (estímulo) con cuestiones en distintos formatos:
. Preguntas de respuesta cerrada.
. Preguntas que exigen procedimientos y obtención de resultados.
. Preguntas abiertas
Diferentes cuadernillos (muestreo matricial)
Longitud de las pruebas: una sesión de 45 m en primaria y 60m es ESO, o dos sesiones con un descanso intermedio de 20m.
Aplicación precedida de una fase de sensibilización de la comunidad educativa
Cuestionarios de contexto, de procesos y de recursos destinados al alumnado, al profesorado, a la dirección y a las familias.
Pruebas:
22
Evaluación de las competencias básicas.
Se parte de la descripción que realizan los Reales Decretos por los que se establecen las enseñanzas mínimas y se tienen en cuenta los criterios adoptados por la OCDE, la IEA y las evaluaciones españolas.
Tres fases para el desglose de las competencias:
Ejemplos de despliegue de las competencias: Definición y descripción de la competenciaDefinición y descripción de la competencia
Dimensiones y componentes de cada dimensiónDimensiones y componentes de cada dimensión.
Grado de relación entre las competencias y las distintas áreas o materias (matriz de relaciones)
23
Análisis de resultados
Puntuación directa, en un primer momento, a partir de las puntuaciones otorgadas a cada item (0-1, valores intermedios).
. Instrumento para aplicación de la teoría de respuesta al item (TRI)
Puntuación transformada a partir de un modelo e TRI (Rash, dos parámetros): construcción de una escala común con una media global de 500 y una desviación típica de 100 puntos (modelo PISA)
Utilización de distintos niveles de rendimiento (puntuaciones de corte)
Presentación de resultados: datos sobre los niveles de adquisición de cada competencia. Medidas de tendencia central y dispersión de las puntuaciones. Información sobre la precisión de las medidas (error estándar, intervalos de confianza …).
Análisis de excelencia y equidad.
24
Resultados en matemáticas PISA 2003
300
350
400
450
500
550
600
Hon
g Ko
ng-C
hina
*Fi
nlan
dia
Cor
eaH
olan
daLi
echt
enst
ein*
Japó
nC
anad
áBé
lgic
aM
acao
-Chi
na*
Suiz
aAu
stra
liaN
ueva
Zel
anda
Rep
úblic
a C
heca
Isla
ndia
Din
amar
caFr
anci
aSu
ecia
Aust
riaC
astill
a y
León
Alem
ania
Irlan
daPa
ís V
asco
Eslo
vaqu
iaN
orue
gaC
atal
uña
Luxe
mbu
rgo
Polo
nia
Hun
gría
Espa
ñaLe
toni
a*Es
tado
s U
nido
sR
usia
*Po
rtuga
lIta
liaG
reci
aSe
rbia
*Tu
rquí
aU
rugu
ay*
Taila
ndia
*M
éxic
oIn
done
sia*
Túne
z*Br
asil*
Hong Kong: 550
Media OCDE: 500
España :485
1 2 3
25
Rendimiento de los alumnos en matemáticas PISA (2003).
FinlandiaP. BajosJapón
FranciaSueciaAlemaniaCastilla L P. VascoPromedio
OCDE Noruega Cataluña
EspañaUSA
Italia Portugal
Grecia
México
Brasil350
400
450
500
550
PISA 2003
Pun
tuac
ión
med
ia e
n la
esc
ala
de m
atem
átic
as
26
Porcentaje de alumnos en cada nivel de matemáticas (2003).
FinlandiaPaíses BajosJapónCastilla y LeónPaís VascoFranciaSueciaCataluñaNoruegaAlemaniaEspaña
Estados UnidosPortugalItaliaGreciaMéxicoBrasil
Promedio OCDE
Países ordenados según el porcentaje de alumnos en los niveles < 1 y 1
Porcentajes de alumnos por niveles de rendimiento
1
3
5
5
5
6
6
6
7
9
8
10
11
13
18
38
53
8
5
8
9
11
12
11
12
13
14
12
15
16
19
19
21
28
22
13
16
18
16
23
24
20
22
24
24
19
25
24
27
25
26
21
14
21
28
23
22
28
29
26
25
29
25
23
27
24
24
23
20
10
7
24
26
23
24
22
22
22
20
18
19
21
18
17
13
13
11
3
3
19
17
18
16
9
8
12
12
8
9
12
7
8
5
5
3
0
1
11
7
7
8
2
2
3
4
2
3
4
1
2
1
2
1
0
0
4
nivel < 1 nivel 1 nivel 2 nivel 3 nivel 4 nivel 5 nivel 6
27
0%
5%
10%
15%
20%
25%
30%
<1 1 2 3 4 5 6
Niveles de competencia
España
OCDE
Porcentajes de alumnadopor niveles de competencia
28
0
5
10
15
20
25
30
<0 1 2 3 4 5 6
Niveles de competencia
Po
rce
nta
jes
España
Finlandia
0
5
10
15
20
25
30
<0 1 2 3 4 5 6
Niveles de competencia
Por
cent
ajes
España
Finlandia
Situación real Situación figurada: (se realiza una traslación a la derecha equivalente a un nivel)
Porcentajes por niveles de competencia: comparación con Finlandia
30
Brasil
Uruguay
Finlandia
España
Canadá
País VascoIrlanda
Castilla y León
Cataluña
CoreaHolanda
Turquía
México
Grecia
Italia
Bélgica
Alemania OCDE
EEUU
Portugal
Hungría
IslandiaAustralia
Japón
350
400
450
500
550
600
650
151617181920212223242526272829
Coeficiente de variación en Matemáticas
Pu
ntu
ac
ión
me
dia
en
Ma
tem
áti
ca
s
M ayor equidad
Ma
yo
r e
xc
ele
nc
ia
Relación entre resultados en matemáticas y equidad:
31
Diferencia de los centros privados frente a los públicos
32
26
10
10
20
30
40
sin detracción detracción del nivel socio-económico y cultural del alumno
detracción adicional del nivelsocio-económico y cultural
promedio del centro
Si se detrae el efecto del nivel
socio-económico y cultural de
estudiantes y centros,
los resultados son muy parecidos
Diferencias por titularidad de los centros
32
Informes y difusión de los resultados
Modelos de informe en función de las distintas audiencias.
INFORME AUDIENCIA CONTENIDO
Marco e informe técnico de las EGD
Profesionales de la educación
Marco y descripción de las EGD
Resumen ejecutivo Responsables de la educación (Estado y CCAA)
Resumen de resultados principales
Informe de resultados de 4º EP y 2º ESO
Ciudadanos Datos y análisis de resultados, contextos y recursos. Estado y CCAA
Estrategias para la difusión de los resultados.
33
Rendir cuentas para mejorar la educación española
Publicidad de los resultados y rendición de cuentas ante el Parlamento:
Evaluaciones generales de diagnóstico
Evaluaciones nacionales e internacionales.
Indicadores educativos .
34
Políticas de mejora
Escasos recursos
Recursos suficientes
Propuestas de mejora
Escasaexigencia y control
Elevada exigencia.
Evaluación
Mejora del rendimiento
Mejora sistemática
Bajo rendimiento
Mejoras de carácter particular
Conflicto
Desmoralización
Bajo rendimiento
Estancamiento
35
Muchas gracias
Cuando puedes medir aquello de lo que hablas, y expresarlo con números, sabes algo acerca de ello; pero cuando no lo puedes medir … tu conocimiento es pobre e insatisfactorio: puede ser el principio del conocimiento, pero apenas has avanzado con tus pensamientos hacia la ciencia
Lord Kelvin
Enrique Roca
Top Related