Laura Delgado Maldonado Departamento de Análisis Psicométrico LOS INFORMES DE RESULTADOS DE LOS...
-
Upload
martin-ricardo-pinto-montoya -
Category
Documents
-
view
214 -
download
0
Transcript of Laura Delgado Maldonado Departamento de Análisis Psicométrico LOS INFORMES DE RESULTADOS DE LOS...
Laura Delgado Maldonado
Departamento de Análisis Psicométrico
LOS INFORMES DE RESULTADOS DE LOS EGEL COMO HERRAMIENTA DE
RETROALIMENTACIÓN PARA LAS IES: CONTENIDO Y POSIBILIDADES DE USO.
Centro Nacional de Evaluación para la Educación Superior, A.C. (Ceneval)Dirección General Adjunta de los EGEL
06 y 07 de diciembre de 2007Campeche, Campeche
Sesión del 6 de diciembreHorario: 12:30-14:00hrs.
– Presentación y explicación de la lógica del trabajo para las dos
sesiones (12:30-12:40)
– Ponencia (12:40-13:20)
– Sesión de preguntas y respuestas (13:20-13:40)
– Aplicación de cuestionario de opinión a las IES usuarias (13:40-14:00)
Sesión del 7 de diciembre
Horario: 9:30-12:30hrs.
– Bienvenida y explicación de la dinámica de la sesión (9:30-10:00)
– Análisis y valoración crítica de la visión y propuesta del Ceneval:
Sugerencias y observaciones de las IES usuarias (10:00-12:00)
– Formulación de conclusiones (12:00-12:30)
Programa de actividades
Desde 1994, año en que se aplica por primera vez el EGEL,
el Ceneval entrega:
Un reporte individual de resultados para el sustentante.
Un reporte global de resultados para la institución usuaria.
Archivo electrónico de los resultados por institución usuaria.
Reportes de resultados
Informe Anual Institucional
Objetivos
Característicasgenerales
Descripción EGEL
Resultados EGEL
Datos descriptivos
Variables de
contextoy resultados en el EGEL
Informes EGELNueva generación
Reportes de EGEL
Reportes de resultados
Informe Anual Institucional
Objetivos
Característicasgenerales
Descripción EGEL
Resultados EGEL
Datos descriptivos
Variables de
contextoy resultados en el EGEL
Informes EGELNueva generación
Reportes global de resultados del EGEL para la IES de procedencia
Reportes de resultados
Informe Anual Institucional
Objetivos
Característicasgenerales
Descripción EGEL
Resultados EGEL
Datos descriptivos
Variables de
contextoy resultados en el EGEL
Informes EGELNueva generación
Archivo electrónico de resultados del EGEL para la IES de procedencia
Como parte del Compromiso institucional del Ceneval en proporcionar una atención esmerada a sus IES usuarias, en el 2006 se elaboraron por primera vez los Informes anuales institucionales de las 33 licenciaturas en las que se aplica el EGEL.
Reportes de resultados
Informe Anual Institucional
Objetivos
Característicasgenerales
Descripción EGEL
Resultados EGEL
Datos descriptivos
Variables de
contextoy resultados en el EGEL
Informes EGELNueva generación
Informe anual institucional
En total:
Se entregaron informes a más de 300 IES y a más de 600 planteles.
Para su elaboración se consideraron a 74,569 sustentantes, que representaron al 99.5% de la población total del 2006.
Reportes de resultados
Informe Anual Institucional
Objetivos
Característicasgenerales
Descripción EGEL
Resultados EGEL
Datos descriptivos
Variables de
contextoy resultados en el EGEL
Informes EGELNueva generación
Informe anual institucional
http://egel.ceneval.edu.mx
Reportes de resultados
Informe Anual Institucional
Objetivos
Característicasgenerales
Descripción EGEL
Resultados EGEL
Datos descriptivos
Variables de
contextoy resultados en el EGEL
Informes EGELNueva generación
Informe anual institucional: acceso a través
del minisitio de los EGEL
La evaluación no es un fin en sí mismo, sino un medio.
La evaluación tiene sentido si posibilita la elaboración de políticas educativas y programas que incrementen la calidad académica.
Para diseñar y establecer políticas y programas eficaces deben realizarse inferencias válidas a partir de la información obtenida.
El manejo de datos e información para formular juicios y valoraciones debe estar fundamentado técnicamente para poder tomar decisiones, establecer líneas de acción y políticas educativas.
Reportes de resultados
Informe Anual Institucional
Objetivos
Característicasgenerales
Descripción EGEL
Resultados EGEL
Datos descriptivos
Variables de
contextoy resultados en el EGEL
Informes EGELNueva generación
Informe anual institucional: lineamientos
La difusión de resultados debe considerar las características técnicas de la evaluación, que se derivan, a su vez, del propósito que persiguen. Por lo que no siempre es conveniente hacer juicios acerca de alumnos, instituciones académicas o sistemas escolares.
Instrumentos deMedición:
EGEL y Cuestionario
de Contexto
Generación de datose
Información general
Inferencias yConclusiones
Diseño de programas y
Políticas educativas
Reportes de resultados
Informe Anual Institucional
Objetivos
Característicasgenerales
Descripción EGEL
Resultados EGEL
Datos descriptivos
Variables de
contextoy resultados en el EGEL
Informes EGELNueva generación
Informe anual institucional: lineamientos
Proporcionar a las instituciones usuarias:
Información descriptiva de la población sustentante
(demográficas, socioeconómicas, entre otras).
Información de los sustentantes respecto a su
rendimiento en la prueba.
Información respecto al conjunto de egresados de las
distintas IES usuarias.
Lo anterior con la finalidad de proporcionar elementos para la toma de decisiones respecto a programas y políticas educativas.
Reportes de resultados
Informe Anual Institucional
Objetivos
Característicasgenerales
Descripción EGEL
Resultados EGEL
Datos descriptivos
Variables de
contextoy resultados en el EGEL
Informes EGELNueva generación
Informe anual institucional: objetivos
Descripción del EGEL.
Resultados en el EGEL, expresados en puntuaciones y en
niveles de desempeño.
Relación entre las variables de contexto y los resultados
en el EGEL, considerando tanto los niveles de desempeño,
como las puntuaciones obtenidas.
Datos descriptivos de la población que sustentó el EGEL.
Anexos en donde se presenta la información desagregada
por IES de procedencia.
El informe cuenta con los siguientes apartados:
Reportes de resultados
Informe Anual Institucional
Objetivos
Característicasgenerales
Descripción EGEL
Resultados EGEL
Datos descriptivos
Variables de
contextoy resultados en el EGEL
Informes EGELNueva generación
Informe anual institucional: características generales
Reportes de resultados
Informe Anual Institucional
Objetivos
Característicasgenerales
Descripción EGEL
Resultados EGEL
Datos descriptivos
Variables de
contextoy resultados en el EGEL
Informes EGELNueva generación
Descripción del EGEL: Atributos como instrumento de evaluación
Resultados expresados en puntuaciones. Permiten identificar
las áreas (o subáreas) de mayor dificultad para los egresados
y que pueden estar representando un nodo crítico para
alcanzar niveles de desempeño superiores a los observados.
Resultados expresados en niveles de desempeño. Permiten
establecer la proporción de egresados que en cada IES
alcanzó un nivel de desempeño satisfactorio o sobresaliente,
teniendo como referente adicional la forma como se distribuyó
el conjunto de la población sustentante que presentó el
EGEL.
Reportes de resultados
Informe Anual Institucional
Objetivos
Característicasgenerales
Descripción EGEL
Resultados EGEL
Datos descriptivos
Variables de
contextoy resultados en el EGEL
Informes EGELNueva generación
Resultados en el EGEL
Los resultados de los sustentantes se presentan en dos
vertientes:
700
750
800
850
900
950
1000
1050
1100
1150
1200
1250
1300
ASPECTOS DEL EXAMEN
MÍNIMO PERCENTIL 25 MEDIANA(PERCENTIL 50)
PERCENTIL 75 MÁXIMO
Reportes de resultados
Informe Anual Institucional
Objetivos
Característicasgenerales
Descripción EGEL
Resultados EGEL
Datos descriptivos
Variables de
contextoy resultados en el EGEL
Informes EGELNueva generación
Resultados expresados en puntuaciones
7007508008509009501000105011001150120012501300
ASPECTOS DEL EXAMEN
MÍNIMO PERCENTIL 25 MEDIANA(PERCENTIL 50)
PERCENTIL 75 MÁXIMO
Reportes de resultados
Informe Anual Institucional
Objetivos
Característicasgenerales
Descripción EGEL
Resultados EGEL
Datos descriptivos
Variables de
contextoy resultados en el EGEL
Informes EGELNueva generación
Resultados expresados en puntuaciones
Reportes de resultados
Informe Anual Institucional
Objetivos
Característicasgenerales
Descripción EGEL
Resultados EGEL
Datos descriptivos
Variables de
contextoy resultados en el EGEL
Informes EGELNueva generación
Resultados expresados en Niveles de desempeño
59.9%
4.7%
35.4%
No Satisfactorio o Sin Testimonio (ST)
Testimonio de Desempeño Satisfactorio (TDS)
Testimonio de Desempeño Sobresaliente (TDSS)
700
750
800
850
900
950
1000
1050
1100
1150
1200
1250
1300
MÍNIMO PERCENTIL 25 MEDIANA(PERCENTIL 50)
PERCENTIL 75 MÁXIMO
Reportes de resultados
Informe Anual Institucional
Objetivos
Característicasgenerales
Descripción EGEL
Resultados EGEL
Datos descriptivos
Variables de
contextoy resultados en el EGEL
Informes EGELNueva generación
Resultados por IES expresados en puntuaciones
Reportes de resultados
Informe Anual Institucional
Objetivos
Característicasgenerales
Descripción EGEL
Resultados EGEL
Datos descriptivos
Variables de
contextoy resultados en el EGEL
Informes EGELNueva generación
Resultados por IES expresados en Niveles de desempeño
94.790.0
86.184.2
81.8
76.876.7
71.469.468.8
62.561.8
60.760.559.9
58.357.8
56.856.055.8
52.050.0
48.848.848.6
46.245.7
44.344.043.2
39.536.6
31.730.1
24.517.5
10.013.9
15.8
23.223.3
28.630.6
28.134.4
37.634.5
36.835.4
36.741.043.2
40.332.6
46.050.0
46.539.0
41.346.2
48.644.3
52.045.9
44.243.9
61.061.4
71.467.5
4.7
3.711.6
2.0
4.712.2
5.7
4.010.8
16.319.5
7.38.4
4.115.0
77.180.4
22.019.6
18.2
5.3
3.13.1
0.64.9
2.6
1.2
7.7
5.0
11.4
10.1
0.8
0% 20% 40% 60% 80% 100%
IES 1634 (38)IES 1074 (210)
IES 1158 (36)IES 73 (57)
IES 1185 (148)IES 1264 (46)
IES 71 (118)IES 2006 (69)IES 1176 (30)
IES 914 (35)IES 1543 (36)
IES 929 (32)IES 41 (32)
IES 1090 (165)IES 917 (206)IES 1297 (76)
NACIONAL (3411)IES 1167 (120)
IES 1179 (83)IES 1515 (44)
IES 1076 (134)IES 12 (43)
IES 921 (50)IES 895 (34)IES 898 (43)
IES 1293 (41)IES 899 (109)IES 1521 (39)IES 1019 (35)
IES 908 (88)IES 1021 (50)IES 1295 (37)IES 1292 (43)IES 1660 (41)IES 1194 (41)
IES 905 (83)IES 1159 (49)
IES 928 (40)
PORCENTAJE DE SUSTENTANTES .
ST TDS TDSS
Datos sociodemográficos:
Sexo. Estado civil. Lengua materna. Edad.
Ingresos económicos:
Ingreso personal. Ingreso familiar.
Reportes de resultados
Informe Anual Institucional
Objetivos
Característicasgenerales
Descripción EGEL
Resultados EGEL
Datos descriptivos
Variables de
contextoy resultados en el EGEL
Informes EGELNueva generación
Datos descriptivos
Condición laboral de los sustentantes que trabajan:
Tipo de organización en que trabaja. Sector económico en el que trabaja. Horas de trabajo a la semana. Tipo de trabajo. Puesto o cargo que desempeña. Relación del empleo con sus estudios de licenciatura.
Motivos por los cuales NO trabajan los sustentantes.
Reportes de resultados
Informe Anual Institucional
Objetivos
Característicasgenerales
Descripción EGEL
Resultados EGEL
Datos descriptivos
Variables de
contextoy resultados en el EGEL
Informes EGELNueva generación
Datos descriptivos
Escolaridad de los sustentantes:
Modalidad de la licenciatura. Años en que concluyó sus estudios de licenciatura. Promedio en licenciatura. Estudios posteriores a la licenciatura.
Escolaridad de los padres:
Nivel máximo de estudios de la madre. Nivel máximo de estudios del padre.
Reportes de resultados
Informe Anual Institucional
Objetivos
Característicasgenerales
Descripción EGEL
Resultados EGEL
Datos descriptivos
Variables de
contextoy resultados en el EGEL
Informes EGELNueva generación
Datos descriptivos
Reportes de resultados
Informe Anual Institucional
Objetivos
Característicasgenerales
Descripción EGEL
Resultados EGEL
Datos descriptivos
Variables de
contextoy resultados en el EGEL
Informes EGELNueva generación
Datos descriptivos
Trabaja
SI53.2%
NO46.8%
RELACIÓNTOTAL DE
SUST.% RELACIÓN
TOTAL DE SUST.
%
ALTA 1904 44.88 AGRICULTURA 36 0.86MEDIANA 1867 44.01 GANADERÍA 15 0.36ESCASA 385 9.08 SILVICULTURA Y PESCA 6 0.14
INEXISTENTE 86 2.03 INDUSTRIAS EXTRACTIVAS 38 0.90
n=4242 INDUSTRIAS DE LA TRANSFORMACIÓN369
8.79
CONSTRUCCIÓN213
5.07
HORASTOTAL DE
SUST.%
INDUSTRIA ELÉCTRICA, CAPTACIÓN Y SUMINISTRO DE AGUA POTABLE 45
1.07
HASTA 16 305 7.17 COMERCIO 1147 27.31DE 17 A 20 334 7.85 TRANSPORTES Y COMUNICACIONES 175 4.17
DE 21 A 40 1612 37.90SERVICIO PARA INSTITUCIONES, EMPRESAS, PERSONAS Y HOGARES 1318
31.38
MÁS DE 40 2002 47.07 SERVICIOS SOCIALES Y COMUNALES 143 3.40
n=4253 OTRO 695 16.55
n=4200
RELACIÓN ESTUDIOS - EMPLEO SECTOR ECONÓMICO EN EL QUE TRABAJA
HORAS DE TRABAJO A LA SEMANA
n=8,021
Otro de los apartados que constituyen los informes es el referente a la relación entre las variables de contexto y los resultados en el EGEL.
Las variables de contexto que se exploraron son:
Sexo. Promedio en la licenciatura. Edad. Escolaridad de los padres. Condición laboral: trabaja o no trabaja. Ingreso familiar y/o personal.
Reportes de resultados
Informe Anual Institucional
Objetivos
Característicasgenerales
Descripción EGEL
Resultados EGEL
Datos descriptivos
Variables de
contextoy resultados en el EGEL
Informes EGELNueva generación
Variables de contexto y resultados en el EGEL
Reportes de resultados
Informe Anual Institucional
Objetivos
Característicasgenerales
Descripción EGEL
Resultados EGEL
Datos descriptivos
Variables de
contextoy resultados en el EGEL
Informes EGELNueva generación
Variables de contexto y resultados en el EGEL
Sustentantes desagregados por el promedio en
licenciatura en niveles de desempeño.
66.7%
34.6%
22.5%
29.6%
48.1%
52.4%
15.5%25.1%
42.3%
49.9%
3.7% 9.5%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
DE 6.0 A 6.9(27)
DE 7.0 A 7.9(1205)
DE 8.0 A 8.9(4807)
DE 9.0 A 10.0(1765)
PO
RC
EN
TA
JE D
E S
US
TE
NT
AN
TE
S Testimonio de Desempeño
Sobresaliente (TDSS)
Testimonio de DesempeñoSatisfactorio (TDS)
No Satisfactorio o SinTestimonio (ST)
Reportes de resultados
Informe Anual Institucional
Objetivos
Característicasgenerales
Descripción EGEL
Resultados EGEL
Datos descriptivos
Variables de
contextoy resultados en el EGEL
Informes EGELNueva generación
Variables de contexto y resultados en el EGEL
Los informes buscan enfatizar:
Que la información proporcionada sea útil para el
diseño de políticas educativas por parte de las
instituciones.
Más explícitos con respecto a las conclusiones e
inferencias pertinentes.
La información en términos cualitativos más que
cuantitativos, lo cual conlleva a una distinta
aproximación de análisis estadístico de la información.
Reportes de resultados
Informe Anual Institucional
Objetivos
Característicasgenerales
Descripción EGEL
Resultados EGEL
Datos descriptivos
Variables de
contextoy resultados en el EGEL
Informes EGELNueva generación
Los informes anuales institucionales en la nueva generación de EGEL
Pueden utilizarse independientemente de cómo se
distribuyen los datos.
Pueden emplearse tanto para muestras grandes como
para muestras muy pequeñas.
Son más convenientes para datos categóricos.
Dado el énfasis en lo cualitativo sobre lo cuantitativo se
plantea el uso de la estadística no-paramétrica, como una
aproximación más idónea para el análisis de este tipo de
datos, ya que las pruebas no paramétricas:
Reportes de resultados
Informe Anual Institucional
Objetivos
Característicasgenerales
Descripción EGEL
Resultados EGEL
Datos descriptivos
Variables de
contextoy resultados en el EGEL
Informes EGELNueva generación
Los informes anuales institucionales en la nueva generación de EGEL
No satisfactorio
Satisfactorio
Sobresaliente
El énfasis de la nueva generación de los EGEL es establecer
categorías cualitativas más que diferencias cuantitativas entre los
sustentantes.
Es poder decir qué caracteriza a los
sustentantes que se encuentran en un
determinado nivel de desempeño.
Reportes de resultados
Informe Anual Institucional
Objetivos
Característicasgenerales
Descripción EGEL
Resultados EGEL
Datos descriptivos
Variables de
contextoy resultados en el EGEL
Informes EGELNueva generación
Los informes anuales institucionales en la nueva generación de EGEL
Los informes de la nueva generación de EGEL enfatizarán:
Aspectos cualitativos de los sustentantes (niveles de
desempeño).
Los inferencias adecuadas a partir del tipo de datos
obtenidos.
El uso de la estadística no paramétrica.
Reportes de resultados
Informe Anual Institucional
Objetivos
Característicasgenerales
Descripción EGEL
Resultados EGEL
Datos descriptivos
Variables de
contextoy resultados en el EGEL
Informes EGELNueva generación
Los informes anuales institucionales en la nueva generación de EGEL