Post on 26-May-2015
description
Evaluación cualitativa y cuantitativa de las propuestas de investigación: El caso del área ANEP de Ciencias Sociales en el
Plan Nacional de I+D+i 2004-2007Autora: Susana Sánchez-Gil
Directores: Elías Sanz Casado y José Antonio Moreiro González
Dpto. Biblioteconomía y DocumentaciónUniversidad Carlos III de Madrid
Getafe, 21 de Julio 2014
Índice1. Introducción2. Hipótesis y objetivos3. Metodología4. Resultados5. Conclusiones6. Recomendaciones y perspectivas de futuro
Introducción
Evaluación de la Actividad Científica
Evaluación de la Actividad Científica en Ciencias Sociales y Humanidades
Agencia Nacional de Evaluación y Prospectiva (ANEP)
Fuente: ANEP
Hipótesis y objetivos
HipótesisExistencia de relación entre la calificación favorable de las
propuestas de investigación, en la evaluación científico-técnica de la ANEP, y una mayor competitividad de los currículos de los Investigadores Principales (IPs) que lideraron las mencionadas propuestas.
La existencia de diferencias en la actividad científica reflejada en el currículo (CV) cuando el IP es una mujer o un hombre, influyen en calificación ANEP y en la financiación de propuestas de investigación.
Objetivos GeneralesAnalizar las propuestas de investigación presentadas en la
convocatoria del Plan Nacional de I+D+i 2004-2007 y que fueron evaluadas por la ANEP en el área de Ciencias Sociales y los currículos de los investigadores que lideraron dichas propuestas para determinar sus perfiles de actividad científica.
Comparar los resultados del análisis bibliométrico, con los resultados de la revisión por expertos, es decir, si una calificación más elevada de la ANEP coincide con mejores indicadores de actividad científica.
Objetivos Específicos
Aplicar una metodología para conocer las características de las propuestas de investigación y los patrones de actividad científica de los IPs.
Determinar el comportamiento de la actividad científica en el área ANEP de Ciencias Sociales.
Determinar el grado de liderazgo femenino.
Identificar líneas de investigación.
Metodología
RECOPILARNORMALIZAR
©Susanasgil
Propuestas de investigación
83,34%
383120
121
21
Chart Title
Sociología Ciencia PolíticaGeografía Otras Áreas
(3,3%)
(18,7%)
(18,6%)
645 224
(59,4%)
Currículos (CV)
Investigación científica financiada:
3.768 p. competitivos1.787 p. empresas
Movilidad internacional: 1.130 estancias
Formación investigadores: 1.300 tesis doctorales
Producción científica: 12.174 documentos
419
DESCRIPTIVO MULTIVARIANTE
ESTADÍSTICO
BIBLIOMETRICO/CIENCIOMETRICO
Resultados
Propuestas de investigación según la calificación ANEP y por el número total de las solicitadas por subárea
SOCIOLOGIA (383 NP)
CIENCIA POLITICA (120 NP)
GEOGRAFIA (121 NP)
OTRAS AREAS (21 NP)
0.00 20.00 40.00 60.00 80.00 100.00
10.97
9.17
5.79
9.52
43.86
39.17
39.67
38.10
30.55
33.33
48.76
33.33
14.36
17.50
5.79
19.05
EXCELENTE BUENA ACEPTABLE CUESTIONABLE
Propuestas de investigación financiadas (tasa de éxito) según la calificación ANEP
CUESTIONABLE ACEPTABLE BUENA EXCELENTE0.00
20.00
40.00
60.00
80.00
100.00
2.3010.76
57.20
70.97
Nº Proyectos públicos competitivos y Nº Proyectos con empresas según la calificación ANEP
EXCELENTE BUENA ACEPTABLE CUESTIONABLE0
200
400
600
800
1000
1200
1400
1600
1800
2000
409
1,746
1,206
407
232
984
383
188
Nº P. PUBLICOS Nº P. EMPRESAS
Nº de proyectos públicos competitivos y con empresas por Investigador Principal (IP) según la calificación ANEP.
CUESTIONABLE ACEPTABLE BUENA EXCELENTE1.5
22.5
33.5
44.5
55.5
66.5
77.5
8
6.04 6.1
7.71 7.86
2.81
1.83
3.69
4.46
Nº P. PUBLICOS / IP Nº P. EMPRESAS / IP
Promedio de estancias por IP según la calificación ANEP
CUESTIONABLE ACEPTABLE BUENA EXCELENTE1
1.5
2
2.5
3
1.49
1.852.01
2.77
Media duración estancias según la calificación ANEP (meses)
EXCELENTE BUENA ACEPTABLE CUESTIONABLE0
2
4
6
8
10
12
14
16
15.6115.02
7.719.03
Movilidad internacional por regiones del mundo y subáreas ANEP (Excelente)
SOCIOLOGIA
CIENCIA POLITICA
GEOGRAFIA
OTRAS AREAS
0.00 10.00 20.00 30.00 40.00 50.00 60.00 70.00 80.00 90.00 100.00
30.41
2.03
1.35
30.41
6.76
7.43 6.08
1.35
UNION EUROPEA AMERICA DEL NORTEAMERICA CENTRAL AMERICA DEL SURAUSTRALIA Y NUEVA ZELANDA
Promedio de tesis doctorales dirigidas por IP según la calificación
ANEP
CUESTIONABLE ACEPTABLE BUENA EXCELENTE1
1.5
2
2.5
3
3.5
4
4.5
1.691.82
2.62
4.4
Promedio de documentos por IP según la calificación ANEP
CUESTIONABLE ACEPTABLE BUENA EXCELENTE15
20
25
30
16.65
19.65
24.75
29.63
-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 1 1.2-0.6
-0.4
-0.2
1.11022302462516E-16
0.2
0.4
0.6
SOC_EXCPOL_EX
GEO_EX
OTRAS_EXSOC_BU
CPOL_BU
GEO_BU
OTRAS_BU
SOC_ACEP
CPOL_ACEP
GEO_ACEP
OTRAS_ACEP
SOC_CUEST
CPOL_CUEST
GEO_CUEST
OTRAS_CUEST
(ejes F1 y F2: 70,85 %)
Tipo Documento Subárea - CalificaciónF1 (40,84 %)
F2 (3
0,01
%)
Análisis de correspondencias. Tipo de documentos por subárea y calificación ANEP
Perfil de actividad científica según género: Femenino
• Lideran el 24% del total de las propuestas excelentes.
• 25% de las propuestas excelentes lideradas por mujeres captaron financiación.
• Geografía: El doble de propuestas aprobadas con calificación excelente (4).
• Se concentran en la categoría Titular de Universidad en todas las subáreas y calificaciones.
• Buena: 8,53 proyectos públicos competitivos por IP.
• 20% de las tesis doctorales dirigidas.
Perfil de actividad científica según género: Masculino
• Lideran más propuestas y captan más financiación.
• Captaron financiación en propuestas de investigación con calificación cuestionable (2).
• Ciencia Política: Participación exclusivamente masculina en las propuestas de calificación excelente.
• Se concentran en la categoría Catedrático de Universidad en todas las subáreas y calificaciones.
• Excelente: participan en el doble proyectos con empresas por IP (5,03).
Puntuación ANEP según género del IP
EXCELENTE BUENA ACEPTABLE CUESTIONABLE0
5
10
15
20
25
30
35
40
45
50 46.468
37.768
27.658
18.445
45.933
37.359
28.596
16.826
M F
Nº de documentos por IP agrupados por calificación ANEP y según género del IP
CUESTIONABLE ACEPTABLE BUENA EXCELENTE10.00
15.00
20.00
25.00
30.00
35.00
17.23
20.95
25.11
32.32
14.5016.20
23.7622.36
M F
Volumen de actividad científica por IP según la calificación de las propuestas de investigaciónNº PROYECTOS PUBLICOS / IP
Nº PROYECTOS EMPRESAS / IP
Nº TESIS DIRIGIDAS / IP Nº ESTANCIAS / IP
Nº DOCS / IP
0
20
EXCELENTE BUENAACEPTABLE CUESTIONABLE
ACTIVIDAD CIENTIFICA CALIFICACION EXCELENTE BUENA ACEPTABLE CUESTIONABLE
PROYECTOS PUBLICOS
CUESTIONABLE 0,0335 0,0144 0,3384 −ACEPTABLE 0,1004 0,0224 − −BUENA 0,4476 − − −EXCELENTE − − − −
PROYECTOS EMPRESAS
CUESTIONABLE 0,2138 0,0301 0,7528 −ACEPTABLE 0,1271 0,0013 − −BUENA 0,4998 − − −EXCELENTE − − − −
MOVILIDAD INTERNACIONAL
CUESTIONABLE 0,0369 0,0951 0,4243 −ACEPTABLE 0,0257 0,0589 - −BUENA 0,1354 − − −EXCELENTE − − − −
TESIS DOCTORALES
CUESTIONABLE 0,0002 0,0476 0,2252 −ACEPTABLE 0,0002 0,0774 − −BUENA 0,004 − − −EXCELENTE − − − −
PRODUCCION CIENTIFICA
CUESTIONABLE 0,0000 0,0000 0,0199 −ACEPTABLE 0,0007 0,0006 − −BUENA 0,0983 − − −EXCELENTE − − − −
P-valores para prueba de U-Mann-Whitney entre pares de valores
Conclusiones
Paralelismo entre una mejor valoración cualitativa y un mayor volumen de actividad científica.
Correspondencia entre la evaluación de una propuesta excelente y buena, con unos valores más elevados de los indicadores bibliométricos.
La capacidad para obtener financiación disminuye respecto a una menor calificación de la ANEP (70,97% excelentes).
No se producen sesgos en la puntuación cuando el IP es un hombre o una mujer.
Sociología representa el 60% del total de las propuestas evaluadas. Ciencia Política y Geografía no superan el 20%.
IPs de propuestas con calificación excelente dirigen, como mínimo, el doble de tesis que los IPs de propuestas buenas, aceptables y cuestionables.
Sociología supone el 72% del la producción científica en las propuestas calificadas como excelentes y entre el 50% y el 60% tanto en las calificadas como buenas y aceptables.
Publicación de documentos es el principal output de actividad científica de los IPs analizados, seguida de la participación en proyectos públicos competitivos.
Recomendaciones y perspectivas de futuro
Formato CV
Movilidad Internacional
Visibilidad e Impacto
Áreas de Conocimiento
¡MUCHAS GRACIAS!