Presentación tesis doctoral: Evaluación cualitativa y cuantitativa de las propuestas de...

Evaluación cualitativa y cuantitativa de las propuestas de investigación: El caso del área ANEP de Ciencias Sociales en el

Plan Nacional de I+D+i 2004-2007Autora: Susana Sánchez-Gil

Directores: Elías Sanz Casado y José Antonio Moreiro González

Dpto. Biblioteconomía y DocumentaciónUniversidad Carlos III de Madrid

Getafe, 21 de Julio 2014

Índice1. Introducción2. Hipótesis y objetivos3. Metodología4. Resultados5. Conclusiones6. Recomendaciones y perspectivas de futuro

Introducción

Evaluación de la Actividad Científica

Evaluación de la Actividad Científica en Ciencias Sociales y Humanidades

Agencia Nacional de Evaluación y Prospectiva (ANEP)

Fuente: ANEP

Hipótesis y objetivos

HipótesisExistencia de relación entre la calificación favorable de las

propuestas de investigación, en la evaluación científico-técnica de la ANEP, y una mayor competitividad de los currículos de los Investigadores Principales (IPs) que lideraron las mencionadas propuestas.

La existencia de diferencias en la actividad científica reflejada en el currículo (CV) cuando el IP es una mujer o un hombre, influyen en calificación ANEP y en la financiación de propuestas de investigación.

Objetivos GeneralesAnalizar las propuestas de investigación presentadas en la

convocatoria del Plan Nacional de I+D+i 2004-2007 y que fueron evaluadas por la ANEP en el área de Ciencias Sociales y los currículos de los investigadores que lideraron dichas propuestas para determinar sus perfiles de actividad científica.

Comparar los resultados del análisis bibliométrico, con los resultados de la revisión por expertos, es decir, si una calificación más elevada de la ANEP coincide con mejores indicadores de actividad científica.

Objetivos Específicos

Aplicar una metodología para conocer las características de las propuestas de investigación y los patrones de actividad científica de los IPs.

Determinar el comportamiento de la actividad científica en el área ANEP de Ciencias Sociales.

Determinar el grado de liderazgo femenino.

Identificar líneas de investigación.

Metodología

RECOPILARNORMALIZAR

©Susanasgil

Propuestas de investigación

83,34%

383120

121

21

Chart Title

Sociología Ciencia PolíticaGeografía Otras Áreas

(3,3%)

(18,7%)

(18,6%)

645 224

(59,4%)

Currículos (CV)

Investigación científica financiada:

3.768 p. competitivos1.787 p. empresas

Movilidad internacional: 1.130 estancias

Formación investigadores: 1.300 tesis doctorales

Producción científica: 12.174 documentos

419

DESCRIPTIVO MULTIVARIANTE

ESTADÍSTICO

BIBLIOMETRICO/CIENCIOMETRICO

Resultados

Propuestas de investigación según la calificación ANEP y por el número total de las solicitadas por subárea

SOCIOLOGIA (383 NP)

CIENCIA POLITICA (120 NP)

GEOGRAFIA (121 NP)

OTRAS AREAS (21 NP)

0.00 20.00 40.00 60.00 80.00 100.00

10.97

9.17

5.79

9.52

43.86

39.17

39.67

38.10

30.55

33.33

48.76

33.33

14.36

17.50

5.79

19.05

EXCELENTE BUENA ACEPTABLE CUESTIONABLE

Propuestas de investigación financiadas (tasa de éxito) según la calificación ANEP

CUESTIONABLE ACEPTABLE BUENA EXCELENTE0.00

20.00

40.00

60.00

80.00

100.00

2.3010.76

57.20

70.97

Nº Proyectos públicos competitivos y Nº Proyectos con empresas según la calificación ANEP

EXCELENTE BUENA ACEPTABLE CUESTIONABLE0

200

400

600

800

1000

1200

1400

1600

1800

2000

409

1,746

1,206

407

232

984

383

188

Nº P. PUBLICOS Nº P. EMPRESAS

Nº de proyectos públicos competitivos y con empresas por Investigador Principal (IP) según la calificación ANEP.


22.5

33.5

44.5

55.5

66.5

77.5

8

6.04 6.1

7.71 7.86

2.81

1.83

3.69

4.46

Nº P. PUBLICOS / IP Nº P. EMPRESAS / IP

Promedio de estancias por IP según la calificación ANEP

CUESTIONABLE ACEPTABLE BUENA EXCELENTE1

1.5

2

2.5

3

1.49

1.852.01

2.77

Media duración estancias según la calificación ANEP (meses)


2

4

6

8

10

12

14

16

15.6115.02

7.719.03

Movilidad internacional por regiones del mundo y subáreas ANEP (Excelente)

SOCIOLOGIA

CIENCIA POLITICA

GEOGRAFIA

OTRAS AREAS

0.00 10.00 20.00 30.00 40.00 50.00 60.00 70.00 80.00 90.00 100.00

30.41

2.03

1.35

30.41

6.76

7.43 6.08

1.35

UNION EUROPEA AMERICA DEL NORTEAMERICA CENTRAL AMERICA DEL SURAUSTRALIA Y NUEVA ZELANDA

Promedio de tesis doctorales dirigidas por IP según la calificación

ANEP


1.5

2

2.5

3

3.5

4

4.5

1.691.82

2.62

4.4

Promedio de documentos por IP según la calificación ANEP


20

25

30

16.65

19.65

24.75

29.63

-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 1 1.2-0.6

-0.4

-0.2

1.11022302462516E-16

0.2

0.4

0.6

SOC_EXCPOL_EX

GEO_EX

OTRAS_EXSOC_BU

CPOL_BU

GEO_BU

OTRAS_BU

SOC_ACEP

CPOL_ACEP

GEO_ACEP

OTRAS_ACEP

SOC_CUEST

CPOL_CUEST

GEO_CUEST

OTRAS_CUEST

(ejes F1 y F2: 70,85 %)

Tipo Documento Subárea - CalificaciónF1 (40,84 %)

F2 (3

0,01

%)

Análisis de correspondencias. Tipo de documentos por subárea y calificación ANEP

Perfil de actividad científica según género: Femenino

• Lideran el 24% del total de las propuestas excelentes.

• 25% de las propuestas excelentes lideradas por mujeres captaron financiación.

• Geografía: El doble de propuestas aprobadas con calificación excelente (4).

• Se concentran en la categoría Titular de Universidad en todas las subáreas y calificaciones.

• Buena: 8,53 proyectos públicos competitivos por IP.

• 20% de las tesis doctorales dirigidas.

Perfil de actividad científica según género: Masculino

• Lideran más propuestas y captan más financiación.

• Captaron financiación en propuestas de investigación con calificación cuestionable (2).

• Ciencia Política: Participación exclusivamente masculina en las propuestas de calificación excelente.

• Se concentran en la categoría Catedrático de Universidad en todas las subáreas y calificaciones.

• Excelente: participan en el doble proyectos con empresas por IP (5,03).

Puntuación ANEP según género del IP


5

10

15

20

25

30

35

40

45

50 46.468

37.768

27.658

18.445

45.933

37.359

28.596

16.826

M F

Nº de documentos por IP agrupados por calificación ANEP y según género del IP


15.00

20.00

25.00

30.00

35.00

17.23

20.95

25.11

32.32

14.5016.20

23.7622.36

M F

Volumen de actividad científica por IP según la calificación de las propuestas de investigaciónNº PROYECTOS PUBLICOS / IP

Nº PROYECTOS EMPRESAS / IP

Nº TESIS DIRIGIDAS / IP Nº ESTANCIAS / IP

Nº DOCS / IP

0

20

EXCELENTE BUENAACEPTABLE CUESTIONABLE

ACTIVIDAD CIENTIFICA CALIFICACION EXCELENTE BUENA ACEPTABLE CUESTIONABLE

PROYECTOS PUBLICOS

CUESTIONABLE 0,0335 0,0144 0,3384 −ACEPTABLE 0,1004 0,0224 − −BUENA 0,4476 − − −EXCELENTE − − − −

PROYECTOS EMPRESAS


MOVILIDAD INTERNACIONAL

CUESTIONABLE 0,0369 0,0951 0,4243 −ACEPTABLE 0,0257 0,0589 - −BUENA 0,1354 − − −EXCELENTE − − − −

TESIS DOCTORALES


PRODUCCION CIENTIFICA


P-valores para prueba de U-Mann-Whitney entre pares de valores

Conclusiones

Paralelismo entre una mejor valoración cualitativa y un mayor volumen de actividad científica.

Correspondencia entre la evaluación de una propuesta excelente y buena, con unos valores más elevados de los indicadores bibliométricos.

La capacidad para obtener financiación disminuye respecto a una menor calificación de la ANEP (70,97% excelentes).

No se producen sesgos en la puntuación cuando el IP es un hombre o una mujer.

Sociología representa el 60% del total de las propuestas evaluadas. Ciencia Política y Geografía no superan el 20%.

IPs de propuestas con calificación excelente dirigen, como mínimo, el doble de tesis que los IPs de propuestas buenas, aceptables y cuestionables.

Sociología supone el 72% del la producción científica en las propuestas calificadas como excelentes y entre el 50% y el 60% tanto en las calificadas como buenas y aceptables.

Publicación de documentos es el principal output de actividad científica de los IPs analizados, seguida de la participación en proyectos públicos competitivos.

Recomendaciones y perspectivas de futuro

Formato CV

Movilidad Internacional

Visibilidad e Impacto

Áreas de Conocimiento

¡MUCHAS GRACIAS!

Presentación tesis doctoral: Evaluación cualitativa y cuantitativa de las propuestas de...

Data & Analytics

Transcript of Presentación tesis doctoral: Evaluación cualitativa y cuantitativa de las propuestas de...