LA EVALUACIÓN ex-POST DE LOS PROYECTOS DE INVESTIGACIÓN
26
LA EVALUACIÓN EX-POST DE LOS PROYECTOS DE INVESTIGACIÓN Carlos Guerra Rodríguez, Sonia Martín Cerro, Elena Tejedor Viñuela [email protected] [email protected] http://www.acsucyl.es VI Reunión de Agencias de Evaluación de I+D+i Bilbao, 24 de octubre de 2011
description
VI Reunión de Agencias de Evaluación de I+D+i. Bilbao, 24 de octubre de 2011. LA EVALUACIÓN ex-POST DE LOS PROYECTOS DE INVESTIGACIÓN. Carlos Guerra Rodríguez, Sonia Martín Cerro, Elena Tejedor Viñuela [email protected] [email protected] http://www.acsucyl.es. GUÍA DE LA PRESENTACIÓN. - PowerPoint PPT Presentation
Transcript of LA EVALUACIÓN ex-POST DE LOS PROYECTOS DE INVESTIGACIÓN
LA EVALUACIÓN EX-POST DE LOS PROYECTOS DE INVESTIGACIÓN
Carlos Guerra Rodríguez, Sonia Martín Cerro, Elena Tejedor Viñuela
[email protected] [email protected]://www.acsucyl.es
VI Reunión de Agencias de Evaluación de I+D+i
Bilbao, 24 de octubre de 2011
Presentación de ACSUCyL ¿Por qué la evaluación EX-POST de los PI? Evaluación EX-POST: criterios y procedimientos Resultados de la evaluación EXPOST 2008 Discriminación de los criterios utilizados Grado de discrepancia entre los evaluadores externos ¿Qué piensan los IP de la evaluación EXPOST de sus
proyectos? Conclusiones
GUÍA DE LA PRESENTACIÓN
Órgano de evaluación externa del sistema universitario de Castilla y León.
Agencia creada en 2001, en la actualidad es ente público de derecho privado de la Administración de Castilla y León.
ACSUCyL
Respetar y hacer cumplir los principios establecidos en el Código Ético que determinan la conducta de las personas que trabajan o que actúan en nombre de ACSUCYL
Garantizar la autonomía e independencia de los órganos de evaluación en el ejercicio de sus funciones.
Garantizar la transparencia en todas las actividades desarrolladas.
Establecer mecanismos de responsabilidad para la propia rendición de cuentas con fines de mejora.
POLÍTICA DE CALIDAD DE ACSUCyL
ACTUACIONES DE ACSUCyL EN EL ÁMBITO DE LA
EVALUACIÓN DE LA INVESTIGACIÓN
Institutos Universitarios de Investigación (creación o adscripción, y evaluaciones periódicas cada cinco años).
Grupos de Investigación de Excelencia (GIE).
Proyectos de Investigación.
Evaluación Ex – Post de los proyectos de investigación.
Ayudas para la contratación de Personal Investigador de Reciente Titulación.
Evaluación de los resultados de investigación de los investigadores.
Evaluación de Congresos, Simposios y Reuniones Científicas.
Comisión de Evaluación de la Investigación (CEI) Coordinadores de ÁreaPaneles Científicos
La Dirección de la Agencia nombra a los Paneles Científicos, a los Coordinadores y a la CEI, entre especialistas externos al Sistema Universitario de Castilla y León.
ÓRGANOS DE EVALUACIÓN DE ACSUCyL
Es la Comisión de ACSUCYL competente en los procesos relacionados con la evaluación de la calidad de las actividades de investigación
COMISIÓN DE EVALUACIÓN DE LA INVESTIGACIÓN (CEI)
Nombramiento: la Dirección de la Agencia Número de miembros: diez
Perfil: preferentemente, académicos y profesionales de reconocido prestigio, con una significativa trayectoria docente e investigadora, y experiencia en gestión y en procesos de evaluación de la calidad en el ámbito universitario. (Tres sexenios)
Composición: en su designación, se procura el equilibrio entre los diferentes ámbitos de conocimiento.
Procedencia: externa al Sistema Universitario de Castilla y León.
Periodo de nombramiento: un plazo máximo de 4 años.
Valcárcel Cases, Miguel (presidente) Química Analítica Universidad de Córdoba
Badiola Diez, Juan José Sanidad Animal Universidad de Zaragoza
Brillas Coso, Enric Química Física Universidad de Barcelona
José Vilches Troya Histología Universidad de Cádiz
Chacón Fuertes, Pedro Filosofía Universidad Complutense Madrid
Echenique Elizondo, Mª Teresa Lengua Española Universidad de Valencia
Feliu Batlle, Vicente Ingeniería de Sistemas y Automática Universidad Castilla la Mancha
Franch Benavent, Ricardo Historia Moderna Universidad de Valencia
Moreno Rodríguez, María del Carmen Psicología Universidad de Sevilla
Ruiz-Huerta Carbonell, Jesús Economía Aplicada Universidad Rey Juan Carlos
MIEMBROS DE LA CEI
Práctica consustancial a la actividad investigadora de calidad.
La Junta de Castilla y León en las convocatorias de ayudas destinadas a financiar Programas de Apoyo a Proyectos de Investigación, establece que se evaluarán los resultados de las actividades de investigación mediante una memoria final.
En las convocatorias de estas ayudas, a partir de 2009, establecen también que para valorar uno de los criterios de selección de los proyectos y para determinar las subvenciones, se tenga en cuenta la “consecución de objetivos, relevancia científica o impacto socioeconómico” de los proyectos previamente financiados.
La Consejería de Educación de la Junta de Castilla y León ha solicitado la colaboración ACSUCYL para la valoración de los aspectos relativos a la “consecución de objetivos y la relevancia científica” de los proyectos.
¿POR QUÉ LA EVALUACIÓN EX-POST DE LOS PROYECTOS DE INVESTIGACIÓN?
ACSUCYL ha realizado la evaluación EX-POST de tres convocatorias de proyectos de investigación.
La CEI ha elaborado un “Manual de procedimiento de evaluación EX-POST de proyectos de investigación”.
La CEI define los criterios y protocolos de evaluación que se aplicarán para la evaluación de los proyectos financiados en cada convocatoria. En ellos se especifican los distintos elementos y aspectos que tendrán que tomar en consideración los órganos de evaluación para la emisión de sus informes.
ACSUCYL publica en su página web estos protocolos de evaluación.
ACSUCYL remite sus informes a la Junta de Castilla y León, quien a su vez se los remite a los IP de los proyectos.
LA EVALUACIÓN EX-POST EN ACSUCYL
A. Cumplimiento del plan de trabajo:A.1. Grado de cumplimiento del plan de trabajo establecido: máximo 20 puntos. B. Consecución de los objetivos:B.1. Grado de consecución de los objetivos previstos en el proyecto: máximo 20 puntos.B.2. Eficiencia y eficacia del gasto: máximo 10 puntos. C. Relevancia científica de los resultados:C.1. Grado de significación de los resultados alcanzados: máximo 20 puntosC.2. Calidad e impacto científico-tecnológico de los resultados: máximo 20 puntos.C.3. Calidad de la capacidad formativa mostrada y/o contribución consolidación del grupo de investigación: máximo 10 puntos. TOTAL: máximo 100 puntos.
El Comisionado para la Ciencia y la Tecnología de la Junta de Castilla y León realiza, por su parte, una evaluación EXPOST del impacto socioeconómico logrado por los proyectos.
CRITERIOS DE EVALUACIÓN Y ASPECTOS A VALORAR
Humanidades12%
CC. Sociales29%
CC. Experimentales
11%
Ingen./Tecno./ Arquit.
16%
Ingen./Biol./ Quím.17%
Biosanitario15%
EVALUACIÓN EXPOST DE PROYECTOS DE INVESTIGACIÓN (a iniciar en 2008)
(Memorias evaluadas por campos de conocimiento)
Campo de conocimiento Nº %
Humanidades 35 11,7CC. Sociales 88 29,3CC. Experimentales 34 11,3Ingen./Tecno./ Arquit. 47 15,7Ingen./Biol./ Quím. 50 16,7Biosanitario 46 15,3TOTAL 300 100
Evaluación EXPOST: Proyectos de Investigaciónfinanciados (a iniciar en 2008)
Evaluación EXPOST: Proyectos de Investigación
financiados (a iniciar en 2008)
Entidad Nº %
Univ. de Burgos 29 9,7
Univ. de León 37 12,3
Univ. de Salamanca 115 38,3
Univ. de Valladolid 86 28,7
CSIC y Hospitales 19 6,3
Univ. Privadas 14 4,7
TOTAL 300 100
Univ. de Burgos10% Univ. de León
12%
Univ. de Salamanca
38%
Univ. de Valladolid29%
CSIC y Hospitales6%
Univ. Privadas5%
EVALUACIÓN EXPOST DE PROYECTOS DE INVESTIGACIÓN (a iniciar en 2008)
(Memorias evaluadas por entidades)
RESULTADO DE LA EVALUACIÓN EX-POST 2008
0
10
20
30
40
50
60
70
80
90
100
Deficiente Cuestionable Aceptable Bueno Muy Bueno TOTAL
5,7
19,0 18,0
29,3
10,7
82,7
5,3 4,3 5,72,0 0,0
17,3
%
EVALUACIÓN EXPOST DE PROYECTOS DE INVESTIGACIÓN (a iniciar en 2008)
Resultados por tipo de proyecto
Grupos SENIOR
Grupos NOVELES
RESULTADO DE LA EVALUACIÓN EX-POST 2008
0
10
20
30
40
50
60
70
80
90
100
Humanidades CC. Sociales CC. Experimentales
Ingen./Tecno./ Arquit.
Ingen./Biol./ Quím.
Biosanitario TOTAL
%
EVALUACIÓN EXPOST PROYECTOS INVESTIGACIÓN 2008Resultados por campos científicos
Deficiente
Cuestionable
Aceptable
Bueno
Muy Bueno
CRITERIOSPuntuación máxima del
criterio
% Proyectos con puntuación ≥ 80% del
valor máximo del criterio
% Proyectos con puntuación < 50% del
valor máximo del criterio
a.1. Cumplimiento del plan de trabajo 20 42,5 17,5
b.1. Consecución de los objetivos previstos 20 o 30 44,3 16,5
b.2. Eficiencia y eficacia del gasto 10 o 0 78,5 6,5
c.1. Significación de los resultados alcanzado 20 36,8 22,6
c.2. Calidad e impacto científico-tecnológico 20 28,3 37,7
c.3. Capacidad formativa y consolidación 10 29,3 38,2
DISCRIMINACIÓN DE LOS CRITERIOS UTILIZADOS EN LA EVALUACIÓN EX-POST 2007
CRITERIOS
% Proyectos con puntuación ≥ 80% del valor máximo del
criterio que han obtenido una valoración global ≥80%
Correlación de los criterios con los
resultados
a.1. Cumplimiento del plan de trabajo 50 0,82
b.1. Consecución de los objetivos previstos 84,4 0,84
b.2. Eficiencia y eficacia del gasto 33,6
c.1. Significación de los resultados alcanzado 59 0,88
c.2. Calidad e impacto científico-tecnológico 65 0,77
c.3. Capacidad formativa y consolidación 38,7
CORRELACIÓN DE LOS CRITERIOS UTILIZADOS, A PARTIR DE LOS RESULTADOS OBTENIDOS EN LA EVALUACIÓN EX-POST 2007
GRADO DE DISCREPANCIA ENTRE LOS EVALUADORES EXTERNOS
0
10
20
30
40
50
60
70
80
90
100
Humanidades CC. Sociales CC. Experimentales
Ingen./Tecno. /Arquit.
Ingen./Biol. /Quim.
Biosanitario TOTAL
%
Diferencias en la valoración cualitativa entre la CEI y los evaluadores del panel científico participantes en la Evaluación Expost de Proyectos de los Proyectos de Investigación (2008)
-2
-1
0
1
2
¿QUE PIENSAN LOS INVESTIGADORES PRINCIPALES DE LA EVALUACIÓN
EXPOST DE SUS PROYECTOS?
(sobre una muestra de 54 IP)
SÍ70%
NO30%
EL IP CONSIDERA CORRECTA LA VALORACIÓN RECIBIDA EN EL INFORME EXPOST 2007 DE ACSUCYL
0102030405060708090
100
Nada adecuados Poco adecuados Adecuados Muy adecuados
0
19
73
8
%
VALORACIÓN DEL IP DE LOS CRITERIOS DE EVALUACIÓN APLICADOS POR ACSUCYL EN LA EXPOST 2007
0102030405060708090
100
Muy mala Mala Buena Muy buena
2
18
70
10
%
VALORACIÓN DEL IP DE LA CALIDAD DE LOS ARGUMENTOS UTILIZADOS PARA JUSTIFICAR LAS VALORACIONES EN LOS
INFORMES EXPOST 2007 DE ACSUCYL
0102030405060708090
100
Nada útil Poco útil Útil Muy útil
0
20
62
18
%
VALORACIÓN DEL IP DE LOS COMENTARIOS (PUNTOS FUERTES / SUGERENCIAS DE MEJORA) CONTENIDOS EN LOS
INFORMES EXPOST 2007 DE ACSUCYL
0102030405060708090
100
No Si
12
88
%
¿CONSIDERA EL IP APROPIADOS LOS TÉRMINOS EN LOS QUE HA SIDO REDACTADO EL INFORME EXPOST 2007?
CONCLUSIONES
No hay suficiente cultura entre los IP de esforzarse en la realización de las memorias finales de los proyectos.
Los criterios de la evaluación EXPOST deben ser conocidos por los IP.
Es necesario utilizar referentes claros en las evaluaciones y formar a los evaluadores, para evitar grados de discrepancia elevados entre ellos.
Incrementar el impacto de la evaluación EXPOST en las nuevas convocatorias.
LA EVALUACIÓN EX-POST DE LOS PROYECTOS DE INVESTIGACIÓN
Carlos Guerra Rodríguez, Sonia Martín Cerro, Elena Tejedor Viñuela
[email protected] [email protected]://www.acsucyl.es
VI Reunión de Agencias de Evaluación de I+D+i
Bilbao, 24 de octubre de 2011
