La metodología de los rankings universitarios internacionales
La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de...
Transcript of La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de...
![Page 1: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/1.jpg)
La evaluación en Ciencias Sociales y Humanidades: entre la emigración y el
autismo
V Jornada de la Facultad de Letras sobre Calidad - 15 noviembre 2012
La evaluación en Ciencias Sociales y Humanidades: entre la marginación
y el pensamiento único
La evaluación en Ciencias Sociales y Humanidades: apocalípticos o
integrados
La evaluación de la producción científica en Artes y Humanidades, y en Ciencias Sociales y Jurídicas
Dr. Evaristo Jiménez-Contreras
GI "Evaluación de la Ciencia y de la Comunicación científica-EC3".
Facultad de Comunicación y Documentación (Universidad de Granada)
![Page 2: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/2.jpg)
Guión
• Contexto: Participación de los drs Giménez y Reyero. ¿qué puedo añadir?
• Contexto: Los fundamentos filosóficos e institucionales – CNEAI y ANECA
• La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades
• Elementos para la reflexión
![Page 3: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/3.jpg)
Los fundamentos del actual sistema de promoción académica
• Un poco de historia: – Promoción en la universidad desde la época franquista hasta la LRU.
• Convocatorias nacionales. Temarios cerrados, discrecionalidad (casi absoluta) de los tribunales
• La universidad como empresa familiar, imposiciones ideológicas • Ventajas
– LRU • Convocatorias a la medida de acuerdo a la política doméstica de los
departamentos. Temario libres. Discrecionalidad de los tribunales • Ruptura del mandarinato ´”catredalicio”. Crecimiento y estabilización • Endogamia incontrolada, sesgos ideológicos
– Habilitaciones nacionales: • Convocatorias universitarias (departamentales). Temarios libres,
discrecionalidad de los tribunales (menor?) • Reducción de la endogamia, de hecho, Paralización del sistema
– ANECA
![Page 4: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/4.jpg)
La CNEAI (1989→)
• Objetivos: – Internacionalización, homologación, criterios objetivos – mejora salarial asociada a la investigación.
• Principios generales de funcionamiento – Sistema de valoración ex post – Autogestionado – Similar a otros internacionales – Evaluación formal externa , basado en las valoraciones de los
científicos pares sobre obra publicada • Siendo originalmente un complemento económico a la
productividad productividad ha terminado siendo un valor asociado al prestigio y condiciona la promoción académica
• Voluntario
![Page 5: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/5.jpg)
Las controversias asociadas a la CNEAI
• El modelo aplicado es una traslación directa de los procedimientos empleados en las áreas científica (esto es históricamente cierto)
• Las bases de datos empleadas están sesgadas hacia las Ciencias y hacia el mundo anglosajón
• Las formas de publicación en CCSS y Humanidades son diversas
• Hay diferentes hábitos de citación y formas de reconocimiento
• Como consecuencia hay mucha más incertidumbre en la evaluación en Humanidades
![Page 6: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/6.jpg)
• 2008 programa ACADEMIA (> 22.000 evaluaciones)
ANECA (2002 →)
INVESTIGACIÓN
Doc
enci
a
Ges
tión Transferencia
… pero, de hecho.
![Page 7: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/7.jpg)
ANECA (2002 →)
• La “filosofía” de la CNEAI se ha trasladado a la valoración de los méritos de investigación en ANECA y a otras agencias
• La investigación es el apartado tiene el mayor peso en la valoración de PCD, TU y CU
• Conceptos: intensidad, continuidad, liderazgo, relevancia internacional… en la investigación
• El referente vuelven a ser la publicaciones aparecidas en índices de impacto internacionales, aunque para las Ciencias Sociales la definición no es tan cerrada como en Ciencias.
![Page 8: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/8.jpg)
Criterios
CU
Investigación
Docencia
Formación
Gestión
TU
Investigación
Docencia
Formación
Gestión
![Page 9: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/9.jpg)
Desagregación de los criterios de investigación
35 35
5 5 4 4
7 7
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Sociales y Juridicas Humanidades
Articulos y libros Congresos y otros Proyectos y contratos Transferencia
38 38
5 5
6 6
10 10
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Sociales y Juridicas Humanidades
Articulos y libros Congresos y otros
Proyectos y contratos Transferencia
![Page 10: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/10.jpg)
Aneca: presentados
![Page 11: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/11.jpg)
ANECA: resueltos • Some facts:
– Promedio 71%
– Tendencia decreciente en las evaluaciones positivas
– Peticiones crecientes: 2200 aprox. 2012
![Page 12: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/12.jpg)
• Some facts: – Promedio 68%
– Tendencia estable en las evaluaciones positivas
– Peticiones crecientes: 3100 aprox. 2012
ANECA: resueltos
![Page 13: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/13.jpg)
Resultados por comisiones
![Page 14: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/14.jpg)
Resultados por comisiones
![Page 15: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/15.jpg)
Más estadísticas
• No hay diferencias por género (ligeramente a favor de las mujeres en Ciencias, ligeramente en contra en Sociales y Humanidades)
• El factor sexenios:
![Page 16: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/16.jpg)
¿Qué dimensiones/aportaciones evalúa ANECA?
ACTIVIDAD INSTGADORA ACTIVIDAD INVESTIGADORA • Artículos en revistas • Libros y Capítulos • Proyectos y contratos • Transferencia • Congresos
MÉRITOS DOCENTES • Docencia universitaria • Dirección de tesis,
tesinas, trabajos grado… • Cursos de formación
docente
FORMACIÓN ACADÉMICA • Títulos y premios • Becas y ayudas • Estancias de
investigación
GESTIÓN • Cargos Académicos • Puestos en la
administración • Liderazgo de grupos de
investigación y docentes
OTRO MÉRITOS
![Page 17: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/17.jpg)
Valores de referencia e indicios
En los ámbitos de Arte y Humanidades, Ciencias Sociales y Jurídicas se valoran especialmente las publicaciones en revistas y libros de prestigio, así como creaciones artísticas y profesionales innovadoras
![Page 18: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/18.jpg)
La aplicación
![Page 19: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/19.jpg)
La aplicación
![Page 20: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/20.jpg)
LA AUTORÍA. CNEAI-ANECA ANECA revistas Criterios específicos para revistas por área
Humanidades • Preferentemente publicaciones en revistas de prestigio: i.e. revistas incluidas en Social Science Citation Index (SSCI) y Arts & Humanities Citation Index (A&HCI) • También se citan al mismo nivel de preferencia las revistas incluidas en: FRANCIS, IBSS, BHA, HA, IMB, RILMS, etc… También se podrá utilizar como referencia de calidad para las publicaciones españolas el DICE
![Page 21: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/21.jpg)
• Preferentemente trabajos publicados en revistas de Science Citation Index, Social Science Citation Index y el Journal Citation Reports. • También se citan como productos las revistas en: Econlit, Catálogo Latindex u otros listados admitidos. También se podrá utilizar como referencia de calidad para las publicaciones españolas el DICE
Ciencias Sociales
Criterios específicos para revistas por área
![Page 22: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/22.jpg)
. Derecho
• Preferentemente publicaciones en revistas de prestigio y amplia difusión académica y profesional; en este campo no se indica explícitamente que las revistas tengan ICR • Se hace hincapié en el contenido de los trabajos: desarrollo de nuevas perspectivas de ordenamiento jurídico, evolución histórica, social, … • Referencia básica citada para revistas españolas: DICE • Alternativa: IN-RECJ y RESH para revistas ICR.
Criterios específicos para revistas por área
![Page 23: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/23.jpg)
Cuadro bases de datos
![Page 24: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/24.jpg)
AUTISMO?, EMIGRACIÓN? REFLEXIONES PARA UN DEBATE
![Page 25: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/25.jpg)
Lo que se valora en las especialidades
![Page 26: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/26.jpg)
La percepción de las evaluaciones
• En general la actitud es maximalista • A favor, “todos” a los que les ha ido bien, en
general las ciencias • En contra, aquellos a los que les ha ido mal, en
general las letras (no porque les haya ido necesariamente mal) – Se perciben como algo sobrevenido al igual que
los rankings – La endogamia no se ve como problema
![Page 27: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/27.jpg)
Problema percibido a nivel europeo • Encuesta realizada en la universidad francesa (presentada en
Montpellier, abril, 2010) – Fully agree 0%
– Agree at different levels, 85%
– Hostile 15%
• Limitaciones/críticas que se señalan en la evaluación en Humanidades – Hiperespecialización
– Las Humanidades son diferentes de tal manera que es futil desarrollar indicadores
– Escasa financiación (no se les puede pedir mucho)
– Los indicadores no captan la calidad ¿?
– Los indicadores se han convertido en un objetivo en sí mismo
– Las bases de datos están sesgadas
– Las formas de publicación son diversas
![Page 28: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/28.jpg)
Las formas de publicación tradicional
• Libros en la editorial de la universidad u organismos públicos cercanos: diputaciones…
• Homenajes
• Revistas del departamento o de la universidad, sin evaluación
• Congresos (raramente internacionales)
• Temas de investigación: lo que a cada uno le interesa
![Page 29: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/29.jpg)
Qué ha cambiado CNEAI/ANECA: logros
• Continuidad y estabilidad • Internacionalización de la
investigación • Homologación • Mayor difusión • Colaboración • Incremento de la productividad • Cultura evaluativa • Carreras académicas planificables • Financiación reglada
El sistema va a seguir presionando en esa dirección
![Page 30: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/30.jpg)
Otras consecuencias
• (In)directamente mejora espectacular del sistema de publicación en España – Regularidad, puntualidad
– Introducción del sistema de evaluación por pares
– Apertura de comités…
– Bases de datos bibliográficas
– Portales, mejora de la visibilidad y del archivo
– Mayor competencia entre las revistas
![Page 31: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/31.jpg)
Otros hechos a considerar
• El sistema se refina continuamente – Caso BBAA
• El sistema es recurrible (y se gana ocasionalmente)
• Se está introduciendo una agenda de investigación desde la administración
![Page 32: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/32.jpg)
Las consecuencias: el pasivo
• Males menores: – Micro méritos
• Cuéntalo todo que todo cuenta
– Dispersión: provocada por la propia aplicación
– Hasta cierto punto se necesita ser experto en la propia aplicación
• Internacionalización o emigración?
• Olvido de las necesidades locales?
![Page 33: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/33.jpg)
Localismo o hiperespecialización
• La dédicace des livres dans l'Islam médiéval
• L'incastellamento dans le Latium. Remarques à propos de fouilles récentes
• Jérusalem ou Valence : la première colonie d'Occident
• La prostitution au Pays basque entre XIVe et XVIIe siècles
• Last Rites for a ‘Pure Bandit’: Clandestine Service, Historiography and the Origins of the Turkish ‘Deep State’
• Hora: Social Conflicts and Collective Memories in Piana Degli Albanesi
• Gauchos, Gringos and Gallegos: The Assimilation of Italian and Spanish Immigrants in the Making of Modern Uruguay 1880–1930
• ‘Chosen Peoples, Holy Tongues’: Religion, Language, Nationalism and Politics in Bohemia and Moravia in the Seventeenth to Twentieth Centuries
![Page 34: La evaluación en Ciencias Sociales y Humanidades: … · – CNEAI y ANECA • La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades](https://reader031.fdocuments.mx/reader031/viewer/2022013114/5bad4bb009d3f230528cfe65/html5/thumbnails/34.jpg)
Internacionalización o emigración?
• Problema sin respuesta (por ahora)
• Se ha incrementado la presencia internacional de forma abrumadora en CCSS y no tan clara en Humanidades
• JCR centrismo? o bases de datos nacionales – Amenaza de paletismo
– ERIH, CIRC,…