Post on 25-May-2015
Vicerrectorado de Formación Permanente e Innovación Servicio de Formación del Profesorado
Universidad de HuelvaHuelva, 1 de abril de 2011
Evaluación de la investigación en Ciencias Sociales
presentación
http://ec3.ugr.eshttp://
ec3noticias.blogspot.comEmilio Delgado López-Emilio Delgado López-
CózarCózar
Universidad de GranadaUniversidad de Granada
Introducción: Filosofía y criterios generales
La evaluación de la investigación
• España en estado de excepción evaluativa– Ámbitos y objetos de evaluación: Personas,
instituciones (Facultades, Departamentos…), titulaciones (grado, posgrado, doctorado), programas, proyectos, publicaciones
– Agencias de evaluación: CNEAI, ANECA, ANEP, AEA, ACPUA, AQU, ACECAU, ACUM, ACUCyL, ACSUC, ACAP, CVAEC…
– Criterios de evaluación: PUBLICACIÓN ► ► ► ► ► ► IMPACTO
• Tema trascendente y polémico– Condiciona la orientación de la investigación de un país– Condiciona la posibilidad de investigar– Condiciona la promoción profesional– Otorga reconocimiento personal y social
- Evaluación para la contratación- Acreditación nacional para el acceso a los cuerpos docentes universitarios
CNEAI
ANECA
Evaluación de la actividad investigadora de los profesores universitarios y de las escalas científicas del CSIC
Agencias autonómicas Otras agencias estatales
Las Agencias de Evaluación en España
Una evaluación integral de la actividad académicaUna evaluación integral de la actividad académica
Peso de la Actividad Investigadora en el conjunto curricularPeso de la Actividad Investigadora en el conjunto curricular
En la evaluación curricular personal el peso de la Actividad Investigadora es decisivo
Para entender los criterios que se utilizan es conveniente no olvidar los fundamentos de las evaluaciones de la actividad investigadora
Filosofía y objetivos en que se fundamentan las evaluaciones y los Filosofía y objetivos en que se fundamentan las evaluaciones y los criterios de evaluacióncriterios de evaluación
FIL
OS
OFÍA
DE L
A E
VA
LU
AC
IÓN
El sistema planteado se inspira en la tradición académica de la evaluación por pares: comisiones de expertos y requerimiento de informes a especialistas en la disciplina de cada candidato
Evaluaciones formales, NO sobre contenidos. Utilización de indicadores de objetivación formal
Difusión e Internacionalización de la ciencia española
Evaluación sobre resultados de investigación. Publicaciones
En los ámbitos científicos de orientación básica (Ciencias y Ciencias de la
Salud) se consideran especialmente las publicaciones en revistas de reconocido prestigio
En ámbitos más aplicados como Tecnología, Ingenierías y Arquitectura se consideran de especial relevancia el desarrollo de publicaciones en
revistas de reconocido prestigio, patentes y actividades de
transferencia de tecnología, así como creaciones artísticas y profesionales innovadoras
En los ámbitos de Ciencias Sociales y Jurídicas se valoran especialmente las publicaciones en revistas y libros de prestigio
En los ámbitos de Arte y Humanidades, se valoran especialmente las publicaciones en revistas y libros de prestigio, así como creaciones artísticas
y profesionales innovadoras
Los criterios de evaluación. Los criterios de evaluación.
Ponderaciones por áreas de conocimientoPonderaciones por áreas de conocimiento
Se requiere que el solicitante acredite actividad investigadora intensa, de calidad internacional (CU) o de relevancia en su especialidad (TU), reflejada
en publicaciones, patentes, actividades de transferencia tecnológica o trabajos de innovación, avance o de impacto económico-social
Se considera necesario que el solicitante se haya iniciado (TU) o tenga
consolidado (CU) un papel de liderazgo en los trabajos realizados y en la dirección de proyectos de investigación o contratos con empresas y
organismos públicos
Ojo: nos anuncia la importancia en posición de firma y la figura del IP
ANECA. Peso de las publicaciones por campo científico y categoría ANECA. Peso de las publicaciones por campo científico y categoría profesional profesional
Humanidades
Experimentales y Ciencias Salud
Técnicas
Ciencias Sociales
Indicios de calidad de las aportaciones. Principios generales
Contribución al progreso del conocimiento, innovación o creatividad
Se priman trabajos científicos e innovadores
Participación relevante en los trabajos que dieron origen a las aportaciones >Ojo: participación y orden de firma
Relevancia científica del medio de difusión en que se publica la aportación >Ojo: JCR Impacto, posiciones
Premios y distinciones recibidas >Ojo para creaciones artísticas
Referencia que otros autores hacen y que sean indicativos de relevancia. Ojo, se refiere a las citas
Apreciaciones del propio interesado sobre las aportaciones de su trabajo al progreso del conocimiento. En publicaciones colectivas (coautorías)
mencionar la contribución del solicitante
Reseñas en revistas especializadas
En patentes: datos de explotación económica
CNEAI. Indicios de calidadCNEAI. Indicios de calidadC
RIT
ER
IOS
DE E
VA
LU
AC
IÓN
Índice de Impacto> Factor de Impacto JCR
Posición de la Revista en el conjunto de las incluidas en su categoría JCR >Ojo: posiciones
Número de autores y posición que ocupa entre ellos el solicitante. Se tiene en cuenta el número, reduciendo el valor de la publicación cuando este sea
superior a la media en la especialidad >Ojo: participación y orden de firma
Valoración positiva de la regularidad en la producción científica, especialmente trabajos de la etapa posdoctoral 5-10 últimos años
Premios y distinciones recibidas >Ojo para creaciones artísticas
Referencia que otros autores hacen, en trabajos publicados, y que sean indicativos de relevancia >Ojo, se refiere a las citas
ANECA. Indicios de calidad. Principios generalesANECA. Indicios de calidad. Principios generalesC
RIT
ER
IOS
DE E
VA
LU
AC
IÓN
La cuestión de la autoría de los trabajos
LA AUTORÍA. CNEAI-ANECA¿Qué dice CNEAI de la autoría?
LA AUTORÍA. CNEAI-ANECA¿Qué quieren evitar?
LA AUTORÍA. CNEAI-ANECA ¿Cuál debe ser el número de autores?
Categoría Categoría
Agricultura 44 Matemáticas 22
Ciencias de la Alimentación 44 Ing. Mecánica, naval, … 33
Ingeniería Civil y Arquitectura 33 Medicina 55
Ciencias Computación / Informática 33 Bioquímica y Biología Molecular 55
Ciencias Sociales 2/32/3 Psicología 33
Derecho 22 Química 44
Economía 2/32/3 Comunicaciones 33
Ing. Eléctrica y Electrónica 44
Farmacia y Farmacología 55
Filosofía, Filología 11
Ganadería y Pesca 55
Historia 11
Ciencias materiales 55
Número de autores (aprox.) en trabajos en revistas Web of ScienceNúmero de autores (aprox.) en trabajos en revistas Web of Science(Principalmente internacionales y anglosajonas)(Principalmente internacionales y anglosajonas)
¿Cuántas publicaciones?
Ciencias sociales
ANECA. ANECA. Número de publicaciones para obtener la puntuación máxima
CNEAI. CNEAI. Número mínimo de artículos en revistas científicas para obtener el sexenio
LA AUTORÍA. CNEAI-ANECAANECA revistasCampo 7: ¿Cuántas publicaciones?
• Sociología, Ciencia Política y de la Administración, Educación, Comunicación, Periodismo :
a) al menos una de las aportaciones debe ser un libro de difusión o referencia internacional
b) o bien que dos de las aportaciones sean artículos publicados en revistas del del «Social Science Citation Index» y el Science Citation Index (Institute for Scientific Information -ISI-, Philadelphia, PA, USA)
c) o bien que tres de las aportaciones sean artículos publicados en revistas listadas en otras bases de datos nacionales o internacionales, (por ejemplo, ERIH, INRECS, LATINDEX, SCOPUS, DICE-CINDOC, etc.) o aquellas revistas acreditadas por la FECYT
• C. Comportamiento: a) al menos dos aportaciones en revistas JCR del SSCI o del SCI
CIE
NC
IAS
SO
CIA
LE
S
CIE
NC
IAS
SO
CIA
LE
S
LA AUTORÍA. CNEAI-ANECAANECA revistasCampo 8: ¿Cuántas publicaciones?• Económicas, Empresariales: a) al menos un artículo en revista con impacto significativo dentro de los
JCR del SSCI; b) o varios en revistas de menor impacto, c) o bien, en las áreas en las que los libros son un medio habitual de
difusión de la investigación, que una aportación sea un libro monográfico de investigación que cuente con difusión y referencia internacional; o bien que varias aportaciones sean colaboraciones en libros que cuenten con difusión y referencia internacional
• Geografía: a) una de las aportaciones debe ser un libro monográfico de
investigación que cuente con difusión y referencia internacional y otra un artículo publicado en una revista que cumpla las condiciones de los apartados 3.b o 3.c;
b) o bien que dos aportaciones sean artículos publicados en revistas que cumplan las condiciones de los apartados 3.b o 3.c;
c) o bien que una de las aportaciones sea un artículo publicado en una revista que cumpla las condiciones de los apartados 3.b o 3.c y otra un capítulo de un libro de investigación que cuente con difusión y referencia internacionalC
IEN
CIA
S S
OC
IAL
ES
C
IEN
CIA
S S
OC
IAL
ES
La búsqueda de los indicios de calidad
Indicios de calidad librosCNEAI, ANECA, ANEP
Criterios CNEAI ANECA
ANEP
Número de citas generadas (cantidad y calidad) Prestigio de la editorial, los editores, la colección en la que se
publica la obra CCSS
Reseñas en las revistas científicas especializadas Riguroso proceso de selección y evaluación de originales Que no estén publicados por la misma institución en la que
trabaja el investigador, salvo que ésta satisfaga los criterios especificados en el Apéndice 1
Traducciones de la propia obra a otras lenguas PCD
Inclusión en bibliografías independientes del autor y su entorno
Presencia en bases de datos, repertorios bibliográficos especializados y catálogos de bibliotecas universitarias
Acreditar un proceso de selección riguroso mediante evaluadores externos a las Universidades de la Comunidad Autónoma (Derecho)
JURID.
Obras de referencia imprescindibles en los estudios grado y postgrado
HUM
Poseer ISBN (imprescindible)
Indicios de calidad de los libros¿Dónde y cómo buscarlos?
• Número de citas generadas– Web of Science: Todas las disciplinas– Scopus: Especialmente las científico-técnicas– Google Scholar/Books: Todas las disciplinas. Especialmente
útil en Ciencias Sociales, Humanidades, Ingenierías
• Prestigio de la editorial o de los editores– No existe ninguna herramienta para buscar este indicio
• Reseñas en las revistas científicas especializadas– Bases de datos de la especialidad: Medline, Sociological
Abstracts, MLA, Historical Abstracts…. En España: DIALNET y bases de datos del CSIC– Bases de datos multidisciplinares: Scopus y Web of Science– Google: Ojo no en Google Scholar
• Riguroso proceso de selección y evaluación de originales– Documentos internos de la propia editorial (publicados en la
red o no)
LA AUTORÍA. CNEAI-ANECAIndicio: Número de citasPara localizar las citas en Web of Science bien buscamos directamente Para localizar las citas en Web of Science bien buscamos directamente nuestro artículo en el menú convencional y vemos nuestro artículo en el menú convencional y vemos Times Cited o o utilizamos la opción utilizamos la opción Cited Reference Search.
Ojo son dos formas diferentes de localizar citas en una misma base de datos y puede dar resultados diferentes. La primera es exclusiva para revistas indexadas en WoS.
LA AUTORÍA. CNEAI-ANECAIndicio: Número de citasY la segunda encuentra las citas a un artículo, libro, … (incluso si no está recogido en WoS) pero ha sido citado desde las revistas indizadas en WoS
LA AUTORÍA. CNEAI-ANECAIndicio: Número de citasSCOPUSSCOPUS
LA AUTORÍA. CNEAI-ANECAIndicio: Número de citasGoogle ScholarGoogle Scholar
OJO OJO Se alimenta de documentos en la Web: Son clave los REPOSITORIOS, Catálogos de Bibliotecas, Catálogos Comerciales de revistas, Productos propios de Google (google books, google patents)
Existen programas y aplicaciones que nos pueden ayudar a trabajar con GS:Existen programas y aplicaciones que nos pueden ayudar a trabajar con GS:
• Publish or Perish de Anne-Wil Harzing:Publish or Perish de Anne-Wil Harzing: http://www.harzing.com/pop.htm http://www.harzing.com/pop.htm• Citation-Gadget: Citation-Gadget: http://code.google.com/p/citations-gadget/• TenurometerTenurometer: http://tenurometer.indiana.edu/download.html
LA AUTORÍA. CNEAI-ANECALibros y capítulos: Google BooksGoogle Books, una herramienta interesante para buscar citasGoogle Books, una herramienta interesante para buscar citas
LA AUTORÍA. CNEAI-ANECALibros y capítulos: buscando en catálogos
En REBIUN podemos ver en que biblioteca académica/ universitaria española está nuestro libro.
A nivel internacional disponemos de otros catálogos colectivos como:
- COPAC (Reino Unido)- World Cat (Mundial)
Indicios de calidad de las revistas¿Dónde y cómo buscarlos?
• Factor de impacto de la revista
• Número de citas de un artículo• Bases de datos en las que figura una
revista• Satisfacer criterios de calidad editorial
LA AUTORÍA. CNEAI-ANECAIndicio: Índices de Impacto¿Qué productos ofrecen Índices de Impacto¿Qué productos ofrecen Índices de Impacto
PRODUCTOPRODUCTO ÁREAÁREA DOMINIODOMINIO CoberturaCobertura
Ciencias y Ciencias y Ciencias Ciencias SocialesSociales
MundialMundial 1987-20081987-2008
Ciencias Ciencias SocialesSociales
EspañaEspaña 1996-20091996-2009
Ciencias Ciencias JurídicasJurídicas
EspañaEspaña 2001-20092001-2009
RESHRESH Ciencias Ciencias Sociales y Sociales y
HumanidadesHumanidades
EspañaEspaña 1999-20041999-2004
Scimago Journal RankScimago Journal Rank CienciasCiencias MundialMundial 1999-20081999-2008
LA AUTORÍA. CNEAI-ANECAEl Universo Thomson
WEB OF SCIENCEWEB OF SCIENCEWEB OF SCIENCEWEB OF SCIENCE
SCISCIScience Science Citation Citation
IndexIndex
(7858)(7858)
SSCISSCISocial Science Social Science Citation IndexCitation Index
(2553)(2553)
A&HCIA&HCIArt & Art &
Humanities Humanities Citation IndexCitation Index
(1462)(1462)
WEB OF KNOWLEDGE (WOK)WEB OF KNOWLEDGE (WOK)WEB OF KNOWLEDGE (WOK)WEB OF KNOWLEDGE (WOK)
JCRJCRJournal Journal
Citation Citation ReportsReports
ESIESIEssential Essential ScienceScience
IndicatorsIndicatorsImpactImpactFactorFactor(8200)
Los Journal Citation Reports
• ¿Qué año tomar para justificar el impacto del trabajo?• ¿Dónde encontrar los JCR anteriores a 2000?• ¿Qué categoría temática elegir?• ¿Cómo se averigua la posición de la revista?
– Cuartiles, tercios, mediana ...
Aprendiendo a usar el Factor de Impacto Aprendiendo a usar el Factor de Impacto
LA AUTORÍA. CNEAI-ANECAIndicio: Índice de Impacto
El Journal Citation ReportsEl Journal Citation Reports(JCR)(JCR)
LA AUTORÍA. CNEAI-ANECAIndicio: Índice de Impacto
In-Recs e In-RecjIn-Recs e In-Recj
Interesante también como Indicio
LA AUTORÍA. CNEAI-ANECADICELA AUTORÍA. CNEAI-ANECAIndicio: Índice de Impacto
RESHRESH
LA AUTORÍA. CNEAI-ANECAIndicio: Índice de Impacto
SJRSJR
Buscando citas de artículos
Buscar en SEARCH en el campo TITLE el título del trabajo
El número de citas figura en el epígrafe TIME CITED
Buscando las citas de un artículo Buscando las citas de un artículo
Aprendiendo a busar citas de un trabajo o un autor en la Web of Aprendiendo a busar citas de un trabajo o un autor en la Web of ScienceScience
• Incluir el título de la revista y truncarlo (*) para obtener variaciones
• Para los libros incluir las tres/cuatro primeras letras del título que no sean artículos, preposiciones…
Aprendiendo a busar citas de un trabajo o un autor en la Web of Aprendiendo a busar citas de un trabajo o un autor en la Web of ScienceScience
Buscando las “CITAS PERDIDAS” de un artículo Buscando las “CITAS PERDIDAS” de un artículo
Buscar en Cited Reference Search
ATENCIÓN
Realizar la búsqueda por el nombre del primer autor firmante del trabajo
(Los … precediendo al apellido significa que el autor no es el primer firmante)
• Incluir las variantes del nombre del autor, especialmente si es compuesto: forma abreviada (mayoral l*) o completa: (normal: ruiz jimenez r*) o (fusionada: ruizjimenez r*)
Aprendiendo a busar citas de un trabajo o un autor en la Web of Aprendiendo a busar citas de un trabajo o un autor en la Web of ScienceScience
Buscando las “CITAS PERDIDAS” de un artículo Buscando las “CITAS PERDIDAS” de un artículo
Buscar en Cited Reference Search
LA AUTORÍA. CNEAI-ANECAIndicio: Número de citasEn In-Recs e In-Recj también podemos buscar citasEn In-Recs e In-Recj también podemos buscar citas
Bien en los rankings de autores
Bien en el menú de búsqueda
Comparando nuestro trabajo Comparando nuestro trabajo
Con el resto de los artículos publicados en la revista ese Con el resto de los artículos publicados en la revista ese mismo añomismo año
Con el resto de los trabajos publicados en el mundo en nuestra especialidad
• Usar los ESI (Essential Science Indicators): para trabajos excepcionales. Comparándolos con la media mundial
Comparando nuestro trabajo Comparando nuestro trabajo
LA AUTORÍA. CNEAI-ANECAIndicio: Presencia en bases de datos
INDICADOR VÁLIDO PARA TODAS LAS ÁREAS y AGENCIASINDICADOR VÁLIDO PARA TODAS LAS ÁREAS y AGENCIAS
Antes de ingresar en una base de datos las revistas científicas Antes de ingresar en una base de datos las revistas científicas deben someterse a una evaluación sobre su calidad formal y deben someterse a una evaluación sobre su calidad formal y científica. Por ello una presencia mayor en bases de datos se científica. Por ello una presencia mayor en bases de datos se considera un indicador de calidad al haberse superado más considera un indicador de calidad al haberse superado más filtros.filtros.
LA AUTORÍA. CNEAI-ANECAIndicio: Presencia en bases de datos
Vale, y ahora como sé en que base de datos está la revista:Vale, y ahora como sé en que base de datos está la revista:
1. La propia revista nos da está información
LA AUTORÍA. CNEAI-ANECAIndicio: Presencia en bases de datos
Vale, y ahora como sé en que base de datos está la revista:Vale, y ahora como sé en que base de datos está la revista:
2. Existen productos especializados en ofrecer esta información
PRODUCTOPRODUCTO ÁREAÁREA DOMINIODOMINIO
ULRICH´SULRICH´S Todas las disciplinasTodas las disciplinas MundialMundial
LATINDEXLATINDEX Todas las disciplinasTodas las disciplinas IberoamericanoIberoamericano
DICEDICE Sociales/HumanidadesSociales/Humanidades EspañaEspaña
LA AUTORÍA. CNEAI-ANECAIndicio: Presencia en bases de datos
Vale, y ahora como sé en que base de datos está la revista:Vale, y ahora como sé en que base de datos está la revista:
2. Existen productos especializados en ofrecer esta información
LA AUTORÍA. CNEAI-ANECAIndicio: Presencia en bases de datos
Vale, y ahora como sé en que base de datos está la revista:Vale, y ahora como sé en que base de datos está la revista:
2. Existen productos especializados en ofrecer esta información
LA AUTORÍA. CNEAI-ANECAIndicio: Presencia en bases de datos
Vale, y ahora como sé en que base de datos está la revista:Vale, y ahora como sé en que base de datos está la revista:
2. Existen productos especializados en ofrecer esta información
LA AUTORÍA. CNEAI-ANECAIndicio: Presencia en bases de datos
Por ejemplo, éste es el de la Por ejemplo, éste es el de la Web of KnowkledgeWeb of Knowkledge: WOS, SCI, SSCI, A&HCI, etc…: WOS, SCI, SSCI, A&HCI, etc…
LA AUTORÍA. CNEAI-ANECACNEAI. Revistas FECYT
• En la última convocatoria para los campos de sociales y humanidades se contemplan las revistas acreditadas por la FECYT.
ESTAS REVISTAS LAS PODEMOS LOCALIZAR EN LA WEB:
http://recyt.fecyt.es/index.php/index/recyt/resolucion
• Las revistas que han superado el primer proceso de evaluación de calidad de FECYT son las siguientes: TABLA 1
• Las revistas que solicitaron la evaluación y que ya indexa Thomson Reuters son las siguientes: TABLA 2.
Son un total de 43 revistas
LA AUTORÍA. CNEAI-ANECACNEAI. Revistas FECYT
Criterios calidad editorial revistas científicas CNEAI y ANECA (I)
Criterios CNEAI ANECA
Identifica los miembros de los Comités Editoriales y Científicos
Cuenta con Instrucciones a Autores detalladas Traduce el Sumario de cada número al inglés así como el
título de los artículos, las palabras clave y los resúmenes
Informa sobre el proceso que emplea para la evaluación y selección de manuscritos
Declara la periodicidad y la cumple Utiliza el arbitraje científico en la evaluación de originales y lo
cumple
Declara emplear doble anonimato en la revisión externa y lo cumple
Comunica a los autores la decisión editorial de forma motivada
Cuenta con un Consejo de Redacción efectivo Cuenta con un Consejo Asesor efectivo
Criterios calidad editorial revistas científicas
CNEAI y ANECA (II)
Criterios CNEAI ANECA
Al menos el 50% de los artículos son trabajos que comunican resultados de investigación originales
Al menos el 80% de los autores son ajenos a los Comités Editoriales
Al menos el 80% de los autores son ajenos a la organización editora / patrocinadora de la revista
La tasa de aceptación de trabajos es igual o menor al 60% Está indexada en los JCR de las bases de datos de la Web of
Knowledge de Thompson Scientific (SCI, SSCI
Está recogida en la principal base de datos internacional de su especialidad (por ejemplo. CAB Abstracts, Sociological Abstracts, Historical Abstracts, Econlit, PsycINFO, Philosopher`s Index, MLA, ERIC…), o en catálogo Latindex, DICE
Está recogida en la base de datos española del CSIC que le corresponda por su especialidad (ISOC, ICYT, IME)
Indicios de calidad de las revistas¿Dónde y cómo buscarlos? V
Satisfacer criterios de calidad editorial
– Latindex: Revistas iberoamericanas
– DICE: Difusión y Calidad editorial de las revistas españolas de Humanidades y Ciencias Sociales
– Cotejarlos con la propia revista
LA AUTORÍA. CNEAI-ANECAIndicio: Catálogo y Criterios Latindex
PRODUCTOPRODUCTO ÁREAÁREA DOMINIODOMINIO
LATINDEXLATINDEX Todas las disciplinasTodas las disciplinas IberoamericanoIberoamericano
LA AUTORÍA. CNEAI-ANECAIndicio: Catálogo y Criterios Latindex
LatindexLatindex
El proceso administrativo y evaluativo
LA AUTORÍA. CNEAI-ANECA Documentación
http://www.educacion.es/horizontales/ministerio/organismos/cneai/convocatoria-sexenios.html
LA AUTORÍA. CNEAI-ANECALa aplicación informática CNEAI
LA AUTORÍA. CNEAI-ANECAAplicación informática: datos básicos
LA AUTORÍA. CNEAI-ANECAAplicación informática: el tramo
LA AUTORÍA. CNEAI-ANECAAplicación informática: la aportación
Modo evaluación
Ejemplo de evaluación CNEAI
Muchas gracias por su atenciónEmilio Delgado López-Cózar
edelgado@ugr.esEvaristo Jiménez Contreras
evaristo@ugr.es Rafael Ruiz Pérez
rruiz@ugr.es
http://ec3.ugr.eshttp://ec3noticias.blogspot.com