Post on 07-Dec-2014
description
Calidad de revistas y evaluación de la actividad
investigadora
Presentación general del contexto de la publicación científica y su evaluación. Indicadores relacionados con “el
impacto “ de las revistas
Ana Cabeza Llorca – Octubre 2009 2
Indicadores relacionados con "el impacto" de las revistas científicas
1. Bibliometría y cienciometría
2. Evaluación de la actividad científica
3. Análisis de la producción literaria
4. Análisis de citas
5. Índices e indicadores
Ana Cabeza Llorca – Octubre 2009 3
Indicadores relacionados con "el impacto" de las revistas científicas
5. Índices e indicadores
i. Citation Indexes
ii. Journal Citation Reportsa. Factor de impacto
b. Índice de inmediatez, cuartil, eigenfactor, article influence
iii. Índices desarrollados en España
iv. Otros indicadores de impacto: índice/factor h, PageRank, SJR
Ana Cabeza Llorca – Octubre 2009 4
Indicadores relacionados con "el impacto" de las revistas científicas
[...] llegando a establecer lo que yo llamaría una “estadística de las ideas”, a fin de precisar con todo rigor el instante cronológico en que una idea brota, el proceso de su expansión, el período exacto que dura como vigencia colectiva y luego la hora de su declinación, de su anquilosamiento en mero tópico, en fin, su ocaso tras el horizonte del tiempo histórico.
Ortega y Gasset (Misión del bibliotecario)
Ana Cabeza Llorca – Octubre 2009 5
Indicadores relacionados con "el impacto" de las revistas científicas
Años 60 del s. XX:
Bibliometría / Cienciometría o Ciencia de la ciencia
Ana Cabeza Llorca – Octubre 2009 6
Indicadores relacionados con "el impacto" de las revistas científicas
Bibliometría:
Estudios sobre la producción, comunicación y consumo de información científica enfocados a la gestión de bibliotecas (desarrollo de colecciones y servicios)
Ana Cabeza Llorca – Octubre 2009 7
Indicadores relacionados con "el impacto" de las revistas científicas
Documentación científica
Sociología de la Ciencia
Historia social de la Ciencia
Cienciometría / Ciencia sobre la Ciencia
Ana Cabeza Llorca – Octubre 2009 8
Indicadores relacionados con "el impacto" de las revistas científicas
Cienciometría / Ciencia sobre la Ciencia:
• Evaluación de la actividad científica
• Evaluación de la pertinencia
• Evaluación de la eficacia de la gestión
Ana Cabeza Llorca – Octubre 2009 9
Indicadores relacionados con "el impacto" de las revistas científicas
Evaluación de la actividad científica
• Identificar puntos fuertes y débiles
• Impacto de la financiación pública
Personas Organismos Disciplinas
Ana Cabeza Llorca – Octubre 2009 10
Indicadores relacionados con "el impacto" de las revistas científicas
Evaluación de la actividad científica
Análisis de la producción literaria
Análisis de citas
Índices e indicadores
Ana Cabeza Llorca – Octubre 2009 11
Indicadores relacionados con "el impacto" de las revistas científicas
Producción literaria de un científico:
Informes
Notas técnicas
Libros
Tesis
Evaluaciones
Reglamentos
...
Artículos
Ponencias y comunicaciones
Patentes
Ana Cabeza Llorca – Octubre 2009 12
Indicadores relacionados con "el impacto" de las revistas científicas
Busca información de
otros
Realiza su investigación:
Cita a otros
Publica su trabajo:
Difusión
Debate público
Produce información para
otros
El investigador inicia su trabajo….
La comunicación científica
Ana Cabeza Llorca – Octubre 2009 13
Indicadores relacionados con "el impacto" de las revistas científicas
Inherente a la dinámica de la ciencia
Necesidad para evaluación:
Promoción Financiación Becas ...
Consumir y producir información escrita
Ana Cabeza Llorca – Octubre 2009 14
Indicadores relacionados con "el impacto" de las revistas científicas
Evaluación de la actividad científica
Análisis de la producción literaria
Análisis de citas
Índices e indicadores
Ana Cabeza Llorca – Octubre 2009 15
Indicadores relacionados con "el impacto" de las revistas científicas
Utilidad de las citas: Conexiones entre autores Conexiones entre grupos de
investigación Conexiones entre temas de estudio Conexiones entre zonas geográficas Impacto de los autores, obras y revistas
sobre la comunidad científica
Ana Cabeza Llorca – Octubre 2009 16
Indicadores relacionados con "el impacto" de las revistas científicas
Razones por las que se cita: Exposición abreviada de contenidos ya
expuestos en detalle con anterioridad Proveer lectura de fondo para profundizar Homenaje a los “pioneros” de un tema Acreditar trabajos relacionados
Ana Cabeza Llorca – Octubre 2009 17
Indicadores relacionados con "el impacto" de las revistas científicas
Desarrollo de ideas o métodos iniciados en trabajos previos
Evidencias adicionales a conclusiones previas
Comparación de métodos Conocimiento de teorías anteriores Corrección o crítica de trabajos previos
Ana Cabeza Llorca – Octubre 2009 18
Indicadores relacionados con "el impacto" de las revistas científicas
...Y también: Omisión de citar a todos los autores Se cita incluso a los ayudantes de
laboratorio, informáticos, etc. Citas de conveniencia “Referencias cosméticas” Autocitas Obliteración
Ana Cabeza Llorca – Octubre 2009 19
Indicadores relacionados con "el impacto" de las revistas científicas
Evaluación de la actividad científica
Análisis de la producción literaria
Análisis de citas
Índices e indicadores
Ana Cabeza Llorca – Octubre 2009 20
Indicadores relacionados con "el impacto" de las revistas científicas
5. Índices e indicadores
i. Citation Indexes
ii. Journal Citation Reportsa. Factor de impacto
b. Índice de inmediatez, cuartil, eigenfactor, article influence
iii. Índices desarrollados en España
iv. Otros indicadores de impacto: índice/factor h, PageRank, SJR
Ana Cabeza Llorca – Octubre 2009 21
Indicadores relacionados con "el impacto" de las revistas científicas
Definición de índice:
En un libro u otra publicación, lista ordenada de los capítulos, artículos, materias, voces, etc., en él contenidos, con indicación del lugar donde aparecen.
(DRAE, 22a. ed.)
Ana Cabeza Llorca – Octubre 2009 22
Indicadores relacionados con "el impacto" de las revistas científicas
Definición de indicador:
Expresión utilizada para describir actividades en términos cuantitativos y cualitativos con el fin de evaluarlas de acuerdo con un método.
(ISO 11620, UNE 50137)
Ana Cabeza Llorca – Octubre 2009 23
Indicadores relacionados con "el impacto" de las revistas científicas
Principales indicadores de evaluación:
1. Cómputo de publicaciones
2. Cómputo de citas = Indicadores de impacto
a. Trabajos (núm. total de citas)
b. Revistas (media de artículos citados)
Ana Cabeza Llorca – Octubre 2009 24
Indicadores relacionados con "el impacto" de las revistas científicas
+ CITAS
+ IMPACTO (VISIBILIDAD)
+ PRESTIGIO DE LA FUENTE
¿+ CALIDAD?
Ana Cabeza Llorca – Octubre 2009 25
Indicadores relacionados con "el impacto" de las revistas científicas
Primer índice de citas:Science Citation Index
(1961, Institute for Scientific Information)
Web of Science
(Thomson Reuters)
(+Social Sciences Citation Index
+Arts & Humanities Citation Index)
Ana Cabeza Llorca – Octubre 2009 26
Indicadores relacionados con "el impacto" de las revistas científicas
Un sistema bibliográfico que permita al investigador edificar sobre bases fiables
Rastrear conexiones entre ideas y disciplinas
Conocer las repercusiones del propio trabajo
(Garfield, 1955)
Ana Cabeza Llorca – Octubre 2009 27
Indicadores relacionados con "el impacto" de las revistas científicas
REVISTA A
• Art. A1
• Art. A2
• Art. A3
• Art. A4:
• art. B1
• art. C3
REVISTA B
• Art. B1
• Art. B2
• Art. B3
• Art. B4:
• art. A2
• art. A3
• art. C3
REVISTA C
• Art. C1
• Art. C2
• Art. C3
• Art. C4:
• art. A2
• art. C1
• art. B2
Ana Cabeza Llorca – Octubre 2009 28
Indicadores relacionados con "el impacto" de las revistas científicas
En un principio se rastrea el impacto o visibilidad de:
Los autores Los trabajos concretos
Ana Cabeza Llorca – Octubre 2009 29
Indicadores relacionados con "el impacto" de las revistas científicas
... Y posteriormente se explotan esos datos para conocer las revistas que reúnen los trabajos más citados
JCR
(Journal Citation Reports)
Ana Cabeza Llorca – Octubre 2009 30
Indicadores relacionados con "el impacto" de las revistas científicas
Primer indicador de impacto:
Factor de impacto
(Garfield)
+ FI = + prestigio ¿?
+ FI = + calidad de la revista ¿?
El conjunto de revistas con FI + alto son las publicaciones esenciales en ese campo ¿?
Ana Cabeza Llorca – Octubre 2009 31
Indicadores relacionados con "el impacto" de las revistas científicas
El FI de una revista es la media de veces que en un año determinado fueron citados los artículos publicados por esta revista durante los dos años anteriores
Ana Cabeza Llorca – Octubre 2009 32
Indicadores relacionados con "el impacto" de las revistas científicas
Cómo se calcula el FI de una revista:
Número de artículos publicados en esos dos años
Citas que han recibido durante el año x los artículos publicados en los dos años anteriores
Ana Cabeza Llorca – Octubre 2009 33
Indicadores relacionados con "el impacto" de las revistas científicas
Ejemplo. FI en 2008 para Psicothema:
253
307= FI 1.213
Ana Cabeza Llorca – Octubre 2009 34
Ana Cabeza Llorca – Octubre 2009 35
Ana Cabeza Llorca – Octubre 2009 36
Indicadores relacionados con "el impacto" de las revistas científicas
FI instrumento de ayuda a la toma de decisiones:
Desarrollo de colecciones Localizar revistas principales (core journals) Guía para los editores Guía para autores Evaluación de la ciencia por países,
instituciones o autores
Ana Cabeza Llorca – Octubre 2009 37
Indicadores relacionados con "el impacto" de las revistas científicas
Ventajas del FI: Visión global Fácil de entender y manejar No tiene en cuenta la frecuencia,
antigüedad o número de páginas Series temporales Visibilidad de publicaciones recientes
Ana Cabeza Llorca – Octubre 2009 38
Indicadores relacionados con "el impacto" de las revistas científicas
Limitaciones del FI: No sustituye a la revisión por pares Sesgo por lengua y área geográfica Cuentan las citas a cartas, editoriales,... Ventana de 2 años Ventana de 5 años
Ana Cabeza Llorca – Octubre 2009 39
Indicadores relacionados con "el impacto" de las revistas científicas
Fuente: ADLER, R., EWING, J., TAYLOR, P. (2009) Estadísticas de citas: un informe de la Unión Matemática Internacional (IMU)... La Gaceta de la RSME, 12(1), 2009, pp. 23-48
Ana Cabeza Llorca – Octubre 2009 40
Indicadores relacionados con "el impacto" de las revistas científicas
Indicadores complementarios al FI: Índice de inmediatez Cuartil Eigenfactor Article influence
Ana Cabeza Llorca – Octubre 2009 41
Indicadores relacionados con "el impacto" de las revistas científicas
Índice de inmediatez (immediacy index): Mide la rapidez con la que se cita un
artículo. Indica con cuánta frecuencia son citados los artículos de una revista en el mismo año
Ana Cabeza Llorca – Octubre 2009 42
Indicadores relacionados con "el impacto" de las revistas científicas
Cited half-life: n. de años de la publicación en que se acumula el 50% de las citas recibidas
Citing half-life: n. de años en que se acumula el 50% de las citas realizadas
Cited journal listing: lista de las publicaciones que con más frecuencia citan una revista
Ana Cabeza Llorca – Octubre 2009 43
Indicadores relacionados con "el impacto" de las revistas científicas
Citing journal listing: lista de publicaciones que con más frecuencia son citadas por una revista
Cited-only journals: revistas que son citadas pero no citan
Ana Cabeza Llorca – Octubre 2009 44
Indicadores relacionados con "el impacto" de las revistas científicas
Cómo se calcula el índice de inmediatez:
Número de citas a artículos publicados durante el año x
Número de artículos publicados durante el año x
Ana Cabeza Llorca – Octubre 2009 45
Indicadores relacionados con "el impacto" de las revistas científicas
Ejemplo para la revista Psicothema en 2008:
22
144
= 0.153
Ana Cabeza Llorca – Octubre 2009 46
Ana Cabeza Llorca – Octubre 2009 47
Indicadores relacionados con "el impacto" de las revistas científicas
Cuartil: Es cada una de las cuatro partes en que
se divide una lista de revistas ordenadas de mayor a menor impacto.
Las revistas del primer cuartil son las de mayor impacto.
Ofrece un dato para conocer la posición relativa de una revista en su área
Ana Cabeza Llorca – Octubre 2009 48
Ana Cabeza Llorca – Octubre 2009 49
Ana Cabeza Llorca – Octubre 2009 50
Indicadores relacionados con "el impacto" de las revistas científicas
Eigenfactor: Otro indicador de impacto para las
revistas recogidas en JCR Indicador basado en el número de veces
que han sido citados en un año determinado los artículos publicados en esa revista durante los cinco años anteriores
Ana Cabeza Llorca – Octubre 2009 51
Indicadores relacionados con "el impacto" de las revistas científicas
Las diferencias con el FI son: Se cuentan las citas tanto de ciencias como de
ciencias sociales Elimina las autocitas (citas dentro de la misma
revista) Da más valor a las citas aparecidas en las
revistas más importantes. Las revistas más importantes son aquellas que tienen mayor cantidad de citas y consultas (algo similar a un PageRank)
Ana Cabeza Llorca – Octubre 2009 52
Ana Cabeza Llorca – Octubre 2009 53
Indicadores relacionados con "el impacto" de las revistas científicas
Article influence: Indicador comparable al FI del JCR Mide la influencia o impacto medio de un
artículo dentro de su revista Se calcula dividiendo el Eigenfactor por el
número de artículos de la revista
Ana Cabeza Llorca – Octubre 2009 54
Indicadores relacionados con "el impacto" de las revistas científicas
El Article influence se mide respecto de una media de 1. Así, vemos que Science tiene 17 veces la influencia de la revista media recogida en JCR.
(Figura y texto tomados de BERGSTROM, C. (2007) Eigenfactor: measuring the value and prestige of scholarly journals. C&RL news (68)5, May 2007)
Ana Cabeza Llorca – Octubre 2009 55
Ana Cabeza Llorca – Octubre 2009 56
Indicadores relacionados con "el impacto" de las revistas científicas
5. Índices e indicadores
i. Citation Indexes
ii. Journal Citation Reportsa. Factor de impacto
b. Índice de inmediatez, cuartil, eigenfactor, article influence
iii. Índices desarrollados en España
iv. Otros indicadores de impacto: factor h, PageRank, SJR
Ana Cabeza Llorca – Octubre 2009 57
Indicadores relacionados con "el impacto" de las revistas científicas
Índices desarrollados en España: SCImago Ciencias sociales:
• IN-RECS• RESH
Ciencias médicas:• Factor de Impacto Potencial de las
Revistas Médicas Españolas
Ana Cabeza Llorca – Octubre 2009 58
Indicadores relacionados con "el impacto" de las revistas científicas
Otros indicadores de impacto: Índice/Factor h PageRank (Google) SJR ...
Ana Cabeza Llorca – Octubre 2009 59
Indicadores relacionados con "el impacto" de las revistas científicas
Índice h: Establece el número de artículos que
tiene ese autor con tantas o más citas que su factor h.
Ejemplo: un índice h=20 significa que ese científico tiene 20 artículos que han sido citados 20 o más veces
Puede consultarse en WoS y SCImago
Ana Cabeza Llorca – Octubre 2009 60
Indicadores relacionados con "el impacto" de las revistas científicas
Ventajas del índice h: Impacto a lo largo del tiempo Sólo puede crecer o estancarse Permite comparar científicos de distintas
edades Es útil incluso en las carreras científicas
cortas
Ana Cabeza Llorca – Octubre 2009 61
Indicadores relacionados con "el impacto" de las revistas científicas
Inconvenientes del índice h: No tiene en cuenta la calidad de las
revistas No se pueden comparar distintas áreas Depende de si se usa WoK o Scopus “Penaliza” a los autores que publican
poco Incorporado a WoK y a SCImago
Ana Cabeza Llorca – Octubre 2009 62
Indicadores relacionados con "el impacto" de las revistas científicas
H=20 típico de una carrera exitosa después de 20 años investigando
H=35-45 se da entre los mejores científicos H=60 en científicos excepcionales Ejemplo: Ed Witten (físico de Princeton)
h=110 Ejemplo: Manuel Cardona (físico
experimental) h=60
Ana Cabeza Llorca – Octubre 2009 63
Indicadores relacionados con "el impacto" de las revistas científicas
PageRank (Google) Interpreta los enlaces de un recurso que
apuntan a otro como un voto A más “votos”, más importancia y más alto
el PR No todas los recursos tienen el mismo valor
Ana Cabeza Llorca – Octubre 2009 64
Indicadores relacionados con "el impacto" de las revistas científicas
El algoritmo de búsqueda y los criterios de valoración de recursos no son públicos
Se consulta a través de la Google Toolbar y algunas webs de usuarios
Veamos el PR de la BUC aquí En este algoritmo se basan otros
indicadores de impacto nuevos
Ana Cabeza Llorca – Octubre 2009 65
Indicadores relacionados con "el impacto" de las revistas científicas
SJR (Scimago Journal Rank) Desarrollado por el grupo SCImago
Research Group Se calcula sobre Scopus de Elsevier Su algoritmo se basa en el PageRank de
Ana Cabeza Llorca – Octubre 2009 66
Indicadores relacionados con "el impacto" de las revistas científicas
Cuenta el número de enlaces a una revista a través de la citación ponderada de sus documentos en relación con el número de documentos publicados durante el año por cada publicación
Es decir, que el recurso citante no tiene siempre el mismo valor (“citación ponderada”) al estilo del PR
Ana Cabeza Llorca – Octubre 2009 67
Indicadores relacionados con "el impacto" de las revistas científicas
Resumen de índices de publicaciones científicas: Citation indexes Journal Citation Reports (JCR) Scopus SCImago Google Scholar InRECS RESH FI potencial de Revistas médicas españolas
Ana Cabeza Llorca – Octubre 2009 68
Indicadores relacionados con "el impacto" de las revistas científicas
Resumen de indicadores de impacto:
JCR:• Factor de impacto• I. de inmediatez• Cuartil• Eigenfactor• Article influence
Índice h PageRank SJR
Ana Cabeza Llorca – Octubre 2009 69
Indicadores relacionados con "el impacto" de las revistas científicas
Bibliografía: CALLON, M., COURTIAL, J-P., PENAN, H.(1995)
Cienciometría. La medición de la actividad científica: de la bibliometría a la vigilancia tecnológica. Gijón: Trea.
LÓPEZ LÓPEZ, P. (1996) Introducción a la bibliometría. Valencia: Promolibro.
MALTRÁS BARBA, B. (2003) Los indicadores bibliométricos. Fundamentos y aplicación al análisis de la ciencia. Gijón: Trea.
Documentación adicional del curso disponible en línea
Ana Cabeza Llorca – Octubre 2009 70
acabeza@buc.ucm.es