El Programa de Investigacion del...
Transcript of El Programa de Investigacion del...
-
El Programa de Investigacion del FMI Relevancia y Utilización
1999-2008
CEPAL Enero 2012
Ruben Lamdany Sub-director
Oficina de Evaluación Independiente del FMI
-
Estructura de la presentación
• Contexto y metodología
• Resultados
–Relevancia y Utilización
–Calidad técnica
–Gestión del programa
• Recomendaciones
2
-
Contexto
• 6500 publicaciones entre 1999-2008 – “Surveillance”: WEO, GFSR, REO, SIP
– Quasi-académico: WP, publicaciones externas
• 10% del presupuesto administrativo
• Diez años desde la evaluación externa de 1999 (Mishkin Report)
3
-
Publicaciones por departamento de origen (1999-2008)
RES FAD MCM Other Functional
Area Dptmt
Total
SIP 2,402 2,402
WEO 62 62
REO 55 55
GFSR 8 31 39
WP 500 293 307 492 878 2,470
External Publications
395 131 73 284 262 1,145
Others 1 29 39 43 38 101 240
Total 994 463 454 814 3,698 6,423
1 Others include Books, Conference Volumes, Occasional Papers, Policy discussion papers/Staff Position Notes, Pamphlets and IMF Special Issues
4
-
Preguntas principales de la evaluación
• ¿Qué tan relevante fueron los estudios del Fondo, para las autoridades, el staff del Fondo, académicos y otros organismos internacionales?
• ¿Cómo fueron utilizados?
• ¿Cuál fue su calidad técnica?
• ¿Manejo del programa? – Prioridades, consulta, coordinación, diseminación.
5
-
Métodos de la evaluación
• Encuestas – 75% de los países miembros
– 60% de los economistas del FMI
• 350 entrevistas semi-estructuradas – Autoridades de más de 30 países,
– Centros de investigación, academia, otras organizaciones internacionales
– Economistas del FMI
• Análisis de documentos – Catálogo de publicaciones
– Paneles para analizar la calidad técnica
– Estudio de citas 6
-
Resultados
7
-
Resultados Principales • Un volumen muy grande de publicaciones
• Muchos de estos productos son muy leídos e influyentes en la formulación de políticas
• Sin embargo, su utilización fue disminuida por:
– Insuficiente consultas acerca de los temas de investigación
– La falta de contexto nacional e institucional
– “message driven”: la investigación esta controlada por el mensaje
– Muchos productos de baja calidad
• Gestión de la investigación poco efectiva
– Prioridades, control de calidad y diseminación 8
-
Las opiniones sobre los productos varían mucho…
• WEO: ampliamente leído
• GFSR: leído en bancos centrales
• REO: calidad muy variable. Apreciado solo en Africa
• SIP: papel importante en discusiones con el FMI. Baja calidad y muy variable
• WP: Amplia variación de calidad y sesgos ideológicos.
– 5-10% constituyen un riesgo reputacional y un 30% tienen importantes deficiencias técnicas 9
-
Relevancia y Utilización
10
-
Relevancia y utilización • Muchos estudios son muy conocidos e utilizados
– La mayoría de las autoridades pudo identificar alguna publicación que fue relevante para la formulación de políticas en sus países y/o en el diálogo con el Fondo
• Alrededor del 40% del Staff reportó que usaba con mucha frecuencia la investigación del FMI
– En departamentos de área se usó con mucha frecuencia la investigación producida por FAD y MCM, mucho menos de RES
• La mayoría del Staff encontró que los temas fiscales estaban bien cubiertos, pero menos de un cuarto sobre estudios financieros
-
Obstaculos para la relevancia y utilización
• Brechas en la cobertura: e.g., vínculos macro-financieros, política monetaria, controles de capital
• Falta de consulta sobre temas para los SIP
• Falta de contexto nacional e institucional
• No esta alineado con el interes de los “consumidores”:
– Demasiado teórico y con poca aplicabilidad práctica
• Difícil destilar resultados relevantes y implicaciones de política a través de la vasta producción
• Las recomendaciones de política basadas en estudios cross-country no son prácticas 12
-
Message-driven • Cerca de la mitad de las autoridades consideró
que la investigación está influida por las politicas y las recomendaciones del Fondo
• Las autoridades también dijeron que la investigación contiene conclusiones predecibles dentro de un conjunto limitado de puntos de vista y que las recomendaciones a menudo no se derivan del análisis
• Más de la mitad del personal sintió presión para alinear conclusiones con las posiciones del FMI
• Demasiado control sobre el mensaje, insuficiente control de calidad
13
-
Calidad Técnica
14
-
Calidad técnica muy variable
• Los capítulos analíticos del WEO y del GFSR fueron consistentemente considerados de alta calidad
• Pero la calidad de los SIP varía considerablemente
– en 25% de los SIPs hay una desconexión entre las preguntas, los datos y las técnicas empleadas
• REO: prescriptivos pero con insuficiente fundamento
• Los WP muy desiguales, algunos de primera clase
– Pero 40% tienen importantes deficiencias técnicas
• Publicaciones del FMI citan sobre todo otras investigaciones realizadas por el FMI
-
Paneles de expertos
• Paneles Académicos
– WP sobre temas fiscales (Ingresos)
– WP sobre modelos para politica monetaria
• Paneles de Profesionales
– WEO/GFSR
– REO
– SIP
-
Calificación de estudios monetarios
Rating Empirical Theoretical Country studies
Thought pieces ALL
Superior 7 4 1 0 12
Above Average 18 12 4 1 35
Average 15 8 17 1 41
Below average 7 2 14 4 27
Unsatisfactory 1 0 2 2 5
Total 48 26 38 8 120
Average 3.5 3.7 2.7 2.1 3.2
Note: the scale was 1–5, where S=5 and U=1. 17
-
Estudio de Citas
• 30% de los WP fueron publicados en revistas externas
• 40% de los WP fueron citados
• Las citas del 10% de publicaciones mas citadas aumentaron con el tiempo
• Comparacion positiva con 7 instituciones relevantes – Banco de Canadá
– FED: Board of Governors, NY, San Francisco
– BID
– OCDE
– Banco Mundial
• Más autocitas que en otras instituciones 18
-
Datos básicos sobre WPs y citas
19
Number of WPs
in Sample Overall citations
Citations by peer
institutions Non Self- Citing 4/
IMF 2016 5405 1808 462
FED 2/ 2604 7384 1771 845
WB 2092 4576 1591 297
Others 3/ 1910 2637 618 218
Total 8622 20002 5788 1822
Source: IEO Estimates.
1/ Only inlcudes citation with a 2 year window after publication, written from 1999-2006.
2/ Includes the FRB, FED NY and FED SF.
3/ Includes the OECD, BCA and IDB.
4/ Non Self Citing (NSC) within peer institutions but not itself.
Table 1: citation of Working Papers 1/
-
Citas en publicaciones de otras instituciones
Number of Citations by Peer Institutions 1/
BCA FEDSF FRB FEDNY IDB IMF WBK Total
BCA 170 2 9 3 18 2 204
FEDSF 42 298 102 28 4 49 18 541
FRB 34 154 451 80 7 100 29 855
FEDNY 24 35 65 177 6 45 22 374
IDB 1 11 5 1 230 31 24 303
IMF 40 82 43 32 63 1346 202 1808
WBK 10 21 28 4 83 151 1294 1591
Total 321 603 703 325 393 1740 1591 5676
Source: IEO estimates.
1/ Only includes citation with a 2 year window after publication, written from 1999-2006.
Citations across denote citations of that institution’s work at other organizations.
20
-
Características de las publicaciones más usadas
• Preguntas y presentación relevantes para la audiencia correspondiente
• Marco analítico adecuado y probado
• Análisis cuidadoso - con conclusiones y recomendaciones consistentes
• Suficientes recursos dirigidos a la revisión de calidad y diseminación
21
-
Gestión del Progrma de Investigación
22
-
Gestión de la investigación
• Nadie es responsable por el programa de investigación a través de toda la institución
– Cada departamento organizó su agenda de investigación de manera independiente
• Poca consulta y colaboración con los países miembros sobre prioridades
• Poca colaboración entre departamentos
• No hay procesos uniformes para control de calidad, ni estándares sobre niveles de calidad
• Diseminación muy limitada (excepto WEO y GFSR)
-
Recomendaciones
24
-
Recomendaciones
• Para incrementar la relevancia: Consultar, colaborar y prioritizar
• Para mejorar la calidad: Mejorar el control de calidad
• Para promover nuevas perspectivas: la apertura a perspectivas : Incentivos
• Para mejorar la gestión: Designar responsable de asignar recursos, establecer estándares, y consultar con los miembros
25
-
Para incrementar la relevancia
• Revisión estratégica periódica de las diferentes publicaciones
• Preparar una agenda indicativa de investigación de mediano plazo
• Consultar con las autoridades sobre temas de investigación
• Los resultados preliminares deberían ser discutidos con las autoridades y con expertos locales
• Mas tiempo en cada equipo de país
26
-
Mejorar la calidad técnica
• Mejor calidad – menos publicaciones
• Estándares de calidad
• Establecer un control de calidad y procesos de revisión
• Incentivos para el staff 27
-
Promover perspectivas alternativas
• Cultivar un ambiente innovador
– Difícil para SIPs, WEO y otros documentos de surveillance
• Cambios en los incentivos y en la cultura institucional
• Permitir la publicación de WP con puntos de vista que difieran de la política del FMI
• Incentivos para colaborar con autoridades nacionales con diferentes puntos de vista
28
-
Mejorar la gestión
• Coordinador de Investigación
• Agenda y asignación de recursos
• Estándares para la revisión y la calidad
• Difusión y cobertura
• Informe anual al Directorio y a los miembros de las prioridades y los logros
29
-
Discusión del Directorio
• Directores están de acuerdo con la mayoría de las recomendaciones
• Llevar a cabo una revisión periódica de cada tipo de publicación empezando con un examen de los REO
• Mas consulta con las autoridades nacionales sobre temas y estructura de SIPs y REOs
• Promover mas coordinación y colaboración dentro del FMI y con autoridades
• Mejorar los controles de calidad 30
-
Mensajes a las autoridades como clientes del FMI
• Para realzar la relevancia – Proponer temas para los SIPs y REO
– Talleres sobre proyectos de investigación en curso
– Proponer proyectos conjuntos de investigación
• Para mejorar la calidad – Solicitar que departamentos funcionales
participen en el control de calidad de SIPs y REO
– Involucrar al equipo del WEO para que obtenga una perspectiva multilateral en la investigación regional y bilateral
31
-
Gracias!
-
Visítenos en www.ieo-imf.org