Estándares de evaluación para América Latina y el Caribe

Una presentación abreviada1

La Red de Seguimiento, Evaluación y Sistematización en América Latina y el Caribe (ReLAC) en

colaboración con el Proyecto Fomento a las Capacidades de Evaluación (FOCEVAL) del Ministerio de Planificación (MIDEPLAN) de Costa Rica y el instituto alemán de evaluación, DEval, durante los años 2014 y 2015 impulsaron un amplio proceso de consultas y reuniones con expertos para la formulación de un documento de estándares para la evaluación, teniendo como referencia, al mismo tiempo, los documentos de estándares de las principales asociaciones de evaluadores de los Estados Unidos, Canadá, Europa, África, y de diversas entidades internacionales. Este proceso culminó con la publicación, en el mes de agosto de 2016, de una primera versión.

La idea central de los Estándares de Evaluación es contar con un marco común para la obtención

de evaluaciones de alta calidad y el ejercicio de una buena práctica profesional, teniendo en cuenta la diversidad de contextos que caracteriza la región; estimular el aprendizaje y generación de conocimientos desde la práctica profesional; facilitar la comunicación entre los actores participantes; y, a un nivel más fundamental, contribuir a fomentar una cultura de evaluación y responsabilización social.

En una segunda fase de trabajo se ha venido difundiendo el documento en diversas reuniones y

conferencias, con la expectativa de que sea aplicado, con la debida flexibilidad, y producir una siguiente versión incorporando los aportes provenientes de las experiencias y reflexión sobre su pertinencia y utilidad. En el siguiente cuadro se presentan los estándares, agrupados en 5 dimensiones, adaptadas a la región.

El documento puede ser recuperado del siguiente sitio Web (marcando la palabra español en la última

línea del anuncio): http://www.evalperu.org/destacados/estandares-de-evaluacion-para-america-latina-y-el-caribe

1 Versión abreviada preparada por Luis Soberón A., integrante del grupo de trabajo de Estándares de la ReLAC. Lima, junio de 2018.

1.1 Contextualizar la evaluación 1.2 Descripción detallada del objeto de evaluación 1.3 Preguntas evaluativas relevantes 1.4 Metodología válida y confiable 1.5 Niveles de participación adecuados de los actores involucrados 1.6 Conclusiones relevantes 1.7 Recomendaciones útiles y factibles 1.8 Reportes y comunicación pública efectiva

2.1. Gestión efectiva de la evaluación 2.2. Procedimientos prácticos 2.3. Viabilidad contextual social y política 2.4. Realista

1. EVALUACION RIGUROSA

2. ADECUADA EVALUABILIDAD

5.1. Participación efectiva y consciente 5.2. Propósitos acordados mutuamente 5.3. Valores explícitos 5.4. Información relevante, pertinente y oportuna 5.5. Resultados útiles 5.6. Comunicación y reportes puntuales y apropiados 5.7. Interés por las consecuencias e incidencia

5. RELEVANCIA Y UTILIDAD

4. ADECUADA COMPRENSIÓN CULTURAL

3.1. Respeto del derecho de las personas 3.2. Autonomía 3.3. Transparencia 3.4. Legalidad

4.1. Igualdad y equidad 4.2. Derechos culturales 4.3. Reciprocidad e identidades culturales

3. EVALUACIÓN CONDUCIDA DE ACUERDO CON PRINCIPIOS ÉTICOS Y JURÍDICOS

La experiencia en evaluación de USAID

Miriam Choy

Junio 7, 2018

• Aprender

• Rendición de cuentas

Política de Evaluación en USAID

Evaluaciones de impacto

Evaluaciones de desempeño

6/17/2018 FOOTER GOES HERE 3

Tipos de evaluación en USAID

Evaluacionesútiles de calidad

Decidirevaluar

Planificarevaluación

Ejecutarevaluación

Usarevaluación

6/17/2018 FOOTER GOES HERE 4

Ciclo de la evaluación

Que• Preguntas de evaluación son limitadas y focalizadas

Para quien: • Audiencias son identificadas

Para que:• Uso de la evaluación según audiencias

Cuando• Oportuna

Cómo• Metodología sólida y apropiada para responder a las preguntas

Quien:• Independencia y credibilidad del equipo evaluador

6/17/2018 FOOTER GOES HERE 5

Criterios de calidad……..Diseño de la evaluación

• Es oportuno

• Responde las preguntas de la evaluación

• Hallazgos y conclusiones concisos y basados en evidencia

• Recomendaciones, basadas en hallazgosy son precisas y “accionables”

• Describe la metodología, instrumentos y limitaciones

• Hallazgos a nivel de personas desagregados - hombres/mujeres

Criterios de calidad….. el Reporte Final

Plan de comunicaciones y diseminación

Productos complementarios de acuerdo a la audiencia

Involucrar a los actores en el procesopara generar compromisos de uso

Seguimiento de recomendaciones/acciones

Criterios de calidad…..USO de la evaluación

Integradas en el diseño de estrategias y proyectos

Objetivas/imparcial (unbiased)

Relevantes (útiles) para decisiones futuras

Basadas en los mejores métodos para responder a las preguntas

Orientadas a fortalecer la apropiación/capacidad local

Transparentes

Las evaluaciones en USAID deben ser:

• https://usaidlearninglab.org/evaluation-toolkit

• https://dec.usaid.gov

Herramientas de evaluación de USAID

Gracias

6/17/2018 10

Perspectivas desde el análisis y reflexión académica

Susana Guevara - Docente

Diplomatura de Especialización en Monitoreo y Evaluación de Proyectos y Programas Sociales

¿Qué son los estándares de evaluación

▪ Son orientaciones generales y prácticas para la elaboración de evaluaciones de calidad:▪ Confiables▪ Útiles▪ Éticas▪ Culturalmente apropiadas.

▪ Dos características:▪ Los estándares identifican y definen la calidad de la evaluación y orientan a los

evaluadores y a los usuarios de la evaluación en la búsqueda de la calidad de la evaluación.

▪ No son "leyes", sino son orientaciones obtenidas por consenso.

Diferentes estándares para la evaluación

OECD (2010) UNEG (2005)

Redes / Sociedades de Evaluación

• Sociedad Canadiense de Evaluación – CES (2012)

• Asociación Americana de Evaluación – AEA (2013)

• Red de seguimiento, evaluación y sistematización en ALC –ReLAC (2016)

¿Qué tienen en común las propuestas?

Nombre de la dimensiónCantidad de estándares

OECD UNEG RELAC

Marco institucional (Ej: políticas y planes, difusión, utilidad)

7 5 7

Gestión de la evaluación (Ej: directrices) 12 3 4

Competencias del evaluador (Ej: ética) 11 2 7

Metodología 15 11 8

Calidad (Ej: control de calidad) 1 3 -

Total 46 24 25

¿Qué pasa en el país?

• No si tienen estándares de evaluación

• Existen normas legales que proporcionan el marco de la evaluación (generan la necesidad):• Ley Marco de Modernización de la Gestión del Estado (2002)

• Ley Orgánica de Gobiernos Regionales (2002)

• Ley General del Sistema Nacional de Presupuesto (2004)

• Ley Orgánica del Poder Ejecutivo (2007)

• Política General de Gobierno 2018-2021 (2018)

• Reglamento que regula las políticas nacionales (2018)

¿Qué pasa en el país?

• Se han formulado directrices específicas para sectores:

• MIDIS: Lineamientos para la evaluación, seguimiento y gestión de la evidencia de las políticas, planes, programas y proyectos del Ministerio de Desarrollo e Inclusión Social (2012).

• NINAGRI: Lineamientos para el seguimiento, evaluación del impacto y gestión de la evidencia de las políticas nacionales y sectoriales, planes sectoriales, normas y objetivos de los programas y proyectos especiales (2015).

• MIMP: Normas para el seguimiento y evaluación en el Ministerio de la Mujer y Poblaciones Vulnerables (2016).

¿Qué pasa en el país?

FUNCIONES MIDIS MIMP MINAGRI PRODUCE VIVIENDA

Establecer lineamientos y metodologías

X X X X

Gestión de datos estadísticos X X X

Elaborar estudios e investigaciones X

Elaborar evaluaciones X X X

Proponer indicadores X X X

Diseñar sistemas de monitoreo X X X

Generación de evidencias X X X

Otras X X X X X

Formación en M&E

Surgimiento versión presencial

Surgimiento versión virtual

Reajuste de contenido, colaboración de EvalPerú

Relanzamiento versión virtual

Proceso de revisión y reajuste de contenido

2004

2005

2014

2007: presupuesto por resultados

2009

2017

2012: creación de MIDIS y sistema de SyEde programas sociales

Antes 2004: demanda de CTI

2004: surgimiento de redes

2014: creación de oficinas de SyE en sectores

Perfil de estudiantes

Número de participantes – versión presencial

17

21

18

29

15

33

23 24

17

23

2008 2009 2010 2011 2012 2013 2014 2015 2016 2017

Participantes por sector de procedencia (%)

0.0

10.0

20.0

30.0

40.0

50.0

60.0

70.0

80.0

90.0

100.0

2008 2009 2010 2011 2012 2013 2014 2015 2016 2017

Gobierno ONG CTI Universidad Inst privada Independiente

Fuente: PUCP. DIPLOMATURA. Perfile de estudiantes Fuente: PUCP. DIPLOMATURA. Perfile de estudiantes

Formación en M&E por la Diplomatura en M&E : competencias 2018

Conceptos y enfoques

Gestión MetodologíasComunicación de resultados

Ética y habilidades

blandas

Monitoreo y evaluación

Perfil del egresado 2018

1. Tiene una comprensión histórica del M&E en el Perú y América, Latina, distinguiendo las bases teóricas y metodológicas, las competencias y los estándares de la evaluación para la región de América Latina y el Caribe.

8. Maneja técnicas cualitativas y cuantitativas con enfoque y herramientas participativas para el monitoreo y la evaluación.

2. Reconoce los fundamentos conceptuales que sustentan los métodos cuantitativos y cualitativos de investigación aplicados al M&E , diseñando la línea de base e instrumentos de recolección de información.

9. Diseña la línea de base que se vincula con la evaluación de impacto.

3. Evidencia actitud y comportamiento ético en su intervención como evaluador.

10. Comprende y usa las tecnologías de información en el manejo de grandes volúmenes de datos disponibles para el monitoreo y evaluación de programas y proyectos.

4. Demuestra habilidades blandas necesarias en su desempeño en el campo del M&E.

11. Elabora indicadores de desempeño en los programas y proyectos y aprende a elaborar conclusiones y recomendaciones en base a los resultados de la evaluación.

5. Comprende los fundamentos conceptuales y aplica la metodología para diseñar y gestionar el sistema de M&E, y su contribución en la gestión de programas o proyectos.

12. Diseña una estrategia de análisis de costo-eficiencia y costo-efectividad.

13. Comprende la sistematización como herramienta de gestión del conocimiento, identificando y documentando lecciones aprendidas que surgen dela intervención en programas y proyectos sociales.

6. Comprende el concepto de la evaluación y su tipología en el ciclo de un programa o proyecto, identificando los pasos metodológicos para su diseño.

14. Comprende el enfoque, metodologías y herramientas para la búsqueda de evidencias en base al M&E, y propone recomendaciones.

7. Analiza la evaluabilidad, de un proyecto o programa y formula con precisión los criterios y preguntas de evaluación considerando los tipos de intervención.

15. Diseña una estrategia de comunicación de resultados del M&E, utilizando las TICs, para propiciar aprendizajes participativos según diferentes audiencias.

Retos

1. Llegar a acuerdos en temas básicos de M&E (desde lenguaje, metodologías, difusión y uso).

2. Control de calidad de las evaluaciones

3. Incorporación de nuevos enfoques en los SM&E: derechos humanos, género e interculturalidad.

4. Revisión de marcos institucionales: políticas, procedimientos, funciones y perfiles de competencias.