Javier PauliniPedro Francke

Mariana Ballén

Mesa de SaludXXI Seminario Anual CIES

Diciembre 2010

¿Evaluación de impacto o impacto de la evaluación?

BALANCE DE LAS EXPERIENCIAS DE EVALUACIONES DE PROGRAMAS DE SALUD PÚBLICA EN EL PERÚ

Objetivo y metodologíaObjetivo: Identificar las tendencias en las evaluaciones

a los programas de salud pública en los últimos 20 años y plantear una propuesta

de agenda para la evaluación en salud.

Metodología:

- Tendencias generales

- Marco institucional para evaluar- Capacidad de evaluar- Uso de las evaluaciones

2

Fase 1:Mapeo de programas y políticas de salud.Matriz de evaluaciones

Fase 2:12 procesos de evaluación 3 programas: SIS, CLAS y TBCEntrevistas a evaluadores y operadores

Algunos aspectos conceptualesEvaluación:

Análisis sistemático de una operación y/o los resultados de un programa o una política pública, respecto de un conjunto de estándares explícitos o implícitos, como un medio para contribuir a la mejora de dicho programa o política.

Características de las evaluaciones analizadas: • Evalúan un programa público, no un problema.• Se considera todo tipo de evaluaciones (operación,

resultados e impacto) y métodos.• Se analizan documentos de evaluación de carácter público.• No se analiza la calidad de las evaluaciones ni de los

programas.

3

Políticas y programas en salud 1990-2010

4

Tipología de programas: 1. Mejora de la gestión (CLAS, SIS, PARSA)2. Orientados a problemas específicos (TBC, VIH-SIDA, Inmunizaciones)3. Gestión de los recursos (Gestión de medicinas, PONAME)

Tendencias generales

5

Programas por número de evaluaciones

%

Con sólo una evaluación 8%Con más de 1 evaluación 92%Con más de 2 evaluaciones 69%Con más de 3 evaluaciones 31%

Evaluaciones por tipo de programa %Mejora de la gestión 37%Problemas específicos de salud 63%

Según el tipo de evaluaciones

¿Quién evalúa y quién financia?

6

¿Quién financia?

Capacidad para evaluar

1. Voluntad política2. Autonomía (arreglo organizacional)3. Acceso a recursos 4. Competencias a nivel nacional5. Existencia de herramientas para evaluar:

Sin línea de baseCon sistemas de seguimiento, instrumentos de

generación de informaciónEncuestas nacionales

7

Impacto de la evaluación

Impacto de la evaluación Número de evaluaciones

Si No Total

Validación de resultados con operadores de programa

5 7 12

Evaluaciones difundidas 8 4* 12

Evaluaciones utilizadas para realizar cambios en los programas

5 7 12

- Mayor impacto en programas cuando evaluaciones se originan en el sector público

Obstáculos para evaluar:•Sólo un caso señaló injerencia desde los operadores•Tiempo, Poco acceso a información

* Evaluaciones no difundidas por sensibilidad de resultados pero utilizadas.

8

Conclusiones (i)

• Tendencia creciente a evaluar, 70% de programas con más de 2 evaluaciones.

• Interés por evaluar: Sector público (operadores e instancias con responsabilidad de evaluación).

• Recursos para evaluar: Gran presencia de multilaterales y cooperación. Escaso financiamiento público.

• Influyen para evaluar: liderazgo, voluntad política, acceso a recursos, competencias.

• Herramientas para evaluar: existencia de bases de datos, sistemas de seguimiento, formatos.

• Tipo de evaluación: Resultados. En los 90s nuevos tipos de evaluación (impacto) y evaluaciones multipropósito.

9

Conclusiones: impacto (ii)• Validación. Tiene efecto en apropiación por parte de

operadores. Las del sector público son más validadas.• Difusión: Mayoría fue difundida bajo algún mecanismo.

No necesariamente asociado a uso. • Factores que habrían promovido el uso de las

evaluaciones: – Liderazgo del responsable del programa– Factores políticos y coyunturales – Apropiación y factores organizacionales – Confianza en evaluaciones hechas por “terceros”– Oportunidad en difusión de resultados (cambios al programa o

para ganar legitimidad)

10

Conclusiones: impacto (iii)

• Factores que habrían limitado el uso de las evaluaciones– Débil memoria institucional. – Escaso acceso a recursos y/o personal. – Cambios en la legislación que disminuyeron la

capacidad de hacer cambios desde el nivel nacional.– Escasa difusión de evaluaciones (operadores no

conocen de su existencia).– No contar con versiones cortas y amigables de las

evaluaciones– Oportunidad en la difusión de los hallazgos.

11

Gracias.

12