EVALUACIÓN Y AUDITORIA DE

POLÍTICAS PUBLICAS

Ing. Raúl Eduardo Ovando Jurado

BANCO DE INDICADORES SOBRE EL LOGRO DE VALOR E INVENTARIO DE USUARIOS

Clasificador de resultados:• Productos• Efectos• impactos

Clasificador de destinatarios:• Directos• Indirectos

CLASIFICADORES MAESTROS

VALOR PUBLICO

Satisfacción de necesidades humanas

Ausencia de valor público:• Enfermedad• Hambre• Pobreza• Ignorancia• Exclusión social

OPERACIONALIZACIÓN DEL VALOR PUBLICO

Requiere su descripción en términos de transacciones para lograr la satisfacción de las necesidades humanas

TRANSACIONES EJEMPLO

Político Largo plazo Impacto Aumento de la equidad en la distribución de los ingresos

Estratégico Mediano plazo Efecto Aumento del nivel de ingresos de las familias

Operativo Corto plazo Producto Empleos o subsidios entregados a las personas

EFICIENCIA Y EFICACIA

DIMENSION TEMPORAL

PASADO FUTURO

GESTION

EFICIENCI

A

Aprovechamiento logrado conel uso de los recursos

Aprovechamiento previsto quejustificó la asignación delos recursos

EFICACIA

Logros obtenidos:efectividad

Continuidad de loslogros:sostenibilidad

CATEGORIAS DE LA EFICACIA

Efectividad Es la medida del valor, como consecuencia de una asignación de recursos, estableciendo la diferencia (el cambio) entre la situación inicial y la situación posterior a la asignación de recursos

SostenibilidadEs la medida en que los resultados logrados hasta el momento del cese de la asignación de recursos, se mantienen a la largo de un período determinado posterior. Es el efecto “residual” de la asignación de recursos durante el período de tiempo posterior, que justificara dicha asignación.La sostenibilidad puede ser estimada como un pronóstico o verificada como un hecho pasado.

MATRIZ DE EFECTIVIDAD SOSTENIBLE

RESULTADOS BUSCADOS O LOGRADOS QUE IMPLICAN GENERACION DE VALOR PUBLICO

EFECTIVIDAD NO SOSTENIBLE(Logro de resultados pero no sostenibles)

EFECTIVIDAD SOSTENIBLE

FRACASO EN LA ASIGNACION DE RECURSOS

DESARROLLO DE CAPACIDADES (Logro de productos pero no de efectos ni impactos)

CONDICIONES DE SOSTENIBILIDAD DE LOS RESULTADOS, UNA VEZ CONCULIDA LA ASIGNACION DE RECURSOS

SOSTENIBILIDAD

EFEC

TV

IDA

D

RELACION EFICIENCIA EFICACIA

GRADO DE LOGRO DE FINES

LOGRO DE FINES A COSTA DE EXCESO DE RECURSOS(Eficacismo)

MAXIMO VALOR (Altas eficiencia y eficacia)

FRACASO EN LA ASIGNACION DE RECURSOS

ALTO APROVECHAMIENTO DE RECUROS pero poco logro de los fines (Eficientismo)

RELACION ENTRE EL LOGRO DE FINES Y USO DE RECURSOS

EFICIENCIA

EFIC

AC

IA

PASOS PARA LA EVALUACIÓN Y AUDITORIA DE POLÍTICAS PUBLICAS

1. Elegir o asignar la política pública que será evaluada.

2. Identificar el objetivo central de la política pública.

3. Identificar los componentes de la política pública.

4. Identificar los objetivos de cada componente

5. Desagregar los objetivos de cada componente en objetivos operativos.

6. Construir el marco lógico de la política pública.

PASOS PARA LA EVALUACIÓN Y AUDITORIA DE POLÍTICAS PUBLICAS

7. Delimitar el ámbito de la evaluación: Temática Temporal Espacial Institucional

8. Construir la cadena de resultados

A partir de Establecer

Objetivos operativos Productos

Objetivos estratégicos (de componente)

Efectos

Objetivo central Impacto (s)

Ejemplos de objetivos a resultados

PASOS PARA LA EVALUACIÓN Y AUDITORIA DE POLÍTICAS PUBLICAS

De A

Mejorar los edificios escolares para satisfacer estándares nacionales de calidad, comodidad y seguridad.

Los edificios escolares satisfacen los estándares nacionales de calidad, comodidad y seguridad.

Lograr que los niños rurales logren igual acceso a servicios educativos.

Los niños rurales logran igual acceso a servicios educativos.

Mejorar los planes de estudio para satisfacer los estándares de la economía de mercado.

Planes de estudio mejorados para satisfacer los estándares de la economía de mercado.

Brindar a ayuda educativa a los niños más necesitados.

Los niños más necesitados están recibiendo ayuda educativa.

PASOS PARA LA EVALUACIÓN Y AUDITORIA DE POLÍTICAS PUBLICAS

9. Seleccionar indicadores clave para evaluar los resultados de la política pública.

Los indicadores son la variables cualitativas y cuantitativas que ofrecen un medio sencillo y confiable para medir el logro, para reflejar los cambios conexos con un intervención o para ayudar a estimar el desempeño de una organización, según el efecto propuesto. Jody Zall Kusek y Ray C. Rist. Diez pasos hacia un sistema de seguimiento y evaluación basado en resultados.

¿Cuál es el número ideal de indicadores para cualquier resultado?El número mínimo que responda a la pregunta ¿Se ha logrado el resultado?

PASOS PARA LA EVALUACIÓN Y AUDITORIA DE POLÍTICAS PUBLICAS

Preguntas clave:¿Cómo se va a distinguir el éxito o el logro

cuando ocurra?¿Se están haciendo progresos hacia el logro

de los resultados deseados?Se requiere indicadores para todos los niveles de los resultados:

Productos Efectos Impactos

TENER EN CUENTA QUE LOS INDICADORES DEBEN RESPONDER A LOS INTERESES DE DIFERENTES ACTORES

SOCIALES

PASOS PARA LA EVALUACIÓN Y AUDITORIA DE POLÍTICAS PUBLICAS

Objetivo Resultado Indicadores Datos básicos

Mejorar el acceso a programas pre-escolares a los niños del país

Los niños del país disponen de mejor acceso a programas preescolares

1. Porcentaje de niños urbanos matriculados en educación pre-escolar.

En 1999: 75% de niños con edades entre 3 y 5 años

2. Porcentaje de niños rurales matriculados en educación pre-escolar.

En 2000: 40% de niños con edades entre 3 y 5 años

Ejemplo de indicadores de resultado para una política pública

PASOS PARA LA EVALUACIÓN Y AUDITORIA DE POLÍTICAS PUBLICAS

Características de los indicadores

Atributos Descripción

Claros Preciso e inequívoco

Relevante Apropiado al tema

Económico Disponible a un costo razonable

Mesurable Acepta validación independiente

Adecuado Ofrece una base suficiente para estimar el desempeño

OBJETIVOS DE CONTROL Y EVALUACIÓN

HACIA FUERA HACIA ADENTRO

Resultados Procesos Organización

Nivel del análisis

Información

Registros de calidady cantidad deresultados

Registros de uso derecursos

Registros dedisponibilidad deinfraestructura,recursos humanos ytecnología.

Control Comparación conestándares deresultados

Comparación conestándares deprocesos

Comparación conestándaresorganizativos

Evaluación Comparación conexpectativas ynecesidades deeficacia y efectividad

Comparación conexpectativas ynecesidades deeficiencia

Comparación conexpectativas ynecesidades dedecisores válidos

SELECCIÓN DE INDICADORES PARA M & E DE RESULTADOS

Se requiere indicadores para cada uno de los niveles de resultados

¿Cuál es el número ideal de Indicadores? El número mínimo que responda a la pregunta

¿Se han logrado los resultados? Características de los indicadores

Claro (precisos e inequívocos) Relevante ( apropiado al tema en cuestión) Económico (disponible a un costo razonable) Mensurable (Es posible medirlo en forma

independiente) Adecuado ( Ofrece una base suficiente para

estimar el desempeño)

SELECCIÓN DE INDICADORES PARA M & E DE RESULTADOS

Todos los indicadores tienen costos e implicaciones de trabajo, en consecuencia, se debe tener cuidado y criterio para elegir los indicadores.

Resultado que se va a medir:Indicador seleccionado: ¿Es el indicador…1. Una reflexión tan directa como sea posible del resultado mismo?2. Suficientemente preciso para garantizar una medición objetiva?3. Exige la recolección más práctica de los datos y con mayor eficiencia

de costos?4. Sensible al cambio en el resultado, pero relativamente insensible a

otros cambios?

SELECCIÓN DE INDICADORES PARA M & E DE RESULTADOS

Utilización de indicadores sustitutosSolo se deben utilizar cuando No se disponga de datos para indicadores

directos La recolección de datos para el indicador directo

resulta demasiado costosa. No es posible obtener datos a intervalos

regulares El indicador sustituto tiene que dar evidencia,

por lo menos aproximada, del desempeño.Es mejor estar aproximadamente en lo cierto, que precisamente equivocado. Anónimo

SELECCIÓN DE INDICADORES PARA M & E DE RESULTADOS

Construcción de indicadoresSe va a necesitar más de un intento para desarrollar indicadores adecuados. Va a tomar tiempo llegar a un conjunto final de indicadoresLa función medular de cualquier proceso de monitoreo y evaluación es proporcionar datos válidos y periódicos sobre los resultados que se están evaluando.

MATRIZ PARA EVALUACIÓN DE POLÍTICAS PÚBLICAS

Objetivo Resultado Indicadores Datos básicos ( línea de base) sobre los indicadores

Mejorar los resultados de la educación primaria

Han mejorado los resultados de la educación primaria.

Porcentaje de estudiantes de 6º grado con puntajes de 70% o más, en pruebas estandarizadas de matemáticas y ciencias.

En 2002: 75% de estudiantes obtuvo un puntaje de 70% o más en matemáticas y 61% obtuvo un puntaje de 70% o más en ciencias.

ESTABLECER Y RECOLECTAR DATOS BÁSICOS SOBRE INDICADORES

Establecer datos básicos sobre indicadores Construcción de datos básicos: 8 preguntas

clave: ¿Cuáles son las fuentes de los datos? ¿Cuáles son los métodos de recolección de

datos? ¿Quién conseguirá los datos? ¿Con qué frecuencia se recolectarán los datos? ¿Quién analizará los datos? ¿Quién presentará informes sobre los datos? ¿Quién utilizará los datos?

MÉTODOS DE RECOLECCIÓN DE DATOS

1. Métodos informales y menos estructurados Conversación con personas interesadas Entrevistas con la comunidad Visitas de campo Examen de registros oficiales Entrevistas con informantes clave Entrevistas con grupos de estudio

2. Métodos formales y más estructurados Observación directa Cuestionarios Entrevistas individuales Entrevistas de grupo Censos

COMPARACIÓN DE ALGUNOS MÉTODOS DE RECOLECCIÓN DE DATOS

CARACTERISTICAS METODOS DE RECOLECCION DE DATOS

Examen de registros oficiales

Cuestionarios Entrevistas

Costo Bajo Moderado Alto

Grado de capacitación requerida para los recolectores

Bajo Moderado Alto

Tiempo para finalización

Depende de la cantidad de información disponible

Moderado Moderado

Tasa de respuesta Alto, si los registros son

buenos y confiables

Depende de la forma en que se distribuya

Moderado