CURSO INTERNACIONAL - … · El Marco Lógico es una herramienta para facilitar el proceso de...
-
Upload
truongxuyen -
Category
Documents
-
view
217 -
download
0
Transcript of CURSO INTERNACIONAL - … · El Marco Lógico es una herramienta para facilitar el proceso de...
C
“MA
PauCasos
Santa Cru
URSO INTERNACIONAL
RCO LÓGICO Y EVALUACION IMPACTO”
1
ta Metodológica para el Desarrollo de con Base en la Matriz de Marco Lógico
Hugo Navarro
z de la Sierra, Bolivia, 18 al 29 de Agosto de 2003
Contenido
Introducción ....................................................................... 4
Enunciado y estructura del ejercicio................................... 5
Taller 1: Resumen narrativo de los objetivos y actividades. 8
Paso 1. Conocimiento del proyecto. .................................................................... 9 Paso 2. Redacción de la columna de objetivos (MML)......................................12 Paso 3. Evaluación de la columna de objetivos ..................................................16
Taller 2: Indicadores..........................................................17
Paso 1. Lista de indicadores ................................................................................19 Paso 2. Selección de indicadores ....................................................................... 20 Paso 3. Evaluación de la columna de indicadores de la MML. ......................... 22
Taller 3: Metas. ................................................................. 23
Paso 1. Fijar las metas del proyecto para cada indicador...................................27 Paso 2. Resultados intermedios......................................................................... 28 Paso 3. Formato para el monitoreo de los indicadores ..................................... 30
Taller 4: Medios de verificación. ........................................31
Taller 5: Supuestos............................................................ 33
Paso 1. Lluvia de supuestos................................................................................ 35 Paso 2. Clasificación de los factores de riesgo. .................................................. 35 Paso 3. Redacción de los supuestos en la MML. ................................................37 Paso 4. Lógica vertical de la MML. .................................................................... 39
Taller 6: Evaluación intermedia........................................40
Paso 1. Análisis de los indicadores de actividades y componentes. ................. 42 Paso 2. Monitoreo de los supuestos................................................................... 43 Paso 3. Probabilidad de logro de los objetivos del proyecto. ............................ 43 Paso 4. Problemas y acciones............................................................................. 44
Taller 7: Evaluación de impacto ........................................ 45
Paso 1. Justificación de la evaluación. ............................................................... 48 Paso 2. Formulación de los objetivos de la evaluación. .................................... 49 Paso 3. Definición y selección de los impactos objeto de la evaluación............ 50 Paso 4. Selección del modelo de evaluación de impacto. .................................. 54 Paso 5. Recolección de la información. ............................................................. 60 Paso 6. Ficha de evaluación de impacto. ........................................................... 64
2
Presentaciones e informe final ......................................... 65
Presentación de avance...................................................................................... 66 Informe y presentación final.............................................................................. 66
Referencias ....................................................................... 67
3
Introducción El Marco Lógico es una herramienta para facilitar el proceso de
conceptualización, diseño, ejecución y evaluación de proyectos. Su propósito es
brindar estructura al proceso de planificación y comunicar información esencial
relativa al proyecto. Puede utilizarse en todas las etapas de preparación del
proyecto: programación, identificación, orientación, análisis, presentación ante
los comités de revisión, ejecución y evaluación ex-post. Se usa para incrementar
la precisión en la planeación de los proyectos, relacionar los múltiples objetivos
con las actividades de los proyectos , clarificar funciones y responsabilidades y
evaluar los resultados esperados contra los resultados reales. Fomenta la
participación a través de un riguroso proceso de análisis de las personas y
entidades que tienen un interés legítimo en el proyecto. Se modifica y mejora
repetidas veces tanto durante la preparación como durante la ejecución del
proyecto (Ilpes, 2003).
Este enfoque es utilizado para planeación de proyectos en varios organismos
internacionales, entre los que se incluye la Agencia para el Desarrollo
Internacional de Estados Unidos (USAID), La Agencia Canadiense de Desarrollo
Internacional (CIDA), La Corporación Alemana para la Cooperación Técnica
(GTZ), La Agencia Noruega de Cooperación en el Desarrollo (NORAD), EL Banco
Africano de Desarrollo (AFDB), la Comisión de las Comunicades Europeas y la
Organización Panamericana de la Salud (PAHO), el Banco Interamericano de
Desarrollo (BID) (Ilpes, et. al).
En la fase de formulación de las intervenciones el Marco Lógico permite una
mejor comprensión del problema y las relaciones causa-efecto entre los
productos de un programa o proyecto y los resultados esperados. De esta forma,
la matriz de Marco Lógico –MML- es un instrumento que se utiliza en el
desarrollo y ajuste el diseño de la intervención. Así, los principales usos de la
MML en la etapa de formulación son: evaluar la calidad del diseño del proyecto,
4
servir como guía para preparar los documentos del proyecto, y como medio para
comunicar el diseño del Proyecto a los grupos de involucrados.
Igualmente, en la etapa de diseño, los proyectos deben planificarse de tal manera
que puedan supervisarse y evaluarse más adelante (BID, 1997). Es así como la
MML también apoya el diseño del sistema de monitoreo y evaluación del
proyecto y el análisis de los resultados. Este instrumento permite comparar lo
planeado con lo ejecutado, siendo información puede ser utilizada para guiar y
mejorar la ejecución de proyectos, evaluar el éxito del proyecto cuando se termine
la ejecución, mejorar los diseños de futuros proyectos, entre otros.
El propósito del presente ejercicio es que los participantes apliquen los conceptos
y elementos que componen el método de Marco Lógico, a través de la
construcción de una MML. Se asignará un proyecto específico a cada uno de los
grupos en temas como salud, educación, vivienda, Desechos Sólidos
Domiciliarios, etc. A su vez, el ejercicio hace énfasis en el uso de la MML en la
toma de decisiones a o largo del ciclo del proyecto, enfocándose en las
actividades de monitoreo y evaluación de las intervenciones. De este modo se
busca un balance entre el conocimiento de este instrumento y su utilización en el
proceso de planificación de una intervención.
Enunciado y estructura del ejercicio
Conociendo los beneficios de la Matriz de Marco Lógico en el desarrollo de las
etapas de diseño, ejecución y evaluación de proyectos, se ha identificado la
necesidad de elaborar esta matriz para el proyecto x, el cual se encuentra
actualmente a nivel de perfil (identificación del problema, diagnóstico, análisis de
alternativas y evaluación financiera y económica). Es decir, el proyecto que se
analizará se encuentra al final de su etapa de formulación y evaluación ex-ante.
La construcción de la Matriz de Marco Lógico en este punto del ciclo del proyecto
permitirá revisar y validar el diseño del proyecto, verificando las relaciones de
causalidad entre problemas, insumos, productos e impactos bajo determinadas
condiciones del entorno. De este modo, la construcción de la matriz permitirá
5
determinar si el diseño del proyecto cumple con los parámetros establecidos por
el Marco Lógico.
Igualmente, se busca que la matriz apoye la gerencia de las actividades del
proyecto, así como el diseño y el desarrollo de la evaluación del proyecto durante
y después de su operación. Con este fin se realizará una evaluación intermedia
del proyecto, tomando como referencia la MML para contrastar lo planeado en el
diseño del proyecto con lo ejecutado, t meses después de iniciar la operación.
Finalmente, se diseñará la evaluación de impacto del proyecto, definiendo los
resultados que se deben evaluar, los indicadores, fuentes de información y
métodos de estimación y análisis que se aplicaran. La siguiente figura muestra el
esquema general del ejercicio, que involucra la construcción de la MML y su
utilización en diferentes momentos del ciclo del proyecto.
Figura No 1
Ejecución y operación
Formulación Después de la operación
Fin
Propósito
Componente
Actividad
Fin
Propósito
Componente
Actividad
Indica Medios Supuesto¿Cumple el proyecto los parámetros del
Marco Lógico?
¿Se están cumpliendo las metas del proyecto?
1 2
3
¿Cómo diseñar la evaluación de impacto
del proyecto ?
Planeación M&E
Este ejercicio se divide en siete talleres. Los primeros seis están relacionados con
la construcción de la matriz de Marco Lógico: resumen narrativo de los objetivos,
indicadores, medios de verificación y supuestos. Por su parte, en los dos últimos
talleres se trabaja la MML como herramienta de monitoreo y evaluación. Así, en
el taller No 6 se analizarán los resultados de una evaluación intermedia del
6
proyecto que determinará el grado de avance en el cumplimiento de las metas del
proyecto. Finalmente, en el taller No 7, se diseñará la evaluación de impacto del
proyecto. La siguiente figura resume las principales tareas que se desarrollarán a
lo largo de los talleres y los resultados que se esperan obtener con la construcción
de la MML.
Gráfico No 1
“Proceso de Gestión y Aplicación de la Matriz de
Marco Lógico”
- Comprender el problema, su magnitud y distribución.
-Precisar sus causas y consecuencias.
- Identificar los actores involucrados
-Examinar las diferentes alternativas de solución.
- Construir la cadena de objetivos, precisando las relaciones de causalidad entres insumos, productos y resultados.
-Hacer los objetivos medibles
- Identificar variables, indicadores e índices.
-Fijar metas.
-Determinar la información disponible.
- Evaluar fuentes de información cuantitativas y cualitativas
-Seleccionar métodos de recolección y frecuencia.
-Identificar factores de riesgo que pueden afectar el éxito del proyecto.
Fin
Propósito
Componente
Actividad
Indica Medios Supuesto
Fin
Propósito
Componente
Actividad
Fin
Propósito
Componente
Actividad
Indica Medios Supuesto
Conocer el
proyecto
Formular los
objetivos
Seleccionar indicadores
Identificar fuentes de
información
Determinar la
incidencia de factoresexternos
- Objetivos de corto, mediano y largo plazo medibles.
- Sistema de información: fuentes, frecuencia, usuarios, métodos de análisis, costos.
- Indicadores inteligentes para medir el logro de las metas del proyecto.
Bases del sistema de
monitoreo y evaluación
del proyecto.
Marco conceptual
para la evaluación de impacto del
proyecto.
Matriz de marco lógico
Tareas a desarrollar Resultados esperados
-Riesgos identificados en el corto, mediado y largo plazo.
Para el desarrollo de los talleres los grupos contarán con un documento del perfil
del proyecto, y adicionalmente se les entregará toda la documentación utilizada
en esa evaluación. Así mismo, el grupo contará con las presentaciones del curso y
7
el documento de Bases Conceptuales del ciclo de cursos sobre Gerencia de
Proyectos y Programas del Ilpes.
Los talleres serán realizados en grupos de seis personas. Cada grupo deberá
realizar una presentación preliminar con los avances al final de la primera
semana del curso y, una presentación final el día 27 de agosto. Así mismo, cada
grupo deberá elaborar un informe final con los resultados del ejercicio, este se
entregará al terminar el curso. En la última sección del presente documento se
detalla el contenido específico de cada uno estos documentos y presentaciones.
Cabe anotar que durante el desarrollo de los talleres, los grupos contaran con
asesoría permanente tanto en aspectos metodoLógicos como logísticos. A cada
grupo se le asignará un computador con los programas necesarios.
En las siguientes secciones se describen detalladamente cada uno de los talleres,
especificando sus objetivos, los productos finales y herramientas metodológicas.
Taller 1: Resumen narrativo de los objetivos y actividades. Como ya se mencionó, los talleres del 1 al 5 conformar el primer ciclo de este
ejercicio que tiene por objetivo construir la MML y determinar si la formulación
del proyecto cumple con los parámetros y criterios del Marco Lógico. Así mismo,
se diseñarán los instrumentos necesarios para el monitoreo de los indicadores y
supuestos de la MML, como se indica en la figura No 2.
Figura No 2
8
Formulación
Fin
Propósito
Componente
Actividad
Fin
Propósito
Componente
Actividad
Indica Medios Supuesto¿Cumple el proyecto los parámetros del
Marco Lógico?
1 2
Planeación M&E
El propósito del taller No 1 es construir la columna de resumen narrativo de la
MML, la cual sintetiza las actividades del proyecto, los productos que se
entregarán, y los resultados de corto, mediano y largo plazo que se esperan lograr
en el la población objetivo. Este análisis requiere un conocimiento detallado del
proyecto, precisando cuales cual es la relación causal y teórica entre estos niveles.
Es decir, los mecanismos que permiten convertir insumos en productos y
finalmente en resultados de corto, mediano y largo plazo. A continuación se
describen los pasos que se deben seguir para construir la columna de objetivos
del MML.
Paso 1. Conocimiento del proyecto. El primer paso en la construcción de la MML es adquirir un conocimiento
detallado del proyecto que se analizará. Esto implica identificar y conocer el
problema central que se busca resolver, sus causas, sus efectos, los objetivos de la
intervención, insumos, productos y resultados esperados. También aspectos
relacionados con la organización, programación, financiamiento,
institucionalidad, etc.
9
A continuación, se describen los tres tipos de análisis que se pueden encontrar en
el documento de perfil del proyecto, estos suministraran la información
indispensable para construcción de la MML:
Diagnóstico. Es una descripción de la situación actual en la que se especifica la
magnitud y severidad del problema, como afecta a los distintos grupos de la
población, cuales son sus posibles causas y sus consecuencias.
Arbol de problemas. Es una visión esquemática de la intervención
basada en los resultados del diagnóstico. Este árbol establece una relación
jerárquica entre el problema central que se busca resolver, sus causas y efectos.
El árbol de problemas debe conducir al evaluador a la identificación de los
objetivos del proyecto y las alternativas de solución al problema, que son
representados en el “árbol de objetivos” del proyecto. Es como si dijéramos que
el árbol de problemas es el "negativo” de la película y su manifestación en
contrario (el "positivo" o revelado), es el "Arbol de Objetivos". Como el árbol del
problema es una secuencia encadenada de abajo-arriba de causas-efectos, el
árbol de objetivos será el flujo interdependiente de medios-fines. (Sanín at. al,
1993). El recuadro siguiente resume los principales elementos que se deben tener
en cuenta en la construcción y análisis de un árbol de problemas.
10
Árbol de problemas.
Problema central. Se debe evitar definir el problema como la ausencia de una solución determinada, pues una ausencia de solución es la falta de una alternativa y dicha falta sólo podrá solucionarse con la existencia de esa alternativa. Esta forma de análisis es incorrecta, pues limita la búsqueda creativa de otras posibles soluciones. Ejemplo: si la pérdida de cosecha se define como un problema de "falta de plaguicida", esta definición sugiere que la solución es conseguir el plaguicida. Con ello se estarán excluyendo a la postre otras posibles e importantes alternativas, como el control biológico, o la prevención de plagas. En este caso una mejor definición del problema puede ser "pérdida de cosecha por existencia de plagas".
Efectos. Los efectos pueden ser de dos tipos: los que ya se vienen percibiendo efectivamente y los que se constituyen en amenaza o peligro si el problema no es manejado oportunamente. Ambos deben incluirse. Las siguientes son las indicaciones para analizar los efectos en el árbol de problemas. (1) Coloque en un primer nivel los efectos directos o inmediatos del problema. Cada efecto nace del problema, lo que se representa con una flecha desde el problema hacia cada efecto inmediato. (2) Pregúntese para cada efecto de "primer nivel" si hay alguno o varios efectos superiores importantes que puedan derivarse de él. Represéntelos en un segundo nivel, derivándolos con flechas de abajo hacia arriba desde el efecto de primer nivel que opera como causa. Si a un efecto concurre como causa otro efecto de primer nivel ya representado, indique la interdependencia con una flecha. (3) Así, sucesivamente para otros niveles, hasta llegar a un nivel que se considere como el superior dentro de la órbita geográfica o institucional en que tenemos competencia o posibilidades de intervención.
Causas. Este análisis permite conocer las razones del problema, a qué se debe su existencia. Este conocimiento es la base para la búsqueda de soluciones. La causas se ubican en el árbol de problemas debajo del problema central, construyendo un árbol encadenado al identificar las causas de las causas.
Tomado de Sanin, H. (1993). Guía metodológica general para la preparación y evaluación de proyectos de inversión social. Instituto Latinoamericano y del Caribe de Planificación Económica y Social –ILPES-.
Tanto el árbol de problemas como el de objetivos se encuentran en el documento
del perfil del proyecto. El grupo deberá analizar la validez de estos esquemas
examinando si la selección y descripción del problema fue correcta, los
encadenamientos entre causas y efectos son validos, y si las alternativas de
solución seleccionadas son interdependientes.
Evaluación de la alternativa seleccionada. Es el análisis de la alternativa
“óptima” seleccionada en el proceso de evaluación. El documento de perfil del
proyecto incluye un análisis detallado de la intervención en aspectos como la
selección de la población objetivo, localización, tamaño del proyecto, tecnología,
11
costos, beneficios, entre otros. Esta información permite un conocimiento
detallado de la intervención, convirtiéndose en un insumo valioso para la
construcción de la MML.
La siguiente figura sintetiza el tipo de información y análisis que conforman el
documento de perfil del proyecto, y son la base para iniciar la construcción de la
MML.
Figura N0 3
1. Revisar el diagnostico del proyecto.
-Cual es la magnitud y severidad del problema?
- Existen diferencias entre distintos grupos de la población?
- Cual ha sido la evaluación histórica?
- Quienes son los involucrados?
2. Analizar el árbol de problemas
- Esta el problema bien especificado?
- Las relaciones causa-efecto son validas?
- Las alternativas de solución son interdependientes?
3. Análisis de la alternativa seleccionada
-Población objetivo
-Tamaño
-Localización
-Tecnología
-Cotos
-Beneficios
Conocimiento del proyecto
Paso 2. Redacción de la columna de objetivos (MML) La columna de objetivos de la MML tiene la misma estructura jerárquica que el
árbol de objetivos. Precisa las relaciones verticales entre insumos, productos y
resultados del proyecto, estableciendo las relaciones causa-efecto en cuatro
momentos diferentes en la vida del proyecto, que denomina: actividades,
12
componentes, propósito y fin. De este modo el árbol de objetivos1 se convierte en
la base para la construcción de la MML. La figura N0 4 muestra la relación entre
el árbol de objetivos del proyecto y la columna de objetivos de la MML.
Figura N0. 4
Problema central
Efecto 1.1 Efecto 1.2 Efecto 1.3
Efecto 2.2
Causa 1.1 Causa 1.2 Causa 1.3
Causa 2.1 Causa 2.2 Causa 2.3
Efecto 2.1
Actividades
Componentes
Propósito
FIN
MML
Problema central
Efecto 1.1 Efecto 1.2 Efecto 1.3
Efecto 2.2
Causa 1.1 Causa 1.2 Causa 1.3
Causa 2.1 Causa 2.2 Causa 2.3
Efecto 2.1
Actividades
Componentes
Propósito
FIN
MML
Es importante resaltar que en el enfoque de marco lógico, los objetivos son
logros, éxitos y metas cumplidas. No son objetivos: trabajos por realizar o tareas
por cumplir. Por ejemplo, no es lo mismo decir “aeropuerto construido” que
“construir un aeropuerto”. El primer caso “aeropuerto construido”, lleva a
especificar el aeropuerto en términos de su capacidad, si es internacional o no,
etc., es decir, especificar el producto o resultado que se busca, no el proceso. En
el segundo caso “construir un aeropuerto”, nos lleva a especificar actividades o
tareas que habría que realizar para construir el aeropuerto.
1 Cabe anotar que el árbol de objetivos que se utiliza para la construcción de la MML solo incluye el análisis de la alternativa “optima” que será ejecuta. Este árbol conoce como Estructura Analítica del Proyecto –EAP-.
13
Adicionalmente, en la definición de los niveles de objetivos en la MML se debe
tener especial cuidado al pasar de la especificación de los componentes al
propósito del proyecto. La definición del propósito del proyecto se debe hacer en
términos hipotéticos, es algo que debe ocurrir, es un resultado esperado. De
acuerdo al enfoque de Marco lógico el “propósito es la hipótesis central del
proyecto”. De este modo, el propósito debe entenderse como un resultado no
controlable por el ejecutor. Es, en definitiva, lo que debería ocurrir como
resultado directo de utilizar los Componentes.
El grupo deberá redactar los objetivos de la intervención a nivel de fin, propósito
y componentes, así como las precisar las actividades del proyecto. Además de las
anteriores recomendaciones, los puntos claves en el desarrollo de este ejercicio
son: ser cuidadoso al separar las causas de los efectos y evitar formular objetivos
con múltiples propósitos. Recuerde también utilizar frases sencillas y breves al
redactar los objetivos. El formato de presentación de los resultados de esta
actividad es el que especifica la MML. En el siguiente recuadro se consignan los
principales aspectos relacionados con la definición de los objetivos en los cuatro
niveles que propone la MML.
14
Resumen narrativo de objetivos FIN. El fin responde ¿Por qué, en última instancia, se lleva a cabo el proyecto? Es una definición de cómo el proyecto o programa contribuirá a la solución del problema (o problemas) del sector. El Fin de un proyecto es una descripción de la solución al problema que se ha diagnosticado. Si, por ejemplo, el problema principal en el sector de salud es una alta tasa de mortalidad materna e infantil en la población de menores ingresos, el Fin sería reducir la tasa de mortalidad materna e infantil en esa población.
Deben enfatizarse dos cosas acerca del Fin. Primero, no implica que el proyecto, en sí mismo, será suficiente para lograr el Fin. Es suficiente que el proyecto contribuya de manera significativa al logro del Fin. Segundo, la definición del Fin no implica que se logrará poco después de que el proyecto esté en funcionamiento. Es un Fin a largo plazo al cual contribuirá la operación del proyecto.
PROPOSITO. El propósito responde ¿Por qué se lleva a cabo el proyecto? Describe el impacto directo a ser logrado como resultado de la utilización de los Componentes producidos por el proyecto. Es una hipótesis sobre el impacto o beneficio que se desea lograr. El Marco Lógico requiere que cada proyecto tenga solamente un Propósito. La razón de ello es claridad. Si existe más de un Propósito, hay ambigüedad. Si hay más de un Propósito puede surgir una situación de trueque en el cual el proyecto se aproxima más a un objetivo al costo de alejarse de otro. Dado que es una hipótesis, es importante reconocer que el logro del Propósito del proyecto está fuera del control de la gerencia del proyecto o del ejecutor. La gerencia del proyecto tiene la responsabilidad de producir los Componentes (las obras físicas, las cooperaciones técnicas y la capacitación).
COMPONENTES. ¿Qué debe producir el proyecto? Los Componentes son las obras, estudios, servicios y capacitación específicos que se requiere que produzca la gerencia del proyecto dentro del presupuesto que se le asigna. Cada uno de los Componentes del proyecto tiene que ser necesario para lograr el Propósito, y es razonable suponer que si los Componentes se producen adecuadamente, se logrará el Propósito. La gerencia del proyecto es responsable de la producción de los Componentes del proyecto. Los Componentes son el contenido del contrato del proyecto. Deben expresarse claramente. En el Marco Lógico, los Componentes se definen como resultados, vale decir, como obras terminadas, estudios terminados, capacitación terminada.
ACTIVIDADES. ¿Cómo se producirán los Componentes? Las Actividades son las tareas que el ejecutor tiene que llevar a cabo para producir cada Componente. Es importante elaborar una lista detallada de Actividades debido a que es el punto de partida del plan de ejecución. Cada actividad se consigna en un gráfico de Gantt (diagrama de barras) y se estima el tiempo y los recursos que toman su ejecución. Por consiguiente, la ejecución por consiguiente se vincula en forma directa con el diseño del proyecto.
Tomado de “Evaluación: una herramienta de gestión para mejorar el desempeño de los proyectos”. Banco Interamericano de Desarrollo. Oficina de Evaluación (EVO). Marzo de 1997.
15
Paso 3. Evaluación de la columna de objetivos Según el BID (et. al) si la columna de objetivos de la MML esta bien construida se
deben poder examinar los vínculos causales de abajo hacia arriba (desde las
actividades hasta el fin). El siguiente cuadro ofrece una serie de condiciones que
debe cumplir la columna de objetivos de la MML, marque con una x si estas se
cumplen o no. Si alguna de las condiciones no la cumple se deben revisar de
nuevo las relaciones de causalidad entre insumos, productos y resultados.
Condiciones Si N0 Las Actividades especificadas para cada Componente son necesarias para producir el Componente
Cada Componente es necesario para lograr el Propósito del proyecto No falta ninguno de los Componentes necesarios para lograr el Propósito del proyecto
Si se logra el Propósito del proyecto, contribuirá al logro de el Fin Se indican claramente el Fin, el Propósito, los Componentes y las Actividades
El Fin es una respuesta al problema más importante en el sector La siguiente figura resume las tareas que se deben desarrollar en este taller: Figura N0. 5
Conocimientodel proyecto
Diagnóstico
Arbol de problemas
Evaluación de la alternativa seleccionada
Redacciónde los
Objetivos MML
Esta bien construida
la columna deobjetivos?
NO
NO
SI
1 2
3
16
Taller 2: Indicadores.
Los indicadores definen operacionalmente lo escrito en la columna de objetivos
de la MML y aparecen a cada nivel de dicha matriz. También describen las metas
del proyecto en cada nivel de objetivos: Fin, Propósito o componente esperado (la
definición de la metas intermedias y finales del proyecto se realiza en el taller 3).
De este modo, se convierten en el punto de referencia y "carta de navegación"
para guiar las actividades de gestión/monitoreo y evaluación del proyecto. Los
indicadores bien formulados aseguran una buena gestión del proyecto y permiten
que los gerentes de proyecto decidan si serán necesarios componentes
adicionales o correcciones de rumbo para lograr el Propósito del proyecto. Así
mismo, al finalizar la intervención se conocerá si se logró el impacto y los efectos
esperados sobre los beneficiarios (BID, 2003)
Generalmente un resultado se puede medir a través de varios indicadores, sin
embargo, la propuesta del Marco Lógico es especificar la cantidad mínima
necesaria para concluir si se alcanzó o no el objetivo que se evalúa. Los
indicadores deben medir el cambio que puede atribuirse al proyecto, y deben
obtenerse a costo razonable, preferiblemente de las fuentes de datos existentes
(BID, 1997).
En el siguiente recuadro se resumen los aspectos generales que componen los
indicadores en cada nivel de objetivos de la MML.
17
FIN. Los indicadores a nivel de Fin específicas en términos de cantidad, ca
PROPOSITO. Los indicadores a niveproyecto. Deben incluir metas que refespecifica cantidad, calidad y tiempo d
COMPONENTES. Los indicadores dde cada uno de los Componentes qudebe especificar cantidad, calidad y entregarse.
ACTIVIDADES. El presupuesto del pfila correspondiente. El presupuesto seun Componente.
Tomado de “Evaluación: una herramproyectos”. Banco Interamericano d1997.
En este taller se definen y selecci
de objetivos de la MML. Los p
completa de todos los indicadore
de un objetivo, diferenciando s
medida directa del objetivo o
indicadores cumplen con las car
indicador”, y seleccionar las
indicadores seleccionados cumpl
la MML en los diferentes niveles d
Es necesario anotar que un com
columna de indicadores de la MM
serían alcanzadas con la ejecució
términos de cantidad, calidad
desarrollará en el taller 4.
Indicadores
miden el impacto general que tendrá el proyecto. Son lidad y tiempo. (grupo social y lugar, si es relevante).
l de Propósito describen el impacto logrado al final del lejen la situación al finalizar el proyecto. Cada indicador e los resultados por alcanzar.
e los Componentes son descripciones breves, pero claras e tiene que terminarse durante la ejecución. Cada uno oportunidad de las obras, servicios, etc., que deberán
royecto aparece como el indicador de Actividad en la presenta por el conjunto de actividades que generan
ienta de gestión para mejorar el desempeño de los e Desarrollo. Oficina de Evaluación (EVO). Marzo de
onan los indicadores en cada uno de los niveles
asos son los siguientes: (1) realizar una lista
s que podrían ser utilizados para medir el logro
i son cualitativos o cuantitativos, y si es una
es un indicador proxi. (2) Verificar cuáles
acterísticas generales que debe tener un “buen
mejores alternativas. (3) Determinar si los
en con algunos criterios mínimos que establece
e objetivos.
ponente importante en la construcción de la
L es establecer las metas de los indicadores que
n del proyecto. Las metas se deben definir en
y tiempo. Como se mencionó esta tarea se
18
Paso 1. Lista de indicadores En este paso el grupo debe elaborar una lista lo mas completa posible de todos los
indicadores disponibles para observar el logro en los diferentes niveles de
objetivos de la MML del proyecto. Se consideró útil clasificar cada indicador
según dos criterios. (1) si es una medida cualitativa o cuantitativa. (2) si es un
indicador directo (final), intermedio (avanzada) o proxy.
Los indicadores utilizados para medir un objetivo pueden ser cualitativos o
cuantitativos. La decisión de seleccionar un indicador cualitativo o cuantitativo
depende de la naturaleza del objetivo que se evalúa. Por ejemplo, cuando se mide
eficiencia es más apropiado utilizar indicadores cuantitativos. En cambio cuando
se evalúa sostenibilidad los indicadores cualitativos tienen mayores ventajas,
debido a que permiten valorar la capacidad de adaptación de los beneficiarios a
los cambios introducidos por la intervención (UNDP,). En algunos casos, la
combinación de indicadores cuantitativos y cualitativos es necesaria. Por
ejemplo, en el caso de la pobreza, algunas evaluaciones han utilizado medidas
cuantitativas como las líneas de pobreza, y paralelamente han aplicados métodos
cualitativos que capturan la percepción de los beneficiarios sobre su calidad de
vida.
Por su parte, el logro de un objetivo puede ser observado a través de medidas
directas o indirectas (proxy). Por ejemplo, si el objetivo es aumentar el ingreso de
los beneficiarios, el indicador directo es el aumento ingreso monetario mensual
de las personas, y el indicador sustituto (proxy) podría ser las mejoras en la
calidad de la vivienda. Es así como, el indicador proxy debe estar altamente
correlacionado con la medida o indicador directo del objetivo, sin olvidar que el
indicador proxy siempre va a ser menos preciso para medir los cambios ocurridos
que el indicador directo (BID, 2003). Estas medidas sustitutas se utilizan cuando
el costo, complejidad y oportunidad en la recolección de datos impiden que se
pueda medir directamente un resultado (UNDP, ).
19
También en la medición del logro de un objetivo se pueden utilizar indicadores
intermedios o de avanzada, estos miden pasos intermedios hacia el resultado
esperado. De este modo, estos indicadores representan un eslabón en una
cadena causal. Su utilidad depende de la validez de la hipótesis que junta los
indicadores intermedios al resultado final. Por ejemplo, el uso de fertilizantes
como indicador preliminar de cambios en las prácticas agrícolas.
En algunos casos, los indicadores de avanzada representan resultados obtenidos
en subproyectos ejecutados en la etapa inicial del período de ejecución de un
proyecto o programa. Esta situación es común en proyectos denominados DE
OBRAS MÚLTIPLES. En estos casos, es necesario asegurar la representatividad
de los proyectos iniciales para poder proyectar el impacto al final del proyecto, o
programa y usar estos resultados como indicadores de avanzada.
Para facilitar la presentación de los resultados de este ejercicio se diseñó el
siguiente formato:
Final Intermedio Proxy Final Intermedio Proxy
Actividades
IndicadoresCuantitativos CualitativosNivel
Resumen narrativo
Propósito
Componentes
Fin
Paso 2. Selección de indicadores
La evaluación de muchos indicadores puede ser contraproducente, además de
costosa y exigente en términos de recolección de la información y análisis de
resultados. De esto modo, una de las principales recomendaciones al construir la
20
columna de indicadores de la MML es incluir el menor numero posible de
indicadores. Esto hace necesaria la definición de criterios para decidir si un
indicador es adecuado o no, o jerarquizar un conjunto de indicadores.
Siguiendo los anteriores criterios la Oficina de Evaluación del Programa de
Desarrollo de Naciones Unidas (UNDP) desarrollo un esquema para la selección
de indicadores, la cual debe ser aplicada para optimizar el numero de indicadores
(Ver cuadro 1). La lógica del ejercicio es sencilla. Primero, es necesario clasificar
los indicadores propuestos (listados en el paso 1) de acuerdo a su nivel de
objetivos de la MML. Segundo, definir los criterios que deben cumplir los
indicadores. La UNDP establece los siguientes criterios: (A) El sentido del
indicador es claro, (B) Existe información disponible o se puede recolectar
fácilmente, (C) El indicador es tangible y se puede observar, (D) la tarea de
recolectar datos está al alcance de la dirección del proyecto y no requiere expertos
para su análisis, (E) El indicador es lo bastante representativo para el conjunto de
resultados esperados. Un criterio adicional que debe ser evaluado es que los
indicadores sean independientes2, es decir, que no exista una relación de causa-
efecto entre el indicador y el objetivo que se evalúa.
Posteriormente se clasifican los indicadores (tercera columna cuadro 1), para esto
se asigna un valor de 1 a cada uno de los cinco criterios anteriores. Así, un
indicador que cumpla todos los criterios de la UNDP alcanzaría 5 puntos en esta
escala de calificación. Finalmente, en la última columna se seleccionan los
indicadores que se incluirán en la matriz de Marco Lógico, aquellos con mayores
puntajes.
2 Ver BID. Curso de evaluación y monitoreo por internet. www.iadb.org.
21
Cuadro 1. Selección de indicadores.
A B C D E F G Hindc. 1:indic. 2:indic. 3:indc. 1:indic. 2:indic. 3:indc. 1:indic. 2:indic. 3:indc. 1:indic. 2:indic. 3:
Puntaje total
Seleccion
Actividades
Fin
Proposito
Componentes
Calsificacion de indicadoresNivel
Resumen narrativo
Indicadores
Adaptado de “Handbook of monitoring and evaluating for results”. Evaluation Office. United Nations Development Programme. Notas: A,B,C,D y E corresponden a los criterios de la UNDP para seleccionar indicadores. Una vez seleccionados los indicadores se debe completar la columna de
indicadores de la matriz de MML con la información más relevante de estos.
Paso 3. Evaluación de la columna de indicadores de la MML. Para verificar si los indicadores han sido correctamente especificados se
recomienda seguir los siguientes criterios. Marque con una x si los indicadores
cumplen o no con los siguientes criterios.
Criterios Si N0
Los indicadores de Propósito no sean un resumen de los Componentes, sino una medida del resultado de tener los Componentes en operación
Los indicadores de Propósito midan lo que es importante Todos los indicadores estén especificados en términos de cantidad, calidad y tiempo
Los indicadores para cada nivel de objetivo sean diferentes a los indicadores de otros niveles
El presupuesto sea suficiente para llevar a cabo las Actividades identificadas
La siguiente figura resume las tareas que se deben desarrollar en este taller:
22
Figura N0. 6
Lista deindicadores
Selecciónde
indicadores
Esta bien construida
la columna deindicadores?
No
SI
2
3
Fin
Propósito
Componentes
Actividades
No
CuantitativoCualitativo
DirectoProxy
1
Definición?Disponibilidad?Análisis?
Objetivos
Representatividad?
Taller 3: Metas. Para que un indicador sea evaluable o verificable (permita observar si la
intervención logro o no un objetivo) debe especificar la meta que se desea
alcanzar. Una meta es la situación esperada al finalizar una actividad o al término
de una intervención (UNDP). De este modo la situación esperada debe hacer
parte de la especificación del indicador y el punto de referencia para las fases de
monitoreo y evaluación del proyecto.3
Cuando los indicadores especifican las metas de una intervención se les
denomina indicadores “inteligentes”, significa que son explícitos en lo que
ocurrirá, hasta qué punto y para cuando. En otras palabras, deben especificar la
cantidad, la calidad y el tiempo en que se producirán los resultados esperados por
3 Cohen y Franco (1988) definen una meta como un objetivo temporal y cuantitativamente dimensionado. Por ejemplo, un objetivo (reducción de la malaria) al que se ha se ha fijado el sujeto de la acción (el Estado de Apure), se ha cuantificado el objetivo (reducción en 10%) y se ha determinado un plazo (dos anos) se llama meta.
23
la intervención. También, en algunos casos es apropiado estipular el lugar y el
grupo social que se beneficiará. En el siguiente recuadro se presenta un ejemplo
que permite comprender y aplicar mejor estos conceptos.
1er Paso - Objetivarroz.
2º Paso – Indicadde dos hectáreas.
3er Paso – Indicad
Cantidad. 1.000 ppromedio de arroz en
+ Calidad. 1.000 ppromedio de arroz engranos) de la cosecha
+ Tiempo. 1.000 ppromedio de arroz emanteniendo la mism
Adaptado de “Marco
¿Cómo fijar las m
Existen algunas he
establecer las meta
Línea Base. Es el
futuras del indica
proyectos, es la
documentos relac
obtenida mediant
entrevistando gen
Especificación de indicadores en términos de cantidad, calidad y tiempo.
o especificado. Los pequeños agricultores mejoran el rendimiento de
or. Rendimiento promedio de arroz en unidades productivas de menos
or + Meta.
equeños agricultores (2 hectáreas o menos) aumentan el rendimiento un 40% (de "x" a "y").
equeños agricultores (2 hectáreas o menos) aumentan el rendimiento un 40% (de “x” a “y”) manteniendo la misma calidad (ej., peso de los
de 1992.
equeños agricultores (2 hectáreas o menos) aumentan el rendimiento n un 40% (de “x” a “y”) entre octubre de 1994 y octubre de 1996, a calidad (ej. , peso de los granos) de la cosecha de 1992.
Lógico”. Presentación de Power Point. Ciclo de cursos del Ilpes, 2002.
etas del proyecto?
rramientas y fuentes de información que son utilizadas para
s de los indicadores. Las principales son:
estándar básico contra el cual se medirán todas las metas
dor. Es la base para medir el cambio. En términos de
información recogida de los estudios de factibilidad y
ionados con la preparación del proyecto. También puede ser
e la revisión de documentos, observando procesos en acción,
te - o cualquier combinación.
24
Por ejemplo, piense que el objetivo del servicio es disminuir el tiempo requerido
para conseguir una licencia comercial. El indicador apropiado sería el numero
promedio de días vigente para conseguir una licencia comercial en el país. Por
medio de los estudios se determina que se requiere un promedio de 145 días
para conseguir una licencia comercial. Esta información puede venir de una
investigación de las licencias ya otorgadas, entrevistas con solicitantes, etc. Con
esta información sobre la línea de base, se tiene un elemento de comparación
para el indicador (meta) de cambio del proyecto -- o sea el cambio deseado.
Combinando esta información de base con puntos de referencia, se puede
desarrollar el indicador para el proyecto, tal como veremos más adelante. Sin
una línea de base, no se puede medir el cambio.
Puntos de referencia. Es un parámetro de desempeño externo al proyecto, que
es seleccionado como meta para el indicador que uno ha escogido. Los puntos
de referencia pueden ser extraídos de otras organizaciones, países, proyectos, o
de normas técnico-profesionales. Son estándares aceptados que indican cierta
calidad. Por ejemplo, un punto de referencia puede ser seleccionado de las
normas de un país para determinar que un sistema de agua potable (por
ejemplo) está plenamente en operación. En Chile para proyectos de este tipo en
zonas rurales es de 180 litros día por persona. En el siguiente recuadro se
resumen las principales fuentes utilizadas en la selección de puntos de
referencias como metas del proyecto.
25
Fuentes comúnmente utilizadas para Puntos de Referencia 1. Norma o Medida Profesional. Son normas o medidas generalmente aceptadas por profesionales que trabajan en una profesión determinada. Como por ejemplo los estudios y entrenamientos que se requiere tomar para ser médico, enfermera, partera, etc. para poder ejercer su profesión en un país determinado. 2. Norma o Nivel Técnico (estándar técnico): Es una norma o nivel aceptable técnicamente o mejor práctica de una determinada industria. Esto puede ser el nivel de tolerencia de la comba o el arqueo de un puente para que se considere seguro y aceptable. 3. Mejores Prácticas: Las mejores prácticas son derivadas de lecciones aprendidas de organizaciones de excelencia o de proyectos, como las mejores practicas en el establecimiento de Fondos Viales, Talleres de arranque para nuevos proyectos en ejecución, subcontratar el mantenimiento rutinario a microempresas, una determinada relación alumno/maestro.
Datos de tendencia. El análisis de tendencia es un proceso de identificar
tendencias derivadas estadísticamente y que se proyecta que continuarán en el
futuro. La Línea de Tendencia es lo que se puede esperar en promedio en el
futuro, el supuesto básico es que la tendencia seguirá en el futuro. Por ejemplo,
suponga el caso de la siguiente, se quiere hacer un proyecto que tenga como
objetivo disminuir el número de desocupados, y se confirma en los estudios
preliminares que la tendencia histórica muestra que la tasa de desempleo está
bajando 1% por año. ¿Que implica esta tendencia para un proyecto que tiene
como objetivo disminuir el desempleo? Implica que, para que cualquier
proyecto tenga un impacto real, tiene que disminuir desempleo en más de 1%
por año. En caso contrario tal vez no tenga sentido hacerlo.
Los pasos que se siguen en este taller son los siguientes:
26
Paso 1. Fijar las metas del proyecto para cada indicador.
Para cada uno de los indicadores seleccionados en el taller anterior se debe
especificar la meta del proyecto. Cada indicador deberá detallar:
¿Para quién? (grupo meta)
¿Cuánto? (cantidad)
¿De qué tipo? (calidad)
¿Cuándo? (tiempo)
¿Dónde? (lugar/Área).
El siguiente cuadro puede utilizarse en el desarrollo de este ejercicio, este permite
revisar que los indicadores cumplan con todos los criterios estipulados. Una vez
se complete esta información se debe terminar de elaborar la columna de
indicadores de la MML con el texto final de los indicadores.
Cantidad Calidad Tiempo Lugar Grupo socialIndicador
Resumen narrativo
Nivel
Proposito
Fin
Meta
Actividades
Componentes
Es útil también realizar una última evaluación a los indicadores seleccionados
para evaluar el logro de los objetivos de la intervención. Estos indicadores deben
cumplir con los cinco características de un “indicador inteligente” especifico,
medible, realizable, pertinente y debe estar enmarcado en el tiempo. En el
siguiente recuadro se definen cada uno de estos términos.
27
Un indicado
1. Específquiere ocon el obcaminosun Fond
2. Realiza
La posibveces noPor ejembueno p
3. Medibl
analizanrelativamCuantitarefiere aindicadodirecta,
4. Releva
específiUno de
5. Enmar
terminotiempo
Nota: Indobjetivo. UActividades 5 firmas conmillones de
Tomado del
Paso 2. R En el paso
vez termina
precisar el l
incluso desp
Características de un indicador inteligente (SMART)
r debe ser:
ico: Corresponde a información explícitamente particular al objetivo que se bservar y que permita al observador verificar que el proyecto ha o no ha cumplido jetivo. Qué medidas y con qué especificaciones y en qué lugar. (Kilometraje para
, hectáreas de tierra bajo producción, Ley de Mantenimiento Vial que establece o Vial, Ampliación de agua potable en la región amazónica, etc.)
ble: Se refiere a la probabilidad de alcanzar el indicador en todos sus aspectos. ilidad de cumplir un indicador depende del contexto de un proyecto. Muchas se puede alcanzar lo óptimo y se tiene que buscar una meta realista de alcanzar. ( plo para el indicador - Inmunización de todos los niños menores de 5 años. Es
reguntarse, ¿por qué no es realizable en muchas ocasiones?).
e: Características que permiten medir el indicador objetivamente (dos personas do los datos llegarían a la misma conclusión). También tiene que ser
ente fácil de recopilar. Puede ser medible cuantitativamente o cualitativamente. tivo se refiere a números, tamaño, frecuencia, porcentajes, etc. Cualitativo se diferencias de calidad, características esperadas, opiniones, encuestas. Los res cualitativos resultan muchas veces de entrevistas, grupos focales, observación
etc.
nte. Algunos indicadores son mas apropiados que otros para medir un objetivo co. Tal como el caso de Realizable, depende mucho del contexto de un proyecto. be preguntarse ¿es ésta la mejor manera de saber si se ha alcanzado el objetivo?
cado en el Tiempo: El indicador debe expresar plazos , tiempos de incio y , cuando se alcanzarán las metas. Uno debe preguntarse ¿Tiene el indicador un de inicio o de terminación? o si ¿ Expresa una frecuencia de ocurrencia?.
ependiente: No puede haber relación de causa-efecto entre el indicador y el n error común es usar un indicador de Componentes para el Propósito, o
como indicadores de Componentes. Ejemplos a nivel de Componentes: contratar sultoras; a nivel de Propósito: efectuar 10 estudios de preinversión, colocar $10 crédito para microempresas.
material del ciclo de cursos del Ilpes.
esultados intermedios.
anterior se fijaron las metas finales de los indicadores, es decir, una
da una actividad o la finalización del proyecto. Sin embargo, es útil
ogro de resultados parciales a los largo de la operación del proyecto e
ués de su finalización, este último el caso de los resultados esperados
28
de mediano y largo plazo. Esta información es importante para la evaluación y el
monitoreo del proyecto. Por ejemplo, para realizar una evaluación intermedia del
proyecto.
De este modo, si se fijó la meta de aumentar la tasa de asistencia escolar en 30
puntos porcentuales entre el 2003 y el 2008, la tarea es determinar los resultados
parciales o metas intermedias que se pueden lograr en los anos 2004, 2005, 2006
y 2007. Dependiendo de la definición del indicador y el nivel de objetivo que se
esta evaluando, los resultados intermedios se pueden monitorear mensual,
semestral o anualmente. Generalmente los avances en los indicadores a nivel de
actividades y componentes se observan en intervalos de menos de un año, por su
parte los indicadores a nivel de propósito y fin se monitorean anualmente o en
lapsos mayores. El siguiente cuadro apoya la presentación de los resultados (sólo
para indicadores con la misma escala de tiempo).
………….. tn-1t? t? t?
tn-1
t? t? t? ………….. tn-1
t? t? t? …………..
IndicadorResumen narrativo
NivelMeta final
Resultados parciales
t1 t2 t3 ………….. tn-1
Actividades
Proposito
Componentes
Fin
Nota: tn-1 es el periodo anterior a la meta final.
29
Paso 3. Formato para el monitoreo de los indicadores Las metas e indicadores son la base para un buen sistema de M&E (monitoreo y
evaluación) del proyecto: los buenos indicadores proveen recursos concretos y un
efectivo proceso para llevar a cabo el monitoreo y las evaluaciones formativas y
sumativas. Estos permiten demostrar si los objetivos y componentes del proyecto
han sido logrados o no. En efecto, sin indicadores cualquier monitoreo y
evaluación es casi imposible.
De este modo los indicadores y metas definidos en este taller son un insumo para
la evaluación intermedia que se realizará en el taller 6. Cabe mencionar que el
grupo contará con la asesoría de la firma Pacheco & Navarro Consultores en el
desarrollo de esta evaluación. La labor de esta firma es suministrar al grupo una
estimación del comportamiento de los indicadores y supuestos del proyecto
durante la primera mitad de la fase de operación de la intervención. Para realizar
su trabajo la firma consultora exige la entrega de la siguiente información (se
debe mantener el formato). La fecha de entrega es el día 22 de agosto.
Formato de monitoreo de metas e indicadores
1 PE
2 PE
3 PE
4 PE
5 PE
6 PE
7 PE
8 PE
9 PE
10 PE
Ano 3 …………. Ano nIndicador Proyectado (P)
/efectivo (E)Ano 1 Ano 2
30
La figura No 7 resume las tareas que se deben desarrollar en este taller: Figura N0. 7
Metas finales
Metas intermedias
2
Fin
Propósito
Componentes
Actividades
Herramientas:
Línea base Puntos de referencia Tendencia
1
Anual?Semestral?Mensual?
Indicadores
Elementos:Para quién? (grupo meta)
¿Cuánto? (cantidad)¿De qué tipo? (calidad)
¿Cuándo? (tiempo)¿Dónde? (lugar/Área).
Formatomonitoreo
de indicadores
3
Taller 4: Medios de verificación. Luego de seleccionar los indicadores, se deben precisar los métodos y fuentes de
recolección de información que permitirán evaluar y monitorear los indicadores y
metas propuestos para observar el logro de los objetivos de la intervención. En
MML este tema se desarrolla en la columna de medios de verificación. En el
siguiente recuadro sintetizan los principales aspectos que deben ser tenidos en
cuenta al precisar los medios de verificación de la MML.
31
• Fuentes: ¿De dónde pro
beneficiarios, de los archivos d • Método de recopilación:
de desagregación es necesario¿Qué unidad de análisis (indiv
• Agencias responsables:
así como cuál es la más capatareas de recopilación, análisicapacitación.
• Método de análisis: Pued
análisis estadístico. ¿Qué tipoeficiencia en función del costo
• Frecuencia: Este aspecto d
se necesita la información –información debe ser recolecpara la toma de decisiones (seen cuenta las necesidades y efrecuencia cambia también cotrabajo, es imprescindible queevaluaciones de término mepartidas presupuestarias, etc.
• Cómo se aplicará la info
es el propósito de la informacesencial. ¿Cómo y para qué seEjecutora, apoyar a compromdonantes o prestatarios, etc).
• Formatos de difusión: Ya
producción rápida de gráficos de informes cortos, en formparticipativos (seminarios, me
• Circulación: ¿A quién se
quién? No se debe enviar inftoma de decisiones. La pregumatriz de circulación en la cproyecto quedan en las filas,columnas.
Tomado del Banco Interamerica
Teniendo en cuenta los an
medios de verificación de l
Medios de verificación
vendrá la información? – de fuentes secundarias, de los el proyecto, etc.
Encuestas, observación directa, grupos focales. ¿Qué grado (por género, edad, grupo étnico, rural-urbano, localidad)?
iduos, familias, clínicas, comunidades)?
Debe tomarse en cuenta cuál agencia tiene la función oficial, z para recoger la información en cada área o localidad. Las s y divulgación son diferentes y requieren distintos tipos de
e ser simple como conteo, sumar, etc., o más complicado, con de análisis se efectuará ( comparación de datos, estudio de
, costo-efectividad, causa-efecto)?
e recolección de información es fundamental. ¿Para cuándo mensual, trimestral, semestral, anual? Para ser útil, la
tada, analizada y difundida para que llegue oportunamente a interna al proyecto o externa al proyecto). Se deben tomar l nivel de los involucrados en decidir sobre frecuencia. La n niveles jerárquicos. Si hay revisiones anuales de planes de esté disponible para esas fechas. Además se debe considerar dio, requerimientos de los involucrados, aprobaciones de
rmación: Este elemnto también es muy importante. ¿Cuál ión? Se debe recoger y analizar únicamente la información utilizará la información? (Decisiones internas de la Unidad
eter más a los involucrados, difusión al público, revisión con
que hay muchos programas de computación que permiten la y cuadros, se debe pensar en divulgar información por medio atos innovativos (video, teatro), así como en formatos
sas redondas).
distribuye la información y qué información se distribuye a ormación a involucrados que no la considerarían útil para la nta clave es quién decidirá. Se recomienda preparar una ual los tipos de información o informes generados por el mientras que los grupos de involucrados aparecen en las
no de desarrollo. WWW.iadb.org.
teriores elementos que conforman la columna de
a MML, se debe elaborar el siguiente cuadro que
32
resume los principales aspectos que se deben tener en cuenta la planeación de la
recolección de datos. Se debe completar esta información para cada uno de los
indicadores seleccionados.
Fuente de información
Método de recolección
Método de
análisis
Frecuencia de
recolecciónResponsable
Componentes
Actividades
Fin
Propósito
NivelResumen narrativo
Indicador
Medios de verificación
Adaptado de “Handbook of monitoring and evaluating for results”. Evaluation Office. United Nations Development Program. Finalmente, se debe consignar en la MML un resumen de la información más
relevante para completar la columna de medios de verificación de la matriz.
Taller 5: Supuestos. El último paso en la construcción de la MML es la definición de supuestos en
cada uno de los niveles de objetivos del proyecto: fin, propósito, componentes y
actividades. Los supuestos son los factores externos que están fuera del control
de la institución responsable de la intervención, que inciden en el éxito o fracaso
del mismo. Corresponden a acontecimientos, condiciones o decisiones que tienen
que ocurrir para que se logren los distintos niveles de objetivos de la
intervención. Los riesgos a los que esta expuesto el proyecto pueden ser
ambientales, financieros, institucionales, sociales, políticos, climatológicos u
otros factores (BID, 1997).
En la etapa de preparación del proyecto el conocimiento de los supuestos permite
cambiar o decidir entre diferentes diseños del proyecto, buscando minimizar la
incidencia de factores externos en el éxito de la intervención. Por su parte, en la
33
etapa de ejecución del proyecto, el monitoreo de los supuestos permite
desarrollar planes de contingencia para proteger al proyecto de factores externos.
Siempre existe el riesgo de que aunque las actividades del proyecto se lleven a
cabo eficientemente y de acuerdo con el calendario de ejecución, no se produzca
el Componente correspondiente; o que los Componentes se produzcan
eficientemente y no se logre el Propósito. La importancia del monitoreo de los
Supuestos es que tiende a reducir este riesgo.
Existen diferentes fuentes de información para identificar los supuestos del
proyecto, algunas de ellas son:
1. Lecciones aprendidas: se refiere a situaciones conocidas ocurridas en otros
proyectos y que afectaron positiva o negativamente, obligando a reajustar o
rediseñar proyectos.
2. Análisis de involucrados. Indaga cuáles grupos apoyarían una determinada
estrategia para abordar el problema de desarrollo así como los grupos que se
opondrían a dicha estrategia. El diseño incluye medios para maximizar el
apoyo y minimizar la resistencia de parte de los involucrados en la ejecución
del proyecto.
3. Instrumentos de análisis. Unos de los instrumentos de análisis mas utilizado
es el FODA , este instrumento permite visualizar factores externos e internos,
si se aplica a un proyecto es posible identificar factores externos como
Amenazas y oportunidades, estas pueden constituirse en supuestos.
A continuación se describen los pasos que se deben seguir para completar la
columna de supuestos de MML:
34
Paso 1. Lluvia de supuestos. Es útil iniciar la identificación de los supuestos con una lluvia de ideas de todos
los factores que pudiesen ser considerados como riesgos del proyecto. Estos
factores pueden ser clasificados sectorialmente, por ejemplo, si es un riesgo
financiero, político, social, etc. El siguiente cuadro puede facilita el desarrollo de
esta tarea.
Legal …………..
Actividades
Resumen narrativo
NivelFactores de riesgo
Financiero Politico Social Ambiental
Proposito
Componentes
Fin
Paso 2. Clasificación de los factores de riesgo. Un factor representa un verdadero riesgo para el proyecto si esta fuera del control
de la gerencia del proyecto, si es importante o critico para el éxito del proyecto, o
si su probabilidad de ocurrencia es media. A continuación se describen las
características de cada uno de estos aspectos.
¿Es el factor es externo al proyecto? El factor en discusión tiene que estar fuera
del control de la gerencia de proyecto o de la agencia ejecutora. Un ejemplo de
supuesto que no está fuera del control de la gerencia o agencia puede ser:
“Consultores o firmas constructoras contratadas son eficientes”. En general se
puede suponer que las firmas o consultores hagan bien o no su trabajo, pero es
35
labor de quién las contrata velar por la eficiencia de estas, es la gerencia o agencia
la que en definitiva tiene la prerrogativa de elegir y desarrollar procedimientos
que aseguren que se hará la mejor contratación. Por lo tanto no esta fuera de su
control, y el factor analizado deja de constituir un supuesto.
¿Es el factor importante para el éxito del proyecto?: Es decir, si representa un
factor crítico y necesario para el éxito del proyecto, por ejemplo: “Aceptación
de beneficiarios de conectarse al sistema de agua para lograr mejor salud”.
¿Cuál es la probabilidad de ocurrencia del factor?: El factor tiene que tener
una probabilidad de ocurrencia media (Ej.: entre el 10% y el 90%). Tiene que
representar un verdadero riesgo al éxito del proyecto.
Se debe evitar incluir factores externos al proyecto, que son necesarios para el
éxito del proyecto, pero que tengan muy baja probabilidad de ocurrencia, y
adicionalmente no se puede rediseñar o reajustar el proyecto para superar el
problema. Este tipo de factores son considerados “supuestos fatales”. En estos
casos se debe analizar la posibilidad de “rediseñar” el proyecto, incorporando
elementos que elevan la probabilidad de ocurrencia.
De este modo el grupo deberá verificar cuales de los factores postulados en el
paso 1 cumplen con los elementos descritos anteriormente. De este modo se
seleccionaran solo aquellos supuestos que sean externos, importantes y con una
probabilidad de ocurrencia media. Para apoyar este análisis el grupo puede
utilizar la siguiente lista de verificación de supuestos. Esta consiste en una serie
de preguntas encadenadas que conducen a la aprobación o no de un supuesto.
36
Figura No. 8
Lista de verificación supuestos
Es Externo?
Es importante?
Probabilidad ocurrencia?
Posibilidad rediseño?
No incluirIncluir
No
No
AltaMedia
Si
Si
Si
Supuesto formulado
Parar
Ninguna
En el caso que un supuesto sea clasificado como “supuesto fatal” (externo,
importante, con baja probabilidad de ocurrencia y sin posibilidades de rediseño
del proyecto) el grupo deberá identificar y formular acciones (que puedan ser
desarrolladas) por el proyecto que incrementen la probabilidad de ocurrencia de
esos factores.
Paso 3. Redacción de los supuestos en la MML.
Luego de seleccionar los factores que representan un verdadero riesgo para el
proyecto, se debe poner especial atención en la forma como se redactan los
supuestos en la MML. Es importante que el supuesto sea expresado como un
objetivo a alcanzar o mantener. Esto sugiere que si bien están fuera del control
37
de la Agencia Ejecutora, ésta podría llevar a cabo acciones que tiendan a
aumentar la probabilidad de ocurrencia de un supuesto. A continuación se
presentan algunos ejemplos de supuestos:
La ley de Mantenimiento Vial que crea un Fondo Vial con los parámetros
propuestos en el proyecto, es aprobada oportunamente por el Congreso.
Los bancos formales aceptan dedicar un mínimo de 10% de sus carteras de
préstamos a financiar a los microempresarios.
Los precios agrícolas mantienen sus niveles (dentro de una banda de + 10%) en
términos reales.
En la redacción de los supuestos se deben tener en cuenta los beneficios de
utilizar el sistema de ML como instrumento de monitoreo y evaluación. Al igual
que en el caso de los indicadores, el monitoreo de los supuestos es un
componente fundamental en la evaluación del proyecto durante su fase de
ejecución y operación. Esto supone que los supuestos además de ser formulados
positivamente (como un objetivo), deben ser medibles, y por tanto deben cumplir
con los mismos atributos que los indicadores formulados para medir el logro de
los objetivos del proyecto. Es decir, los supuestos deben ser “inteligentes”, deben
cumplir con atributos de calidad, cantidad y tiempo (plazo). Los siguientes son
algunos ejemplos:
• 90% de los operadores capacitados permanecen en sus comunidades de
residencia.
• Las cantidades de precipitación pluvial se mantienen en un rango de + 15%
del promedio anual.
38
Al igual que en el caso de los indicadores, la columna de supuestos debe ser
entregada a la firma consultara para que evalúe el estado de los supuestos en la
mitad de la fase de operación del proyecto.
Paso 4. Lógica vertical de la MML.
Los supuestos completan la MML. Para finalizar la construcción de la MML es
útil examinar los vínculos causales de abajo hacia arriba de la matriz, con el
propósito de comprobar su validez vertical. Si el proyecto está bien diseñado, lo
que sigue es válido:
Lógica vertical SI NO
Si se llevan a cabo las actividades y los supuestos de este nivel se
ratifican, se obtendrán los componentes.
Si se producen los componentes y los supuestos a este nivel se
conforman, se logrará el propósito de la intervención.
Si se logra el propósito y se conforman los supuestos a este nivel,
se habrá contribuido de manera significativa a alcanzar el fin.
La siguiente figura resume las actividades de cierre de este primer ciclo del
ejercicio que incorpora la identificación y redacción de los supuestos y el análisis
de la lógica vertical y horizontal de la MML.
39
Figura N0. 9
Lluvia deSupuestos
Factoresde riesgo?
2Financieros1
Es externo?Es importante?Es probable que ocurra?
PolíticosSocialesLegalesAmbientales
Redacción de los
supuestos
Se pueden monitoriar?
Formulación
Fin
Propósito
Componente
Actividad
Fin
Propósito
Componente
Actividad
Indica Medios Supuesto
¿Cumple el proyecto los
parámetros del Marco Lógico?
13
Completar la MML
Responder
(Lógica vertical y horizontal del la MML)
Taller 6: Evaluación intermedia La evaluación intermedia del proyecto conforma el segundo ciclo del ejercicio
(Ver figura). La evaluación de las metas intermedias permite al Gerente de
Proyecto conocer cómo está progresando la intervención. Así mismo, se
identifican áreas donde medidas correctivas pueden ser necesarias para mejorar
la probabilidad de alcanzar el Objetivo de Desarrollo (Propósito) del proyecto
(Ilpes, et.al). La evaluación intermedia se puede hacer en cualquier momento
durante la ejecución del proyecto. El uso de esta herramienta es común para
analizar más a fondo los problemas de ejecución, o para ayudar a tomar
decisiones sobre la programación del proyecto (BID, et.al).
40
Figura No. 10
Fin
Propósito
Componente
Actividad
Fin
Propósito
Componente
Actividad
Indica Medios Supuesto
2
Planeación M&E
Ejecución y operación
¿Se están cumpliendo las
metas?
El objetivo del presente taller es analizar la evolución de los indicadores y
supuestos de la MML en la mitad de la fase de operación del proyecto. Se busca
identificar fallas en el diseño y el plan de ejecución del proyecto, establecer si el
proyecto se ha implementado conforme al plan, examinar los supuestos del
proyecto y determinar el riesgo o la probabilidad de no cumplir con los objetivos,
a nivel de propósito y fin.
Como se mencionó el grupo contará con información suministrada por Pacheco &
Navarro respecto a la evolución de los indicadores y supuestos del proyecto. El
primer paso en este taller será analizar la evolución de los indicadores de
actividades y componentes del proyecto. Luego, se examinaran los supuestos y
finalmente, la probabilidad de cumplimento de los objetivos de mediano y largo
plazo.
41
Paso 1. Análisis de los indicadores de actividades y componentes. Las actividades y componentes son los primeros eslabones en el encadenamiento
vertical de la MML. Si el proyecto esta bien diseñado, el cumplimiento de las
metas fijadas en estos niveles determinará, en parte, el logro del propósito y el fin
del proyecto. La información que entregará la firma consultora le permitirá al
grupo comparar la evolución de los indicadores del proyecto (a nivel de
actividades y componentes), con lo que realmente ha ocurrido. Con esta
información el grupo deberá evaluar el grado de cumplimiento de las metas del
proyecto. Teniendo en cuenta lo consignado en la MML e incorporando aspectos
físicos y de calidad. Para esto se diseño una escala cualitativa con las siguientes
categorías: muy satisfactorio, satisfactorio, insatisfactorio y muy insatisfactorio.
En el siguiente cuadro permite la clasificación de cada indicador bajo los
anteriores criterios.
1 PE
2 PE
3 PE
4 PE
5 PE
6 PE
7 PE
8 PE
9 PE
10 PE
* (1) muy satidfactorio, (2) satisfactorio, (3) insatisfactorio, (4) muy insatisfactorio
Ano 3 …………. Ano n Evaluacion*Indicador Proyectado (P)
/efectivo (E)Ano 1 Ano 2
Nota: si cuenta con información de los indicadores de propósito y fin inclúyalos en el análisis.
42
Las metas o los indicadores clasificados como insatisfactorios o muy
insatisfactorios deben ser sometidos a un análisis más detallado. El grupo deberá
discutir los posibles factores que impidieron el cumplimiento de las metas
trazadas. Estos obstáculos pueden estar relacionados con escasez de fondos,
relaciones con los proveedores, oposición política o de la comunidad, entre otros.
Paso 2. Monitoreo de los supuestos. El cumplimiento de los supuestos definidos en la MML es un determinante
fundamental en el cumplimiento de los objetivos del proyecto. La experiencia ha
demostrado que la razón principal de fracasos en proyectos en cuanto a Propósito
proviene de la no ocurrencia de supuestos tanto a nivel de Actividades como a
nivel de Componentes. A nivel de Actividades, los supuestos también afectan la
calidad del Componente y por o tanto del cumplimiento con el Propósito.
La importancia de monitorear los supuestos del proyecto es verificar si estos se
han cumplido de acuerdo a lo proyectado. También, observar si las condiciones
externas han cambiado y si es necesario incorporar nuevos supuestos para
garantizar el éxito del proyecto. La firma consultora que apoya el trabajo del
grupo le suministrará información del estado de los factores de riesgo del
proyecto, y el grupo deberá analizar su incidencia en el logro de las metas del
proyecto a nivel de actividades y componentes.
Paso 3. Probabilidad de logro de los objetivos del proyecto. Es posible que al momento de realizar la evaluación intermedia no se observe
ningún cambio en los indicadores de propósito y fin de la MML. Sin embargo, a
partir de la evaluación del cumplimiento de las metas a nivel de actividades y
componentes y el análisis de los supuestos se puede inferir la probabilidad de
logro de los objetivos del proyecto. Si la MML fue bien construida el
43
cumplimiento de las actividades, componentes y supuestos debe conducir al logro
del propósito del proyecto.
En esta sección el grupo deberá concluir cuál es la probabilidad de logro de los
objetivos del proyecto a nivel de propósito y fin. Para esto se diseño una escala
cualitativa con las siguientes categorías: muy probable, probable, dudoso, e
imposible.
En el siguiente cuadro ayuda la presentación de estos resultados.
* (1) Muy probable, (2) Probable, (3) Dudoso, (4) Imposible
Actividades
Probabilidad de ocurrencia *
Indicadores
Proposito
Componentes
NivelResumen narrativo
Fin
Paso 4. Problemas y acciones. Las actividades anteriores deben conducir al grupo a identificar los principales
problemas que han afectado la ejecución y operación del proyecto y el logro de los
objetivos. Así como, identificar las acciones que se requieren para enfrentar estos
obstáculos.
El grupo debe presentar los principales problemas encontrado en cada uno de los
niveles de la MML (actividades, componentes, propósito y fin), así como las
acciones que se deben implementar para su solución. El siguiente formato facilita
la presentación de la información.
44
Acciones
Actividades
Problemas
Proposito
Componentes
NivelResumen narrativo
Fin
Taller 7: Evaluación de impacto La evaluación de impacto es una de las principales herramientas en la evaluación
del logro de los objetivos de programas sociales. Este tipo de evaluación
determina si el programa produce los cambios previstos en los individuos,
hogares e instituciones y, si esos cambios son atribuibles al proyecto o programa.
Igualmente, examina los cambios no previstos generados por las acciones de la
intervención, ya sean positivos o negativos (Baker, 2000). En otras palabras, la
evaluación de impacto es una medida cualitativa y/o cuantitativa del logro de los
objetivos intermedios y finales de la intervención (ubicados a nivel de propósito y
fin de la MML).
Este tipo evaluación se puede llevar a cabo antes o después de la ejecución y
operación del programa. En el primer caso, se simulan los cambios que
produciría el programa en la población objetivo y la eficiencia con que se
generarían. Este tipo de evaluación suministra información de los beneficios y
costos del programa, herramienta muy útil para la toma de decisiones. Por su
parte, cuando la evaluación de impacto se realiza ex-post, se busca determinar si
el programa logró o no los objetivos planteados y si la intervención fue una
solución eficaz y eficiente en la solución del problema.
45
Valorar el impacto generado por un proyecto social no es una tarea sencilla,
debido a que existen factores externos que afectan los resultados esperados por la
intervención.4 Por este motivo, no es suficiente conocer cuál fue el cambio en las
condiciones de los beneficiarios después de la ejecución del proyecto, porque no
se puede precisar cual fue el cambio que verdaderamente se le puede atribuir a la
intervención.
La pregunta central que resuelve la evaluación de impacto es ¿Qué hubiese
pasado si el proyecto nunca se hubiese ejecutado? La dificultad está en que no es
posible observar directamente las condiciones de los beneficiarios de un proyecto
en el caso hipotético que no hubiesen participado en este (Ravillon, et al). Por
esta razón, es necesaria la construcción de grupos de control o comparación
conformados por personas que no recibirán los beneficios del proyecto, pero que
poseen características similares o idénticas a las del grupo de beneficiarios (grupo
de tratamiento) (Baker, et al). De acuerdo con la forma como sean seleccionados
los grupos de comparación o control los métodos de evaluación de impacto se
pueden clasificar en experimentarles, cuasi-experimentales y no experimentales.
Estos diseños utilizan principalmente información cuantitativa. En el siguiente
recuadro se resume las principales características de cada modelo.
4 Los factores externos se clasifican en observables y no observables. Los primeros están relacionados con las características de los beneficiarios (edad, sexo, educación, estado civil, ingreso, etc.), con las características de las familias (número de miembros, ingreso per capita del hogar, tasa de participación laboral, etc.) y del entorno (infraestructura social, crecimiento económico, capital social, etc.). Por su parte, los factores no observables se asocian con los valores morales, las motivaciones, los intereses personales, etc. (Ravillon, et al).
46
Diseño de evaluaci
Este diseño implica reidóneos y dispuestos reciben la intervenciódiseños experimentalmetodologías de evalupropio proceso de asestadísticamente equies un resultado muy vde la asignación al aasuntos relacionadosevaluaciones. El benefresultados: el impactmedir por la diferencicontrol.
Diseño de evaluaci
Este diseño consiste reflexivas o de coincidno participan en el prlos participantes. Ambobservadas o de una cprograma. Los grupoimplementación del p
Otro tipo de diseño comparación reflexivalos participantes del comparan entre sí anty como grupo de comp
Diseños de evaluac
Este diseño de evaluacontrol al azar, ni idcoincidencias, ni usarprograma se puedenestadísticos para cons
Tomado del Banco M
Por su parte, el im
métodos cualitativo
evaluaciones de im
condiciones como l
Métodos de evaluación de impacto
ón experimental o aleatoria
unir a un conjunto de individuos (u otra unidad de análisis), igualmente a participar en el programa, y dividirlos al azar en dos grupos: los que n (grupo de tratamiento) y los que no la reciben (grupo de control). Los es o aleatorios generalmente se consideran la parte más sólida de las ación. Al asignar al azar la intervención entre beneficiarios idóneos, el ignación crea grupos de control y tratamiento comparables que son valentes entre sí, considerando tamaños adecuados de las muestras. Este alioso debido a que, en teoría, los grupos de control generados a través zar sirven como un perfecto contrafáctico, libre de los problemáticos con la incidencia de factores externos que se dan en todas las icio principal de esta técnica es la simplicidad en la interpretación de los
o que tiene el programa sobre los resultados que se evalúan se puede a entre la media de las muestras del grupo de tratamiento y el grupo de
ón cuasi experimental
en la creación de un grupo de comparación mediante comparaciones encias. Las coincidencias involucran la identificación de personas que ograma y que se pueden comparar en sus características esenciales con os grupos deben coincidir sobre la base de algunas de las características
antidad de ellas que se sabe, o se cree, que influirán en los resultados del s de comparación que coincidan se pueden seleccionar antes de la
royecto (estudios prospectivos) o después (estudios retrospectivos).
cuasi experimental se denomina comparación reflexiva. En una , el contrafáctico se construye sobre la base de la situación que tenían
programa antes del programa. De esta manera, dichos participantes se es y después de la intervención y funcionan como grupo de tratamiento aración.
ión no experimentales
ción se puede usar ya sea cuando no es posible seleccionar un grupo de entificar un grupo de comparación apropiado a través de métodos de comparaciones reflexivas. En dichas situaciones, los participantes del comparar a aquellos que no son participantes, usando métodos
iderar las diferencias entre ambos grupos.
undial. PovertyNet. www.worldbank.org.
pacto de un proyecto también se puede valorar a través de
s. En general, este tipo de métodos se utilizan en las
pacto para comprender los procesos, comportamientos y
as perciben los individuos o grupos estudiados. La principal
47
ventaja de las evaluaciones cualitativas es su flexibilidad y el que pueden
adaptarse a las necesidades de la evaluación. También, permiten una mayor
comprensión de las percepciones y prioridades de las partes interesadas y los
diferentes factores que puedan haber afectado a los resultados de un programa.
Es posible también aplicar métodos combinados (cuanti-cualitativos).
El propósito de este taller es diseñar la evaluación del impacto de los objetivos
formulados en la MML a nivel de propósito y fin (Ver figura No. 11). Se
determinará la importancia que tiene para el proyecto de este tipo de evaluación
y los intereses de los diferentes involucrados. El grupo deberá analizar si es
necesaria la evaluación de todos los impactos del proyecto, o si la evaluación se
debe enfocar sólo en los más importantes. Finalmente, se debe seleccionar el
diseño de evaluación mas apropiado, dadas las características de la intervención y
las fuentes de información.
Figura No. 11
Fin
Propósito
Componente
Actividad
Fin
Propósito
Componente
Actividad
Indica Medios Supuesto
3
Ejecución y operación
¿Cómo evaluar el impacto de la intervención?
Después de la operación
Paso 1. Justificación de la evaluación. La aplicación de métodos de evaluación impacto es exigente en términos
metodológicos y de información. La rigurosidad de su implementación requiere
la participación de personal especializado en sofisticadas técnicas estadísticas y
48
con conocimiento en métodos de investigación social. Estas características hacen
que la evaluación de impacto sea más costosa que otros tipos de evaluaciones,
siendo necesario analizar cuidadosamente si el tipo de intervención que se
estudia justifica la realización de una evaluación de impacto. Es decir, si un
análisis causa-efecto es una prioridad.
Según el Banco Mundial (PRSP) justifica la aplicación de una evaluación de
impacto cuando: (1) la intervención es relevante dentro de la estrategia
institucional para la solución del problema identificado, (2) contribuye al
conocimiento de un problema (aprendizaje institucional), y (3) la intervención es
una iniciativa innovadora en la solución de un problema.
Bajo los anteriores criterios el grupo debe discutir si se justifica la
implementación y el diseño de la evaluación de impacto del proyecto.
Paso 2. Formulación de los objetivos de la evaluación.
La evaluación impacto debe ser considerada como un proyecto en si misma. Por
lo tanto, su planeación debe incluir la formulación de los objetivos que se buscan
alcanzar. Generalmente, las conclusiones de las evaluaciones de impacto se
utilizan para tomar la decisión si expandir, modificar o eliminar un proyecto o
intervención.
Es útil también, considerar el interés que cada uno de los agentes involucrados
podría tener en los resultados de la evaluación de impacto. Por ejemplo, los
resultados positivos de una evaluación de impacto de un programa de
capacitación de jóvenes desempleados podrían animar a muchos jóvenes a
participar en el programa. En cambio, un organismo multilateral utilizaría los
resultados para apoyar la decisión de si recomendar la ejecución de este tipo de
intervenciones en otros países.
49
Las tareas de este segundo paso del diseño de la evaluación de impacto del
proyecto son: formular los objetivos de la evaluación, y describir el interés que los
involucrados pudiesen tener en los resultados de la evaluación, o cómo y para qué
podrían utilizar esta información.
Paso 3. Definición y selección de los impactos objeto de la evaluación. Una de las primeras tareas en el diseño de una evaluación de impacto es precisar
qué se quiere medir, a través de que indicadores y cual es la meta esperada por la
intervención. Si la MML esta bien construida, estas tareas están casi concluidas.
Recuerden que los niveles de Propósito y Fin de la MML están relacionados con
los cambios que la intervención espera producir en los beneficiarios, es decir, los
impactos y efectos del proyecto. Así mismo, en la MML se seleccionan los
indicadores mas apropiados para la medición de los impactos esperados y las
metas que determinarán la efectividad de la intervención en el logro de sus
objetivos.
En la MML generalmente se incluyen todos los impactos y resultados que una
intervención espera producir en los beneficiarios. Sin embargo, existen
restricciones metodológicas, financieras y de tiempo que impiden que todo pueda
ser evaluado. Instituciones como el BID y el Banco Mundial recomiendan
focalizar la evaluación de impacto en aquellos objetivos de mayor importancia y
relevancia para la intervención. Por ejemplo, piensen en un programa
capacitación laboral que genera efectos en productividad laboral de los
beneficiarios y a su vez entrega transferencias que aumentan los ingresos de las
familias de los beneficiarios. Es posible que medir el impacto sobre los ingresos
no sea tan importante comparado con conocer los cambios en las habilidades y
comportamiento de los futuros trabajadores. Es decir, en términos de un análisis
50
costo-beneficio de la información, el retorno de evaluar el impacto sobre los
ingresos podría ser negativo.
Además de relevante, la valoración de un impacto debe ser oportuna. Esto
significa que no puede existir una brecha entre el momento en que los
“involucrados” requieren de los resultados de la evaluación y el tiempo en que
ocurren los cambios en los beneficiarios. Por ejemplo, piensen que el mayor
interés en realizar la evaluación de impacto de un programa de educación es
tener herramientas para decidir si se debe aumentar su cobertura. En este caso,
evaluar el impacto de más largo plazo (disminuir la pobreza) podría no ser la
mejor opción, ya que habría que esperar más de diez anos para observar los
cambios atribuibles a la intervención. En este ejemplo, si la MML esta bien
construida, la mejor alternativa podría ser evaluar un impacto de mediano o
corto plazo (i.e. un aumento en la asistencia escolar). Si el resultado es positivo,
teóricamente este cambio deberá conducir a los resultados esperados en el largo
plazo.
De este modo, la evaluación de impacto de una intervención debe concentrarse
en aquellos cambios que son considerados relevantes y oportunos desde el punto
de vista de los involucrados. Un ejercicio útil para priorizar los impactos que
deben ser evaluados, es precisar cada uno de los cambios que la intervención
produce desde el inicio de operación. En la figura 12 se desarrolla este ejercicio
suponiendo la evaluación de un proyecto de educación que entrega un apoyo
monetario (suficiente para la matricula y los útiles) a estudiantes de escasos
recursos durante los primeros tres anos de secundaria. Como se muestra, la
primera columna de la figura corresponde a las diferentes actividades del
programa durante su fase de operación, desde la publicación de la convocatoria
hasta la entrega del apoyo para estudiar el tercer año de secundaria. Por su parte,
en la segunda columna esta la respuesta de los beneficiarios a cada una de las
actividades del programa. Una vez el programa termina su operación la cadena
de impactos continua hasta terminar con la disminución de la pobreza, que es el
objetivo de más largo plazo del programa.
51
Figura No. 12
El programa publica la convocatoria
Los futuros beneficiarios escuchan del programa, les interesa y se inscriben
El programa admite las personas elegibles Los beneficiarios
aceptan su participación.
El programa entrega el apoyo monetario para el primer ano Los jóvenes asisten al
primer ano de secundaria
Los jóvenes asisten al segundo ano de secundaria
El programa entrega el apoyo monetario para el segundo ano
Los jóvenes asisten al tercero ano de secundaria
El programa entrega el apoyo monetario para el tercer ano
Aprueban el año
Los jóvenes continúan asistiendo al colegio y se gradúan de secundaria
Los jóvenes encuentran trabajo.
La pobreza disminuye
Aprueban el año
Operación del programa
Respuesta (cambios) de los beneficiarios
1
2
3
4
5
6
Impactos
Corto plazo
Corto plazo
Mediano plazo
Mediano plazo
Mediano plazo
Largo plazo
Figura adaptada de Weiss Carol (1998).
La figura 12 enumera 6 impactos que son generados por la intervención y que
podrían ser objeto de evaluación. Habiendo identificado estos impactos el
siguiente paso es precisar el tiempo en que ocurrirán. En general todos los
proyectos sociales permiten diferenciar entre cambios de corto, mediano y largo
plazo en los beneficiarios. Retomando el ejemplo anterior, definamos que corto
plazo son dos anos, mediano plazo entre 3 y 6 años, y largo plazo 7 años o más.
En este caso el programa tendría dos impactos de corto plazo, tres de mediano y
uno de largo plazo.
52
Conociendo los intereses de los involucrados en la evaluación de impacto del
proyecto y el tiempo en que los cambios pueden ser observados, el grupo tiene la
suficiente información para seleccionar o priorizar el numero de impactos a
evaluar. La restricción que impone el ejercicio es que el grupo solo puede
seleccionar máximo n-2 impactos, donde n es el número de impactos.
Finalmente, una vez seleccionados los impactos que serán evaluados, es
importante precisar que se requiere conocer de cada uno de estos cambios.
Generalmente las evaluaciones de impacto se concentran en el siguiente tipo de
preguntas.
1. ¿La intervención logró los cambios esperado en los beneficiarios?
2. ¿El cambio observado en los beneficiarios pueden ser atribuido a la
intervención, o es el resultado de la incidencia de factores externos que
ocurrieron simultáneamente?
3. ¿El impacto de la intervención varia entre diferentes grupos de beneficiarios
(i.e. hombres o mujeres) o en el tiempo? Si existen diferencias, cuáles son los
factores (culturales, políticos, económicos, etc) que le impide a un
determinado grupo aprovechar al máximo de los beneficios de la
intervención?
4. ¿Hay cambios o efectos no esperados, positivos o negativos?
5. ¿Qué tan eficaz es la intervención en comparación con otras alternativas?
6. ¿La intervención justifica su costo? El grupo debe redactar las preguntas o interrogantes que busca resolver con la
evaluación de cada uno de los impactos seleccionados.
53
Paso 4. Selección del modelo de evaluación de impacto. Luego de definir los impactos que se van a evaluar, el siguiente paso es
seleccionar el modelo de evaluación que se utilizará. El grupo deberá analizar
cuál método cuantitativo de evaluación es el más apropiado dadas las
características de la intervención y los impactos que se evaluarán. Luego, se
deberá evaluar las ventajas de implementar un modelo cuali-cuantitativo de
evaluación de impacto.
Como se mencionó el impacto de un programa social se puede medir a través de
tres tipos de modelos: diseños experimentales, cuasi-experimentales y no
experimentales. Se debe tener en cuenta que la rigurosidad de la evaluación
disminuye a medida que se pasa de modelos experimentales a no experimentales.
Es decir, las conclusiones respecto a la relación de causalidad entre la
intervención y el impacto son menos sólidas y exigen un análisis estadístico más
riguroso. Por este motivo, una buena estratégica para la selección del modelo de
evaluación es analizar las opciones de evaluación disponibles, de las más a las
menos rigurosas. La siguiente figura muestra el árbol de decisión que se puede
seguir para este análisis.
54
Figura N0. 13
Es posible la selección aleatoria de un grupo
de control?
Es posible la selección no aleatoria de un grupo
de comparación?
Si
No
Es posible pero solo con información después de la
intervención
Si
IntervenciónAntes
T
C
Diseño experimental
IntervenciónAntes
T
C
Diseño cuasi-experimental
IntervenciónAntes
T
C
Diseño no experimental
Después
IntervenciónAntes
T
C
Diseño cuasi- experimental antes y después
Después
La situación ex-ante del
grupo de tratamiento actúa como
control
1
23
4
La figura No. 13 contiene 4 modelos diferentes de evaluación de impacto. A
continuación se describen los principales aspecto que se deben tener en cuenta
para analizar la viabilidad de aplicación de cada uno de los diseños.
Diseño experimental 1
La primera opción del árbol de decisión (figura No. 12) es aplicar un diseño
experimental. Para examinar esta opción el grupo debe responder si es posible la
selección aleatoria de un grupo de comparación que no reciba los beneficios del
proyecto. El primer aspecto que se debe considerar es la cobertura del programa,
si la intervención beneficia al total de la población elegible no es posible la
construcción de un grupo de comparación. En este caso, sería imposible
encontrar al menos una persona que no haya recibido los beneficios del
programa.
En segundo lugar, si la intervención tiene cobertura parcial otro tipo de aspectos
se deben tener en cuenta, principalmente aspectos éticos y morales. La elección
55
al azar podría ser poco ética, debido a que niega los beneficios o servicios a otros
miembros idóneos de la población para los fines del estudio. En algunos casos la
exclusión podría, por ejemplo, poner en riesgo la vida de una persona. En este
contexto, tal vez la probabilidad de aplicar un diseño experimental podría ser
mayor en programas de capacitación laboral que en intervenciones de salud.
También se deben tener en cuenta las características de los bienes y servicios que
entrega el proyecto. Por ejemplo, los bienes públicos se caracterizan por la no
exclusión, es decir, que todos los individuos pueden tener acceso al bien o
servicio. Este podría ser el caso de parques de recreación públicos donde no es
posible impedirle la entrada a nadie el ingreso.
Otros problemas que dificultan la aplicación de modelos experimentales son
(Baker, 2000):
Puede ser políticamente difícil proporcionar una intervención a un grupo y no a
otro.
Durante el experimento, los individuos en los grupos de tratamiento o control
podrían cambiar determinadas características que los identifican, lo que
invalidaría o contaminaría los resultados. Si, por ejemplo, las personas entran y
salen de un área del proyecto, podrían también entrar y salir del grupo de
control o de tratamiento. De manera alternativa, las personas a las que se les
negó el beneficio de un programa, podrían buscarlo a través de otras fuentes; o
bien, aquellos a los que se les ofrece un programa podrían no estar interesados
en la intervención.
Quizás sea difícil asegurar que la asignación se haga realmente al azar. Por
ejemplo, cuando los encargados del proyecto o programa excluyen a los
postulantes de alto riesgo para lograr mejores resultados.
Aunque los diseños experimentales son óptimos metodológicamente, tiene
fuertes restricciones, además que su aplicación puede ser costa y tomar bastante
tiempo, particularmente en la recopilación de datos.
56
Modelo cuasi-experimental 2
Si dadas las características de la intervención no es posible la aplicación de un
diseño experimental de evaluación, se debe analizar la posibilidad de seleccionar
un grupo de comparación de forma no aleatoria. Se requiere un grupo de la
población que no tenga acceso a los beneficios del programa, pero que cumpla
con las condiciones de elegibilidad, y que sea similar a los beneficiarios de la
intervención en sus características esenciales, principalmente en aquellos
aspectos que pueden influir en los resultados de la intervención (i.e. edad, sexo,
ingreso, etc). Por ejemplo, cuando un programa de salud sólo se ejecutará una
determinada zona del país. En este caso, otras regiones con las mismas
características de las zonas seleccionadas por el programa podrían servir como
grupo de control de la evaluación.
En la construcción de estos grupos de comparación se utilizan métodos de pareo
(“Matching”), que estiman la probabilidad de participación en el programa
(puntuación de la propensión) tanto de las personas que no tuvieron acceso a los
beneficios de la intervención como de la población que beneficiaria del programa.
A partir de esta puntuación, se busca para cada una de las personas del grupo de
tratamiento una persona equivalente en el grupo de no participantes, es decir,
que tenga la misma probabilidad de participar.
En general, los diseños cuasi-experimentales que utilizan métodos de pareo para
construir el grupo de comparación, tienen observaciones antes y después de la
intervención, tanto para el grupo de comparación como para el grupo de
tratamiento. Esto implica que este diseño no es viable en proyectos de cobertura
total.
La principal ventaja de las evaluaciones que usan métodos de coincidencias
(pareo) es que pueden utilizar fuentes de datos disponibles y por ende,
generalmente implementarlas es más rápido y menos costoso. La mayor
desventaja es la menor confiabilidad de los resultados, porque la metodología
57
podría no puede resolver por completo la incidencia de factores externos en los
resultados de la intervención; y los métodos de coincidencias pueden ser
estadísticamente complejos, ya que exigen una experiencia considerable en el
diseño de la evaluación y en el análisis e interpretación de los resultados (Banco
Mundial, ).
Si la aplicación de este diseño es viable el grupo deberá describir la forma como
construiría el grupo de comparación, así como las variables que se utilizarían en
su selección.
Diseño cuasi-experimental (antes y después). 3
En el caso que no se pueda encontrar un grupo de control, existe la posibilidad de
utilizar la situación ex-ante de los beneficiarios del proyecto como punto de
comparación. Así, la situación de los participantes se compara antes y después de
la intervención, es decir, el mismo grupo hace el papel de grupo de tratamiento y
control (Banco Mundial, ). Sin embargo, esta comparación no permite eliminar el
efecto de factores externos a la intervención, y los resultados de la evaluación
combinarán tanto los efectos atribuibles al proyecto como la incidencia de
factores externos observables y no observables. Este diseño es más utilizado en la
evaluación de programas de cobertura total, donde no es posible encontrar
personas que no hayan recibido los productos de la intervención. Este diseño esta
señalado en la figura No. 12 con el No. 3.
4 Diseño no experimental. 4
Si ninguno de los diseños anteriores diseños es viable, la alternativa es aplicar un
modelo no experimental. Este diseño compara la situación de participantes y no
participantes en el proyecto, pero solo puede observar su situación después de
58
finalizar la intervención. La estructura de este diseño se muestra en la figura
N.13.
Así como en los métodos cuasi experimentales, la implementación de este diseño
de evaluación es relativamente poco costosa y sencilla, ya que puede utilizar
fuentes de datos disponibles. No obstante, ofrece varias dificultades. Primero, la
confiabilidad de los resultados generalmente se ve aminorada debido a que la
metodología tiene menos solidez estadística. Segundo, la metodología tiene
algunas complejidades estadísticas que podrían exigir algo de experiencia en el
diseño de la evaluación y el análisis e interpretación de los resultados. Tercero,
aunque es posible aislar parcialmente la incidencia de los factores externos, la
corrección total sigue siendo un desafío.
El proceso mostrado en la figura No. 13 debe realizarse para cada uno de los
impactos seleccionados. Es posible que no todos los impactos que se quieren
evaluar puedan ser valorados a través del mismo diseño. Por ejemplo, en el
estudio de evaluación de impacto del Fondo de Inversión Social de Bolivia el
componente de educación se evaluó a través de un diseño experimental, mientras
que los impactos de salud se evaluaron con un diseño cuasi-experimental. De
este modo, es recomendable examinar cuál es el diseño mas apropiado para cada
uno de los impactos.
Los modelos cuantitativos de evaluación de impacto descritos anteriormente se
pueden combinar con enfoques cualitativos de evaluación. Estos enfoques buscan
comprender los procesos, comportamientos y condiciones como las perciben los
individuos o grupos estudiados. Esta evaluación suministra información sobre las
formas en que los hogares y las comunidades locales perciben el proyecto y cómo
se ven afectados por este (Baker, 2000). En general, se aplican métodos de
evaluación cualitativa cuando se requiere conocer en profundidad cuál fue el
proceso en la generación de los impactos y, no solo los resultados obtenidos. Por
ejemplo, en un programa de capacitación laboral una evaluación cuantitativa se
centraría en indagar por la proporción de beneficiarios que consiguieron trabajo
59
después de la capacitación y su salario. En cambio, la evaluación cualitativa
preguntaría cómo se sintieron en el proceso de selección, si el trabajo que
consiguieron cumple con sus expectativas, por qué algunos beneficiarios dejaron
su trabajo, etc (Weiss, 1998).
Las evaluaciones cualitativas de evaluación utilizan métodos más flexibles
durante el diseño, recopilación de datos y análisis (Baker, et.al). A diferencia de
los modelos cuantitativos, estos hacen poco énfasis en la necesidad de comparar
los resultados con grupos que no reciben los beneficios del programa. 5 De esta
forma, la falta de un grupo de comparación en las evaluaciones cualitativas junto
con la baja representatividad estadísticas de las muestras y la subjetividad en la
recolección de la información hacen que en algunos casos la aplicación de estos
métodos en la evaluación de impacto no se la opción mas optima.
Como tarea final para la selección del modelo de evaluación de impacto el grupo
deberá estimar los costos y beneficios de utilizar un modelo cuanti-cualitativo en
la evaluación de los impactos seleccionados. Recuerden analizar cada impacto de
forma independiente. Es posible, que en la evaluación de un determinado
impacto sea necesario utilizar un método combinado, pero en otros casos no
serlo. Incluso puede ser que solo es viable una evaluación cualitativa.
Paso 5. Recolección de la información.
Los resultados de la evaluación de impacto dependen en gran medida de la
calidad y confiabilidad de la información que se recolecte (Baker, et.al). En la
selección de las fuentes de información se deben tener en cuenta aspectos como
los recursos disponibles, temporalidad de las mediciones, la precisión requerida,
la desagregación geográfica, entre otros.
5 Cabe mencionar que es posible diseñar evaluaciones cualitativas bajo en diseños experimentales o cuasi-experimentales que son usualmente utilizados en evaluaciones cuantitativas. Carol Weiss (et.al) subraya que “qualitative and quantitative are not categories of designs but types of data”.
60
Temporalidad de la información.
De los anteriores aspectos la temporalidad de las mediciones tiene especial
relevancia en la determinación de las necesidades de información. El número de
observaciones que se requieren depende del modelo de evaluación seleccionado.
Por ejemplo, un modelo experimental exige recolectar datos del grupo de
tratamiento y control al finalizar el proyecto. La pregunta es cuántas
observaciones son necesarias para observar el impacto esperado o para obtener
conclusiones sólidas respecto del cambio generado en los beneficiarios. En
algunos casos sólo una observación podría ser suficiente. Sin embargo, en otros
casos podría ser necesaria la recolección de múltiples observaciones para evaluar
el verdadero impacto de la intervención.
La información requerida para la evaluación se puede clasificar en tres
categorías: longitudinal (“panel data”), cross-section o series de tiempo.
Longitudinal: toma al menos dos observaciones en el tiempo para el grupo de
tratamiento y control. En la figura N0. 14 se muestran diferentes estructuras que
se pueden construir a partir de información de panel data al aplicar modelos
experimentales, cuasi-experimentales y no experimental. En general, al utilizar
un número mayor de observaciones en el tiempo tanto las posibilidades de
análisis como la validez de las conclusiones aumenta. Por ejemplo, evaluar el
impacto de un programa contra el consumo de cigarrillo utilizando un modelo
experimental con sólo una observación después de finalizar el programa podría
generar resultados erróneos. Esto debido a que el comportamiento de los
fumadores puede ser muy inestable, es decir, pueden suspender el consumo sólo
por una semana.
61
Figura N0. 14
IntervenciónAntes Después
T
C
Diseño experimental
T
C
Diseño cuasi-experimental
T
C
Diseño no experimental
1 2 4
T
C
T
C
IntervenciónAntes Después
T
C
T
C
IntervenciónAntes Después
Modelos de evalaucion de impacto con información de “panel data”
Cross-section: toma sólo una observación en el tiempo para el grupo de control y
tratamiento. Por ejemplo, los modelos 1 y 4 que se mostraron en la figura No. 13
requieren de este tipo de información.
Series de tiempo: toma repetidas mediciones sólo del grupo de tratamiento antes
y después de la intervención. Este tipo de información puede ser útil en el caso
de modelos de antes y después como el que se muestra en la siguiente figura.
62
Figura N0. 15
Diseño cuasi – experimental con informacion de series de tiempo
(antes y después)
T
C
IntervenciónAntes Después
Teniendo en cuenta las anteriores categorías el grupo debe analizar el tipo de
información que requieren los modelos que seleccionó para medir cada uno de
los impactos que del proyecto: panel data, cross-section o series de tiempo.
Fuentes de información.
Luego de definir el tipo de datos que se deben recolectar el siguiente paso en esta
sección es definir las fuentes de información. Existe una amplia variedad de
fuentes y métodos de recolección de información cuantitativa y cualitativa. La
principal recomendación para determinar cuáles fuentes son las mas apropiadas
para la evaluación es comenzar analizando la información disponible. Por
ejemplo, al interior del proyecto pueden existir registros de los beneficiarios,
reportes, etc. Así mismo, en entidades externas como las oficinas de estadísticas
locales y nacionales se puede encontrar información de censos, encuestas de
hogares, entre otros. En muchos casos, la línea base de la evaluación se puede
construir a partir de este tipo de datos.
Cuando la información existente no es suficiente para construir la línea base de la
evaluación o la situación ex–post de los beneficiarios, se deben utilizar métodos
de recolección de información como observación directa, encuestas, entrevistas,
entre otros. El grupo debe analizar cuál sería la fuente de información más
63
apropiada en la evaluación de cada uno de los impactos seleccionados, o si es
necesaria la combinación de diferentes métodos de recolección. Se debe recordar
que en la construcción de la columna de medios de verificación se identificaron
las fuentes de información para monitorear el comportamiento de los indicadores
y el cumplimiento de las metas del proyecto. Si esta tarea fue exhaustiva, sólo es
necesario retomar la información consignada en la MML.
Paso 6. Ficha de evaluación de impacto. El diseño de la evaluación de un impacto incorpora una amplia variedad de
actividades, desde la definición de los objetivos de la evaluación hasta la selección
de las fuentes de información. Es útil compilar la información que se genera en
todo este proceso para facilitar la implementación de la evaluación. Con este
propósito se diseño la siguiente ficha la cual debe ser completada para cada uno
de los impactos que se evaluaran.
Ficha de evaluación del impacto X
Definición del impacto: Justificación de la evaluación: Objetivos: 1. 2. 3. Intereses de los involucrados en la evaluación del impacto: 1. 2. 3. Preguntas que debe responder la evaluación: 1. 2. 3.
64
Tiempo en que espera ocurrirá el impacto Corto plazo [ ] Mediano plazo [ ] Largo plazo [ ] Modelo de evaluación
Diseño experimental [ ] Diseño cuasi-experimental con [ ] observaciones antes y después tanto para los dos grupos.
Diseño cuasi-experimental antes y [ ] después para el grupo de tratamiento (comparaciones reflexivas)
Diseño no experimental [ ]
Criterios de selección del grupo de control Indicadores y metas 1. 2. 3. Información Tipo: Cuantitativa [ ] Cualitativa [ ] Cuanti-cualitativa [ ] Fuente: Información disponible [ ] Observación directa [ ] Encuestas [ ] Entrevistas en profundidad [ ] No. de observaciones: cross-section [ ] panel data [ ] series de tiempo [ ] Unidad de análisis: individuos [ ] grupos [ ] unidades geográficas [ ] instituciones [ ]
Presentaciones e informe final
Con el propósito de discutir los resultados obtenidos por cada uno de los grupos y
monitorear el desarrollo del ejercicio, cada grupo debe realizar una presentación
de avance al finalizar la primera semana del curso y una presentación final el
último día de clase. Adicionalmente, cada agrupo deberá presentar un informe
escrito con los resultados finales, el cual será evaluado por los organizadores del
curso y hará parte de la calificación total de cada participante.
65
Presentación de avance. La presentación de avances tiene como objetivo la discusión de los resultados
obtenidos durante la primera semana. Esta discusión permitirá identificar las
fortalezas y debilidades del trabajo de cada grupo, señalando aquellos temas en
los que se requiere una mayor profundidad, o la necesidad de realizar algunos
ejercicios complementarios. Esta presentación deberá contener los resultados de
los talleres 1-4, que hacen énfasis en la construcción de la MML y la fijación de
metas en los diferentes niveles de objetivos para cada uno de los indicadores
seleccionados. El tiempo por presentación es de 20 minutos y, cada grupo
seleccionará su ponente.
Informe y presentación final. El informe y la presentación final deberán incorporar los resultados obtenidos en
cada una de las etapas del ejercicio. Además de los temas citados en la
presentación de avance el documento debe incorporar los resultados de los
talleres del 5 al 7. El tiempo de la presentación es 30 minutos y el documento
deberá tener como máximo 20 páginas.
66
Referencias
Banco Interamericano de Desarrollo. (1997). Evaluación: Una herramienta de gestión para mejorar el desempeño de los proyectos. Oficina de evaluación (EVO).
BID. Curso de evaluación y monitoreo por Internet. Tomado en www.iadbb.org.
Cohen, E. y Franco, R. (1988). Evaluación de proyectos sociales. Instituto Latinoamericano y del Caribe de Planificación Económica y Social (ILPES/ONU) y Centro Interamericano de Desarrollo Social (CIDES/OEA).
Instituto Latinoamericano y del Caribe de Planificación Económica y Social –ILPES-. (2003). Bases conceptuales para el ciclo de cursos sobre gerencia de proyectos y programas. En serie manuales, N0 24. Santiago de Chile, CEPAL/Naciones Unidas.
Navarro, H. (2003). Esquema general para la evaluación de impacto de proyecto y programa de lucha contra la pobreza. Curso internacional: uso de indicadores socioeconómicos en la evaluación de impacto de programas de lucha contra la pobreza. ILPES. Junio de 2003.
Sanín, H. (1993). Guía metodológica general para la preparación y evaluación de proyectos de inversión social. Instituto Latinoamericano y del Caribe de Planificación Económica y Social –ILPES-.
Preval II; Fida (2001). Biblioteca Electrónica “Seguimiento y Evaluación
de Proyectos”, (Selección de Documentos).
67
68
ILPES, Dirección de Proyectos y Programación de Inversiones. INFOPROJECT 2.
Manual “Gestión del Ciclo de un Proyecto, Enfoque Integrado y Marco
Lógico”. Comisión de las comunidades europeas. Serie métodos e instrumetos para la gestión del ciclo de un proyecto. Feb. de 1993.
United Nations Development Programme. Handbook on monitoring and evaluating for results. Evaluation Office.
Weiss, C. (1998). Evaluation. Prentice Hall. Segunda edicion.