7/23/2019 00452

1/22

Pautaspara la preparacin de evaluaciones independientes

de programas y proyectos de la OIT

Unidad de Evaluacin (PROG/EVAL)Oficina de Programacin y GestinNoviembre 1997

INTERNATIONAL LABOUR OFFICE

BUREAU INTERNATIONAL DU TRAVAIL

OFICINA INTERNACIONAL DEL TRABAJO

7/23/2019 00452

2/22

Indice

Pgina

Introduccin ...... ..................................................................................................................... 1

1. Principales conceptos relativos a la evaluacin independiente ..................................... 1

1.1. Objetivos y tipos de evaluacin .................................................................................... 1

1.2. Principales aspectos del propsito de una evaluacin................................................... 2

1.3. Cronograma .................................................................................................................. 5

2. Metodologa de la evaluacin independiente .................................................................. 6

3. Aspectos organizativos de una misin de evaluacin ..................................................... 7

3.1. Composicin ................................................................................................................. 8

3.2. Cronograma e itinerario ................................................................................................ 8

3.3. Fuentes de informacin................................................................................................. 9

4. Caractersticas y responsabilidades de los evaluadores independientes ...................... 10

5. Papel de los copartcipes................................................................................................... 11

Anexo 1 Presentacin de la organizacin de una evaluacin independiente............................... 12

Anexo 2 Propuesta de esquema para los trminos del mandato de una misin de

evaluacin independiente.............................................................................................. 14

Anexo 3 Propuesta de esquema para el informe de evaluacin independiente ........................... 15

Anexo 4 Cuestionario propuesto en relacin con los principales

propsitos de la evaluacin........................................................................................... 17

Documentos de referencia........................................................................................................... 19

7/23/2019 00452

3/22

1

Introduccin

Desde fines de los aos setenta, se han elaborado y actualizado en la OIT, conceptos,

metodologas y procedimientos, relativos al diseo, seguimiento y evaluacin de programas y

proyectos, que han sido publicados en una serie de manuales y guas cuya utilizacin se

extiende a toda la Oficina.

Estas pautas completan la serie destinada a promover la coherencia y el rigor en la aplicacin de

los conceptos y la metodologa de evaluacin. Su principal objetivo consiste en proporcionar a

los funcionarios de la OIT que comisionan o dirigen evaluaciones independientes, as como

tambin a los interlocutores del proyecto, una base slida para recopilar y analizar datos sobre

los resultados del trabajo realizado. Ayudarn a los jefes de programas y de proyectos, a los

funcionarios encargados del apoyo tcnico, as como a otros funcionarios de la sede y del

terreno a elaborar o analizar planes de evaluacin, a redactar o verificar los trminos del

mandato de las evaluaciones, y a actuar como personas de referencia en el proceso de

evaluacin. Asimismo, facilitarn la comunicacin y el dilogo entre los evaluadores, los

beneficiarios previstos y los dems copartcipes y tambin estimularn la reflexin dentro del

equipo mismo de evaluacin.

Estas pautas renen los conocimientos acumulados sobre la evaluacin tanto de las actividades

financiadas por el presupuesto ordinario como de los programas y proyectos financiados por

fuentes extrapresupuestarias tales como organismos multibilaterales, fondos fiduciarios y

bancos de desarrollo1. Las informaciones de referencia provienen de informes de evaluacin y

de talleres, de publicaciones recientes sobre la evaluacin y de la experiencia de los

especialistas en evaluacin dentro de la OIT y fuera de la misma.

1. Principales conceptos relativosa la evaluacin independiente

1.1. Objetivos y tipos de evaluacin

Una evaluacin determina los efectos y el impacto de los resultados de un proyecto. Se centra

en el anlisis de los progresos realizados hacia el logro de los objetivos. Los objetivos generales

de una evaluacin son la mejora de la gestin de la actividades en curso as como la

planificacin de nuevas actividades. Adems, permite a los copartcipes tomar decisiones

operacionales y de poltica sobre la base de informaciones ms precisas. Las evaluaciones de

proyectos especficos proporcionan insumos para las evaluaciones de programas de mayor

envergadura y las evaluaciones temticas.

En la OIT, se efectan principalmente dos tipos de evaluacin2: la autoevaluacin y la

evaluacin independiente. Se llevan a cabo con regularidad, siendo una el complemento de la

otra. Las autoevaluaciones son realizadas por las personas que tienen la responsabilidad directa

de la ejecucin del proyecto, o sea, por la direccin del proyecto. Las evaluaciones

1En aras de la brevedad, el trmino proyecto ser utilizado en estas Pautas en tanto que trmino genrico en

referencia a los programas, proyectos y cualquier otro tipo de actividades prcticas normalmente llevadas a cabo por la OIT.

2Para una tipologa completa de la evaluacin vaseDiseo, seguimiento y evaluacin de programas y proyectos de

cooperacin tcnica; Manual de capacitacin de la OIT, 1995 (impresin en espaol, 1996).

7/23/2019 00452

4/22

2

independientes son llevadas a cabo por personas que no tienen responsabilidad alguna en el

proyecto y que no han estado implicadas de modo alguno en el mismo.

Todas las actividades de la OIT son objeto de autoevaluaciones, mientras que las evaluaciones

independientes son efectuadas nicamente en relacin con necesidades especficas3. Una

evaluacin independiente puede ser:

interna, cuando es llevada a cabo por la OIT, pero por funcionarios que no estninvolucrados en el proyecto examinado, por ejemplo por la Unidad de Evaluacin; o

externa, cuando es llevada a cabo por uno o varios consultores externos, que puedenrepresentar a la OIT, al organismo de financiacin u otro organismo asociado.

La decisin de realizar una evaluacin independiente (planificada o no) debera ser tomada por

todos los agentes copartcipes de un proyecto. Cualquiera de ellos puede proponer que se realice

una evaluacin por diversas razones. Por ejemplo, cuando se ponen a prueba enfoques

novedosos o experimentales o cuando surgen dificultades inesperadas durante la ejecucin del

proyecto. Se puede determinar la necesidad de tales evaluaciones ad hoc durante el proceso de

seguimiento o mediante el examen de los informes de avance de los proyectos. Se deberainformar y consultar a todos los interlocutores sobre los trminos del mandato. Todos ellos

deberan recibir una copia del informe a fin de tomar las medidas complementarias que

resultaran de la evaluacin.

1.2. Principales aspectos del propsito de una evaluacin

La apreciacin del impacto de los resultados de un proyecto puede basarse en el anlisis de una

serie de aspectos de una evaluacin, cuya seleccin determinar el alcance de cada evaluacin.

La informacin bsica que debe ser recopilada en una evaluacin independiente abarca

generalmente tres componentes principales de investigacin: diseo, ejecucin y desempeo.

Las cuestiones de diseo y de ejecucin se refieren a los factores que influyen en los resultadosy que se manifiestan durante la implementacin del proyecto. Las cuestiones relativas al

desempeo estn ms directamente relacionadas con los efectos de los resultados.

Las principales cuestiones que deben considerarse en cada uno de esos componentes son las

siguientes4:

Validez del diseo. Un buen diseo de proyecto sirve de gua de trabajo, facilita elseguimiento de la ejecucin del proyecto y da una base slida para la evaluacin del

desempeo del mismo. Adems, establece el compromiso de los interlocutores del

proyecto, lo que incrementa las probabilidades de xito del mismo.

Al considerar la cuestin de la validez del diseo, las evaluaciones determinan si el diseodel proyecto original y sus revisiones: a)es lgico y est formulado en trminos precisos;

b)se centra en los problemas y las necesidades definidos y fija la estrategia a seguir para

resolverlos; c)describe la poblacin beneficiaria y la forma en que obtendr beneficios; d)

ubica el proyecto en el marco institucional adecuado y define los papeles y

responsabilidades de los principales interlocutores del proyecto; e) establece objetivos

claros e indicadores de logro para medir los cambios que el proyecto debe conseguir; f)

3Por ejemplo, los programas del presupuesto ordinario son sometidos a una evaluacin independiente a pedido de la

Direccin General o del Consejo de Administracin de la OIT. En el caso de las actividades de cooperacin tcnica, la

reglamentacin de la OIT exige que todos los proyectos cuyo presupuesto es igual o superior a 250.000 dlares de los

Estados Unidos sean sometidos a una evaluacin independiente una vez como mnimo durante su desarrollo.

4En el anexo 4, figura la lista de posibles preguntas que deben formularse para evaluar los principales aspectos deuna evaluacin.

7/23/2019 00452

5/22

3

describe los principales productos, actividades e insumos necesarios para lograr los

objetivos; g)determina supuestos vlidos acerca de los principales factores externos que

influyen en la ejecucin y el desempeo del proyecto, y h)indica la obligaciones previas

que deben cumplir los principales interlocutores.

Ejecucin. La apreciacin del proceso de ejecucin se centra en los factores que influyen

en la ejecucin del proyecto a fin de determinar si el proyecto, a lo largo de las distintasetapas operacionales, ha mantenido el rumbo hacia el logro de los objetivos fijados.

Por consiguiente, las evaluaciones deben: a) examinar cmo los insumos mediante las

actividades son transformados en productos; b) analizar la cantidad, la calidad y la

oportunidad de los productos suministrados; c) examinar si las orientaciones tcnicas y

administrativas y el apoyo proporcionados por el personal del proyecto, las organizaciones

copartcipes y las unidades involucradas de la OIT (los equipos multidisciplinarios (EMD),

las oficinas exteriores y la sede) son adecuados; d)apreciar la importancia de la influencia

de factores internos o externos sobre los resultados del proyecto e) determinar si la

respuesta del proyecto a dichos factores ha sido adecuada; f)recomendar, cuando proceda,

los ajustes y las medidas de accin complementarias que sean necesarias a fin de aumentar

las probabilidades de xito del proyecto.

Desempeo.Al apreciar el desempeo de un proyecto, las evaluaciones van ms all delos factores de la ejecucin y se centran en los efectos y el impacto del trabajo realizado. El

resultado de esta apreciacin determina si el proyecto ha logrado o puede lograr sus

objetivos.

Los principales aspectos del propsito de una evaluacin en cuanto se refiere al desempeo

del proyecto se describen e ilustran en el esquema grfico siguiente:

Principales aspectos del propsito de la evaluacin

7/23/2019 00452

6/22

4

Pertinencia. Examina la medida en que los resultados del proyecto son tiles para resolverlos problemas definidos y satisfacen las necesidades de la poblacin beneficiaria. El

anlisis verifica si el proyecto sigue teniendo vigencia y detecta todo cambio de

prioridades que pueda haber ocurrido en este contexto durante la etapa de ejecucin. Los

problemas y necesidades definidos en un comienzo pueden haber desaparecido. Pueden

haber surgido nuevos problemas y necesidades como consecuencia de factores polticos,

econmicos, sociales u otros factores, o incluso a raz de las actividades del proyecto. Por

ltimo, el anlisis determina si los objetivos siguen siendo vlidos o deberan ser

reformulados.

Eficacia.Estima la medida en que el proyecto ha logrado sus objetivos y beneficiado a lapoblacin beneficiaria. El anlisis verifica si se han obtenido o se obtendrn los resultados

esperados, y, en caso contrario, si debe modificarse la definicin de los objetivos

(evaluacin intermedia) o si debe prolongarse el proyecto (evaluacin final). Si los

objetivos y los indicadores de logro describen adecuadamente la situacin que se espera

conseguir al trmino del proyecto esta apreciacin resulta ms fcil. Los cambios

provocados por el proyecto se comprueban mediante la comparacin de la informacin

sobre la situacin (de los beneficiarios) anterior al proyecto con la situacin en el momento

de la evaluacin.

Eficiencia.Examina los resultados obtenidos en relacin con los gastos incurridos y losrecursos utilizados por el proyecto durante un perodo determinado. El anlisis se centra en

la relacin entre los insumos del proyecto, incluidos el personal, los consultores, los viajes,

la formacin, el equipamiento y los gastos varios, y la calidad y cantidad de los productos

obtenidos. Verifica la justificacin de los gastos y examina si los recursos han sido

utilizados econmicamente. Asimismo, este anlisis debera determinar si las acciones de

los distintos interlocutores han sido complementarias as como otras estrategias posibles

que permitan obtener ms y mejores resultados con los recursos disponibles.

Sustentabilidad.Estima si los resultados del proyecto han tenido o pueden tener efectosduraderos despus de haberse terminado el proyecto y haberse retirado los recursos

externos. Los factores relativos a la sustentabilidad se aprecian en funcin de la prioridad

que los beneficiarios previstos y los destinatarios directos asignan al proyecto. A este

respecto, es especialmente pertinente evaluar su disposicin favorable para seguir

apoyando o llevando a cabo actividades especficas anlogas, o inclusive para extenderlas

a otras regiones o sectores del pas. El anlisis tambin verifica si existe en el pas la

capacidad de gestin y los recursos financieros y humanos que seran necesarios para

mantener a largo plazo los resultados del proyecto.

Causalidad.Examina los factores o acontecimientos que han influido en los resultados delproyecto. Si se ha dispuesto a tiempo de los insumos necesarios para llevar a cabo las

actividades planificadas y obtener los productos esperados, la ejecucin y el desempeo

del proyecto habrn sido exitosos. Si, en cambio, se comprueban importantes desvos

respecto de los programas establecidos, el anlisis determinar las causas de tales cambios.

El examen tambin debera analizar los efectos de otros factores tales como las dificultades

tcnicas, administrativas o de gestin, la inadecuacin de los insumos, el incumplimiento

de los compromisos contrados por los interlocutores, la insuficiencia de los fondos, una

apreciacin errnea de los efectos de factores externos.

Efectos imprevistos.Durante la evaluacin debe determinarse si el proyecto tiene efectospositivos o negativos imprevistos. Una vez que stos han sido definidos, pueden tomarse

medidas adecuadas para reforzarlos o reducirlos, a fin de aumentar el impacto general del

proyecto.

7/23/2019 00452

7/22

5

Estrategias alternativas. Se analizan especialmente cuando se comprueba que laestrategia inicial ha resultado inadecuada. Las evaluaciones examinan enfoques

alternativos que pudieran tener un mayor impacto o reducir los costos. Este anlisis es

valioso sobre todo cuando se planifican actividades complementarias.

No es necesario examinar todos los aspectos antedichos en cada evaluacin. La eleccin

depender de los objetivos que se persiguen. Sin embargo, debera ser evidente que cuantoms amplio es el nmero de aspectos, ms amplia (o menos parcial) es la evaluacin del

impacto del proyecto. Si uno o varios aspectos son evaluados por separado, los resultados

de la evaluacin pueden ser falseados o equivocados (o ambos)5. Por lo tanto, para obtener

en todos los casos una apreciacin adecuada del impacto, la OIT ha adoptado un conjunto

mnimo de los aspectos de evaluacin a ser abordados en toda evaluacin de sus

actividades propias. Estos fueron seleccionados entre los aspectos arriba mencionados y

son los siguientes:pertinencia, eficacia, eficiencia y sustentabilidad6.

Cuestiones de inters especial.Adems de los aspectos arriba mencionados, la evaluacintambin determina y analiza todo efecto imprevisto o previsto sobre cuestiones de inters

especial para la OIT: a) la aplicacin de la normas internacionales del trabajo; b) el

fomento de la igualdad entre los hombres y las mujeres en el empleo, y c)la proteccin delmedio ambiente para lograr un desarrollo sostenido. Si bien son importantes para todo

proyecto, pueden no haber sido considerados en las fases de planificacin y diseo de un

proyecto especfico; por esta razn, no siempre se encuentran en todos los documentos de

proyecto referencias explcitas a dichas cuestiones. Por consiguiente, la evaluacin

independiente es un medio til para subsanar esa deficiencia, ya que permite determinar si

el proyecto examinado ha abordado esas cuestiones o si las debiera abordar en el futuro7.

1.3. Cronograma

El cronograma de la evaluacin independiente se establece generalmente en la fase de diseo y

suele ser uno de los criterios para definir los diferentes tipos de evaluacin. Si bien todas las

evaluaciones deberan abordar, como mnimo, la pertinencia, eficacia, eficiencia y

sustentabilidad del proyecto examinado, las cuestiones especficas que deben tratarse as como

la informacin y los datos que deben recopilarse, varan segn el momento en que se lleva a

cabo la evaluacin.

Una evaluacin intermedia tiene lugar en un momento determinado durante el curso delproyecto, en general, al promediar su ejecucin. Examina la probabilidad del cumplimiento de

los objetivos, estima los efectos de los primeros productos y actividades, indica los beneficios

usufructuados por la poblacin beneficiaria y verifica si la estrategia inicial del proyecto, el

marco institucional y los supuestos establecidos son adecuados. Suministra a los interlocutores

5Si, por ejemplo, slo se evala el cumplimiento de los objetivos (eficacia), los evaluadores pueden estimar que el

proyecto ha cumplido con sus objetivos, pero no se dispondr de informacin para saber si las necesidades que justificaban

el proyecto siguen existiendo (pertinencia), o si los recursos asignados han sido utilizados econmicamente (eficiencia), o si

los resultados sern duraderos una vez que la asistencia externa haya sido retirada (sustentabilidad). Un proyecto puede

haber logrado sus objetivos (eficaz) pero perder utilidad (dejar de ser pertinente), si el problema o las necesidades han

cambiado durante la ejecucin del proyecto. Viceversa, un proyecto puede seguir siendo til (pertinente), pero no alcanzar a

los beneficiarios previstos (ineficaz). Del mismo modo, un proyecto puede ser eficaz y pertinente, pero con un costo

injustificadamente alto (ineficiente), o sus resultados no tienen efectos duraderos (insustentables). Evidentemente, las

recomendaciones de una evaluacin variarn y correspondern a cada situacin especfica.

6Vase la Gua para la aplicacin del sistema de seguimiento, evaluacin y presentacin de informes de (MERS) de

la OIT(revisado) 1996.

7

VaseDirectrices para la integracin de las cuestiones de gnero en el diseo, el seguimiento y la evaluacin deprogramas y proyectos de la OIT, OIT, 1995 yPautas para promover la complementariedad entre la actividad normativa yla cooperacin tcnica, OIT, 1997 (en preparacin).

7/23/2019 00452

8/22

6

del proyecto la retroalimentacin y la informacin necesarias para evaluar el proyecto, as como

revisar, llegado el caso, las polticas, estrategias, objetivos, disposiciones institucionales y

recursos del mismo.

Una evaluacin final tiene lugar al trmino del proyecto. Verifica si los objetivos han sidologrados y si los beneficios del proyecto han alcanzado a los beneficiarios previstos. Suministra

informaciones que facilitan las decisiones que deben ser tomadas con respecto a la terminacindel proyecto o su prolongacin y extrae las enseanzas que deben ser consideradas en la

planificacin de futuros proyectos.

Una evaluacin a posteriori tiene lugar cierto tiempo despus de concluido el proyecto (porejemplo, dos o tres aos despus). Estima principalmente la sustentabilidad de los resultados del

proyecto as como su impacto a largo plazo. Este tipo de evaluacin permite fundamentar

decisiones acerca de la conveniencia de proporcionar asistencia adicional y extraer las

enseanzas que sean aplicables a proyectos similares. Tambin puede servir para establecer

nuevas prioridades y estrategias o nuevos mtodos de trabajo.

2. Metodologa de la evaluacin independiente

Existen bsicamente tres mtodos de trabajo para llevar a cabo evaluaciones: elexamen de ladocumentacin del proyecto, los seminarios ylas misiones sobre el terreno.La evaluacinindependiente se realiza generalmente mediante una misin sobre el terreno, aunque en muchos

casos se combinan los tres mtodos de trabajo.

La mayora de la evaluaciones independientes comienzan por un examen general de la

documentacin del proyecto. Corresponde a la direccin del proyecto recopilar los datos y los

antecedentes con la suficiente antelacin. Dicha documentacin incluye los documentos de

proyecto, los informes de evaluaciones independientes anteriores, los informes de avance y de

autoevaluaciones, los expedientes del proyecto, la correspondencia respectiva, los informestcnicos y otros productos del proyecto. Durante la visita sobre el terreno, esta documentacin

es complementada por informaciones recolectadas en entrevistas y consultas, a veces basadas en

cuestionarios elaborados especialmente para la evaluacin, y en las discusiones con los grupos

de la poblacin beneficiaria y los dems interlocutores del proyecto.

A fin de obtener una visin equilibrada de los resultados del proyecto, es esencial que todos los

copartcipes, tanto en el nivel institucional y de decisin poltica como en el nivel de la

poblacin beneficiaria, sean directamente consultados por el equipo de evaluacin. Si el

proyecto debe atender a grupos en zonas rurales aisladas o en zonas urbanas de ingresos bajos,

los miembros de la misin de evaluacin deben mantener discusiones con las personas que all

viven. Si el proyecto debe beneficiar a hombres y a mujeres, los evaluadores deberanentrevistarse con representantes tanto de los hombres como de las mujeres de la poblacin

beneficiaria. Dada la estructura tripartita de la OIT, los evaluadores deberan asimismo

obtener la opinin de todos los interlocutores sociales, como por ejemplo los representantes del

gobierno, de las organizaciones de empleadores y de trabajadores.

Al organizar las consultas y las entrevistas, los evaluadores deben asegurarse de haber efectuado

todos los contactos necesarios con los beneficiarios y los interlocutores del proyecto (o sus

representantes) en el programa de reuniones. Puede pedirse al personal del proyecto que

organice contactos adicionales a nivel local y que ayude a los evaluadores a comunicarse con

los beneficiarios del proyecto. Es importante que los miembros del equipo de evaluacin

mantengan abiertas las lneas de comunicacin con los copartcipes durante toda la misin, sin

7/23/2019 00452

9/22

7

perjuicio de la imparcialidad indispensable que se requiere para llevar a cabo la evaluacin con

la mayor objetividad posible.

Las evaluaciones tienen consecuencias importantes para quienes participan en la ejecucin de

los proyectos y los beneficiarios de stos. Por consiguiente, los evaluadores deberan procurar

establecer su credibilidad ante todos los interlocutores y la poblacin beneficiaria desde el

comienzo de la misin. En caso contrario, las conclusiones y las recomendaciones del informepueden ser ignoradas o incluso ser rechazadas. La credibilidad puede establecerse si los

evaluadores independientes demuestran colectivamente la competencia tcnica y profesional

requeridas y su experiencia en materia de evaluacin, as como tambin un buen conocimiento

del proyecto en cuestin.

En estos ltimos aos, un nmero creciente de misiones de evaluacin independiente han

organizado al trmino de la misin seminarios de evaluacin o reuniones a fin de discutir el

proyecto de informe con los interlocutores del proyecto. Los talleres han contribuido a definir

las necesidades futuras de la poblacin beneficiaria y a reafirmar que la pertenencia de los

resultados del proyecto a los destinatarios directos y los beneficiarios previstos, es un medio de

garantizar la sustentabilidad de sus efectos. El equipo de evaluacin puede asimismo dar parte

de los resultados preliminares a otros grupos interesados.

La responsabilidad de la organizacin de esos seminarios debe ser compartida por el personal

del proyecto y el equipo de evaluacin. La composicin de los copartcipes a ser entrevistados

(en su mayora miembros de la poblacin beneficiaria y otros interlocutores) debera ser

equilibrada en cuanto a edad, sexo, clase, origen tnico y nivel de autoridad. Conviene prever

que todos los interlocutores tengan la oportunidad de expresar libremente sus puntos de vista.

En el caso de un eventual conflicto entre grupos de participantes, puede ser necesario celebrar

reuniones separadas antes de los seminarios para allanar posibles problemas y percepciones

equivocadas.

Los evaluadores debern presentar a los participantes los resultados, conclusiones,recomendaciones, y lecciones extradas preliminares

8. Asimismo, debern solicitar a los

participantes que formulen comentarios pertinentes o suministren informaciones adicionales a

fin de corregir todo error factual o interpretacin errnea en el borrador de informe. Durante las

discusiones el equipo de evaluacin debera mantener su independencia y estar preparado para

tomar decisiones sobre las modificaciones que habrn de incorporarse al borrador de informe

como consecuencia del seminario.

Las obligaciones y las responsabilidades relativas a la evaluacin se dividen entre los miembros

del equipo de la misin. Cada uno contribuye a la recopilacin y al anlisis de datos as como a

la elaboracin del borrador de informe de evaluacin. La responsabilidad de la preparacin del

informe final y su distribucin a todos los interlocutores interesados es asignada al jefe delequipo de evaluacin. El informe debe mencionar toda opinin divergente de los miembros del

equipo. Cada miembro del equipo suscribe el informe final antes de que ste sea sometido a los

interlocutores interesados para su publicacin y distribucin. El pago de los honorarios no

debera efectuarse antes de que la versin final del informe sea recibida segn lo acordado.

8Un resultado es una asercin factual acerca de los resultados del proyecto basado en la informacin recopilada,

por ejemplo 90 por ciento de los beneficiarios del prstamo son hombres. Unaconclusin es una sntesis de resultados

que corresponde a una circunstancia especfica basada en la apreciacin del evaluador, por ejemplo el sistema de crdito no

beneficia a las empresas cuyos dueos son mujeres. Unarecomendacines una prescripcin de lo que debera hacerse

basndose en las conclusiones relativas a una circunstancia especfica, por ejemplo se deber definir un sistema de cupo

para la aprobacin de solicitudes de prstamos a fin de ampliar el acceso al crdito de las mujeres de la poblacin

beneficiaria. Una enseanza extradaes una generalizacin sobre una circunstancia especfica (un proyecto) que podra

aplicarse a un tipo de situacin (otros proyectos), por ejemplo un criterio de seleccin claro es necesario para garantizarque se atienda a los beneficiarios previstos al establecer proyectos de sistemas de crdito para las poblaciones rurales pobres

del altiplano.

7/23/2019 00452

10/22

8

3. Aspectos organizativos de una misin de evaluacin

3.1. Composicin

Un equipo de evaluacin independiente se compone generalmente de un nmero impar demiembros a fin de facilitar el proceso de la toma de decisiones. La composicin de la misin de

evaluacin debera ser aprobada por los interlocutores del proyecto. Generalmente est

compuesta por representantes de: a) organismos de financiacin (por ejemplo DANIDA,

NORAD, SIDA, la Unin Europea, el Banco Mundial, etc.),b)las organizaciones nacionales de

contraparte (por ejemplo: organizaciones gubernamentales, organizaciones de empleadores y de

trabajadores, u otras ONG); y c)la OIT.

Los organismos de financiacin y las organizaciones de contraparte pueden si lo desean elegir

una persona ajena al proyecto para representarlos. El representante de la OIT debera tambin

ser una persona que no haya estado implicada en la gestin o las operaciones del proyecto.

Puede ser un consultor externo, o un funcionario neutral, como por ejemplo un funcionario de laUnidad de Evaluacin.

El personal del proyecto y otros funcionarios estrechamente vinculados con el mismo tales

como las instituciones de contraparte locales o nacionales, los miembros de las comisiones

asesoras o consultivas o los funcionarios de apoyo tcnico, no pueden formar parte del

equipo de evaluacin puesto que tienen un inters establecido en el proyecto. No obstante,

pueden y de hecho deberan cumplir la funcin de asesores durante la evaluacin. Su

contribucin es realmente esencial para el trabajo de los evaluadores, permitindoles ahorrar

tiempo y esfuerzos.

La competencia profesional de un evaluador del punto de vista tcnico y geogrfico es uno delos principales criterios de seleccin para designar a los miembros del equipo de evaluacin. La

objetividad y la independencia son otras consideraciones clave para seleccionar evaluadores. No

obstante, el grado de independencia depende de la persona que designa a los evaluadores.

Evidentemente, es difcil evitar sesgos si el evaluador es elegido por personas que estn

estrechamente vinculadas a la ejecucin del proyecto, tales como el director o el coordinador

nacional o internacional del proyecto, los funcionarios de la OIT de apoyo tcnico y los

funcionarios de las agencias de financiacin encargados del proyecto.

Si el proyecto est destinado a beneficiar tanto a hombres como a mujeres, un miembro del

equipo de evaluacin, como mnimo, debera tener conocimientos y experiencia en materia de

cuestiones relacionadas con el gnero de las personas as como en lo que respecta a las

necesidades e intereses de las mujeres dentro de los campos tcnicos y los sectores abarcados

por el proyecto.

Normalmente, si no ha sido designado previamente los miembros del equipo deciden quin

dirigir la misin de evaluacin. Habitualmente se elige a la persona con ms experiencia o

antigedad, o el/la representante de uno de los principales interlocutores, que suele ser el/la de

la agencia de financiacin. Siempre se deber designar un jefe del equipo.

3.2. Cronograma e itinerario

El cronograma de actividades y el itinerario de una misin de evaluacin dependen en granmedida del tipo y la complejidad del proyecto. Frecuentemente, el tiempo previsto para la

7/23/2019 00452

11/22

9

misin es insuficiente con respecto a los resultados que se esperan. En la mayora de los casos,

30 das de trabajo han resultado suficientes. El programa de trabajo puede desglosarse de la

siguiente manera:

dos das para la orientacin previa a la misin y un da para la informacin sobre sus

resultados al trmino de la misma en la sede de la OIT, o en la Oficina de la OIT o el EMD

interesados;

uno a cinco das para el examen de la documentacin del proyecto antes de comenzar elprograma de entrevistas de la misin de evaluacin;

un mnimo de cinco a diez das para la recopilacin de la informacin requerida, las

entrevistas y las consultas sobre el terreno;

dos das para organizar y llevar a cabo, antes de salir del pas, un seminario de evaluacin

con el propsito de discutir el anteproyecto de resultados, conclusiones, recomendaciones

y lecciones extradas de la misin, y

cinco a diez das para la preparacin del informe final.

Estos plazos presuponen que los miembros de la misin de evaluacin empiezan a redactar el

informe de evaluacin muy temprano durante las visitas sobre el terreno, despus de haber

establecido entre ellos una clara divisin del trabajo. Ello garantiza que todas las cuestionesincluidas en los trminos del mandato sean abordadas por la misin.

La Unidad tcnica de la sede de la OIT o el EMD que corresponda tiene la responsabilidad de

organizar el programa de orientacin previa del equipo de evaluacin y de comunicacin de los

resultados al trmino de la misin, programa que debe tener en cuenta el objetivo que se

persigue y las limitaciones financieras. Cuando ste se realice en la sede, la Unidad de

Evaluacin de la Oficina de Programacin y Gestin debera ser invitada a participar. Si los

evaluadores no pueden viajar a Ginebra, el equipo debera establecer contactos con la Oficina

exterior de la OIT y/o el EMD correspondientes y con el representante de la agencia de

financiacin antes de iniciar su labor en el pas interesado.

3.3. Fuentes de informacin

Los funcionarios de apoyo tcnico tienen la responsabilidad de recopilar los documentos de

referencia y facilitarlos a los miembros del equipo de evaluacin antes del viaje al terreno. En

caso de que ciertos documentos slo estn disponibles en la sede del proyecto, los mismos

debern ser entregados por la direccin o el personal del proyecto a los evaluadores a su llegada.

Los evaluadores dispondrn de libre acceso a todos los expedientes, informes, publicaciones y

toda otra informacin relativa al proyecto.

Los principales documentos son los siguientes:

documento de proyecto y sus revisiones;

examen de avance e informes de autoevaluacin;

informes de evaluaciones independientes anteriores;

principales productos del proyecto, por ejemplo, proyectos de ley, material didctico,

informes tcnicos y actas de la comisin asesora o consultiva del proyecto;

organigramas e informaciones resumidas, o informe anual de actividad de las principales

organizaciones interlocutoras;

informaciones resumidas sobre el perfil socioeconmico y los indicadores relativos al

desarrollo humano de los pases interesados;

documentos de poltica nacional que estn relacionados con el proyecto, e

7/23/2019 00452

12/22

10

informaciones resumidas y enseanzas extradas de proyectos similares en los pases

interesados.

Los resultados y las conclusiones que resulten del proceso de recopilacin de informacin

debern basarse en fuentes que puedan verificarse. Por consiguiente, la tarea de los evaluadores

consiste en recopilar y documentar la evidencia que justifica la interpretacin y el uso de la

informacin. A ellos corresponde analizar los datos disponibles sobre los indicadores de logro,generalmente recopilados por el personal del proyecto, completar y verificar la informacin

necesaria. Adems, debern verificar cmo se han aplicado los procedimientos de recopilacin

de datos, cmo se han examinado y evaluado las estadsticas, las observaciones y las respuestas

e incluir las pruebas documentadas que justifican todas las conclusiones. Los evaluadores tienen

la libertad de examinar todas las cuestiones que consideren necesarias aunque no hayan sido

incluidas en los trminos del mandato. Durante la evaluacin, se debern efectuar controles

peridicos para eliminar posibles errores en la recopilacin, el tratamiento y la presentacin de

la informacin.

Si no es posible recopilar todos los datos estadsticos que se consideran necesarios en relacin

con los indicadores de logro o la evaluacin del impacto del proyecto, los evaluadores deben

determinar y explicar qu aspectos de los trminos del mandato deberan modificarse a fin deabordar los principales propsitos de la evaluacin y as atender las necesidades de los

interlocutores del proyecto.

Las fuentes de informacin o los resultados deberan ser tratados de manera confidencial

asegurndose de que no se pueda identificar ninguna declaracin que figure en el informe con

una determinada persona o institucin.

4. Caractersticas y responsabilidadesde los evaluadores independientes

Generalmente, los profesionales contratados para llevar a cabo evaluaciones independientes

tienen un amplio conocimiento y una gran experiencia de los principales problemas econmicos

y sociales de los pases considerados. Tambin deben tener un slido conocimiento del campo

tcnico abarcado por el proyecto que debe ser evaluado.

El proceso de evaluacin se facilita si uno de los miembros del equipo de evaluacin es un

especialista en materia de evaluacin o est al menos familiarizado con los conceptos bsicos de

diseo, seguimiento y evaluacin de proyectos. Asimismo, si los trminos del mandato de la

misin de evaluacin consideran en particular algunas de las cuestiones de inters especial para

la OIT mencionadas en el punto 1.2, algn miembro del equipo debera saber integrar estas

cuestiones en el ejercicio de evaluacin. Si ninguno de ellos posee esos conocimientos, deberaproporcionarse al equipo de evaluacin una amplia informacin previa antes de que comience

su labor.

Antes de comenzar la misin, los miembros del equipo tambin deberan familiarizarse con los

valores y las caractersticas culturales de los grupos de la poblacin beneficiaria prevista. De

esta forma, estaran mejor equipados para entender y respetar las prcticas, la creencias y las

costumbres locales a lo largo de la labor de evaluacin.

Los evaluadores deberan conocer y respetar las normas internacionales del trabajo aplicables al

proyecto y, en particular, las que se refieren a los derechos humanos fundamentales. En caso de

que exista un conflicto entre las tradiciones y las prcticas culturales y los derechos humanos

7/23/2019 00452

13/22

11

fundamentales, la misin de evaluacin debera atenerse a los principios de las normas

internacionales del trabajo respectivas.

La evaluacin de un proyecto no suele incluir apreciaciones sobre el desempeo individual del

personal del proyecto. No obstante, los evaluadores pueden observar errores, irregularidades o

transgresiones de los procedimientos establecidos al evaluar la ejecucin concreta y las

funciones de la direccin del proyecto, las instituciones de contrapartida, los funcionarios de lasede encargados del apoyo tcnico, el equipo multidisciplinario y las oficinas de la OIT

interesadas. En tales casos, la evaluacin debera evitar exponer los casos individuales en el

informe y en cambio recomendar modificaciones en las funciones de gestin especficas o de las

responsabilidades del personal y de los interlocutores del proyecto. Si la misin de evaluacin

estima necesario recomendar cambios en el personal, el asunto debera ser considerado

separadamente con las personas interesadas, sus supervisores y los funcionarios superiores de la

OIT responsables de la ejecucin del proyecto.

5. Papel de los copartcipes

Antes de nada, los interlocutores del proyecto (beneficiarios, instituciones gubernamentales,

organizaciones de empleadores y de trabajadores, ONG, etc.) se debern poner de acuerdo sobre

los aspectos del diseo, la ejecucin y el desempeo del proyecto que deben ser abordados por

la misin de evaluacin.

Durante la evaluacin, la direccin del proyecto, los principales interlocutores del proyecto

(agencia de ejecucin, agencia de financiacin, instituciones de contraparte, etc.) as como toda

otra agencia que coopere con el proyecto, debern proporcionar apoyo tcnico, administrativo y

logstico al equipo.

Los destinatarios directos y beneficiarios previstos son los principales utilizadores de los

resultados del proyecto. Son los mejores jueces del impacto y los efectos del mismo. Puedencomprobar si fueron ellos u otros los que recibieron los beneficios esperados del proyecto. Su

participacin en la evaluacin es importante no slo por esa razn sino adems porque aumenta

las probabilidades de que consideren que el informe de evaluacin les pertenece en parte, y por

tanto, de que apliquen las recomendaciones que ste contenga.

Como regla general, si el proyecto tiene un componente de apoyo directo, la poblacin

beneficiaria deber ser consultada. Si se trata principalmente de desarrollo institucional, adems

de los destinatarios directos (funcionarios de la institucin) tambin se deber consultar a los

beneficiarios previstos (usuarios de la institucin).

7/23/2019 00452

14/22

12

7/23/2019 00452

15/22

ANEXO 1

Presentacin de la organizacin de una evaluacin independiente*

Fases Accin Persona(s) u organizacin(es)

responsable(s)

Decisin de evaluar Agencias de financiacin oejecucin e institucionescontraparte (interlocutores delproyecto)

Plan de edocumen

Preparacin del anteproyecto de lostrminos del mandato

Iniciador de la evaluacin,generalmente la unidad de la OITinteresada o la agencia donante

Documenavance ycorresponproyecto

Comentarios sobre el anteproyecto deTOR por parte de la Unidad deEvaluacin de la OIT

Unidad de evaluacin de la OIT Anteproy

Seleccin de los evaluadores Copartcipes del proyecto Anteproy

Aprobacin de los TOR Copartcipes del proyecto Anteproy

Fasepreparatoria

Organizacin de la documentacin dereferencia y de las consultas yvisitas in situ

Unidad de apoyo de la OITDireccin del proyecto

TOR fina

Fase deevaluacin

Revisin de la documentacin

pertinente y preparacin, de sernecesario, de un plan de trabajopara la evaluacin

Miembros de la misin de

evaluacin

Documen

informesinformesreunionedirectiva/

*Se puede obtener la lista de los pasos a seguir para la organizacin y la realizacin de una evaluacin independiente mediante solicitud a l

de la OIT, Ginebra.

7/23/2019 00452

16/22

Fases Accin Persona(s) u organizacin(es)responsable(s)

Realizacin de la evaluacin- recopilar datos, informaciones y

opiniones- analizar datos e informaciones- resumir los principales resultados- formular las primeras conclusiones

y recomendaciones- extraer enseanzas- preparar el anteproyecto de informe- organizar seminarios de evaluacin

Miembros de la misin deevaluacin

Consultaresponsabcorresponproyectorepresentlos grupo

Preparar el informe final Distribuir el informe final a los

copartcipes del proyecto paratomar medidas complementariasy a la Unidad de Evaluacin de

la OIT

Jefe del equipo y miembros de lamisin

Unidad de apoyo de la OIT

interesada

AnteproyInforme

Fase demedidascomplementarias

Discutir el informe de evaluacin enuna reunin de examen delproyecto para adoptar lasmedidas de accincomplementarias a tomar

Resumir y registrar el informe final enuna base de datos computarizada

Direccin del proyecto,copartcipes del proyecto,

Unidad de Evaluacin de la OIT

Informe

7/23/2019 00452

17/22

ANEXO 2

Propuesta de esquema para los trminos del mandato de una misin deevaluacin independiente

Los trminos de referencia (TOR) constituyen la base de una evaluacin independiente. Garantizan que

todas las partes involucradas comprenden y comparten los propsitos de la evaluacin de un determinado

proyecto, las cuestiones que examinar, y la metodologa que ser aplicada.

Los trminos del mandato son elaborados por la direccin del proyecto, el funcionario de apoyo tcnico del

equipo multidisciplinario, de la oficina regional o de la sede de la OIT, o por un consultor. Es importante

que la persona encargada de su preparacin posea un amplio conocimiento del proyecto. Los trminos del

mandato deberan ser examinados por la Unidad de Evaluacin para su aprobacin antes de ser sometidos a

los otros interlocutores del proyecto, (por ejemplo, la agencia de financiacin, las organizaciones de

contraparte y los grupos de poblacin beneficiaria).

La portada de los trminos del mandato debera incluir la siguiente informacin:

Ttulo del proyecto

Nmero del proyecto

Agencia(s) de financiacin

Agencia(s) de ejecucin

Tipo de evaluacin (intermedia, final oa posteriori)

Area geogrfica

Fecha y duracin de la evaluacin (probables)

Fecha de preparacin

Los ttulos de los captulosde los trminos del mandato deberan incluir:

1. Antecedentes y justificacin

2. Alcance y propsito

3. Examen del proyecto

Diseo

Ejecucin

Desempeo

Cuestiones de inters especial para la OIT

4. Resultados, conclusiones y recomendaciones

5. Enseanzas extradas6. Composicin de la misin

7. Cronograma e itinerario

8. Fuentes de informacin

9. Consultas

10. Informe final (preparacin y distribucin)

11. Anexos

14

7/23/2019 00452

18/22

ANEXO 3

Propuesta de esquema para el informe de evaluacin independiente

Al preparar el informe de evaluacin independiente, los miembros del equipo consideran principalmentelos propsitos especificados en los trminos de referencia (TOR) de la evaluacin. Toda cuestinrelacionada con los TOR que haya sido abandonada o agregada durante la misin de evaluacin debetambin ser tratada en el informe.

La portada del informe de evaluacin debera incluir:

Ttulo del proyecto

Nmero del proyecto

Agencia(s) de financiacin

Agencia(s) de ejecucinInstituciones de contraparte

Tipo de evaluacin (intermedia, final oa posteriori)

Area geogrfica

Fecha y duracin de la evaluacin (probables)

Fecha de preparacin

Los ttulos de los captulosdel informe de evaluacin deberan incluir:

1. Recapitulacin de los resultados y recomendaciones

2. Introduccin

3. Diseo

Contexto socioeconmico y cultural

Verificacin del anlisis del problema

Objetivo de desarrollo y objetivos inmediatos

Validez general del diseo

4. Ejecucin

Insumos internacionales

Insumos nacionales

Actividades

Productos

Gestin y coordinacin

Factores externos

5. DesempeoPertinencia

Eficacia

Sustentabilidad

Eficiencia

Causalidad

Efectos imprevistos

Estrategias alternativas

15

7/23/2019 00452

19/22

6. Cuestiones de inters especial para la OIT

Normas internacionales del trabajo

La igualdad entre hombres y mujeres

Proteccin del medio ambiente

7. Resultados, conclusiones y recomendaciones

8. Enseanzas extradas

9. Anexos

16

7/23/2019 00452

20/22

ANEXO 4

Cuestionario propuesto en relacin con los principales propsitos de laevaluacin

I. Validez del diseo

Estn adecuadamente enunciados los objetivos? Describen correctamente las soluciones de los

problemas y necesidades identificados?

Estn los indicadores de logro claramente definidos? Describen los cambios que se desean

obtener?

Han sido identificados los factores externos que afectan a la ejecucin del proyecto? Son vlidos

los supuestos?

Es el proyecto de documento lgico y coherente? Vincula los insumos, las actividades y los

productos a cada objetivo inmediato?

Estn las funciones y los compromisos de los distintos interlocutores claramente definidos?

Existe algn motivo para revisarlo?

II. Proceso de ejecucin

Se ha orientado la ejecucin general del proyecto hacia el logro de los objetivos?

Han contribuido los distintos interlocutores a la ejecucin del proyecto conforme a lo planeado?

Han actuado los distintos interlocutores de manera coordinada?

III. Desempeo

Pertinencia Existen an los problemas o necesidades que originaron el proyecto, han cambiado o existen

nuevas prioridades que deberan ser consideradas? Ha sido el proyecto una respuesta apropiada a los problemas o necesidades que se identificaron a

su inicio?

Sigue siendo el proyecto apropiado para responder a los problemas o necesidades identificados?

Han cambiado las prioridades dadas a los componentes bsicos del proyecto, por ejemplo, entre el

desarrollo institucional y el apoyo directo? De ser as, explquense las razones.

Siguen siendo vlidos los objetivos o deben ser reformulados?

Eficacia En qu medida ha logrado el proyecto su objetivo inmediato? Han sido recopilados por el proyecto datos relativos a los indicadores de logro? Proporcionan

pruebas adecuadas con respecto a los efectos y al impacto del proyecto? Es necesario recopilar ms

datos?

Han participado los grupos beneficiarios en la formulacin y la ejecucin del proyecto?

Los beneficios del proyecto han sido realmente de provecho para la poblacin a la que se

destinaban?

17

7/23/2019 00452

21/22

Eficiencia Los resultados esperados del proyecto siguen justificando los gastos incurridos?

Se han gastado los recursos de la forma ms econmica ?

Han sido complementarias las acciones de los distintos interlocutores?

Existen maneras ms eficientes de obtener ms y mejores productos s insumos disponibles?

Sustentabilidad

Cul es la probabilidad de que los beneficios del proyecto perduren despus del retiro del apoyoexterno?

Existen condiciones que garanticen que los resultados del proyecto tengan efectos duraderos?

Causalidad

Qu factores o acontecimientos especiales han influido en los resultados del proyecto? Esos factores, son internos o externos al proyecto?

Efectos imprevistos

Tiene el proyecto algn efecto imprevisto (negativo o positivo) importante? Qu podra hacerse para incrementar o disminuir dichos efectos a fin de aumentar el impacto

general del proyecto?

Estrategias alternativas

Existe o podra haber existido una manera ms eficaz de abordar los problemas y de satisfacer lasnecesidades a fin de lograr los objetivos? Sigue siendo vlida la estrategia del proyecto o debera ser reformulada?

IV. Cuestiones de inters especial

Normas internacionales del trabajo

Ha cumplido el proyecto con los principios y las disposiciones de las normas pertinentes? Ha fomentado el proyecto la aplicacin o la ratificacin de las normas pertinentes?

La igualdad entre hombres y mujeres

Ha sido realizado un anlisis de gnero de las personas de la poblacin beneficiaria? Ha sido realizada una planificacin de las cuestiones relativas al gnero de las personas para

considerar las diferentes necesidades de los hombres y las mujeres de la poblacin beneficiaria?

Se han incrementado equitativamente los beneficios recibidos por los hombres y las mujeres de la

poblacin beneficiaria?

Proteccin del medio ambiente

Han sido observados o abordados los efectos (negativos o positivos) relativos al medio ambiente? Ha realizado el proyecto acciones explcitas o implcitas a fin de proteger y conservar el medio

ambiente?

18

7/23/2019 00452

22/22

Documentos de referencia

Commission of the European Communities: Gestion du cycle de projet: Approche intgre et

cadre logique, Srie mthodes et instruments pour la gestion du cycle de projet, No 1.

Fvrier 1993.

Commission of the European Communities: Manual for appraising project and programme

dossiers, Bruxelles, 1985.

How to assess evaluations of educational programmes: The programme evaluation standars,

Sage Publications, Inc., 2nd edition, 1994.

Lewin E.: Evaluation manual for SIDA, Swedish International Development Authority,

Stockholm, 1994.

OIT: Diseo, seguimiento y evaluacin de programas y proyectos de cooperacin tcnica;Manual de capacitacin, OIT, Ginebra, 1996.

OIT: Gua para la aplicacin del sistema de seguimiento, evaluacin y presentacin de informes

(MERS) de la OIT, Ginebra, 1996.

OIT: Gua para la preparacin de planes de trabajo, informes de avance e informes de

autoevaluacin para programas y proyectos de cooperacin tcnica,OIT, 1994.

OIT: Guapara la preparacin de un esquema resumido de proyecto para el financiamientomultibilateral, Ginebra, 1991 (Rev. 1997).

OIT: Pautas para facilitar la complementariedad entre las actividades normativas y las

actividades de cooperacin tcnica, Ginebra, 1997 (en preparacin).

OIT: Pautas para integrar las cuestiones relacionadas con el gnero de las personas en el

diseo, seguimiento y evaluacin de los programas y proyectos de la OIT,Ginebra, 1995.OIT: Procedimientos para el diseo y la evaluacin de proyectos de la OIT(revisado), Ginebra,

1981.

PNUD: Directrices relativas a la formulacin de proyectos y al formato de los documentos de

proyecto, Nueva York, 1988.

PNUD: Manual de programacin y de proyectos: Captulo sobre supervisin, evaluacin y

presentacin de informes,Nueva York, 1987.

Scriven, M.:Evaluation Thesaurus,Sage Publications, Inc., 1994.

UNDP: Guidelines for evaluators, including project evaluation information sheet, New York,

1993.

UNESCO:Evaluation manual, Paris, 1983.

UNESCO:Guidelines for the evaluation of development co-operation projects, Paris, 1993.

19