Guia Evaluación de programas y proyectos sociales

7/31/2019 Guia Evaluacin de programas y proyectos sociales

1/112

Gua de Evaluacinde Programas y

Proyectos Sociales

Plan Estratgicodel Tercer Sectorde accin social


2/112


3/112

EvaluacinGuade

de Programasy

SocialesProyectos

Plan Estratgicodel Tercer Sectorde

AccinSocial


4/112

Edita Plataforma de ONG de Accin SocialAvda. Dr. Federico Rubio y Gal, 4. Local28039 MadridTel. 91 535 10 26 Fax 91 535 05 82Correo electrnico: [email protected]

Depsito Legal

Diseo ms!grfica

Preimpresin e impresin Advantia Comunicacin GrficaFormacin, 16. Pol. Ind. Los Olivos.

28906 Getafe (Madrid)

de la Edicin Plataforma de ONG de Accin Social

Este documento ha sido elaboradopor el equipo de tcnico de:

Coordinacin: scar D. Perea AriasPlataforma de ONG de Accin Social


5/112

NDICE

GUADE EVALUACIN DE PROGRAMAS YPROYECTOS SOCIALES

69

31

79

103

106

PRESENTACIN

BLOQUE 1.CONSIDERACIONES BSICAS DE LA EVALUACIN

1. Introduccin a la evaluacin de programas y proyectos sociales.1.1. Algunos Aspectos clave.1.2. tica, poltica y calidad de la evaluacin.

2. Tipos de Evaluacin.2.1. Por su ubicacin temporal.2.2. Segn su objeto.

2.3. Por quien la hace.2.4. Por sus instrumentos.

BLOQUE 2.ANLISIS ESTRATGICO

1. Proceso de la Evaluacin.1.1. La programacin en evaluacin y los Trminos de

Referencia.1.2. Momentos en la ejecucin de la evaluacin1.3. Agentes en evaluacin. Los stakeholders

2. El diseo de la Evaluacin.3. Criterios de la Evaluacin.

3.1. Los principales componentes de las evaluaciones de losproyectos de accin social.

3.2. Fuentes de Verificacin3.3. La operacionalizacin: De criterios a indicadores de eva-

luacin3.4. Instrumentos de seguimiento: los indicadores

BLOQUE 3.TCNICAS DE EVALUACIN

1. Tcnicas y herramientas para la Evaluacin1.1. Tcnicas Cuantitativas1.2. Tcnicas Cualitativas1.3. Tcnicas Participativas

BLOQUE 4.INFORME DE EVALUACIN

BIBLIOGRAFAY WEBGRAFA

5


6/112

La Plataforma de ONG de Accin Social presenta la Gua de Evaluacin de Programas yProyectos Sociales dentro de las acciones de operativizacin del Plan Estratgico delTercer Sector de Accin Social, documento creado con una metodologa participativa enel ao 2003 por el Grupo de Trabajo del Plan Estratgico del Tercer Sector, a partir de unainiciativa del Consejo Estatal de ONG de Accin Social.

La Plataforma lidera la ejecucin de las acciones de operativizacin del Plan Estratgicode Accin Social, a travs del programa del Plan Estratgico con cargo al RgimenGeneral del Ministerio de Sanidad y Poltica Social que cuenta adems con la colabora-

cin de la Comisin de Desarrollo Operativo del Plan Estratgico de ONG de Accin Social.Las ONG que en la actualidad forman parte de la Comisin de Desarrollo Operativo delPlan Estratgico del Tercer Sector de Accin Social coordinada por Cruz Roja Espaola,en el que tambin est representada la Administracin General del estado, son:Fundacin Secretariado Gitano; Comisin Espaola de Ayuda al Refugiado; Hermandadde Veteranos de las Fuerzas Armadas; Red Espaola de Desarrollo Rural; ConfederacinEspaola de Organizaciones a favor de las personas con Discapacidad Intelectual;Federacin de Mujeres y Familias de mbito Rural; Federacin de Mujeres Progresistas;

Unin Roman; DIDANIA Federacin de Entidades Cristianas de Ocio y Tiempo Libre;Coordinadora Estatal VIH-SIDA; Critas Espaola; Plataforma de Voluntariado de Espaa;Confederacin Espaola de Personas con Discapacidad Fsica y Orgnica; Plataforma deONG de Accin Social; Unin de Asociaciones Familiares; Confederacin Estatal dePersonas Sordas; Unin de Asociaciones y Entidades de Atencin al Drogodependiente;Red Europea de Lucha contra la Pobreza y la Exclusin Social; Plataforma deOrganizaciones de Infancia; Fundacin ONCE y Federacin de Asociaciones de Scouts deEspaa.

La Plataforma de ONG de Accin Social es una entidad de mbito estatal, privada, acon-fesional y sin nimo de lucro, constituida formalmente en el ao 2000, formada en laactualidad por 28 organizaciones1 no gubernamentales y no lucrativas de mbito estatal.Las Organizaciones que representa, luchan contra la exclusin social y la discriminaciny representan a colectivos muy diversos como infancia y familia, jvenes, mujeres, perso-nas mayores, personas con discapacidad, personas con problemas de drogodependen-cia, personas afectadas por el VIH-SIDA, pueblo gitano, personas reclusas y exreclusas,personas migrantes y solicitantes de asilo y desarrollo rural. Para concluir esta presenta-

PRESENTACIN

6 PLAN ESTRATGICO DELTERCER SECTORDEACCIN SOCIAL


7/112


8/112


9/112

G U

A

BLOQUE 1Introduccin a la

Planificacin Estratgica G U

A

BLOQUE1Consideraciones

Bsicas de laEvaluacin


10/112

1. INTRODUCCIN A LA EVALUACIN DE

PROGRAMAS Y PROYECTOS SOCIALES1.1. Algunos aspectos clave

Un proyecto social es la unidad mnima de asignacin de recursos, que a travs de unconjunto integrado de procesos y actividades pretende transformar una parcela de larealidad, disminuyendo o eliminando un dficit, o solucionando un problema.

Los proyectos sociales producen y/o distribuyen bienes o servicios (productos), para

satisfacer las necesidades de aquellos grupos que no poseen recursos para solven-tarlas autnomamente, con una caracterizacin y localizacin espacio-temporal pre-cisa y acotada.

Un programa social es un conjunto de proyectos que persiguen los mismos objetivos,que pueden diferenciarse por trabajar con poblaciones diferentes y/o utilizar distintasestrategias de intervencin.

La poltica social es un conjunto de programas que pretenden alcanzar los mismos fines.

Da las orientaciones sobre qu problemas sociales priorizar y define las principales vas y/olmites para la intervencin que la poltica plantea.

Los programas y proyectos sociales, se enmarcan en una poltica, de la que constituyen sutraduccin operacional, va asignacin de recursos que permite su implementacin.

La evaluacin permite tomar decisiones a travs de la comparacin de distintas alternati-vas. Tanto en la vida cotidiana como en los proyectos, en general, sean estos sociales o pro-

ductivos, pblicos o privados, se requiere de la evaluacin para adoptar decisiones racio-nales.

El significado de la evaluacin difiere segn la etapa del ciclo de vida del proyecto en la quese la utilice. Si es durante la formulacin, proporciona los criterios de decisin para acep-tar un proyecto especfico u ordenar las alternativas consideradas en funcin de las rela-ciones existentes entre sus costos e impacto (o beneficio). Si se la aplica durante la opera-cin o, inclusive, habiendo sta concluido, permite determinar el grado de alcance de losobjetivos perseguidos, as como el costo en que se ha incurrido.

1 CONSIDERACIONES BSICAS DE LA EVALUACIN



11/112

As, formulacin y evaluacin son dos caras de una misma moneda. Un proyecto no sepuede formular a menos que se sepa cmo se lo va a evaluar, porque slo a partir de lametodologa de la evaluacin es posible determinar cul es la informacin que se debe reco-ger para su formulacin.

Por otro lado, la evaluacin ex-post (durante o despus de la implementacin del proyec-to) permite reorientar la operacin, adecuando el diseo realizado o adaptndola a las con-diciones cambiantes del contexto. Asimismo posibilita aprender de la experiencia.

La evaluacin, entonces, sirve de marco de referencia para la formulacin de un programao proyecto, permitiendo medir los costos y el impacto (o los beneficios) del mismo, as comolas relaciones existentes entre ambos.

1.1.1. Definicin de Evaluacin

Una funcin que consiste en hacer una apreciacin tan sistemtica y objetiva como seaposible sobre un proyecto [por realizarse] en curso o acabado, un programa o un conjun-

to de lneas de accin, su concepcin, su realizacin y sus resultados. Se trata de determi-nar la pertinencia de sus objetivos y su grado de realizacin, la eficiencia en cuanto a laaccin social, la eficacia, el impacto y la viabilidad. Una evaluacin debe proporcionar unasinformaciones crebles y tiles, que permitan integrar las enseanzas sacadas en los meca-nismos de elaboracin de las decisiones.

1.1.2. Caractersticas y Funciones de la Evaluacin

En general, la evaluacin puede definirse como una herramienta sistemtica que, con baseen unos criterios y a travs de unas tcnicas, mide, analiza y valora unos diseos, proce-sos y resultados con el fin de generar conocimiento til para la toma de decisiones, la retro-alimentacin, la mejora de la gestin y el cumplimiento de unos objetivos.

Las principales caractersticas de la evaluacin son:

Carcter til y prctico: La evaluacin ha de servir para la mejora de la intervencin ydebe ser concebida hacia la accin.

CONSIDERACIONES BSICAS DE LA EVALUACIN1

GUADE EVALUACIN DE PROGRAMAS YPROYECTOS SOCIALES 11


12/112

Sistematicidad durante todo el proceso de evaluacin: Toda evaluacin ha de recogerde modo sistemtico la informacin pertinente para la valoracin de los criterios de eva-luacin.

Necesidad de flexibilidad: Junto con el cariz sistemtico de la evaluacin, ha de primar-se la flexibilidad metodolgica a lo largo de todo el proceso de evaluacin.

Ajuste a los plazos temporales: La evaluacin tiene que responder a los plazos tempora-les acordados con el fin de que pueda contribuir al aprendizaje y la mejora de la inter-vencin.

La evaluacin se centra en el anlisis de polticas, planes, programas y proyectos; nun-

ca de personas. Emisin de juicios de valor: La evaluacin exige el anlisis valorativo de los componen-

tes estudiados. Realizacin antes, durante o con posterioridad a la ejecucin: Se trata de una actividad

que puede llevarse a cabo en las distintas fases del ciclo de las intervenciones. Variabilidad del objeto de evaluacin: La evaluacin puede estar referida al diseo de

una actividad, a los procesos de ejecucin o a sus resultados y efectos, previstos o noprevistos, priorizando uno u otro enfoque segn la finalidad del trabajo.

Criterios de evaluacin: En la evaluacin se revisarn la eficacia, la eficiencia, la perti-nencia, el impacto y la viabilidad entre otros componentes.

Por otra parte, todos los que toman decisiones -ya sean personas o entidades- tienen lapreocupacin y -por lo tanto- la necesidad permanente de asegurarse que sus decisio-nes son las adecuadas en cada momento y lugar; as como, que una vez tomadas lasdecisiones, stas dan los frutos esperados/necesarios. En el momento en que esta pre-ocupacin se expresa y se instrumenta, lo que ocurre normalmente cuando las entida-

des alcanzan un cierto grado de complejidad, nos encontramos ante la evaluacin o,expresndolo de manera ms precisa, ante los procedimientos de evaluacin de una enti-dad determinada.

Como consecuencia de lo anterior, la evaluacin debe llevarse a la prctica como herra-mienta imprescindible de cualquier ciclo del proyecto de accin social que se pueda con-cebir; ya que no puede imaginarse un ciclo de gestin que no considere el tomar las mejo-res decisiones posibles, para de esta manera asignar adecuadamente los recursos dispo-nibles y utilizarlos de la forma ms adecuada una vez asignados.




13/112

En este sentido, tres son las principales funciones de la evaluacin:I. La retroalimentacin o mejora (improvement) de los proyectos o acciones ejecuta-

das o en ejecucin,II.El aprovechamiento de las experiencias del pasado para actividades futuras (enligh-

tenment), yIII.La rendicin de cuentas (accountability) hacia los financiadores, la opinin pblica

y todos aquellos implicados en los procesos de accin social.



Perfeccionamiento o mejora del programa o poltica. Permite la retroalimentacin y el aprendizaje sobre la propia prctica. Garantiza la calidad del programa. Refuerza la atencin en el contexto del programa, las necesidades

y naturaleza de los destinatarios y de todos los agentes crticos.

I. IMPROVEMENT

Rendimiento de cuentas o responsabilidad sobre la gestin y resul-tados de un programa.

Prctica que forma parte del sistema democrtico como resultadodel derecho a saber en qu y cmo se utilizan los fondos pblicos(idoneidad, eficacia, eficiencia).

Perspectivas del accountability2 Perspectiva poltica. Perspectiva tcnico-organizativa. Perspectiva de los ciudadanos. Perspectiva del cliente.

II. ACCOUNTABILITY

Ejemplificacin o iluminacin para acciones futuras La evaluacin contribuye a construir conocimiento desde los apor-

tes tericos, tcnicos y metodolgicos. Orienta sobre un modo de afrontar los problemas sociales

III. ENLIGTENMENT

Contextualizada Capacidad de respuesta Sensibilidad social y poltica Oportunidad en el tiempo realismo y rentabilidad

Continuidad Flexibilidad metodolgica Imparcialidad Participacin

CARCTER POLTICO

CARCTERPRCTICO

Fuente: Elaboracin propia

CONCEPTO DE EVALUACINRECOPILACIN Y ANLISIS SISTEMTICO DE INFORMACIN QUE PERMITE LA EMISIN DE JUICIOS

TAMBIN SISTEMTICOS SOBRE EL MRITO Y EL VALOR DEL PROGRAMA EVALUADO

F U N C I O N E S 1

Facilitar el proceso de toma de decisiones Solucin de problemas Facilitar el aprendizaje organizativo el cambio institucional

P R O P

S I T O S

C A R A C T E R

S T I C A S

1. STTUFFEBEAM Y SHINKFILED (1987). Evaluacin Sistemtica. Gua terica y prctica. Madrid.2. VEDUNG, E. (1997). Public Policy and Program Evaluation. New Jersey.


14/112

Estas tres funciones pueden ser resumidas en un criterio general:todas las evaluaciones deben ser de utilidad para la organizacin , en alguno de sus niveles as comocontribuir al aprendizaje sobre programas y proyectos dentro de la organizacin.

De igual modo, como hemos sealado una de las funciones de la evaluacin o el procesode la evaluacin es la de servir para tomar mejores decisiones de lo que se hara si no exis-tiera esa evaluacin singular o ese procedimiento. Para que sea efectivamente til y utiliza-da, una evaluacin debe:

I. Poseer un diseo flexible que permita introducir modificaciones en los instrumen-tos de recopilacin y anlisis de la informacin en caso de que la situacin as loaconseje.

II.No ser considerada slo como una parte del ciclo del proyecto, sino como una acti-vidad que gua la identificacin, la formulacin, la ejecucin y el seguimiento. Enresumidas cuentas, todas las actividades deben ser diseadas y llevadas a cabosuponiendo que sern evaluadas.

III.Tener un carcter explicativo, estableciendo relaciones de causalidad, sin quedar-se en meras descripciones de la realidad.

IV.Satisfacer las necesidades de informacin de todos los implicados, lo que suponeuna total transparencia en cuanto al acceso a los datos necesarios.

V.Tener un coste que est en consonancia con el del proyecto o la accin evaluada.VI.Proporcionar resultados a tiempo y oportunamente, de tal manera que sus conclu-

siones se puedan aplicar dentro de un espacio razonable de tiempo y en el ciclo vitaldel proyecto o de la planificacin.

Como criterios fundamentales de la evaluacin, junto a la utilidad y la aplicabilidad es nece-sario aadir el rigor, ya que esto determina la credibilidad de las conclusiones. Se debenelegir muy cuidadosamente los procedimientos de recopilacin de la informacin, las meto-dologas utilizadas y el personal encargado de su realizacin, y se debe ser explcito en todomomento acerca de la calidad y fiabilidad de los datos empleados. Sin embargo, esto noquiere decir que sea necesario buscar una validez estadstica intachable en todos los casos,sino que es conveniente que exista un consenso entre los implicados principales acerca dela calidad de la informacin conseguida.




15/112

Para que una evaluacin pueda cumplir esa condicinsine qua non razonablemente se hade suponer que se deben dar al menos las siguientes circunstancias:

I. Que en los procedimientos de gestin de las partes implicadas en el proyecto y concapacidad de decisin en l, as como en la propia gestin del proyecto, existan losprocedimientos operativos para introducir los eventuales cambios y asimilar las ense-anzas que la evaluacin recomiende, en el primer caso, y, en el segundo, se hagapatente. Parece claro que si no existe la posibilidad de introducir cambios en el dise-o y/o en la ejecucin del proyecto o se carece de la capacidad para interiorizar los

aprendizajes, no sera de ninguna utilidad los resultados de una evaluacin.II.El procedimiento de evaluacin previsto debe formar parte del procedimiento de ges-

tin habitual del proyecto; no debindose contemplar como una intervencin for-nea o extraordinaria. Todo proyecto, salvo razones muy poderosas en contra y quese deben explicitar, debe ser objeto de un anlisis evaluativo. Las caractersticas deesta evaluacin debern obedecer a nuestras necesidades y posibilidades.

III.Debe producir resultados significativos. Es decir, debe esforzarse en mostrar causa-lidades, superando el nivel de la mera descripcin de un estado de cosas o de la corre-

lacin. Una evaluacin debe ser capaz de identificar porqu determinados aconte-cimientos han sucedido, sucedern o estn sucediendo3. Obviamente este es un ejer-cicio arriesgado, pero el componente interpretativo/predictivo es imprescindible. Simul-tneamente, debe informarse en la misma evaluacin de los niveles de certidumbrey de los criterios interpretativos con los que se ha construido la evaluacin.

IV.Que responda a las necesidades de todos los implicados, especialmente de aquellaspersonas e instituciones que directa o indirectamente participan en la evaluacin; yasea facilitando informacin, procesndola, analizndola... Todo aqul que participe

activamente en una evaluacin, discuta y facilite informacin y juicios en el marco deuna evaluacin debe obtener un adecuado retorno, pues esa es la mejor manera deasegurar la calidad de las fuentes utilizadas. La necesidad de que la evaluacin pro-duzca resultados tiles para todos los implicados, lgicamente, entre ellos deben estarlas personas beneficiarias, exige que los hallazgos de evaluacin se presenten y cubran



3. Los datos que se recogen para evaluacin tienen tres propsitos: describir, explicar y predecir. Estos propsitos no se excluyen mutua-mente, por el contrario, hay una progresin lgica desde el primero hasta el ltimo. La descripcin de un fenmeno o proceso es el pri-mer paso orientado a explicar su ndole, causas subyacentes, relaciones y contexto. Y la prediccin requiere usualmente, aunque no

siempre, describir y explicar...Las predicciones se fundamenta en la comprensin de las causas de los acontecimientos En CASLEY,DENNIS; KUMAR KRISHNA (1990). Recopilacin, anlisis y uso de los datos de seguimiento y evaluacin, Madrid pp. 2 y 3.


16/112

distintos aspectos de acuerdo con la utilizacin que le vayan a dar los receptores de laevaluacin; en resumidas cuentas, les debe de servir para tomar sus propias decisio-nes dentro del marco del proyecto. En este sentido carece de sentido hablar de eva-luacin participativa sin que exista una gestin del proyecto participada.

V.Los costes monetarios y no monetarios asociados a la evaluacin, dentro de los quees preciso incluir los del seguimiento, deben estar en consonancia con los costesdel proyecto evaluado. No parecera adecuado que un proyecto consumiera la mitadde sus recursos en el seguimiento y la evaluacin4.

VI.La evaluacin debe suministrar sus resultados a tiempo, cuando sus hallazgos pue-

dan utilizarse, cuando an es posible hacerlo, para tomar las decisiones sobre lostemas que ilumina.

Con relacin a los puntos anteriores referidos a las caractersticas ligadas a la utilidad deuna evaluacin5, considera que el enfoque estndar, es decir, un enfoque rgido y univer-sal apropiado para todas las evaluaciones, ha sido (ms bien debera decirse que debe ser)reemplazado por la utilizacin de diversas tcnicas y fuentes para satisfacer a la variedadde cuestiones relacionadas con la gestin.

Abundando en esos temas, indica de manera especfica que las encuestas por muestreorepresentativo, tradicionalmente consideradas el mximo ejemplo de rigor en la recogidade informacin, deben ser sustituidas o completadas por tcnicas menos representativas,de menor coste y ms rpidas; subrayando especficamente la utilizacin de:

I. Documentacin administrativa. Mediante un simple pero cuidadoso diseo estadocumentacin puede ser usada para apreciar los progresos y costes del proyecto;

as como, tambin puede utilizarse, en el caso de proyectos que suministran servi-cios, para recoger informacin bsica y socioeconmica sobre los usuarios.

II.Encuestas con pequeas muestras. Muestras de menos de 100 sujetos, ms bara-tas, pueden proporcionar informacin sobre el acceso a servicios y su aceptacin.

III.Indicadores indirectos. Suficiente informacin puede reunirse mediante la utiliza-cin de este tipo de indicadores con un coste menor.



4. Las excepciones a esta regla son los proyectos piloto; denominndose as aqullos que se realizan con el propsito principal de eva-luarlos.

5. BINNENDIJK, A.L.(1989). Donor agency experience with the monitoring and evaluation of development projects. Evaluation Review,13 (3). pp. 216 y 217.


17/112

IV.Informacin procedente del estudio en profundidad de las personas beneficiarias.La experiencia extrada de los proyectos muestra de manera reiterada que sus fra-casos son debidos con frecuencia a la no comprensin de las percepciones de laspersonas beneficiarias. Para superar estas incomprensiones la utilizacin de la obser-vacin participante, informadores claves, reuniones comunales... son procedimien-tos baratos y que producen una rpida retroalimentacin.

1.2. tica, Poltica y Calidad en Evaluacin

En los ltimos aos se le ha prestado mucha atencin a las cuestiones ticas relacionadascon la evaluacin. Esta preocupacin, como es lgico, ha sido paralela al reconocimientodel carcter poltico de la evaluacin y, por lo tanto, al poder que sta puede tener y a lanecesidad de que el equipo evaluador interacte en el contexto en el que debe intervenir.Muchos de los ms recientes manuales en evaluacin de programas y polticas contienenun captulo especfico en cuestiones ticas6.

Otro indicador de esta preocupacin tica es la existencia de cdigos deontolgicos, elabora-

dos por las asociaciones profesionales, que en algunos casos, tienen ese objetivo implcito inclu-so en el ttulo que les han dado Orientaciones para una actuacin tica, en el caso de las aso-ciaciones canadiense y austral asitica. Como ya se ha sealado anteriormente, es, a la vez, unindicador y un elemento generador de una mayor consolidacin institucional y profesional deuna disciplina. Profesiones fuertemente consolidadas desde hace tiempo (como son la medi-cina, la abogaca o la arquitectura) o ms recientemente (psicologa) han desarrollado este tipode cdigos. Adems de fomentar un sentido de pertenencia e identificacin entre los/as profe-sionales, acotan y regulan la prctica profesional entre sus respectivos campos.

Un aspecto de enorme trascendencia y especialmente caracterstico de los cdigos deon-tolgicos es que permiten la introduccin y desarrollo de los temas ticos, que resultan cla-ve en la prctica de la evaluacin.



6. PATTON, Q.M. (1997) Utilization focused Evaluation: The new century text. Londres.WEISS, C.H. (1998) Donor Agency experience with the monitoring and evaluation of development projets Evaluation Review 13 (3).NORAD. AGENCIA NORUEGA E COOPERACIN AL DESARROLLO (1997) El enfoque del marco lgico: Manual para la planificacin

de proyectos orientada por objetivos, Instituto Universitario de Desarrollo y Cooperacin-Fundacin Centro Espaol de Estudios deAmrica Latina, Madrid.


18/112

En su manual de evaluacin, Carol Weiss7, incluye un captulo dedicado a cuestiones ti-cas, Evaluar con integridad y seala seis ideas fundamentales sobre cmo se debe rea-lizar una evaluacin tica en una sociedad democrtica. Son las siguientes:

Conocer el programa o poltica que se va a evaluar y su contexto. Mantener la alta calidad tcnica y la relevancia del estudio de evaluacin: la calidad en

investigacin se define en trminos metodolgicos. En evaluacin, adems, se debeasegurar que el estudio es relevante para la situacin y el contexto concreto.

Las elecciones de quien evala deben tener en cuenta: el tipo de informacin que quie-

re el cliente, los deseos y puntos de vista de otros agentes crticos, la naturaleza de laspremisas del programa, las posibilidades de xito de la evaluacin y las oportunidadesde que se incorporen los resultados al conocimiento profesional y a la opinin pblica.Tambin tiene que ser sensible a los cambios que se produzcan en el contexto a lo lar-go del proceso de evaluacin.

Considerar la posibilidad de uso desde el principio: las conclusiones deben ser escu-chadas, respetadas y aceptadas, ya que sern la base para la accin.

Comportarse de forma tica a lo largo del estudio. A veces, las obligaciones ticas pue-

den llegar a ser contradictorias o entrar en conflicto; hay que procurar, sobre todo, nodistorsionar y no daar sensibilidades.

Sobrevivir y cosechar recompensas: Con esta mxima, Weiss8 pretende demostrarque, a pesar de todas las demandas que se requieren del evaluador/a, la evaluacinmerece la pena ya que pretende mejorar la forma de abordar problemas pblicos; esun trabajo que genera comprensin y mayor calidad de vida.

Patton9 vincula las cuestiones ticas a la naturaleza poltica de la evaluacin y a su poder.

Este autor plantea cuatro mximas polticas que deben seguir los equipos de evaluacin,considerando de forma prioritaria su utilizacin:

No toda la informacin es til; No toda la gente es usuaria de informacin; Es ms probable que la informacin dirigida al uso alcance el objetivo; Slo la informacin creble es poderosa en ltima instancia.



7. WEISS, C.H. (1998). op. cit. pp 320 y ss.

8. WEISS, C.H. (1998). op. cit. pp 320 y ss.9. PATTON, Q.M. (1997). op. cit.


19/112

Es evidente que estas cuatro mximas tienen claras implicaciones ticas.

Finalmente, y como ejemplo de la importancia de las cuestiones ticas en la evaluacinmencionamos el manual para evaluar proyectos de ayuda al desarrollo elaborado por laAgencia Noruega de Cooperacin10. En el captulo dedicado a La tica de la evaluacinexpone los requisitos ticos y profesionales que debe cumplir el equipo evaluador:

Sensibilidad cultural: estar familiarizados con las caractersticas culturales del colecti-vo o zona de intervencin.

Anonimato y confidencialidad: se debe respetar el derecho de los/as informantes. Responsabilidad en las evaluaciones: el equipo evaluador no debe realizar ninguna afir-

macin a menos que todos sus miembros hayan tenido la oportunidad de aprobarla omanifestar su desacuerdo con ella.

Consideracin con los informantes: avisar con tiempo y hacer un uso eficiente de sudisponibilidad.

Integridad y omisiones: quien evala tiene la responsabilidad de sacar a la luz cuestio-nes que no hubieran sido reflejadas en los trminos de referencia.

Evaluacin de personas: la evaluacin de proyectos no incluye normalmente la evalua-cin de personas; en todo caso, la funcin de las personas y no ellas mismas.

Errores e infracciones: cuando se descubran errores habr que evitar citar personasconcretas en el informe.

Convalidar la informacin con participantes y personas o entidades implicadas. Compartir los resultados: Se podrn hacer sesiones informativas y resmenes de carc-

ter no oficial, manteniendo la discrecin respecto a los contenidos finales.

2. TIPOS DE EVALUACIN

La accin de evaluar no siempre tiene las mismas caractersticas. Podemos encontrar dis-tintas clases de evaluaciones que definen una amplia tipologa cuyos perfiles se nutren dediversas disciplinas, bsicamente del mbito econmico y social, que han aportado su pun-to de vista a los procedimientos de gestin de los proyectos.



10. NORAD. AGENCIA NORUEGA E COOPERACIN AL DESARROLLO (1997) op. cit. pp 12 y 13.


20/112

En la accin social se han venido construyendo diversas tipologas de evaluacin que atien-den a los momentos en los que se lleva a cabo; a su naturaleza y a las caractersticas deaquello que se persigue analizar; a los actores sociales que las realizan y a los procedimien-tos prioritarios que se utilizan.

La clasificacin que a continuacin se presenta no agota las posibilidades de manejar otrotipo de criterios; por el contrario, el quehacer institucional especfico en este campo puedecomplementar y revisar las definiciones que se incluyen. No obstante, parece oportunoordenar esquemticamente el universo de la evaluacin, en el entendido que no existen

definiciones puras sino que todas ellas tienden a entremezclarse con frecuencia. En cual-quier caso, resulta conveniente conocer las principales caractersticas de los tipos mscomunes de evaluacin, teniendo en cuenta que el proceso de definicin del modelo deevaluacin ms adecuado para cada organizacin constituye un proceso original que nopuede ser mecnicamente replicado

2.1. Por su Ubicacin Temporal

De la visin tradicional que consideraba a la evaluacin como una fase final de rendicinde cuentas, hemos pasado a una concepcin ms compleja que tiende a visualizar los pro-yectos de accin social como procesos de evaluacin continua.

Atendiendo a la temporalidad de las evaluaciones pueden, por tanto, distinguirse cuatrograndes momentos evaluativos: antes de comenzar la ejecucin, durante la ejecucin, enel momento de conclusin de los trabajos o transcurrido un periodo despus de la ejecu-cin, que dan lugar a otros tantos tipos de evaluaciones. Brevemente van a sealarse sus

principales caractersticas.

2.1.1. Evaluacin Previa

La evaluacin previa es llamada tambin evaluacinex ante, a priori, apreciacin, valora-cin previa o estudio de viabilidad. Tiene por finalidad esencial la de proporcionar informa-cin significativa para tomar la correspondiente decisin en torno a si el proyecto debe o noejecutarse; o bien cul es el proyecto ms adecuado para el apoyo y financiacin (elegirracionalmente entre proyectos alternativos); o bien qu modificaciones deben introducirseen determinada formulacin antes de su ejecucin.




21/112

La evaluacin previa tiene distintas modalidades de realizacin. Con frecuencia consiste enun ms o menos sistemtico trabajo de gabinete, a travs del cual un equipo de analistasvalora la calidad y aplicabilidad del documento del proyecto, construyendo para ello listas decomprobacin ad hoc que permitirn evaluar la consistencia de su formulacin y su posi-ble viabilidad. Si se considera que el documento no rene los mnimos exigibles de calidadse puede solicitar informacin adicional o, ms drsticamente, se recomendar su rechazo.

2.1.2. Evaluacin Simultnea

La evaluacin simultnea es tambin denominada intermedia, concurrente, media, formativa,concomitante uon going. Tiene por finalidad extraer informacin, reflexiones y conclusionessobre la marcha y desempeo del proyecto. Se trata de examinar con juicio crtico la validez con-tinuada de las hiptesis en que se fundamentaron las proyecciones realizadas en el diseo.

La evaluacin simultnea ofrece apreciaciones sobre la continuidad del proyecto con baseen los resultados del mismo. Si la decisin es continuar, habr de valorarse si procede man-tener la formulacin original o deben introducirse modificaciones para mejorar la calidad

de la intervencin.

Este tipo de evaluacin debe realizarse sobre la accin social, aplicando para ello los proce-dimientos tcnicos ms adecuados a las caractersticas del proyecto. Siempre que sea posible,esas evaluaciones deben hacerse contando con la ms amplia participacin de los distintosagentes implicados en la intervencin y muy especialmente con la poblacin beneficiaria.

La evaluacin simultnea tender a examinar los progresos y problemas que se detectan

durante la ejecucin, permitiendo as que las personas beneficiarias incrementen sus capa-cidades y reduzcan su vulnerabilidad y que la organizacin que opera sobre el proyecto deaccin social pueda rectificar sus puntos dbiles y consolidar los fuertes.

2.1.3. Evaluacin Final

Este tipo de evaluacin es tambin denominado finalizacin o evaluacin a fin de proyec-to, sumativa ode cierre . Tiene por finalidad valorar el desempeo global de un proyectocuya ejecucin ha finalizado y extraer las correspondientes enseanzas. La metodologa de




22/112

trabajo apuntar a analizar los componentes clsicos de la evaluacin (eficacia, eficien-cia, pertinencia, impactos, viabilidad, replicabilidad) as como aquellos efectos no previs-tos y que en el curso del proceso de ejecucin se han desencadenado.

Este tipo de evaluacin, por tanto, estudiar el funcionamiento del proyecto y emitir un infor-me final cuyos contenidos permitirn conocer la calidad de la intervencin efectuada as como mejorar la planificacin de futuros proyectos similares o con componentes parecidos.En este sentido, la evaluacin de un proyecto finalizado debe contribuir a reforzar la toma dedecisiones utilizando los correspondientes aprendizajes en experiencias posteriores.

La evaluacin final, como se ha sealado con anterioridad, aparece en algunos manualesdenominada evaluacin sumativa, atendiendo a su carcter terminal en donde presumible-mente se recogen las conclusiones de todo el proceso de intervencin.

2.1.4. Evaluacin Posterior

Muy ligada a la anterior, en cuanto a su naturaleza y procedimientos, este tipo de evalua-

cin se realiza un tiempo despus de haber concluido la ejecucin del proyecto y trata deestudiar en profundidad sus repercusiones en el contexto de la intervencin. Esta evalua-cin es llamada tambina posteriori, ex - post o de impacto.

La valoracin de los efectos de un gran nmero de proyectos, el cumplimiento efectivo desus objetivos, as como la capacidad local para mantener los beneficios en el tiempo, slopodr ser analizada con rigor en un momento posterior a su finalizacin. Ello resulta anms cierto en el caso de los proyectos de carcter social y en aquellos que comportan un

elevado grado de transferencia de conocimientos.

As, la evaluacin posterior tiene como finalidad estimar la verdadera dimensin de las inter-venciones, con una atencin particular a sus impactos y a sus niveles de sostenibilidad. Tie-ne, asimismo, una especial importancia a la hora de extraer conclusiones que refuercen losaprendizajes y permitan, en el futuro, fundamentar de mejor modo la toma de decisiones.

Como resulta obvio, tanto la evaluacin final como la posterior constituyen modalidades arealizarse sobre la accin social.




23/112

2.2. Segn su objeto

El alcance de cada evaluacin tambin permite establecer una clasificacin que acota elobjeto de estudio y las caractersticas especficas de su mbito de aplicacin. En tal senti-do se incluyen algunos tipos que, una vez ms, pueden presentarse en el trabajo real deforma combinada.

2.2.1. Por el Propsito

Segn su propsito se puede hablar de evaluacin de resultados, de evaluacin de objeti-vos y de evaluacin de procesos. Los dos primeros tipos son difcilmente distinguibles entres y aparecen habitualmente combinados, pero vamos a intentar establecer algunas mati-zaciones que permitan diferenciarlos.

Evaluar en base a resultados significa atender a los productos concretos que el proyectoentrega; supone valorar, por tanto, la adecuacin y calidad de los bienes y servicios que gene-ra el proyecto. Este anlisis implica un correcto diseo en donde los resultados hayan sido

definidos de modo operacional a travs de indicadores, para evaluar la eficacia, y en dondelos recursos tengan una clara expresin en el presupuesto, para evaluar la eficiencia.

Evaluar en base a objetivos, por su parte, supone valorar las hiptesis de la accin socialque orientan la intervencin. Es decir, si el desempeo del proyecto ha contribuido efecti-vamente a alcanzar, y en qu grado, los estados predeterminados que mejoran la situacinde las personas beneficiarias; si la lgica interna del proyecto (recursos, actividades, resul-tados, objetivos) se han verificado en la prctica.

Este anlisis implica un correcto diseo en donde los objetivos hayan sido definidos de modooperacional a travs de indicadores, para evaluar la eficacia, y en donde otros componentes delproyecto hayan sido claramente descritos, para evaluar la pertinencia, impactos y viabilidad.

Una evaluacin, efectuada en cualquier momento de la vida de un proyecto, debe mirarpermanentemente hacia dentro y hacia fuera de esa intervencin, pues es precisamen-te esa combinacin de los aspectos internos y externos la que puede permitirnos estable-cer un diagnstico fiable sobre los logros y efectos alcanzados.




24/112

Una valoracin exclusiva de los resultados, de los objetivos y de sus respectivos indicado-res puede llevarnos a olvidar el contexto en el que se efecta el proyecto y los efectos deste sobre la realidad. Por contra, un nfasis excesivo en la apreciacin de los procesosdesencadenados por el proyecto en cuestin, aparte de su dificultad intrnseca, puede con-ducirnos a despreciar la lgica interna de la intervencin y toda la fase de ejecucin, lo que,en el fondo, supone un rechazo al proceso general de planificacin.

2.2.2. Por su Naturaleza, su Escala y sus Niveles

Segn su naturaleza, la evaluacin puede ser descriptiva, a travs del desarrollo narrativode clasificaciones y taxonomas que detallen fenmenos, procesos y situaciones o explica-tiva, mediante la construccin de modelos causales que permitan extraer conclusiones yproyectar predicciones (recomendaciones y sugerencias).

Segn la escala y caractersticas de los proyectos, puede hablarse de proyectos grandes,en los que resulta ms adecuada una evaluacin basada en la utilizacin de tcnicas cuan-titativas asociadas a las ciencias naturales, y de proyectos pequeos, cuyos formatos se

adaptan mejor a procedimientos cualitativos y de bajo coste. Evidentemente la distincinestablecida en funcin de la magnitud de los proyectos es especfica para cada institucin,pues no puede establecerse una frontera absoluta entre unos y otros. En cualquier casoesa clasificacin resulta pertinente para asignar procedimientos de gestin, y dentro de ella,de evaluacin, diferenciados para cada caso. No parece realista pensar, por ejemplo, quees posible evaluar de la misma manera a una modesta intervencin con plazos temporalesmuy limitados que a un ambicioso programa que se prolonga durante bastantes aos.

Otra diferenciacin esquemtica que habitualmente se maneja para asignar distintos pro-cedimientos de evaluacin es la que puede establecerse entre proyectos directamente pro-ductivos, que aconsejan el uso de instrumentos evaluatorios prximos a las ciencias eco-nmicas (anlisis coste beneficio y otros) para conocer y evaluar flujos financieros, y pro-yectos no directamente productivos, proyectos sociales, en donde se tiende a la aplica-cin combinada de tcnicas simplificadas, tanto cualitativas como cuantitativas.

Finalmente y segn los niveles de la planificacin, la evaluacin puede ser normativa, cuan-do afecta a las grandes orientaciones polticas y principios rectores de cada institucin;




25/112

estratgica, asociada a los planes de desarrollo que concretan, en prioridades y alternati-vas de intervencin, los ejes normativos; tctica, en funcin de los programas que estruc-turan acciones concretas para satisfacer las prioridades estratgicas; y operativa, abocadaal anlisis de los proyectos especficos en el marco de determinados programas.

La secuencia anterior constituye un itinerario metodolgico adecuado para desarrollar pro-cesos de evaluacin integrales y articulados, de modo que la evaluacin de los elementosde cada nivel informe y fundamente al nivel ms prximo.

2.3. Por su Quin la HaceUna tercera tipologa implica reconocer cul es el agente evaluador. Tal como se ha sea-lado en los anteriores epgrafes, tambin esta clasificacin no es ms que un esquema deanlisis toda vez que en la prctica las combinaciones que se presentan son numerosas.

Convencionalmente, se distinguen tres tipos de evaluaciones en funcin del sujeto que lasrealiza: externa, interna y mixta, a las que hay que aadir las evaluaciones participativas

que han adquirido en los ltimos tiempos una gran importancia.

2.3.1. Evaluacin Externa

Se trata de las evaluaciones realizadas por especialistas ajenos a la gestin (y especfica-mente a la ejecucin) del proyecto. Tambin esta evaluacin tiende a asociarse con la eva-luacin final o de impactos.

Las principales ventajas que habitualmente se sealan en esta modalidad de evaluacin delos proyectos sociales son su presumible objetividad, su menor complacencia y su carc-ter independiente. De igual modo, se considera que los expertos externos pueden poseeruna mayor capacidad tcnica en el manejo de los instrumentos evaluatorios y un conoci-miento ms amplio de otras intervenciones de caractersticas relativamente parecidas a laconsiderada.

En muchas ocasiones, los responsables de la ejecucin de los proyectos sealan que las reco-mendaciones de los equipos externos de evaluacin resultan inaplicables para las institucio-




26/112


27/112

Su aplicacin prctica, en determinados casos, se realiza situando la responsabilidad de laevaluacin simultnea en la instancia ejecutora (responsable asimismo del seguimiento)para completar el proceso con una evaluacin final a cargo de un equipo externo que basasus apreciaciones, adems de en sus propios anlisis, en los trabajos de carcter interno.Existen, no obstante, otras posibilidades alternativas.

2.3.4. Evaluacin Participativa

Se trata, de hecho, de una modalidad de evaluacin interna pero, en este caso, la respon-

sabilidad de la misma no recae tanto (o tan slo) en la instancia ejecutora sino que las pro-pias personas beneficiarias constituyen el agente principal en la recogida de datos, en suinterpretacin e, incluso, en la proyeccin de recomendaciones para el futuro.

La evaluacin participativa suele estar asociada a metodologas del tipo investigacin-accin,en donde los beneficios del proyecto no estn constituidos slo por la consecucin de susresultados y por el logro de sus objetivos sino, tambin y bsicamente, por los elementosde continuo aprendizaje que se desencadenan durante el mismo proceso de ejecucin. Es

decir, se parte de la base de que el desarrollo del proyecto y la participacin activa de laspersonas beneficiarias en todas sus fases, constituyen per se una de las principales fina-lidades de la intervencin.

Por ltimo, puede afirmarse, que la evaluacin participativa, aun cuando en ocasiones pue-da apoyarse en asesoras tcnicas externas, pretende reducir al mnimo la distancia exis-tente entre el evaluador y las personas beneficiarias. El evaluador tiende a ser concebidoen este tipo de enfoques ms como un animador que como un juez y su funcin consiste

esencialmente en dinamizar, facilitar las discusiones y recoger sus resultados.

2.4. Por los Instrumentos

Para finalizar con las tipologas de evaluacin es oportuno incluir una clasificacin de carc-ter ms instrumental que afecta a los procedimientos y tcnicas concretas susceptibles deser utilizados en cada una de las modalidades expresadas en los apartados anteriores. Nue-vamente cabe sealar que estas tcnicas se presentan, en la prctica, habitualmente aso-ciadas entre s.




28/112

De forma inicial puede realizarse una distincin entre procedimientos cualitativos y cuantita-tivos. Si bien la calidad y la cantidad suelen ser dos dimensiones de una misma secuencia,cada procedimiento de evaluacin se orienta, en mayor o menor medida, hacia una de ellas.

Esta orientacin se concreta segn el tipo de datos que cada instrumento recoge y proce-sa de forma preferente. Los datos cualitativos se derivan normalmente de actitudes, per-cepciones, opiniones, perspectivas, comportamientos, creencias, etc. Su carcter iterativoles permite una revisin y adecuacin constante en el curso de la recogida de informacin.Los datos cuantitativos consisten en cifras, tasas, variables, etc. La forma de su obtencin

tiende a estar rgidamente predeterminada de antemano y su capacidad de ser flexible esescasa. stos ltimos, no obstante, suelen ser preferidos por su presumible carcter demayor objetividad y fiabilidad.

Los instrumentos, como resulta lgico, constituyen un medio para la evaluacin y no su fina-lidad. En esa medida puede sealarse que no existe un procedimiento tipo para cada pro-yecto y que su combinacin ad hoc suele resultar el camino ms acertado. Para tomar esadecisin habr que valorar, entre otras cosas, la aplicabilidad del instrumento a las caracte-

rsticas del proyecto, las capacidades de quienes han de aplicar las tcnicas seleccionadas,su calidad intrnseca, su fiabilidad y validez, su disponibilidad, su relevancia y su coste.

2.4.1. Instrumentos Cuantitativos

En cuanto a los instrumentos esencialmente cuantitativos hay dos familias de tcnicas deuso habitual a las que sumamos la evaluacin por indicadores:

I. La primera, ligada al mundo de las ciencias econmicas, pretende determinar cri-terios de rentabilidad de los proyectos para conocer la conveniencia de realizar unaaccin social o, en su caso, examinar la rentabilidad econmica de un proyecto futu-ro, en curso o finalizado. El mtodo tipo es el Anlisis Coste Beneficio (ACB) quecompara los flujos de bienes y servicios producidos por el proyecto con sus respec-tivos costes, expresando todo ello en unidades monetarias. Una modalidad deriva-da, entre otras posibles, es el Anlisis Coste Efectividad (ACE) en donde la anteriorcomparacin se realiza sin que ambas dimensiones, costes y beneficios, estn expre-sadas en la misma unidad.




29/112

Estas tcnicas tienden a utilizarse en proyectos directamente productivos ancuando, en ocasiones, ciertos dogmatismos metodolgicos intentan forzar la lgi-ca de las cosas para su aplicacin a proyectos en donde los efectos o beneficiosresultan difcilmente cuantificables en trminos monetarios, nios escolariza-dos, etc.

II.La segunda familia de procedimientos cuantitativos tiene que ver con el mbito delas encuestas formales, que recogen informacin precisa y estandarizada a travs decuestionarios aplicados a determinadas muestras representativas. Su utilidad es incon-testable para el tratamiento de datos cuando se necesita realizar generalizaciones o

bien verificar hiptesis. Sin embargo, su alto coste y grado de sofisticacin en la reco-gida de informacin aconsejan su uso slo cuando las condiciones del proyecto as lo exijan y/o lo permitan.Existen otros mtodos, tradicionales en este mbito, tales como el amplio campo delas mediciones directas, apropiadas para comparar dimensiones fsicas, que puedenaplicarse asociadas a otras tcnicas.

III.Finalmente, la evaluacin por indicadores constituye la estrategia evaluatoria centraldel enfoque del marco lgico (EML), en donde dichos indicadores deben ser cuanti-

ficables y verificables, a travs de tcnicas cuantitativas como las sealadas y/o pro-cedimientos cualitativos como los que vienen a continuacin.

2.4.2. Instrumentos Cualitativos

En cuanto a los instrumentos ms cualitativos la tipologa es de una extensin imposible deresumir en este manual y sus posibles combinaciones en la prctica resultan prcticamen-te inacabables. No obstante, seguidamente se enuncian algunos procedimientos genricos

de uso comn en los proyectos de desarrollo que tambin pueden ser agrupados en dostipos de familias: la observacin y la entrevista.

A. La observacin es una tcnica tradicional que no exige demasiados comentarios. Sucarcter de apreciacin subjetiva es evidente, as como su utilidad para interpretar datosrecogidos por otras vas. Suele distinguirse entre observacin participante, en donde elevaluador est presente durante el proceso de ejecucin, y observacin directa, cuandose realiza en momentos puntuales de la vida del proyecto. Ambas tienden a ser comple-mentadas con otras tcnicas y soportes, listas de comprobacin, cuestionarios, etc., que




30/112

reducen los inevitables sesgos de los observadores y refuerzan las posibilidades de esta-blecer comparaciones.

B. La Entrevista es un instrumento bsico en toda evaluacin y permite, a diferencia de laencuesta formal, introducir un alto grado de flexibilidad en la recogida de informacin eincorporar, en el curso de los trabajos, elementos sobrevenidos que no se previeron ini-cialmente y que en ocasiones constituyen datos esenciales para determinadas interpre-taciones. Algunas modalidades son, por ejemplo, la entrevista a informantes clave, endonde un grupo de individuos relevantes y con un importante conocimiento de la situa-cin opinan, de forma separada, sobre temas que no les implican directamente; una

variante es la tcnica Delphi que utiliza una secuencia de cuestionarios enviados y reci-bidos por correo.La entrevista a grupos focales aplica colectivamente, de forma flexible y con un desglo-se temtico, un cuestionario comn a un pequeo grupo homogneo. El forum comuni-tario es una reunin abierta a personas representativas de la comunidad, en donde seestablece una discusin ordenada basada en un guin de trabajo desagregado por compo-nentes; este mecanismo resulta muy til como momento ltimo de un proceso de eva-luacin en donde se contrasta la informacin recabada por otras vas con la opinin de

los participantes en un taller de evaluacin.




31/112

G U

A

BLOQUE 1Introduccin a la

Planificacin Estratgica G U

A

BLOQUE2Anlisis

Estratgico


32/112

1. EL PROCESO DE LA EVALUACINNuestra propuesta de proceso de evaluacin, y en la cual nos apoyaremos a lo largo de estematerial, es el siguiente:

Motivacin para evaluar Definicin de unidad, qu, quienes y cuando Necesidades informativas Criterios de valor, preguntas relevantes Operacionalizar criterios a indicadores/ diseo metodolgico

Bsqueda y diseo de fuentes de verificacin primarias y secundarias Trabajo de campo Recopilacin y sistematizacin de datos Anlisis e interpretaciones Juicios Recomendaciones Comunicacin de resultados

1.1. La programacin de la evaluacin y los trminos de referencia

La programacin de la evaluacin incluye el conjunto de trabajos previos al ejercicio con-creto de evaluar. Se trata de establecer sus contenidos preliminares en trminos de qu seva a evaluar y por qu; quin lo va a hacer y para qu; cmo, cundo y dnde se realizar.Resulta algo equivalente a la formulacin del proyecto pero, en esta ocasin, la finalidadconsiste en disear un proceso concreto de evaluacin.

2 ANLISIS ESTRATGICO


CONTENIDOS PASOS RESPONSABLE

Por qu evaluar Tomar la decisin de evaluarsegn criterios establecidos Organizacin

Para qu, qu y cmo evaluar Preparacin de los trminosde referencia Organizacin

Quin, cundo y dnde evaluar Elaboracin del programao proyecto de trabajoEquipo evaluador, a partir

de los trminos de referencia

ESQUEMA DE PROGRAMACIN DE UNA EVALUACIN

Fuente: elaboracin propia


33/112

Por qu se evala, corresponde al momento inicial de esta primera fase y constituye elpunto de partida. Significa, en definitiva, tomar la decisin de evaluar. El por qu deesta decisin debe quedar suficientemente claro y argumentado en el seno de la ins-titucin responsable del proyecto, entre la poblacin beneficiaria y tambin para el equi-po evaluador.

En ocasiones se evala porque existe una exigencia administrativa de que as sea por par-te del financiador. Desde un punto de vista estrictamente tcnico, el motivo puede ser, entreotros muchos, la deteccin de alguna insuficiencia u obstculo durante la ejecucin del pro-

yecto; la ampliacin de la accin social a otras reas o a otros componentes adicionales; obien, simplemente, la necesidad de incrementar el conocimiento sobre el desempeo yefectos de la intervencin.

Los resultados explcitos de esta reflexin facilitarn la concrecin de los momentos poste-riores.

El paso siguiente consiste en elaborar los Trminos de Referencia (TdR) de la evaluacin,

que son el soporte documental a partir del cual se construirn los cimientos de la evalua-cin. Los Trminos de Referencia deben incluir las preguntas a las que la evaluacin debedar respuesta, temtica muy relacionado con los componentes o criterios de evaluacin,que sern tratados ms adelante. En general, sern elaborados por la institucin que encar-ga la evaluacin, ya que es a ella a quien le corresponde establecer los perfiles del proce-so y sus reas sustantivas.

En un segundo momento, y tras ser analizados por el equipo evaluador, se confeccionar

un Programa o Proyecto de Trabajo con las aportaciones tcnicas que procedan, comple-tando y describiendo algunos captulos tales como el mbito de aplicacin y los procedi-mientos metodolgicos, profundizando en ellos y concretndolos en problemas y propues-tas especficas.

La seleccin de cuestiones a exponer en los trminos de referencia de la evaluacin es deextrema importancia para los resultados de evaluacin. De hecho, algunas evaluaciones noresultan exitosas porque los TdR se han centrado en detalles, sin ninguna especificacinde conjunto en relacin al propsito con el que se realiza la evaluacin.

ANLISIS ESTRATGICO2



34/112

A la hora de formular los TdR es importante, por tanto, tomar como punto de partida el obje-tivo de la evaluacin y concentrarse en cuestiones y propuesta globales, evitando un nivelelevado de detalle. Ms bien, debera corresponder al equipo de evaluacin el realizar unaformulacin ms detallada, sujeta a los comentarios y la aprobacin del cliente.

Es importante establecer claramente cual es el propsito de la evaluacin y qu clase de eva-luacin se prev; por ejemplo, evaluacin de una fase o evaluacin ex post de un proyecto.

Es importante implicar a todas las partes interesadas, tanto de la parte donante como recep-

tora, en la preparacin y la aprobacin final de los TdR.

Se presenta a continuacin un resumen de los puntos principales que deberan incluirseen los Trminos de Referencia.



1.1. ANTECEDENTES DEL PROYECTO Contexto y razn de ser del proyecto

Descripcin del proyecto: principales elementos de la matriz del proyecto1.2. OBJETIVO DE LA EVALUACIN Razones relativas a las decisiones formales Razones relativas al desempeo del proyecto Uso que se dar a los resultados

1.3. MBITO DE APLICACIN Y MTODOS mbito de aplicacin de la evaluacin Tipo de anlisis, mtodos a utilizar, grado de detalle

1.4. CUESTIONES A TRATAR En qu medida se tratarn todas o se seleccionarn slo algunas cuestiones y reas de an-

lisis (eficiencia, eficacia, impactos, pertinencia, viabilidad)

Grado de especializacin1.5. EQUIPO EVALUADOR Nmero de miembros del equipo y sus funciones Cualificaciones requeridas (perfil profesional, experiencia)

1.6. CALENDARIO Fechas aproximadas y asignacin de tiempos (antes, durante y despus del trabajo de campo)

1.7. CONSULTAS SOBRE EL TERRENO Autoridades, instituciones y grupos a los que consultar durante y al final del trabajo de campo

1.8. ELABORACIN DE INFORMES Plazos para realizar la versin preliminar y el informe final Especificacin del modelo tcnico para el informe final

ELEMENTOS PRINCIPALES EN LOS TERMINOS DE REFERENCIA



35/112

1.2. Momentos en la ejecucin de la Evaluacin

Esta segunda fase supone la puesta en marcha efectiva de los trabajos de recogida, trata-miento y anlisis de la informacin. Es la parte visible de la evaluacin, donde el equipo acargo de la misma desarrolla los contenidos de los Trminos de Referencia.

Se pueden establecer, a grandes rasgos, tres momentos en la ejecucin de la evaluacin:antes, durante y despus del trabajo de campo.

1.2.1. Antes: el Estudio

En el primero de ellos, antes, el equipo evaluador tiene como tarea principal realizar lospreparativos necesarios para el desarrollo de los trabajos sobre la accin social emprendi-da. Esta fase se denomina habitualmente estudio de gabinete. As, un itinerario tipo con-templara, la revisin y actualizacin del Programa o Proyecto de Trabajo por parte del equi-po evaluador teniendo en cuenta los cambios que hayan podido producirse desde su apro-bacin, as como en funcin de reajustes metodolgicos que se estimen oportunos.

De forma paralela, el equipo evaluador deber proceder a la revisin de la documentacin comple-

mentaria necesaria y, si procede, a realizar algunos estudios previos que faciliten una visinms global y comprensiva de las caractersticas del proyecto y del contexto donde se sita, as como la construccin de indicadores que hagan operativos los componentes de la evaluacin.

1.2.2. Durante: Trabajo de Campo

Tras lo anterior se estar en condiciones de abordar el segundo momento de la ejecucinde la evaluacin, durante la cual se pondr en marcha el proceso de recopilacin de infor-macin sobre la accin social o trabajo de campo. Las modalidades para ello son mltiplesy, una vez ms, stas dependern estrechamente de la naturaleza de cada intervencin, sibien la secuencia suele comenzar con el establecimiento de contactos y conversacionespreliminares, tanto con las autoridades locales como con los principales representantes delos grupos destinatarios, para intercambiar puntos de vista y desbloquear posibles dificul-tades y obstculos en la realizacin de los trabajos. Seguidamente, se proceder a la reco-pilacin de datos a travs de las tcnicas oportunas.

La calidad de esta etapa es crucial para el conjunto del proceso, ya que es en ella en don-de se extrae la informacin que permiten en cada caso una mejor comprensin de la rea-lidad. En esta etapa se realiza tambin un primer anlisis de la informacin.

ANLISIS ESTRATGICO2



36/112

1.2.3. Despus: el Anlisis de la Informacin y la Redaccin del Informe final

Finalizado el trabajo de campo, el equipo evaluador aborda el ltimo momento de la ejecu-cin (despus) que tiene como finalidad el procesamiento, contraste y presentacin de losdatos recogidos. Para ello se proceder, inicialmente, a organizar, estructurar y analizar lainformacin obtenida en funcin de la cual se preparar un informe preliminar que debecontener los elementos centrales de la evaluacin. Sera deseable que este primer docu-mento borrador ser contrastado y analizado con la institucin ejecutora y, sobre todo, conel colectivo de las personas beneficiarias y otros actores sociales. Como conclusin de todoel proceso, el equipo evaluador proceder a confeccionar y redactar el informe final.

La fase de utilizacin de la evaluacin ser responsabilidad tanto de la organizacin quedesarrolla el proyecto de accin social como del equipo de evaluacin. Este tema es de fun-damental importancia para garantizar la utilidad del ejercicio.

1.2.4. Recomendaciones Prcticas

Presentamos aqu una serie de indicaciones de carcter general para llevar adelante unproceso de evaluacin, que habr que adaptar a cada caso individual, dependiendo delproyecto en cuestin, su alcance, el momento en el que se haga la evaluacin.



MOMENTOS

Antes del trabajo de campo(estudio de gabinete)

CONTENIDOS

Revisin y actualizacin del Programa o Proyectode trabajo

Revisin de documentosEstudios previos

Trabajo de campoContactos y conversaciones preliminares

Recopilacin de la informacinPrimer anlisis de la informacin

Despus del trabajo de campo (anlisisde los datos y preparacin del informe)

Anlisis de la informacin obtenidaPreparacin del informe preliminar

Discusin de conclusionesInforme final

Retroalimentacin de enseanzas y lecciones

ESQUEMA DE EJECUCIN Y UTILIZACIN DE UNA EVALUACIN



37/112

Las entidades proveedoras de fondos establecen requisitos estrictos en relacin con la cali-dad de los informes de evaluacin; preparar un mandato detallado y preciso requiere unconocimiento profundo de lo que ha de ser evaluado. De igual forma, una cuidada planifi-cacin y ejecucin del trabajo de evaluacin es esencial para lograr un buen resultado.

A continuacin se presenta un esquema del proceso de evaluacin y de las principales eta-pas que conlleva:

ANLISIS ESTRATGICO2


DECISIN DE EVALUAR: Seleccionar proyectos o temas a evaluar Dar razones para evaluar Alcanzar un acuerdo entre financiador y organizacin receptora

PREPARAR LOSTRMINOS DEREFERENCIA:

Determinar el objetivo de la evaluacin Decidir el mbito de aplicacin y el momento para llevarla a cabo Preparar un borrador de los trminos de referencia Solicitar comentarios sobre el borrador Preparar la versin final de los trminos de referencia de la evaluacin

SELECCIONARY CONTRATAR AL

EQUIPO EVALUADOR:

Decidir sobre la composicin y cualificaciones del equipo Identificar candidatos apropiados Negociar contratos con los miembros del equipo

TRABAJO PREPARATORIOY DE PLANIFICACIN:

Preparar el programa o proyecto de trabajo Revisar la documentacin necesaria Iniciar estudios previos Preparar el programa o proyecto de trabajo de la evaluacin

LLEVAR A CABOLA EVALUACIN:

Preparar el viaje y el trabajo de campo Recoger datos Estructurar los datos y la informacin obtenida Analizar los datos Presentar conclusiones preliminares

Coordinar los informes de los miembros del equipo Redactar y editar la versin preliminar del informe

ESQUEMA DEL PROCESO DE EVALUACIN

PREPARAR EL INFORME:

Distribuir el informe preliminar para recibir comentarios Incorporar los comentarios recibidos Preparar la versin final Formular la experiencia aprendida para los tomadores de decisiones Seguir las recomendaciones Publicar y distribuir el informe Incorporar un resumen de la evaluacin en los sistemas de memo-

ria, archivos de la entidad

FASE FINAL:



38/112

1.3. Agentes en Evaluacin. Los Stakeholders

Todo contexto evaluativo implica la presencia de diferentes personas, colectivos y entida-des que, de una forma u otra, participan en el desarrollo del proyecto, programa o polticay, por tanto, tienen algo de que decir en el proceso evaluativo del mismo. Estas personasimplicadas en el programa o poltica a evaluar reciben el nombre de stakeholder, trmi-no de difcil traduccin al castellano y que vendra a ser algo as como el que tiene algoque decir o tiene algn inters en.

Segn el Joint Committee11 la definicin de stakeholder en evaluacin sera los individuoso grupos que pueden estar implicados en o afectados por una evaluacin y para Greene12

seran los grupos de personas que pueden verse afectados por el programa y aquellos cuyasdecisiones pueden afectar el futuro del mismo.

Desde el punto de vista del equipo evaluador, todos ellos son potenciales informantes cla-ve en la medida que nos pueden facilitar informacin significativa para nuestro trabajo. Asu vez, si recordamos la funcin de aprendizaje y retroalimentacin que debe tener la eva-luacin, todos ellos tienen derecho a recibir la informacin que pueda serles de utilidad enrelacin al desarrollo del proyecto/programa/poltica que estamos evaluando.

Por tanto, las personas o entidades que pueden tener algn inters en la evaluacin, comoafectadas y/o implicadas, a las que va dirigida la evaluacin y que pueden ser usuarias dela misma seran los agentes crticos de la evaluacin (stakeholders).

1.3.1. Quines son o pueden ser estos agentes crticos?

Se pueden establecer cuatro grandes categoras

Entidades patrocinadoras, formuladores de polticas y responsables polticos. Equipos directivos de los programas, gestores pblicos y personal tcnico asignado al

desarrollo del programa/proyecto evaluado. Personas destinatarias, directa e indirectamente, de la actuacin del proyecto; usuarias

potenciales del servicio, programa o poltica evaluada; poblacin o comunidad en general.



11. THE JOINT COMMITTEE ON STANDARDS FOR EDUCATIONAL EVALUATION (1994). The Program Evaluation Standards. Thousand

Oaks, California12. GREENE, M. (1988). The dialectic of freedom. Nueva York.


39/112

Otros: equipos tcnicos y/o responsables polticos de programas similares, expertos/asdel sector o poltica que se evala, profesionales de la accin social en general.

Guba y Lincoln13 van ms all y hacen una definicin amplia de los posibles agentes crticoso stakeholders de un programa: distinguen entre agentes, las personas beneficiarias y vc-timas de los programas o polticas evaluadas. En la tabla siguiente se expone su listado.

ANLISIS ESTRATGICO2


1. agentes, son aquellas personas involucradas en la produccin, uso y puesta en prctica del

programa o polticaa evaluar (el evaluando).incluyen: Quienes formulan la evaluacin. Quienes financian (niveles local, regional y nacional). Quienes identifican la necesidad que el evaluando va a intentar mitigar o remover (asesores/as

de necesidades locales). Quienes toman las decisiones y deciden utilizar o desarrollar la evaluacin de forma local. Proveedores de materiales, instrumental e instalaciones necesarias El cliente de la evaluacin (quien contrata). El personal tcnico adscrito a la ejecucin de la evaluacin. Otros colectivos tcnicos y profesionales.

2. poblacin beneficiaria, de alguna forma, del uso del evaluando.incluyen: Beneficiarias directas o grupo diana: personas para las que fue diseado el evaluando. Beneficiarias indirectas: personas cuya relacin con las personas beneficiarias directas se ve

mediatizada, facilitada, fomentada o positivamente influida. Las personas que ganan algo por el hecho de que el evaluando est en uso, como por

ejemplo, las editoriales de materiales o textos, las empresas proveedoras de servicios, etc.

3. vctimas, personas o grupos afectados negativamente por el uso del evaluando (y que puedenincluir, debido a los fallos del evaluando, a grupos supuestamente beneficiarios).

incluyen: Los grupos sistemticamente excluidos del uso del evaluando, como por ejemplo, los jvenesnormales excluidos de programas para superdotados.

Colectivos que sufren efectos colaterales negativos, como por ejemplo, estudiantes y sus fami-lias, que son trasladados a un colegio distante de forma que alumnado con necesidades espe-ciales ocupa sus puestos en el colegio cercano.

Las personas que se ven en desventaja poltica, con prdidas de poder, influencia o prestigiopor el uso del evaluando.

Las personas o entidades que sufren costes de oportunidad: personas que hubieran preferidodedicar ese dinero a otras cuestiones, empresas de servicios rivales

LISTADO DE POSIBLES AGENTES CRTICOS (STAKEHOLDERS)

13. GUBA, E. Y LINCOLN, Y. (1989). Fourth Generation Evaluation. Beverly Hills, California

Fuente: guba, e. y lincoln, y. (1989).


40/112

Garantizar una amplia y plural participacin de agentes crticos en el proceso evaluador nosasegura una mayor riqueza de la informacin recabada y, por tanto, una mayor legitimidadde las conclusiones.

De igual forma, la participacin de diferentes actores en la evaluacin favorece su implica-cin y, por tanto, un posterior uso de la misma por todos ellos.

1.3.2. La importancia de la participacin

La incorporacin de la participacin como criterio de calidad en la evaluacin de proyec-tos forma parte de un proceso que se inicia en los aos setenta con el modelo de interven-cin social denominado desarrollo participativo y con el conjunto de metodologas basa-das en la Investigacin - Accin ms conocido como modelo de desarrollo centrado enlas personas14.

Frente a los modelos tradicionales de polticas de accin social, el modelo de desarrollo par-ticipativo invierte el orden clsico de la planificacin y otorga protagonismo a la gente

como destinataria ltima de las acciones.

Los objetivos que podemos conseguir a travs de la evaluacin participativa son:

Minimizar la distancia entre el evaluador y las personas beneficiarias.

Reducir sesgos metodolgicos.

Enriquecer perspectivas.

Cobrar mayor legitimidad para los actores sociales. Incrementar las posibilidades de su utilizacin.

Esta propuesta exige adaptar el diseo, la ejecucin y la evaluacin de los proyectos a lasnecesidades previamente identificadas por la poblacin. Como consecuencia de este cambiode perspectiva, se ha elaborado todo un conjunto de tcnicas e instrumentos especficos



14. CERNEA, M. M. (1995). Social integration and population displacement. The contribution of social science En International SocialScience Journal 143. (pp. 941-112) Paris.


41/112

dirigidos a otorgar a la ciudadana la posibilidad no slo de analizar, sino tambin de pla-nificar, disear, actuar y evaluar sus condiciones de vida.

En el mbito de la accin social, las evaluaciones de los proyectos basadas en propuestasparticipativas, pretenden asegurar el aprendizaje y la construccin de capacidades. Paraconseguirlo, se requiere integrar y satisfacer las necesidades de informacin de todos losimplicados o stakeholders, tanto externos como locales, mediante su incorporacin en todaslas fases del proceso. Su participacin asegurar la significacin y legitimidad del propioproceso evaluador.

As, os ofrecemos dos esquemas que sintetizan e ilustran los diferentes niveles de partici-pacin que puede ofrecer un proceso de evaluacin:

I. ESCALERA DE PARTICIPACIN

ANLISIS ESTRATGICO2


15. ARNSTEIN, S. R. (1969).) Eight rungs on the ladder of citizen participation en Cahn Citizen participation: effecting, communitychanges. New York.

8 Proyecto iniciado, desarrollado y gestionado por el colectivo.Decisiones asumidas por otras instituciones.

7Proyecto iniciado, desarrollado y gestionado por el colectivo.

Los agentes externos introducen modificaciones en el proyecto.

6 Proyecto iniciado por agentes externos y decisiones compartidas por el colectivo.

5 El colectivo est informado y consultado.

4 Se informa al colectivo de las decisiones que se toman fuera.

3 Participacin simblica, apariencia.

2 Participacin decorativa o de escaparate.

1 Manipulacin del colectivo

Fuente: adaptado de arnstein (1969)15


42/112

II. CARACTERSTICAS DEL ENFOQUE PARTICIPATIVO

Ignacio Gallego16 seala algunos de los aspectos caractersticos de los modelos participati-vos de evaluacin:

ESPECIFICIDAD.La participacin requiere contextualizar los procedimientos y metodo-logas a las caractersticas especficas del entorno en el que se desarrolla la evaluacin;no existiran modelos de evaluacin estndar y su aplicacin requiere, a priori, de unaadaptacin a las caractersticas del entorno social en el que se desea intervenir.

EMPIRISMO.Se trata de un enfoque eminentemente prctico; hay que recordar queeste enfoque surge a partir de la sistematizacin de experiencias ya existentes en elterreno, con el objetivo de rentabilizar los conocimientos ya existentes.

CONTINIUMde la participacin de los agentes implicados, asumiendo un papel dedoble direccin: ofrecen informacin significativa y deben recibir una devolucin de laevaluacin, en todas las fases del proceso evaluador. Mencin especial merece la incor-poracin de la poblacin destinataria, tradicionalmente utilizados como meros provee-dores de informacin.

APRENDIZAJEbasado en los conocimientos y recursos locales, dirigido al fortalecimien-to de las capacidades locales, comunitarias e institucionales (empoderamiento) y conla meta de transformar su propia realidad.

NEGOCIACINentre las diversas percepciones de los agentes implicados; requiere larevisin de las relaciones de poder existentes para asegurar el reconocimiento mutuoen la definicin de las diferentes fases de la evaluacin.

FLEXIBILIDAD Y DINAMISMOdel proceso evaluador, determinado por la necesidad deadecuarse a las caractersticas del contexto social donde se desarrollo la evaluacin.

Aadimos a este listado algunas reflexiones ms

El enfoque participativo es un planteamiento terico y metodolgico de accin y trans-formacin de la realidad desde abajo, en el que las personas que integran el equipotcnico no son analistas, sino facilitadores, no son maestros/as, sino aprendices, no



16. GALLEGO, I. El enfoque del monitoreo y la evaluacin participativa (MEP): batera de herramientas metodolgicas, en RevistaEspaola de Desarrollo y Cooperacin, n 4, 1999. pp. 103-135. Madrid.


43/112

son ponentes, sino oyentes de las realidades locales, de las personas, actuando comointermediarios/as ante las instancias polticas, ponindose de manifiesto desde estaperspectiva la potencialidad transformadora que las metodologas participativas pue-den aportar.

Requiere aceptar el grado de complejidad de las comunidades en que nos halla-mos inmersos, la variedad de intereses en conflicto, los diferentes procesos que sedan simultneamente y las diferentes necesidades que los diversos actores presen-tes plantean.

Para finalizar, os ofrecemos un cuadro comparativo que permite observar las caractersti-cas que diferencian los modelos tradicionales y participativos en relacin a la evaluacin deproyectos de intervencin social:

ANLISIS ESTRATGICO2


CARACTERSTICAS Evaluacin tradicional Evaluacin participativa

EVALUACIN TRADICIONAL VERSUS EVALUACIN PARTICIPATIVA


PROPSITO Aprendizaje de la organizaciny mejora de la gestinEmpoderamiento y aprendizaje

de todos los implicados

AGENTE EVALUADOR Evaluadores asumen rol tcnico Evaluadores asumen rol facilitador

ACTITUD DEL EVALUADOR Evaluador distanciado Evaluador apegado, comprometido

OBJETO DE MEDICIN Indicadores predeterminados Indicadores negociados

MTODOS DEEVALUACIN

Mtodos formales, complejos,cuantitativos

Mtodos informales y cualitativos.triangulacin con otros mtodos

MOMENTO DE LA

EVALUACINMomento preestablecido Evaluacin peridica

PARA QUIN SE EVALA Propiedad del agente externo Apropiacin por parte de lapoblacin implicada

IMPLICADOS Perspectiva inmediata desatisfaccin de necesidades

Perspectiva estratgica defortalecimiento de derechos

(empoderamiento)

RESULTADOS Informe final de evaluacin Aprendizaje del proceso y de lasprcticas de evaluacin

Fuente: adaptado de gallego, i. (1999) el enfoque del monitoreo y la evaluacin participativa (mep): batera de herramientasmetodolgicas en revista espaola de desarrollo y cooperacin, n 4.


44/112

III. LIMITACIONES DE LOS ENFOQUES PARTICIPATIVOS

Como ya hemos mencionado, la evaluacin participativa da voz a los agentes crticos en elprograma y fomenta la cooperacin con el equipo evaluador; facilita a todas las personasimplicadas la comprensin del programa y fomenta el aprendizaje sobre evaluacin. En elsentido de la justicia y la igualdad, las evaluaciones participativas tienden a compensar labalanza y a favorecer condiciones de mayor equilibrio entre las partes implicadas.

Sin embargo, es conveniente no pecar de ingenuidad respecto a la efectividad de las tc-nicas participativas: sentarse juntos en una mesa de trabajo, en una atmsfera igualita-ria, no elimina las distinciones que hay puertas afuera. Todava son importantes las dis-tinciones de clase, edad, raza, nacionalidad, ocupacin, gnero y otras (...) La supera-cin de las diferencias de poder y de conocimiento entre los diferentes agentes crticosno es fcil17.

Siguiendo el anlisis de Weiss18, podemos enumerar una serie de limitaciones de este tipode enfoques:

No todos los agentes crticos suelen estar interesados en la evaluacin, ya que la mayora

de ellos van a estar ms interesados en la ejecucin del programa que en su evaluacin.Esto puede reducir la participacin y que haya ausencias en las reuniones de trabajo.

Aunque los procedimientos participativos parece que aumentan la relevancia y la fac-tibilidad del estudio, no est claro que lo hagan respecto a la calidad tcnica, que sue-le verse como secundaria.

La presencia de algunos agentes crticos en la evaluacin no asegura totalmente su par-ticipacin en la toma efectiva de decisiones, ni siquiera su influencia en relacin al futu-ro del programa.

La movilidad de los/as profesionales responsables de los programas dificulta la asun-cin y la continuidad de compromisos en su interlocucin.

2. EL DISEO DE LA EVALUACIN

Conforme las necesidades informativas manifestadas y los Trminos de Referencias defini-dos previamente, debe realizarse el diseo de la evaluacin de cara a su ejecucin.



17. WEISS, C. H. (1998) op. cit.18. WEISS, C. H. (1998) op. cit.


45/112

El primer paso es realizar el diseo metodolgico de la evaluacin, es decir, seleccionar elprocedimiento metodolgico que utilizaremos para poder evaluar el proyecto concreto.

A continuacin os presentamos algunos diseos metodolgicos posibles as como los ele-mentos bsicos que deben incorporar: criterios de evaluacin, fuentes de verificacin e indi-cadores de evaluacin.

2.1. Diseos metodolgicos: cuantitativo, cualitativo y participativo

El diseo metodolgico constituye un punto central del proceso de evaluacin. Al tiempoque se definen las diferentes necesidades informativas y se seleccionan los diferentes cri-

terios de evaluacin y los indicadores, hay que definir cmo se ha de recopilar y analizar lainformacin requerida.

Se trata no slo de seleccionar una serie de tcnicas de recogida de informacin y sus corres-pondientes tipos de anlisis, sino de definir el enfoque metodolgico de la evaluacin.

En el siguiente cuadro se recogen las principales caractersticas de los enfoques mencionados.

ANLISIS ESTRATGICO2


19. NIRENBERG, O., BRAWERMAN, J. Y RUIZ, V. (2003) Programacin y Evaluacin de Proyectos Sociales.

PRINCIPALES CARACTERSTICAS DE LOS ENFOQUES METODOLGICOSEVALUACIN CUANTITATIVA EVALUACIN CUALITATIVA ENFOQUE PARTICIPATIVO

Perspectiva desde fuera:punto de vista del

evaluador

Perspectiva desde dentro:punto de vista de los

actores

Perspectiva construida por el equipoevaluador de forma con junta con los/asprincipales implicados/as (stakeholders)

Lenguaje numrico Lenguaje verbal

Lenguaje verbal y numrico. no es tanimportante el tipo de lenguaje sino cmo seconstruyeste. el lenguaje ha de ser frutode una fuerte implicacin dela poblacin

implicada

nfasis en los aspectosobjetivos, observables ycuantificables

nfasis en los aspectos

subjetivos: captacin ycomprensin de actitudes,conductas, valores,

motivaciones internas

nfasis en los aspectos sub jetivos, perono slo se captan sino que se vanconfigurando entre todo el grupo

Anlisis estadstico Anlisis de contenido porparte del equipo evaluador

Anlisis de contenido por parte tanto delequipo evaluadorcomo de los/as implica-

dos/as

Resultados generalizables Resultados limitados ensu generalizacinResultados concretos, aplicables a la

realidad donde se han construidoFuente: elaboracin propia tomando como base desde nirenberg, brawerman y ruiz, 200319: pg. 82


46/112

Esta evolucin en los diseos metodolgicos ha provocado que la metodologa de evalua-cin de impactos haya evolucionado hacia un concepto ms amplio, en el que los aspec-tos cualitativos cobran cada vez mayor relevancia y las tcnicas cuantitativas tienden a inte-grarse como un elemento ms del proceso evaluador. Lo cierto es que parece aconsejablecombinar la utilizacin de mtodos cuantitativos con cualitativos, ya que estos ltimos apor-tan dinamismo y variedad de perspectivas, carentes en los primeros.

Se trata de una consideracin generalizada: no existe un procedimiento tipo para cada pro-yecto y que su combinacin ad hoc suele resultar el camino ms acertado. Para tomar esadecisin habr que valorar, entre otras cosas, la aplicabilidad del instrumento a las caracte-

rsticas del proyecto, las capacidades de quienes han de aplicar las tcnicas seleccionadas,su calidad intrnseca, su fiabilidad y validez, su disponibilidad, su relevancia y su coste.

La ventaja de la evaluacin de carcter cuantitativo es que permite medir reacciones o cues-tiones en un grupo de variables (individuos, empresas, etc.) y, adems, posibilita la agre-gacin y tratamiento estadstico.

Por su parte, la evaluacin cualitativa tiene la ventaja de producir una mayor riqueza dedetalles sobre los grupos o variables, aunque sea de difcil agregacin y estandarizacin.

En este sentido, la aplicacin del enfoque metodolgico recomendado por la Comisin dela Unin Europea para la evaluacin combina el enfoque de arriba a abajo (top-down),que posibilita evaluar el impacto total y efecto neto de la intervencin, con estudios de abajo a arriba (bottom-up), para analizar las relaciones de causalidad y determinar el impac-to de cada medida especfica, a travs de la informacin recogida de las personas partici-pantes y las personas beneficiarias del proyecto.



20. OSUNA J. L. Y MARQUEZ, C. (DIR) (2000) Gua para la evaluacin de polticas pblicas. Sevilla

TOP-DOWN

Mide la diferencia entre la situacin departida y la final tras la aplicacin del plan.

Compara los resultados con aquellos quese habran producido en caso de no apli-carse el plan.

Analiza el impacto global pero no identificala contribucin de cada accin concreta.

BOTTOM-UP

Proporciona indicios sobre las relaciones causa-efecto. Analiza el valor aadido neto analizando informa-

cin de las personas beneficiarias y comparndolocon otras actividades que no reciben ayuda, paraanalizar la adicionalidad y los efectos indirectos.

Identifica la contribucin de cada accin, pero nose analizan los impactos ms globales del plan.

ENFOQUE DE ARRIBA ABAJO (TOP-DOWN)

Fuente: osuna y mrquez20


47/112


48/112

3. CRITERIOS DE EVALUACIN

Los criterios de evaluacin

Guia Evaluación de programas y proyectos sociales

Documents

Transcript of Guia Evaluación de programas y proyectos sociales