64750321

Disponible en: http://www.redalyc.org/articulo.oa?id=64750321

Red de Revistas Científicas de América Latina, el Caribe, España y Portugal

Sistema de Información Científica

Orlando Scoppetta

Discusión sobre la evaluación de impacto de programas y proyectos sociales en salud pública

Universitas Psychologica, vol. 5, núm. 3, octubre - diciembre, 2006, pp. 695-703,

Pontificia Universidad Javeriana

Colombia

¿Cómo citar? Fascículo completo Más información del artículo Página de la revista

Universitas Psychologica,

ISSN (Versión impresa): 1657-9267

[email protected]

Pontificia Universidad Javeriana

Colombia

www.redalyc.orgProyecto académico sin fines de lucro, desarrollado bajo la iniciativa de acceso abierto

http://www.redalyc.org

http://www.redalyc.org/comocitar.oa?id=64750321

http://www.redalyc.org/fasciculo.oa?id=647&numero=5441

http://www.redalyc.org/articulo.oa?id=64750321

http://www.redalyc.org/revista.oa?id=647

http://www.redalyc.org/articulo.oa?id=64750321



http://www.redalyc.org


Univ. Psychol. Bogotá (Colombia) 5 (3): 695-703, octubre-diciembre de 2006 ISSN 1657-9267

DISCUSIÓN SOBRE LA EVALUACIÓN DE IMPACTODE PROGRAMAS Y PROYECTOS SOCIALES EN

SALUD PÚBLICA

ORLANDO SCOPPETTA*

INSTITUTO COLOMBIANO DE BIENESTAR FAMILIAR

Recibido: Abril 5 de 2006 Revisado: Mayo 24 de 2006 Aceptado: Junio 12 de 2006

ABSTRACT

The objective of this article is to present a discussion on major problems related to impact evaluation of social andpublic health policies, plans and programs. Impact evaluation is a specific but interdisciplinary field, with an importantamount of new knowledge in the lasts decades. Latin America’s countries invest important founds in order to evaluatesocial interventions, following the multilateral agencies directions. Based on the newest experience in Colombia andother Latin American countries, this paper discuses conceptual and practical issues what evaluation teams have to deal.Keywords: Evaluation, Impact evaluation, Public health.

RESUMEN

El objetivo de este artículo es presentar una discusión acerca de problemas prácticos y teóricos, relacionados con laevaluación de impacto de políticas, planes y programas sociales y de salud pública. La evaluación de impacto es uncampo interdisciplinar de conocimiento, pero con características muy particulares y una importante cantidad de adelantoen el conocimiento en las últimas décadas. Los países latinoamericanos invierten grandes montos para evaluar susintervenciones sociales, siguiendo las directrices de los organismos multilaterales de financiación. Este documentopropone una discusión sobre asuntos conceptuales y prácticos que los equipos encargados de hacer evaluaciones deimpacto deben abordar, con base en la experiencia más reciente en Colombia y América Latina.Palabras clave: Evaluación, evaluación de impacto, salud pública.

* Correspondencia: Avenida carrera 68 # 64c-75 Piso 3 (Bogotá, Colombia). Correo electrónico: [email protected]

696

Univ. Psychol. Bogotá (Colombia) 5 (3): 695-703, octubre-diciembre de 2006

ORLANDO SCOPPETTA

IntroducciónLa evaluación del impacto es un campo interdisciplinariocon un alto nivel de costo, especialización y complejidad.La experiencia reciente en América Latina demuestra quese requiere de profundización específica para apropiaradecuadamente las metodologías desarrolladas hoy en elmundo.

A su vez, el campo de la salud pública abunda enprogramas y planes de carácter nacional, regional e inclusoen pequeños grupos poblacionales. Pocos de estosesfuerzos cuentan con evaluaciones sistemáticas y menosde impacto. Adicionalmente, la misma política de saludpública nacional debería ser objeto de evaluación de suimpacto. En este documento se presentará la discusiónacerca de temas de gran relevancia para la evaluación deimpacto, recogiendo las evaluaciones más importantesque se han realizado en el país recientemente.

Conceptos generalesLa OMS define la evaluación de programas de salud como‘‘…un medio sistemático de aprender empíricamente yde utilizar las lecciones aprendidas para el mejoramientode las actividades en curso y para el fomento de unaplanificación más satisfactoria mediante una selecciónrigurosa entre distintas posibilidades de acción futura’’(OMS, 1981, p.6). Según Saraceno y Levav (1992, p. 56),‘‘evaluar implica hacer una comparación entre la realidad ylo que se tendría que hacer y lograr según las especificacionesde la misión y los programas desarrollados...’’

Por impacto se entiende una dimensión de losresultados de la política, el plan o programa. ParaHernández (1996, p. 1099), esta es ‘‘la evaluación en sí deun programa’’. Por tanto ‘‘el juicio acerca de un programadescansa en la contrastación (sic) de que los resultados quese obtienen tras su implantación indican la mejoría en elproblema que se pretendía abordar’’. Con la evaluación deimpacto en particular se busca saber si se produjeron ‘‘losefectos deseados en las personas, hogares e instituciones ysi esos efectos son atribuibles a la intervención...’’ (Baker,2000). La noción más extendida de la evaluación de impactohoy, precisa de la obtención de evidencia contra fáctica acercade qué habría ocurrido si el programa no se hubieraimplantado. A su vez, para que esta evidencia contrafactualsea válida, se requiere aislar los efectos del medio socialpara poder identificar con precisión los efectos de lasintervenciones (Baker, 2000; Ravallion, 2004).

Esta concepción está bastante difundida y es impulsadapor los organismos multilaterales de financiamiento; sinembargo, no está libre de discusiones y no debe entendersecomo la única opción, especialmente cuando conduce aprocesos muy costosos y de difícil repetición, tratándose depolíticas, planes y programas de gran cobertura.

Opciones para la evaluación de impactoLa evaluación de impacto tiene diferentes modalidades yposibilidades no excluyentes unas de otras. Realmenteal evaluar una política, plan o programa de salud pública,el escenario es de tal complejidad que requiere laadaptación de estrategias y procedimientos múltiples.La descripción detallada de las diferentes opciones vamás allá del alcance de este artículo. Se mencionarán dosde ellas que representan realmente categorías amplias.Evaluación basada en investigación

Se utiliza la investigación para hacer evaluación pordiferentes motivos, uno de ellos es que la investigaciónle aporta rigor a la evaluación y que los métodos utilizadosen la investigación pueden adaptarse para el logro de losfines evaluativos.

Aunque se cuente con un sistema de evaluacióncon sus diferentes componentes, la evaluación deimpacto es un área específica que ofrece un conocimientoparticular. Aun así, los tomadores de decisiones y losevaluadores deben estudiar con cuidado la necesidad yaplicabilidad de la evaluación de impacto medianteinvestigación u otros métodos (Habicht, Victora &Vaughan, 1999; Baker, 2004).

La evaluación basada en la investigación debe afrontarlas dificultades teóricas y prácticas de utilizar modelosexperimentales o cuasi experimentales, en situaciones queno son necesariamente las más propicias para estosmétodos. De hecho, no debe aceptarse como dado el quesea plausible la separación de los efectos de un programade los efectos de factores que inciden al tiempo en losescenarios sociales. Aunque las evaluaciones que utilizanestos métodos suelen estar rodeadas de toda la parafernaliacientificista, la supuesta separación de los efectos no pasade ser una hipótesis de muy difícil contraste.

No es fácil utilizar métodos experimentales en laevaluación de impacto de programas sociales, especialmentepor la imposibilidad de tener grupos aleatorios puros. Porotra parte, es frecuente que por problemas en elfuncionamiento de los programas tampoco puedagarantizarse el control sobre la dosificación de laintervención, condición necesaria para la aplicación demétodos experimentales o cuasiexperimentales, como seobserva en los programas colombianos de Empleo enAcción (DNP, 2004); y Desayunos Infantiles (Forero et al.,2005). Una alternativa a los estudios de este tipo, son aquellosque utilizan muestras relativamente pequeñas y que hacenseguimiento a los sujetos durante el programa y tiempodespués de que los sujetos egresan, como en el caso delPrograma de Prevención de Montreal, dirigido a disminuirla conducta agresiva y delincuencial (Chaux, 2005).

Por lo regular no es posible la aplicación ortodoxade los métodos experimentales o cuasi experimentales

697


DISCUSIÓN SOBRE LA EVALUACIÓN DE IMPACTO DE PROGRAMAS Y PROYECTOS SOCIALES EN SALUD PÚBLICA

en la evaluación de las intervenciones, principalmenteporque: 1) muchos programas llevan bastante tiempofuncionando y no es posible construir grupos aleatorios;2) hay muchas relaciones endógenas entre los factoresque determinan la asistencia al programa y las variablesdependientes; 3) no se previó el sistema de evaluacióndesde el inicio del programa o nunca se puso en prácticay 4) hay una distancia importante entre el funcionamientoideal y el funcionamiento esperado.

Una alternativa a la realización de estudios específicosde impacto, es la utilización de datos de fuentes nacionalesconfiables. Por ejemplo, la Encuesta Nacional de Calidadde Vida (1997-2003), la Encuesta Continua de Hogares(ambas realizadas por el DANE) y la Encuesta Nacionalde Demografía y Salud, especialmente la versión del año2005 (Profamilia, 2005), constituyen fuentes de datosparcialmente explotadas sobre las cuales pueden realizarseestudios específicos, aprovechando que en las diferentesversiones de estas encuestas aparecen datos comparables.Evaluación basada en indicadores

Una posibilidad, que no excluye la anterior, es laevaluación mediante indicadores. Dentro de lasposibilidades de evaluación por indicadores, puedeutilizarse la opción de indicadores trazadores. Este tipode evaluación no se basa en investigaciones sino ensistemas de información que suministran datos.

Un indicador es una expresión matemática oestadística (total, promedio, proporción, tasa o cualquierotro) que sirve para dar cuenta del comportamiento deun evento. Un indicador trazador, es un indicadorseleccionado por considerarse que es el que mejor expresael comportamiento de un evento. Seleccionar indicadorestrazadores es favorable en tanto hace más eficiente elproceso mismo de evaluación, puesto que ésta seconcentra en menos variables.

Matemáticamente, la mejor manera de escogerindicadores trazadores sería el cálculo de factores,componentes principales o índices ya que estossintetizarían el comportamiento de varios indicadores.

Una condición de la evaluación de impacto porindicadores es que el programa defina con claridad encuáles indicadores se esperaría ver sus efectos, como porejemplo, las disminuciones en los casos de malformacióndel tubo neural en Chile, mediante la fortificación de laharina con ácido fólico y otras medidas de salud pública(Nazer et al., 2001).

Los indicadores para evaluación de impacto ensalud, suelen ser de tipo epidemiológico en la medida enque dan cuenta del seguimiento a enfermedades y factoresprotectores o de riesgo. Sin embargo, el campo de lapromoción de la salud y del trabajo con la comunidaddemanda la creación de indicadores diferentes, como los

«indicadores ambientales», los cuales cumplen dosfunciones en la evaluación: sirven para medir las actitudescompartidas y los comportamientos colectivos; además,captan las características medioambientales que podríanintegrarse a un modelo con los cambios en salud y lasacciones de las políticas, planes o programas (Koepsellet al., 1996, p. 225).

Otro aspecto de la evaluación por indicadores esque se puede tener una mejor visión de los cambiossociales en su conjunto. La inversión social no deberíaestar dirigida a corregir tal o cual problema específico.Particularmente en los países en vías de desarrollo, lainversión social debería dirigirse a fomentar el desarrollosocial integral, aumentando la equidad (Misión Social,DNP, PNUD, 2003). Por lo tanto, los indicadores socialesson un termómetro necesario para evaluar los resultadosde las políticas.

Adicionalmente, conviene estudiar la utilización deindicadores de desarrollo que dan cuenta de los procesossociales. La mejoría de las interacciones puede y debe seruno de los focos de las políticas sociales. Una nueva olade pensamiento propone incluir dentro del conjunto deindicadores tradicionales, indicadores de desarrollo queden cuenta de las interacciones (Dawes, Bray, Kvlasvig,Rama & Richter, 2004; SEP, SSA, DIF, UNAM, UNICEF& UNESCO, 2001).

También es frecuente que los datos requieran ajustesantes de presentarlos como representación de la realidadsocial. Por ejemplo, los datos de mortalidad requierenfrecuentes ajustes por subregistro (Piñeros & Murillo,2004), o en el caso de requerirse comparaciones entreáreas geográficas, es necesario aplicar técnicas para evitarsesgos por las diferencias en las estructuras de población(Rothman, 2002; Londoño, 2004). La comparacióndirecta de tasas crudas puede ser un error frecuente entrepsicólogos y otros analistas de lo social.

Podría discutirse que al evaluar por indicadores nose aíslan los efectos puros de la intervención de los demásfactores del ambiente que afectan los resultados. Sinembargo, si hay suficiente evidencia acerca de los efectosde las intervenciones, si hay control acerca de la evoluciónde las intervenciones, habrá un sustento adecuado paraatribuir los cambios a las intervenciones.

Principales problemas teóricos y prácticos de laevaluación de impactoEn cualquier evaluación de impacto se deben superarproblemas fundamentales, que de no considerarse puedendar lugar a esfuerzos baldíos en los cuales se inviertan unagran cantidad de recursos sin obtener información válida.

Uno de los aspectos más importantes es la definicióndel modelo teórico de la política, plan o programa. Si éste

698


ORLANDO SCOPPETTA

parte del reconocimiento de un problema, debe existir unenlace teórico entre el problema y las acciones propuestaspara su solución (Koepsell et al. 1996).El modelo teórico de la intervención

Toda intervención supone o reconoce un problema yplantea un conjunto de intervenciones de las cuales secree que tienen algún efecto sobre el problema. Debeexistir algún sustento racional para apoyar el postuladode que las intervenciones propuestas afectan el problemaen cuestión. Este sustento racional se encuentra enplanteamientos teóricos o por lo menos hipotéticos(Becoña, 1999).

Es común que en las políticas, planes o programasno se especifique el tipo de relación entre el problema ylas intervenciones. En este caso se acude al planteamientosimplista de que las intervenciones solucionan elproblema de alguna manera.

Por ejemplo, es frecuente que en los programas deprevención del consumo de drogas, se incluya el refuerzode la autoestima de los sujetos de la intervención y queno se demuestre en forma alguna, cómo la autoestimase relaciona con el consumo de drogas.

Es común que no se cuente con modelosexplicativos ni investigaciones suficientes para adjudicarel cambio favorable o el desfavorable al programa, plano política implantado. La importancia de los modelosradica en que al lograr la simplificación de los sistemas dela realidad, es posible aprehender sus características másimportantes. Cualquier sistema de la naturaleza es de talcomplejidad, que resulta imposible un acercamiento aéste tal cual es, por lo anterior tal reducción es necesaria.

Los rasgos del sistema se expresan en variables, loque permite la formalización del comportamiento entérminos lógicos o matemáticos, que es la finalidadúltima de la modelación. Cuando se logra estaformalización, es posible explicar el evento, predecir sucomportamiento y explorar de manera sistemáticadiferentes posibilidades de control y prevención.

En el caso de las políticas, planes o programas ensalud, los modelos deben establecer la relación entre elproblema y la intervención en términos de variables quepor lo regular son indicadores epidemiológicos o delconocimiento, actitudes y prácticas de los sujetos de laintervención. También deben incluir variables delambiente, que incluyen cambios poblacionales, políticosy otros, siempre y cuando estos se consideren crucialespara el modelo.

Un modelo en salud requiere múltiples niveles demedición, correspondientes a múltiples niveles deconceptualización (Koepsell et al. 1996). Esto se debe aque entre un factor que supuestamente incide sobre elevento y el evento, por lo regular hay otros ‘momentos’

y variables del sistema que determinan el efecto de laintervención. Por ejemplo, el modelo de la acciónrazonada de Fishbein y Ajzen (1980), propone que paralograr un cambio en la conducta es necesario un cambioen la actitud hacia la conducta que se quiere cambiar y uncambio en la norma subjetiva. Sin embargo, el efecto delcambio en las dos variables independientes, que debeobservarse en la conducta, está mediado por el cambioen la intención del sujeto. En otras palabras, el modelorequiere varios niveles de medición.

No basta con proponer un modelo teórico y luegoevaluar los cambios en las variables dependientes. Esnecesario estudiar el comportamiento del modelo en símismo para establecer si se comporta como está predicho,en términos de los diferentes factores que lo componen.Esto implica tomar medidas de los cambios en lasvariables que explican un determinado comportamientoo resultado, según los términos del modelo, así comoestablecer si tales variables covarían según está dispuestoen el modelo. Por ejemplo, Muñoz, Gutiérrez y Guerrero(2004), informan que su modelo de prevención de laviolencia se basa en el modelo de cambio decomportamiento propuesto por Bandura. Sin embargo,en la evaluación de impacto en tres ciudades de Colombiano se hacen las estimaciones correspondientes alfuncionamiento en sí del modelo por lo que, aunque,según su propio reporte, los resultados de la intervenciónson positivos, no puede afirmarse que el modelofuncionó a partir de los datos publicados.

En otras circunstancias es posible establecermodelos donde la política, plan o programa figura comofuerza que explica el comportamiento del evento. Elmodelo, además de establecer la forma de las relacionesentre el problema y la intervención, permite calcular lacantidad de la variación del evento explicada por la política,plan o programa.La evidencia acerca de la efectividad de laintervención

En el transcurso de este artículo se ha utilizado la palabraintervención para designar cualquier tipo de política, plano programa en salud pública, o en general en el ámbitode lo social. Sin embargo, conviene introducir ciertadiferencia importante entre éstos y las intervencionespuras. Por intervención pura se entiende el mecanismoconcreto, del cual, al ser introducido, se espera queproduzca un efecto.

Por ejemplo, si se suministran alimentos en lacalidad y la cantidad suficiente, se esperará unmejoramiento de la condición nutricional de losbeneficiarios. A su vez, si se hace llegar un subsidio endinero a una familia, se esperará una mejora en el ingresoy en el gasto, con los consecuentes efectos colateralespositivos.

699



Un programa se basa típicamente en una intervenciónpura que se supone ha sido probada previamente. Entérminos de salud pública o de cualquier intervención social,debe haber evidencia previa acerca de la efectividad de lasintervenciones antes de incurrir en los altos costos queimplica su utilización masiva. Otra fuente de evidencia esla evaluación de la misma intervención en otros contextos.Por ejemplo, el programa colombiano Familias en Acciónse parece mucho al programa Progresa de México, el cualcuenta con un importante acervo evaluativo.

Para realizar una evaluación de impacto, no bastaasociar la implantación del programa con los cambios enel indicador. Se deben construir modelos que con elsuficiente respaldo teórico, integren variables y factores,siendo el grado de implantación del programa uno deesos factores. Un ejemplo de lo anterior lo constituye laevaluación del programa de EDA-IRA. La incidencia deenfermedad diarréica y de infección respiratoria, dependende la presencia de un conjunto de factores ambientales,de salud pública y de saneamiento básico de lascomunidades. Las variaciones en EDA e IRA, puedenser explicadas por tales factores y no por el programa(Rubio & Sánchez, 1999).

El tipo de relación entre el programa y el evento,puede anticiparse parcialmente cuando se ha demostradopreviamente que las acciones que lo componen sonefectivas. Esto desafortunadamente no siempre es así,puesto que es común que las acciones de un plan, políticao programa se conformen sin que se haya demostradosu eficacia o efectividad.

Puede considerarse que la capacidad que tienen lasacciones de la política, plan o programa de lograrresultados, corresponde a la eficacia de la política, plan oprograma. En otras palabras, al iniciar, toda política, plano programa, tiene una eficacia potencial que se hará efectivaen la medida en que las condiciones administrativas seanadecuadas; así, la eficacia se expresa en efectividad, quetiene que ver con el funcionamiento de las acciones eficacesen unas condiciones determinadas (eficacia real).

La evidencia previa acerca de la efectividad de laintervención no garantiza que su aplicación como política,plan o programa sea exitosa. Hay una distanciaimportante entre la efectividad de las intervenciones purasy la efectividad de las políticas o los programas. Al aplicarintervenciones eficaces a conjuntos amplios de poblaciónlos efectos pueden estar mediados por problemas paragarantizar la exposición adecuada.

En el caso del PAI (Programa Ampliado deInmunizaciones), por ejemplo, las adecuadas coberturasde vacunación garantizan el cambio en los indicadoresepidemiológicos que dan cuenta de los eventosinmunoprevenibles. Pero en Colombia, los problemasde la política de salud han generado reducciones en las

coberturas de vacunación, como lo corroboran diferentesfuentes (Profamilia, 2005; Carrasquilla, Porras e Ibáñez,2005). Así, una eventual epidemia por enfermedades quedeberían estar controladas, sería achacable a la política o ala aplicación del PAI en el país, no a una falla de lavacunación como mecanismo de salud pública.El grado de estructuración y funcionamiento delos programas y su relación con la evaluación deimpacto

Uno de los grandes problemas al desarrollar unaevaluación de impacto, es saber si el programa a evaluarestá implantado y cuál es su grado de desarrollo.

Evaluar un programa que no ha sido implantado,o por lo menos no adecuadamente, fue denominadoerror del tipo III en un artículo de Basch, Slipcevich, Gold,Duncan y Kolbe (1985). En el campo de la salud públicaes altamente probable que los programas, planes opolíticas existan sobre el papel y en los discursos, perono estén suficientemente implantados en la práctica.También es posible que un conjunto de actividades conun mediano grado de integración sean denominadasprogramas o planes.

Se espera que una intervención implantada, cumplapor lo menos con las siguientes características:

Una descripción del problema que pretende abordarque incluya: 1) un recuento histórico sobre elcomportamiento del evento; 2) una descripción de sunaturaleza; 3) un recuento de las principales accionesdesarrolladas en el país y en el mundo alrededor delmismo; 4) un planteamiento de objetivos del programa;5) el planteamientos de las metas; 6) una descripción delas acciones y de los diferentes responsables por niveles;7) la especificación de talento humano y recursos en losdiferentes niveles del programa; 8) la especificación delos indicadores de evaluación del programa en losdiferentes niveles; 9) la definición de las acciones, procesosy procedimientos de la política, plan o programa.

Adicionalmente, en cuanto a las condiciones parasu funcionamiento, debe ser discernible una estructuraque sustente las acciones del programa en cuanto a 1)talento humano en los diferentes niveles del sistema,con las condiciones de capacitación especificados; 2) ladefinición de las funciones del talento humanocomprometido.

Por otra parte, no es aconsejable iniciar lasevaluaciones de impacto cuando el programa estárecientemente implantado, dado que es frecuente que elprograma sufra adaptaciones antes de llegar a una especiede etapa de madurez.

Las evaluaciones de impacto realizadasrecientemente en Colombia, muestran que el malfuncionamiento de los programas crea problemas

700


ORLANDO SCOPPETTA

operativos y conceptuales para las evaluaciones de impacto,ya que es difícil asegurar la exposición mínima requerida.Por ejemplo, en las evaluaciones a los programas desubsidio como Familias en Acción y Empleo en Acción(DNP, 2004) y en otros en los cuales se dispensa algúnbien social, como el programa de Desayunos Infantiles(Forero et al., 2005), se observa que los problemas en lafrecuencia en los suministros interrumpen la dosificaciónnecesaria para producir los efectos esperados.

El tiempo de la exposición real a una intervenciónes un aspecto crítico de las evaluaciones de impacto(Behrman, Cheng & Todd, 2004). De todos modos,considerar el tiempo de exposición no es suficiente puestoque la intensidad de la exposición (la verdaderaexposición) es la que determina los efectos y medirla esmuy complicado. Por ejemplo, en la evaluación deimpacto de los Hogares Comunitarios de Bienestar quese realizó en el marco de la evaluación del ProgramaFamilias en Acción, se tuvo en cuenta el tiempo en mesesde asistencia al servicio (Attanasio & Vera-Hernandez,2004). Esto puede constituir una buena aproximaciónpero no ser suficiente cuando se trata de servicioscontinuos, como aquellos que se basan en la permanenciaen un determinado ambiente (a diferencia de losdiscretos, como la provisión de subsidios), puesto quela asistencia no garantiza que se hayan suplido losservicios en cantidad y calidad suficiente.

Por otra parte, En el caso del Programa Familias enAcción (Attanasio y Gómez, 2004), se incluyeron variablespara controlar la discontinuidad en la entrega y recepciónde los subsidios. No obstante, es aconsejable evaluar laeficiencia operacional del programa para introduciradecuaciones a la evaluación de impacto, como se hizoen la evaluación del programa Progresa en México(Skoufias & Behrman, 2000).La relación temporal entre la implantación de lapolítica, plan o programa y los efectosesperados

El tiempo es una variable que complica de maneraextraordinaria la evaluación de impacto de las políticas,planes o programas, en diferentes sentidos. Por unaparte, como ya se mencionó, es importante conocer lostiempos de exposición efectiva al programa, lo querequiere de un complejo sistema de registro de losindividuos incluidos dentro de la evaluación.

Adicionalmente, en el campo de la salud pública esde esperarse que los indicadores epidemiológicos seanafectados por las políticas, planes o programas bastantetiempo después de la implantación de estos; por lo tanto,una evaluación cuando el programa está enfuncionamiento o terminado recientemente, puedemostrar impactos que no se sostendrán; o no mostrarlos resultados esperados. Grossman (1994) sugiere dejar

pasar entre 12 y 18 meses para poder evaluaradecuadamente los efectos de las intervenciones.

En la actualidad se hace mucho énfasis en lacomparación entre un grupo intervenido y un grupo decontrol. La diferencia entre los dos grupos en las variablesen las cuales se esperan los resultados de la intervención,se considera el impacto de la misma (Baker, 2000;Ravallion, 2004). Esta postura subestima la importanciadel tiempo posterior a la intervención. En otras palabras,no responde a la pregunta fundamental sobre lo quesucede una vez los sujetos egresan de un programa, lacual es de gran importancia si lo que se espera es que lasintervenciones sociales contribuyan al desarrollo, laequidad y a la independencia económica por parte de losbeneficiarios (Misión Social, DNP & PNUD, 2003).

Surgen entonces otras complicaciones asociadas altiempo. En la medida en que los cambios se dan másmediatizados, es necesario establecer diseños máscomplejos y es más difícil controlar la influencia devariables externas a la política, plan o programa. Tambiénse hace más difícil colectar la información necesaria paralos análisis. Por lo tanto, la evaluación debe considerarlos efectos del tiempo y en la medida de lo posible basarseen estudios longitudinales. Las buenas intervencionessociales son aquellas que pueden demostrar efectosduraderos en el tiempo, no aquellas en las cuales lossujetos, una vez egresados, pierden lo que ganaron porsu permanencia en el programa.El aislamiento de los efectos de la intervención yla obtención de evidencia contrafactual

Pretender evaluar los efectos de las intervenciones es comúnen medios donde se privilegia la intervención social basadaen programas y no en políticas que aborden el desarrollointegral. La separación de efectos es plausible en el contextodel pensamiento analítico; desde otra perspectiva podríaentenderse que una vez que un factor es introducido en unambiente social, produce cambios que no son del tododiscernibles y actúa en conjunto con un todo. De la políticasocial debería esperarse una acción benéfica en la calidad devida de las personas y no una mejoría parcial en un únicoconjunto de factores. Adicionalmente, las variables delentorno socioeconómico pueden competir con laintervención contrarrestando sus efectos (InstitutoColombiano de Bienestar Familiar, 1996).

Para el propósito de reconocer los efectos de laintervención de entre el amasijo de factores y resultadosque se presenta en la cotidianidad de los sujetos, se handesarrollado un conjunto de técnicas analíticas. Suaplicación, sin embargo, es compleja, frecuentementerequiere adaptaciones sobre la marcha y sus resultadosno están libres de discusión.

701



Los diseños ideales para la evaluación de impacto,según las tendencias actuales, son los experimentales(obviando la discusión que se introdujo antes). Sinembargo, en la implantación de intervenciones socialeses muy difícil lograr que un grupo sea asignado de maneraaleatoria a la intervención y otro no sea intervenido, salvocontadas excepciones como en el caso del programaProgresa en México (Skoufias & Behrman, 2000) yFamilias en Acción en Colombia; (Attanasio & Gómez,2004). Esto no implica la negación de servicios a quieneslo necesitan, sino una compaginación de la inclusióngradual en la intervención con la programación de laevaluación de impacto. Otra opción es la focalizaciónprecisa, dando prioridad de entre los elegibles para elbeneficio a aquellos más necesitados (Baker, 2000).

No obstante, los diseños experimentales propiamentedichos, no garantizan por sí mismos que los errores y sesgossean eliminados (Habicht, Victora & Vaughan, 1999). Serecomienda, en todo caso, la utilización de varias series demedidas (Baker, 2000). Así, los estudios cuasi experimentalesse erigen como la mejor opción disponible en la mayoría delas oportunidades, aunque es necesario trabajar con modelosestadísticos y econométricos complejos para suplir diferentessesgos. Por ejemplo, la participación de las personas en elprograma puede estar determinada por una condiciónsocioeconómica particularmente desfavorable, lo que haríaparecer que el grupo intervenido nunca mejora encomparación con el grupo de comparación. Aun cuando sesuponga que una determinada intervención se aplica asujetos de condiciones económicas muy similares, haydiferencias observables y no observables que en su análisisrevelan múltiples segmentos de población (ver por ejemplo,Scoppetta, Giraldo, Borda, Gutiérrez & Cepeda, 2003).

Para contrarrestar las deficiencias propias de losdiseños de evaluación, se han desarrollado métodoscomo los de pareo (siendo muy recomendado en laactualidad el que utiliza la correspondencia de puntuación dela propensión); los métodos de diferencia en diferencia ylos métodos de variables instrumentales (Baker, 2000;Behrman, Cheng & Todd, 2004).

Los métodos de variables instrumentales, porejemplo, han sido utilizados con éxito en Colombia parademostrar efectos de los Hogares Comunitarios deBienestar que con otros métodos estadísticos yeconométricos convencionales, se subestiman. Variablesque dan cuenta de la distancia entre el hogar del beneficiarioy el punto donde se provee el servicio, sirvieron comoinstrumento en la medida en que intervienen en la decisiónde participar mas no en los efectos de los programas(Attanasio & Gómez, 2004; Attanasio & Vera-Hernandez,2004). A su vez, los métodos de pareo fueron los másajustados según Behrman, Cheng y Todd (2004) para unprograma similar en Bolivia (PIDI).

La descripción de cada uno de estos métodos superalas condiciones de espacio de este artículo. Una mejoraproximación se logra a partir de la revisión de lasreferencias bibliográficas aquí incluidas.El nivel de cambio aceptable

Finalmente, uno de los aspectos a discutir es el nivel decambio producido por una intervención que se debeconsiderar aceptable. Lamentablemente no hay ningúnparámetro establecido para ello. El desarrollo enevaluación de impacto se ha centrado en las metodologíaspara observar sin sesgos los efectos, sin preguntarse hastaqué punto tales efectos son o no aceptables.

Una manera de resolver esta cuestión tiene que vercon la valoración de los efectos económicos de lasintervenciones, en términos del ahorro que con ellas sepermite. Por ejemplo, el Programa de Prevención deMontreal mostró ahorros de cinco millones de dólarespor su implantación (Chaux, 2005). Sin embargo, laevaluación de este programa mostró que 21% de losparticipantes llegaron a tener antecedentes criminales (lacifra en el grupo de control fue del 30%) ¿Es este unresultado aceptable? A simple vista parece bastante alto elporcentaje de intervenidos con registros criminales (17%siguieron trayectorias de agresión física alta o medianamentealta), aunque haya evidencias de la efectividad del programa.

Todas las intervenciones en el campo social obtienenéxitos y fracasos relativos. La clave podría estar en unmejoramiento constante. No repetir los errores conocidos,avanzando sobre el conocimiento que se obtiene a partirde las evaluaciones. Las nuevas intervenciones deberíanproducir, gradualmente, mejores resultados.

ConclusionesLa discusión sobre la evaluación de impacto gira alrededorde asuntos conceptuales de fondo, de cuya resolucióndependerá una respuesta metodológica. Sin embargo, lapráctica ha demostrado que es en el escenario mismo delas evaluaciones donde se adaptan las metodologías y setoman las decisiones finales, en condiciones de altacomplejidad social.

Hay una gama interesante de posibilidades para lavaloración de evaluación de impacto de intervenciones enlo social que recogen avances muy particulares en elconocimiento metodológico, estadístico y econométrico. Noobstante, cada evaluación de impacto es un reto particular.

Tal vez la pregunta más importante en cuanto a laevaluación de impacto, en cada caso, es si vale la penahacerla. Para qué hacer evaluación de impacto y por qué,son preguntas que aunque implican respuestas queparecen obvias, deben ser abordadas con el máximo de

702


ORLANDO SCOPPETTA

seriedad y compromiso en cada caso, en la medida enque tal vez no sea necesario incurrir en tan altos costos.

Lo que muestra la experiencia reciente en AméricaLatina, salvo contadas excepciones, es que cada procesode evaluación demanda probar diferentes opciones y quemás que recetas, se requieren adaptaciones y posicionesflexibles. Los programas en América Latina suelenresponder más a los intereses de los políticos (no de lapolítica), lo que repercute en formulaciones pobres, flacofundamento en la evidencia y evaluaciones que tienenque batirse en medio de múltiples dificultades.

Las evaluaciones de impacto basadas eninvestigaciones son muy costosas y frecuentemente lasdecisiones no se basan en ellas. Tal vez sería preferiblecontar con sistemas robustos de información, que permitanajustar las intervenciones con el paso del tiempo.

La política social debería evaluarse en su conjunto,con base en los indicadores de pobreza y equidad,acompañados de los indicadores de salud, educación yparticipación. El desarrollo social no se logrará conprogramas que aumentan la dependencia de los hogaresde los recursos del Estado. Esto constituye un retrocesoa nuevas versiones de populismo que no contribuyen aldesarrollo social.

El impacto de las intervenciones podría estimarsecon metodologías de bajo costo y menos complejidad.En países como Colombia, la ausencia de una políticasocial clara se oculta bajo la multiplicidad de programasque no resuelven los problemas de fondo. En esteescenario, la evaluación de impacto de intervencionespuntuales poco aporta, cuando no se tiene informaciónsobre qué esperar de tales acciones, y cuando estas seránmodificadas por los grupos de turno al poder, sinconsiderar seriamente el resultado de las evaluaciones.

ReferenciasAjzen I. & Fishbein, M. (1980). Understanding attitudes

and predicting social behavior. Englewood Cliffs,New Jersey: Prentice Hall.

Attanasio, O. & Gómez, L. (2004). Evaluación de impacto delprograma Familias en Acción- Subsidios condicionadosde la Red de Apoyo Social. Informe del primer seguimiento.Bogotá DC: Departamento Nacional dePlaneación.

Attanasio O. & Vera-Hernandez, M., (2004). Medium andLong Run Effects of Nutrition and Child Care.Evaluation of a Community Nursery Programme in RuralColombia. The Institute for Fiscal Studies. Mimeo.

Baker, L. (2000). Evaluación de impacto de los proyectos dedesarrollo en la pobreza. Manual para profesionales.Washington: Banco Mundial.

Basch, C., Slipcevich, E., Gold, R., Duncan, D. & Kolbe,L., (1985). Avoiding Type III Errors in HealthEducation Program Evaluations: A Case Study.Health Education Quarterly, Vol 12(4): 315-331.

Becoña, E. (1999). Bases teóricas que sustentan los programas deprevención de drogas. Madrid: Universidad de Santiagode Compostela, Plan Nacional sobre Drogas.

Behrman, J. R., Cheng, Y. & Todd, P. E. (2004).Evaluating Preescolar Programs when Lenght ofExposure to the Programme Varies: ANonparametric Approach. The Review ofEconomics and Statistics, 86. 108-132.

Brown, F. (1980). Principios de medición en psicología. México.Manual Moderno.

Carrasquilla, G., Porras, A. & Ibáñez, M. (2005). Evaluaciónde los factores asociados al uso de servicios de salud enmenores de edad en Colombia. Bogotá: InstitutoColombiano de Bienestar Familiar.

Chaux, E. (2005). El programa de prevención deMontreal: Lecciones para Colombia. Revista deestudios sociales, 21, 11-25.

Chew, F., Torún B. & Viteri, F. (1998). Suplementacióndiaria y semanal para mejorar el estado de hierroy prevenir la anemia en niñas escolares. IV Bienalde Pediatría, Caja Colombiana de Subsidio Familiar,COLSUBSIDIO.

Dawes, A., Bray, R., Kvlasvig, J., Rama, Sh. & Richter, L.,(2004). Chile & adolescent well-being indicators. CapeTown: Human Science Research Council.

DNP (2004). Programa empleo en acción. Condicionesiniciales de beneficiarios e impactos de corto plazo.Evaluación de políticas públicas, 2. Bogotá:Departamento Nacional de Planeación.

Forero, A., Giraldo, M., Scoppetta, O., Heredia, A., Borda,C., Fajardo, L. & Sánchez, H. (2005). Evaluaciónde impacto del programa de desayunos infantiles delInstituto Colombiano de Bienestar Familiar. Primeramedición. Bogotá: Instituto Colombiano deBienestar Familiar.

Gofin, J., Levav, I. & Saraceno B. (1992) Vigilancia yevaluación en los programas de salud mentalcomunitario. En Levav, I. (1992). Temas de saludmental en la comunidad. Serie PALTEX paraejecutores de programas de salud, 19. OrganizaciónPanamericana de la Salud.

Grossman, J. (1994). Evaluating Social Policies: Principlesand US Experience. The World.

Habicht, J. P., Victoria C. G. & Vaughan J. P. (1999).Evaluations designs for adequacy, plausibility andprobability of public health programme

703



performance and impact. Internacional Journal ofEpidemiology, 28, 10-18.

Hernández, J. (1996). Evaluación de programas de salud.En Buela-Casal, Caballo & Sierra (1996). Manualde evaluación en psicología clínica y de la salud. Madrid:Siglo XXI.

Instituto Colombiano de Bienestar Familiar (2000).Evaluación de impacto de hogares comunitarios debienestar. Bogotá DC: Autor.

Koepsell, T. D., Wagner, A. C., Cheadle, D. L., Patrick,D. C., Martin, P. H., Diehr, E. B., Perrin, A. R.,Kristal, C. H., Allan-Andrilla & Dey, L. J. (1996).Algunos aspectos metodológicos de la evaluaciónde los programas de promoción de la salud yprevención de las enfermedades basados en lacomunidad. En Promoción de la salud: Una antología,557. Washington DC: Washington. OrganizaciónPanamericana de la Salud – Organización Mundialde la Salud.

Labonte, R. (1996). Estrategias para la promoción de lasalud en la comunidad. En Promoción de la salud:Una antología, 557. Washington DC: Washington.Organización Panamericana de la Salud -Organización Mundial de la Salud.

Luengo, M., Romero, E., Gómez, J., Guerra, A. & Lence,M. (1999). La prevención del consumo de drogas y laconducta antisocial en la escuela: análisis y evaluaciónde un programa. Madrid: Ministerio de Educacióny Cultura, Ministerio de Sanidad y Consumo,Ministerio del Interior, Universidad Santiago deCompostela.

Londoño J. L. (2004). Metodología de la investigaciónepidemiológica. (3 ed.) Bogotá DC: Manual Moderno.

Misión Social, DNP & PNUD (2003). ¿Quién se beneficiadel Sisbén? Evaluación integral. Bogotá: MisiónSocial, Departamento Nacional de Planeación,Programa de Naciones Unidas para el Desarrollo.

Muñoz, E., Gutiérrez, M. & Guerrero R., (2004)Evaluación del impacto de una estrategia de información,educación y comunicación para la prevención de laviolencia en Bogotá, Cali y Medellín, 2003-2004.Santiago de Cali: Ministerio de la Protección Social,Universidad del Valle, Cisalva.

Nazer, H., Julio, Cifuentes, O., Lucía, Rodríguez C.,Mariela et al. (2001). Malformaciones del sistemanervioso central en el Hospital Clínico de laUniversidad de Chile y maternidades chilenasparticipantes en el Estudio ColaborativoLatinoamericano de Malformaciones Congénitas

(ECLAMC). Revista médica de Chile, vol. 129, (10),1163-1170.

Nutbeam, D., Smith, C. & Catford, J. (1996). Laevaluación en la educación para la salud: unarevisión de sus progresos, posibilidades yproblemas. En Promoción de la salud: Una antología,557. Washington DC: Organización Panamericanade la Salud – Organización Mundial de la Salud.

OPS-OMS (1991). Estratificación epidemiológica de lamalaria en la Región de las Américas. Boletínepidemiológico, Organización Panamericana de la Salud,Vol. 12 No. 4, 1-4.

Organización Mundial de la Salud (1981). Evaluación deprogramas y servicios sociales: normasfundamentales para su aplicación en el procesode gestión para el desarrollo nacional de la salud.Ginebra: Autor.

Piñeros M. & Murillo R., (2004) Incidencia de cáncer enColombia: importancia de las fuentes deinformación en la obtención de cifras estimativas.Revista Colombiana de Cancerología, Vol 8. No 1, 5-14.

Profamilia (2005) Salud sexual y reproductiva. EncuestaNacional de Demografía y Salud 2005. Bogotá:Autor.

Ravallion M. (2004). Principles and methods of ex-post impactevaluation WB.I Workshop on Impact Evaluation,Mexico City, April 2004.

Rothman, K. (2002). Epidemiology. An introduction. NewYork: Oxford University Press.

Rubio, M. & Sánchez A. (1999). Factores de riesgo asociadosa la mortalidad por neumonía en menores de un año enSanta Fe de Bogotá. Bogotá: Colección de Investigaciones.Secretaría Distrital de Salud.

Saraceno, B. & Levav, I. (1992) La evaluación de serviciosde salud mental en la comunidad. En I. Levav(1992). Temas de salud mental en la comunidad. SeriePALTEX para ejecutores de programas de salud,número 19. Organización Panamericana de laSalud.

Scoppetta, O., Giraldo, M., Borda, C., Gutiérrez, A. &Cepeda, A. (2003). Relaciones entre el refuerzoalimentario escolar y la alimentación en el hogar. Bogotá:Instituto Colombiano de Bienestar Familiar.

Skoufias, E. & Behrman, J. (2000). ¿Está dando resultadosPROGRESA? Informe de los resultados obtenidos deuna evaluación realizada por el IFPRI. México:Instituto Internacional de Investigación enPolíticas Alimentarias.

SEP, SSA, DIF, UNAM, UNICEF & UNESCO (2001).Memoria: Foro sobre indicadores de bienestar en la primerainfancia en México. Noviembre 22-23 de 2001.México: UNICEF.

64750321

Education

Transcript of 64750321