¿Cómo se estima el impaCto de una polítiCa Con una evaluaCión de impaCto?módulo 5

Las evaluaciones de impacto permiten la recopilación y el análisis de evidencia que colabora en la formulación de políticas públicas. Por esto, promueven la toma de decisiones de manera informada, mejorando la calidad de las políticas implementadas. Toda política debe ser evalua-da en términos de su impacto económico, social y ambiental. Una evaluación de impacto busca responder preguntas como: ¿qué será distinto y para quiénes, luego de la aplicación de la polí-tica? ¿Cómo puede verificarse si se han cumplido o no los objetivos de la política? ¿Cómo son los costos de la aplicación con relación a los beneficios?

Para poder realizar la evaluación de impacto de una política determinada, es requisito que ésta cuente con indicadores para medir sus objetivos. La evaluación busca evidencia sobre el cum-plimiento o no cumplimiento de los objetivos planteados para la política.

De esta manera, una evaluación de impacto estima el efecto que tiene una política determinada.

La evaluación de impacto busca determinar una relación de causa y efecto entre la implemen-tación de un programa y los beneficios que se derivan de éste. El impacto de un programa se estima como la diferencia entre el valor promedio de un determinado indicador de desarrollo (como el nivel educativo, el nivel económico, etc.) que se adquiere con la implementación del programa y el valor promedio del mismo indicador cuando no existe dicho programa. Como no es posible observar lo que les pasará a los beneficiarios de un programa si no se hubiera imple-mentado el mismo, las evaluaciones de impacto buscan generar un grupo válido de compara-ción similar al grupo beneficiario, para así poder responder a la siguiente pregunta: ¿cuál hu-biera sido el promedio del indicador de desarrollo si no se hubiera implementado el programa?

Sin embargo, esta tarea no es fácil y poder contar con un grupo que sea realmente compa-rable al grupo beneficiario supone aplicar una serie de metodologías que nos ayuden a es-tablecer que, en ausencia del programa, ambos grupos hubieran tenido un comportamiento similar; con referencia al indicador de desarrollo en el que incide el programa o política que se está diseñando.

En muchas ocasiones, se utilizan combinaciones de varios métodos. Por ejemplo, medidas de pre y post intervención, comparando grupos experimentales (con intervención) con grupos de control.

Cuando usamos grupos de control para estimar el efecto de una intervención, es muy impor-tante, como acabamos de mencionar, que este grupo sea equivalente al grupo que recibe be-neficios del programa. Sólo así, las diferencias encontradas entre los grupos –luego de la inter-vención– pueden asociarse a los efectos de la intervención y no a las diferencias previas entre los grupos. Esta es la clave de una evaluación de impacto válida.

Por ejemplo, si queremos evaluar el impacto que tiene un programa que busca mejorar los ingresos en familias en situación de vulnerabilidad; debemos comparar un grupo con interven-ción, con un grupo de control. Estos grupos deben tener el mismo nivel de ingresos y de vulne-rabilidad antes de la intervención. Sólo así, si encontramos diferencias en ingresos posteriores a la intervención, podríamos explicarlas en base a los efectos del programa.

La evaluación de impacto tiene el objetivo de proveer una estimación real de los beneficios de un programa y, por lo tanto, contribuye a la formulación de políticas de manera informada. La evaluación de impacto provee evidencia científica para entender mejor cómo funciona una política, evaluar la necesidad de modificaciones, identificar áreas de oportunidad de mejora y establecer el costo-efectividad de la política para compararla con otras políticas.

Aparte de la evaluación de impacto, existen varios tipos de evaluación de una política; que va-rían de acuerdo a sus objetivos:

a. evaluación de proceso. Una evaluación de proceso analiza la efectividad de la opera-tividad del programa. La evaluación de proceso busca determinar si los objetivos que se propone el programa con respecto a la entrega de bienes y servicios se cumplen de acuerdo a metas preestablecidas. Una evaluación de proceso en ejecución se denomina monitoreo de programa. La limitante de esta metodología es que sólo nos permite apren-der sobre la ejecución, pero no sobre los resultados de desarrollo que buscamos lograr en los beneficiarios.

B. evaluaciones de costo-beneficio. Un análisis de costo beneficio tiene el objetivo de cuan-tificar los beneficios y los costos de una inversión. Una vez que se calcula cuántos bene-ficios se obtienen por una cantidad determinada, se puede hacer una comparación entre varios programas y elegir el que traiga mayores resultados a un costo menor. Uno de los mayores retos con esta metodología es que el cálculo de beneficios puede ser extrema-damente difícil y subjetivo. Cuando una evaluación de impacto provee una estimación de los resultados de desarrollo para el cálculo la evaluación, se denomina costo-efectividad.

C. evaluaciones cualitativas. Las evaluaciones cualitativas buscan entender cómo los be-neficiarios de un programa interactúan con los insumos que éste provee. La evaluación cualitativa involucra la entrevista de actores claves, como proveedores y beneficiarios con características de especial interés. La mayor desventaja de las evaluaciones cualitativas es que pueden no ser representativas de los beneficiarios del programa. Una evaluación que combina una evaluación cuantitativa y una cualitativa, se denomina de métodos mixtos. Las evaluaciones de métodos mixtos combinan información para comprender mejor si un programa funciona y cómo funciona.

Estas metodologías alternativas complementan la evaluación de impacto de un programa y contribuyen a una toma de decisión informada.