Métodos de evaluación de programas públicos

Ricardo MartnerÁrea de Políticas Presupuestarias y Gestión Pública ILPES, CEPAL, Naciones Unidas

Año No Indicadores No Instituciones Promedio por Institución

200120022003200420052006

2755371039168415881552

72109111132133136

3.84.99.412.811.911.4

Los indicadores de desempeño en Chile

Fuente: Dipres, Chile

Los indicadores de desempeño en Chile

La composición del gasto en Chile (% del PIB)

0,0

5,0

10,0

15,0

20,0

25,0

30,0

Protección Social 10,3 9,3 8,8 8,1 8,2 7,8 7,9 7,5 7,0 7,3 7,0 7,4 7,9 7,9 7,9 7,7 7,5

Educación 3,0 2,6 2,4 2,3 2,3 2,4 2,5 2,5 2,5 2,8 2,9 3,3 3,8 3,7 3,9 4,0 3,9

Actividades Recreativas, Cultura y Religión 0,1 0,1 0,1 0,1 0,1 0,1 0,1 0,1 0,1 0,1 0,1 0,1 0,1 0,1 0,1 0,1 0,1

Salud 2,0 2,1 2,0 1,9 2,0 2,2 2,3 2,4 2,3 2,4 2,4 2,6 2,8 2,8 3,0 3,0 3,0

Vivienda y Servicios Comunitarios 0,2 0,2 0,2 0,2 0,1 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,3 0,3 0,2 0,2 0,2

Protección del Medio Ambiente 0,0 0,1 0,0 0,0 0,0 0,0 0,0 0,1 0,1 0,1 0,1 0,1 0,1 0,1 0,1 0,1 0,1

Asuntos Económicos 3,1 2,7 2,5 2,0 2,4 2,6 2,6 2,7 2,6 2,8 2,9 2,9 3,1 3,0 2,7 2,8 2,7

Orden Público y Seguridad 1,0 1,0 0,9 0,9 0,9 1,0 1,0 1,0 0,9 1,0 1,1 1,1 1,3 1,2 1,3 1,3 1,3

Defensa 3,3 2,9 2,6 2,3 2,0 1,9 1,8 1,5 1,4 1,5 1,5 1,6 1,7 1,7 1,7 1,6 1,4

Servicios Públicos Generales 3,1 3,3 2,7 2,8 2,6 2,2 2,1 1,9 1,6 1,4 1,3 1,3 1,4 1,4 1,5 1,5 1,5

1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003

Funciones Eficacia Eficiencia Economía Calidad Total Porcentaje

A. Actividades recreativas, cultura y religiónB. DefensaC. EducaciónD. Orden Pública y SeguridadE. Protección del Medio AmbienteF. Protección SocialG. SaludH. EconómicasI. Servicios Públicos GeneralesJ. Vivienda y Servicios Comunitarios

41

10573921143742452375

11

5555171257462

4

1312261137521

10

3141628527127930

66

197961302711244664288

4.3

1.25.13.91.917.58.030.027.60.5

Total 872 165 138 377 1552 100

Porcentajes 56.2 10.6 8.9 24.3 100

Fuente: Dipres, Chile

Los indicadores de desempeño en Chile (2004)

Los indicadores de desempeño en Chile

Evaluaciones 1997-2005

1997-99 2000 2001 2002 2003 2004 2005 Total

Evaluación Programas GubernamentalesEvaluaciones de impacto Evaluaciones Comprehensivas del gasto

80 20 18

2

14

4

9

13

4

4

13

4

6

14

(2)

6

172

16

21

Total 80 20 20 19 19 19 17 194

Los resultados finales o impactos se refieren a los beneficios “netos” de un programa en el tiempo. Para identificar el impacto sobre su población beneficiaria, se deben identificar las relaciones de causa-efecto entre los componentes que produce el programa y los resultados esperados (a nivel de producto, intermedio y finales).

Evaluación de impacto

Para cuantificar el impacto del programa no basta con la comparación de la situación de los beneficiarios “antes versus después” del programa, sino que se debe responder a la pregunta: ¿Cuál sería la situación actual de estos beneficiarios si no hubieran participado en el programa?

Esto es lo que se denomina situación contrafactual o escenario contrafactual. En términos metodológicos, lo anterior implica comparar los resultados del programa en los beneficiarios con respecto a un grupo de no beneficiarios de características similares, grupo de control, de modo de aislar los efectos de otros factores.

Un grupo de control es básicamente un segmento de no beneficiarios que son parte de la población objetivo, es decir, un grupo que comparte las características sociales, económicas, educacionales del grupo beneficiario. La única diferencia entre los individuos del grupo de control y los beneficiarios efectivos debe ser su participación en el programa.

La construcción del escenario contrafactual puede ser abordada mediante metodologías alternativas, las cuales pueden agruparse en dos grandes categorías, diseño experimental (aleatorio) o diseño cuasi - experimental (no aleatorio):

1. El diseño experimental o aleatorio es la metodología de evaluación técnicamente más robusta. Consiste en la selección aleatoria de los beneficiarios dentro de un grupo de individuos elegibles creando dos grupos estadísticamente idénticos entre sí, uno que participa en el programa (grupo de tratamiento) y otro que, cumpliendo todas las condiciones para participar, esta fuera de él (grupo de control). La cuantificación o estimación del impacto del programa se realiza mediante una simple diferencia de medias (para las variables de resultado relevantes) entre el grupo de control y el grupo de tratamiento.

Evaluación de impacto

2.El diseño cuasi-experimental es utilizado cuando no es posible generar los grupos de control y tratamiento a través de un diseño experimental, pues la intervención del programa ya tuvo lugar y se seleccionaron los beneficiarios del programa usando métodos no aleatorios, a través de la aplicación de criterios de elegibilidad y focalización que establecen diferencias entre éstos y los no -beneficiarios.

El primer grupo de variables consideradas son aquellas que miden la incidencia del programa en su principal variable objetivo, es decir, la calidad de los pisos de la vivienda. El segundo grupo de variables de resultado consideradas son aquellas que reflejan el impacto del programa sobre la salud de la población. En particular, se espera que la aplicación de pisos de cemento tenga un impacto considerable sobre la salud de los niños que habitan las viviendas al reducir el contacto directo de los niños con la tierra y permitir un mayor nivel de saneamiento en el hogar.

Programa piso firmeCohahuila

El programa Piso Firme fue implementado en el estado de Coahuila a partir del año 2000. El programa fue implementado en diferentes municipios dentro del estado, uno de los cuales es el municipio de Torreón. Este municipio tiene la particularidad de que se encuentra en la frontera del estado de Coahuila con el estado de Durango.El diseño experimental permite la construcción de un grupo de control válido. El programa Piso Firme no fue implementado en los municipios de Gómez Palacio y Lerdo del estado de Durango, que forman junto con Torreón una misma área metropolitana. Esto significa que, en principio, los hogares a uno y otro lado de la frontera presentan características observables y no observables similares.

Programa piso firmeCohahuila

Programa piso firmeCohahuila

Programa piso firmeCohahuila

Los programas operan cuando la tasa de desempleo supera el 10% (invierno). La población potencial es la población desempleada, en condición de pobreza. Los programas directos son empleos de mejoramiento urbano, a través de las municipalidades.

Los programas indirectos subsidian la contratación (40% del salario mínimo por cuatro meses con capacitación) por parte de empresas privadas. El objetivo es mejorar la empleabilidad de los beneficiarios.

Impacto de Programas de empleo

La muestra de beneficiarios se obtuvo a partir de las bases proporcionadas por los programas para los años 2001-2003: a nivel agregado la tasa de respuesta alcanzó un 71.3%.

El grupo de control es seleccionado utilizando un proceso de “matching” basado en la probabilidad de ser beneficiario de los programas de empleo. Las variables de control utilizadas fueron: edad (incluyendo varias potencias para capturar efectos nolineales); variables indicadoras de jefe de hogar, estado civil y sexo; interacciones entre estas variables; variables dummies regionales; variable dicotómica si realizó capacitación laboral; dummies para sector de actividad, tamaño de empresa,categoría ocupacional y oficios; salarios y horas trabajadas.

Programas de empleo

Caracterización de las muestras de beneficiarios y no beneficiarios

La estimación del impacto se implementa a través de estimadores de Diferencias en Diferencias (comparación antes y después del programa para el promedio de beneficiarios y no beneficiarios en las distintas variables de interés).

Se espera que los programas tengan un impacto positivo sobre la probabilidad de estar empleado el año de aplicación de los programas. En los programas indirectos también se espera que tengan impacto de mediano plazo, debido a que entre sus objetivos se encuentra mejorar la empleabilidad de sus beneficiarios.

Respecto a la formalidad del empleo, se esperaría encontrar impacto sobre esta variable en el año de participación en el programa. En el mediano plazo sería razonable encontrar impacto entre los beneficiarios de capacitación, debido a que el programa busca que sigan empleados.

Programas de empleo

Variable ValorConstantedbdtdb*dtEscolaridadEscolaridad2EdadEdad2Hombre=1Soltero=1Jefe=1Capacita=1esc_padreesc_madrecrecio_pobre

Nº de observacionesR2

0.0719-0.02-0.0060.1734*-0.00190.00000.0484-0.02080.0833*0.03560.0011*0.00350.0051-0.1542SI

13030.5160

Impacto del Programa Bonificación de Mano de Obra, sobre la probabilidad de encontrarse empleado en Junio 2002(Variable dependiente dicotómica: 1 si ocupado; 0 si no)

El impacto en empleo de los programas directos, comparando la situación Junio de 2004 con Junio de 2000 indica que los beneficiarios que tomaron los programas los años 2001, 2002 o 2003 exhibieron aproximadamente 8,4 puntos porcentuales de probabilidad adicional de estar empleados en Junio de 2004.

El impacto del programa indirecto de empleo constituido por la bonificación de mano de obra indica que los beneficiarios que tomaron este programa el año 2001 exhibieron aproximadamente 9 puntos porcentuales de probabilidad adicional de estar empleados en relación a lo que habría sido su situación de no haber existido el programa.

Programas de empleo

El impacto de los programas de empleo sobre la formalidad del empleo (probabilidad de obtener un empleo en el que el beneficiario realiza cotizaciones previsionales o está contratado) en el año de aplicación del programa, muestran que los programa directos exhiben 12 puntos porcentuales de probabilidad adicional de estar empleados con el pago de las cotizaciones previsionales en relación a lo que habría sido su situación de no haber existido estos programas. El impacto del programa indirecto de empleo sobre la formalidad del empleo de los beneficiarios muestra aproximadamente 12 puntos porcentuales de probabilidad adicional.

Las regresiones permiten también concluir que los ingresos fueron impactados positivamente por la participación en el programa.

Programas de empleo

Con el objeto de tener un medición global del desempeño de los programas de empleo, se utilizan los costos promedio por empleo generado así como el impacto sobre la probabilidad de estar empleado, tanto en el corto como mediano plazo.

Los programas directos presentan el peor desempeño en losindicadores de costo-efectividad. En consecuencia, si es que losprogramas analizados se evalúan sólo desde la perspectiva delempleo, debieran ser eliminados pues existen opciones menoscostosas de producir un mismo o mayor impacto.

Programas de empleo

Programas de empleo

En la variedad está el gustoPese a su complejidad, las metodologías de evaluación de impacto puede aportar elementos objetivos de evaluaciónPara ello, sin embargo, es necesario no utilizar sus resultados con otros fines, pues resultan muy limitadas para justificar permanencia o abandono de programas públicos.

A modo de conclusión