Evaluación de Impacto Chile Solidario: Primera cohorte de participantes O Larrañaga, D Contreras y...
-
Upload
edmundo-mario -
Category
Documents
-
view
5 -
download
0
Transcript of Evaluación de Impacto Chile Solidario: Primera cohorte de participantes O Larrañaga, D Contreras y...
Evaluación de Impacto Chile Solidario:
Primera cohorte de participantesO Larrañaga, D Contreras y J Ruiz
Tagle
PNUD
Responsabilidades
• Los contenidos de la evaluación son responsabilidad de equipo PNUD.
• El trabajo inicial de preparación de las bases de datos y análisis de metodologías de impacto fue realizado junto a la División Social de Mideplan.
• Ver también tesis de magister U de Chile de Andrés Hojman (2008) y Fernando Hoces (2008)
Diagnóstico de inicios del 2000s
• Estancamiento en la reducción de la extrema pobreza
• Las familias por debajo de la línea de la extrema pobreza usaban en menor medida e intensidad los programas y servicios públicos existentes, ya sea por desconocimiento, falta de cupos o poca credibilidad en éstos.
Objetivos de Chile Solidario
• El objetivo es promover la incorporación de las familias en extrema pobreza a las redes sociales, mejorar su conocimiento sobre la oferta pública disponible y posibilitar su acceso a una mejor calidad de vida, de manera que superen la condición de indigencia.
• La condición de pobreza es considerada un problema multidimensional, caracterizada por bajos ingresos monetarios, escasa dotación de capital humano, débil capital social, y alta vulnerabilidad ante eventos como enfermedades, accidentes, cesantía y otros.
Componentes de Chile Solidario
• Apoyo Familiar que acompaña por dos años a las familias en fortalecimiento psico-social, inserción en programas de oferta pública y cumplimiento de condiciones mínimas.
• Acceso garantizado a subsidios monetarios (si elegibles) y a Bono de Protección Social y Bono de Egreso
• Acceso preferente a programas de la oferta pública– Salud, educación, vivienda, dinámica familiar, empleo,
capacitación e identificación.
Ámbito de la presente evaluación
• Evalúa la primera cohorte, que ingresa en 2002
• Evalúa las dimensiones de ingreso monetario, empleo y vivienda– Un subconjunto de los objetivos del Programa
• Evalúa entre 15 y 48 meses de intervención– Programa dura 5 años, los 2 primeros más intensivos
Selección de Beneficiarios
• Población meta: alrededor de 210.000 familias en extrema pobreza – Junio del 2008: 278.548 familias egresados o participando
(Base Puente)
• Implementación: – Puntos de corte comunales extrema pobreza, Casen 2000– Selección según percentil equivalente en ficha CAS– Prioridad de entrada según puntaje CAS aún cuando hay
traslape de puntajes en el tiempo por cambio de ficha CAS y, excepcionalmente, accesibilidad geográfica.
Distribución Participantes en año de entrada, deciles Cas
Año de entrada al Sistema Deciles
individuos
2002
2003
2004
2005
2006 a mayo 07
Total
1 67,5 65,0 66,3 67,8 56,0 64,7 2 19,2 24,0 25,4 23,6 23,8 23,4 3 8,6 7,5 4,6 5,1 8,4 6,7 4 1,8 1,5 1,5 1,5 4,5 2,1 5 1,1 0,7 0,8 0,7 2,9 1,2 6 0,8 0,5 0,6 0,5 1,8 0,8 7 0,3 0,3 0,3 0,3 1,2 0,5 8 0,3 0,2 0,2 0,2 0,7 0,3 9 0,3 0,2 0,1 0,1 0,5 0,2
10 0,1 0,1 0,1 0,1 0,2 0,1
Total 100,0 100,0 100,0 100,0 100,0 100,0
Fuente: Consolidados Cas y registros Chile Solidario
Evaluación de impacto
• Impacto de un programa social: efectividad en el logro de sus objetivos
• Desafío de la evaluación: aislar el efecto del programa de otros determinantes de los resultados
• Grupo de control provee escenario contra-factual– Metodología ideal: experimento– Práctica predominante: “cuasi-experimentos”
Evaluaciones previas de Chile Solidario
• Galasso 2006; Perticara 2006; Carneiro-Galasso 2007
• Impacto positivo en acceso a programas sociales y disposición psico-social. Sin evidencia clara de aumentos de ingreso y empleo, salvo áreas rurales.
• Basadas en Encuesta Panel Chile Solidario (2003-06); problemas de línea base y consistencia temporal en cuestionarios restan efectividad a la base de datos.
Esta evaluación usa Ficha CAS como Panel
• Ficha Cas: evaluación socioeconómica de hogares para acceder a programas sociales entre 1998-2006.– Esta es la ficha CAS II, precedida por Ficha CAS I y seguida por
FPS
• Cobertura de 40% de la población y cerca de 80% en estratos de bajos ingresos. La ficha Cas tiene vigencia de dos años, requiriendo actualización continua
• Identificador individual permite construir panel ficha CAS, para ser utilizada en evaluación Chile Solidario
Metodología de evaluación
• Diferencias en diferencias (DD): cambio en resultado en el grupo de participantes (tratados) versus cambio en resultado en grupo de control– “antes-después”, controlando por efectos ambientales
• Conclusiones dependen críticamente de la calidad del grupo de control– Cuán bien aproxima la situación del grupo de tratado si este no
hubiera participado en el programa
Limitaciones del panel Ficha Cas
• Restringe evaluación a variables en la Ficha
• Potencial sesgo de selección si no hay medición final– Participantes requieren ficha CAS a la entrada y la salida– Grupo de control podría excluir a dos tipos de familias: – (i) quienes mejoran nivel socioeconómico y no vuelven a tomar
la entrevista (sobre-estimación impacto)– (ii) quienes empeoran e ingresan a Chile Solidario en cohortes
posteriores
Dimensiones de la evaluación
• Ingreso autónomo del hogar
• Número de personas ocupadas por hogar
• Indice de vivienda en base a siete variables: – Materialidad de la vivienda– Infraestructura básica y sanitaria– hacinamiento.
Construcción del grupo de control
• Cobertura universal en población de extrema pobreza dificulta construcción de grupo de control
• Variación de punto corte CAS entre comunas permite selección controles con similar CAS a tratados
• Para incluir como controles a participantes futuros se reduce mínimo de intervención a un año de “dosis”– Reduce sesgo de selección para controles que empeoran y se
incorporan al programa
Selección de participantes y controles
• Se consideran participantes que ingresan en 2002, con ficha CAS inicial seis meses antes de entrada y ficha CAS final después de un año de intervención
• Para seleccionar controles: vecinos más cercanos según probabilidad de acceso (propensity score)– Variables probit: puntaje CAS, corte comunal CAS, cupos Chile
Solidario en comuna, gestión comuna, sexo jefe, tamaño hogar, edad jefe, zona
• Gran cantidad de potenciales controles permite elegir un grupo similar en puntaje CAS y otras variables
Cuadro 2: Número de hogares en evaluación de impacto Chile Solidario Entrada a Chile
Solidario Ficha Cas 2002 Califican Tratados Distribución %
controles Cohorte 2002 17657 8528 8528 Cohorte 2003 21421 1391 1.7 Cohorte 2004 16035 9948 9.2 Cohorte 2005 16618 15464 13.7 Cohorte 2006 13828 12231 8.7 No tratados 581623 412231 66.7
Total 667182 459608 8528 100.0 Fuente: Elaboración en base a Fichas Cas y registros administrativos Chile Solidario.
400
450
500
550
600
0 20 40 60 80 100percentil
cas_participantes cas_controles
Percentiles puntajes CAS inicial
Cuadro 4: Estadísticas Descriptivas Pre-tratamiento, Cohorte 2002
Media Tratado
Media Controles
Diferencia Error estándar
Test t
Puntaje CAS 460.8 459.9 0.814 0.406 2.01
Ingreso autónomo 83628 80277 3401 898 3.79
Ocupados en hogar 0.998 0.956 0.042 0.009 4.73
Indice de vivienda 4.69 4.82 -0.125 0.028 4.49
Número menores 18 1.40 1.23 0.16 0.016 9.95
Tamaño hogar 4.16 4.07 0.09 0.024 3.93
Tasa jefe mujer 0.319 0.289 0.030 0.006 5.04
Tasa de hogar urbanos 0.699 0.674 0.025 0.006 4.24
Edad receptor bono 41.5 42.9 -1.30 1.02 1.28
Intervalo medición meses
35.0 32.1 3.1 0.13 23.8
Fuente: Base de datos fichas Cas
Cuadro 6: Impacto Chile Solidario según número vecinos matching
Resultado Número
Vecinos
Matching
Diferencia
tratados
Diferencia
controles
Diferencia
en
Diferencia
Error
estándar
Test t
Ingreso
1 13490 15937 -1906 1476 -1.29
5 13490 16783 -3292 1090 -2.77
10 13490 16977 -3486 1128 -3.09
Ocupados
1 0.043 0.019 0.025 0.012 2.10
5 0.043 0.021 0.022 0.012 2.29
10 0.043 0.027 0.016 0.009 1.71
Vivienda
1 1.28 1.07 0.208 0.032 6.45
5 1.28 1.08 0.202 0.028 7.33
10 1.28 1.08 0.202 0.026 7.64
Nota: N = 8495.
Cambio en ingreso autónomo hogar (M$)
Cambio en ingreso hogar según edad receptor bono
Cambio en ingreso hogar según intervalo medición
Cambio en ocupados por hogar
Cambio en ocupados por hogar según edad receptor bono
Cambio ocupados hogar según intervalo medición
Cambio en índice de vivienda
Cambio en índice de vivienda según edad receptor bono
Cambio en índice de vivienda según intervalo medición
Cuadro 7: Impacto Chile Solidario en ingreso autónomo, subgrupos (5 vecinos más cercanos)
Diferencia tratados
Diferencia controles
Dif en Dif Error Estándar
Test t Número Tratados
Jefe hogar Hombre 12240 14774 -2534 1354 1.87 5779 Mujer 16151 22315 -6164 2315 2.66 2716
Zona
Urbano 13636 19540 -5904 1524 3.83 5940 Rural 13151 11153 1998 1855 1.08 2555
Edad receptor
18-24 20226 29579 -9353 3874 2.41 896 25-34 18502 20127 -1625 1823 0.89 2315 35-44 19649 16517 3131 2368 1.32 2260 45-59 5228 14021 -8792 2900 3.03 1687
60 y más -499 9126 -9626 2662 3.62 1285
Intervalo mes 16-24 12970 15512 -2524 2130 1.19 2597 25-33 15385 19752 -4366 1634 2.67 3564 34-42 11606 15842 -4236 2774 1.53 2132
Cuadro 8: Impacto Chile Solidario ocupados por hogar, subgrupos (5 vecinos más cercanos)
Diferencia tratados
Diferencia controles
Dif en Dif Error Estándar
Test t Número Tratados
Sexo ocupado
Hombre -0.026 -0.042 0.015 0.008 1.90 8498 Mujer 0.070 0.063 0.007 0.007 1.02 8498
Jefe hogar
Hombre 0.017 0.002 0.014 0.011 1.30 5781 Mujer 0.100 0.081 0.019 0.019 1.00 2717
Zona
Urbano 0.051 0.033 0.017 0.012 1.42 5943 Rural 0.028 0.012 0.015 0.018 0.90 2555
Edad receptor
18-28 0.069 0.079 -0.009 0.018 0.51 1706 29-35 0.128 0.078 0.050 0.018 2.70 1772
37-42 0.104 0.093 0.011 0.025 0.43 1412 44-55 0.030 -0.023 0.059 0.029 2.04 1459
57-85 -0.134 -0.066 -0.068 0.025 2.73 1531
Intervalo mes 16-24 0.074 0.040 0.033 0.022 1.49 1466
25-33 0.099 0.031 0.067 0.017 3.84 2626 34-42 0.030 0.039 -.0008 0.020 0.43 2044
43-52 -0.021 -0.016 -0.004 0.022 0.21 2189
Cuadro 8: Impacto en índice vivienda, subgrupos (5 vecinos más cercanos)
Diferencia tratados
Diferencia controles
Dif en Dif Error Estándar
Test t Número Tratados
Jefe hogar
Hombre 1.33 1.13 0.19 0.03 5.78 5773 mujer 1.18 0.94 0.24 0.05 5.11 2716
Zona
Urbano 1.30 1.12 0.18 0.03 5.18 5936 Rural 1.24 1.02 0.22 0.05 4.83 2553
Edad receptor
18-28 1.53 1.42 0.11 0.07 1.51 1704 29-35 1.59 1.26 0.33 0.06 5.16 1771
37-42 1.31 1.11 0.20 0.07 3.03 1409 44-55 1.07 1.08 -0.01 0.06 0.15 1458
57-85 0.81 0.76 0.04 0.05 0.92 1530
Intervalo mes 16-24 0.88 0.68 0.20 0.056 3.54 1464
25-33 1.01 1.04 -0.02 0.046 0.49 2625 34-42 1.56 1.36 0.21 0.061 3.37 2041
43-52 1.58 1.54 0.04 0.060 0.64 2187
Conclusiones e Interpretaciones
• Cohorte 2002 presenta impacto positivo del programa en empleo y vivienda. En cambio, el impacto es negativo en ingreso autónomo.– Resultados robustos a número de vecinos en matching
• Notar que participantes de Chile Solidario obtienen ganancias absolutas en todas las dimensiones evaluadas y para casi todos los subgrupos – Las pérdidas en ingresos son relativas a grupo de control
Conclusiones e Interpretaciones
• Evaluación de ingresos excluye subsidios monetarios; que podrían aumentar ingreso total del hogar y reducir ingresos autónomos por efectos sustitución– Hay evidencia similar en programas de transferencias
monetarias en otros países.– Ello es también consistente con caídas absolutas de ingreso y
empleo cuando el receptor del bono sobre 60 años
Conclusiones e Interpretaciones
• Impacto del programa es particularmente favorable en el caso de receptores del bono en edades intermedias (29 a 42 años); pero negativo para jóvenes y adultos mayores
• Impacto tiende a ser mejor en zonas rurales que urbanas
• Esta evaluación no incluye las dimensiones de acceso a programas ni la variable psico-social, que son objetivos directos de Chile Solidario