Post on 27-Oct-2018
www.spectron.com.mxwww.spectron.com.mx
2
¿Por qué evaluar?
• Necesidad de saber qué funciona
– Presupuestos limitados
– Asignar el gasto bajo criterios objetivos de efectividad e impacto
• Mejorar la implementación del programa o política
– Mejorar programas o políticas (quién recibe, lo que recibe, diseño)
– Eliminar programas de bajo costo-efectividad
– Responsabilidad ética y compromiso con la sociedad
• La información es importante para la sustentabilidad
– Negociación del presupuesto
– Informar a la opinión pública
www.spectron.com.mxwww.spectron.com.mx
3
Beneficios de evaluación de impacto
• ¿Qué beneficios trae el Programa a la población beneficiaria?
¿Cuáles son los beneficios positivos?
¿Cuales son los efectos no deseados?
• ¿Se puede mejorar el diseño del Programa o Política Pública?
¿Cuáles son los componentes/acciones del Programa que mayor impacto
generan?
¿Cómo se puede potencializar el Programa?
• ¿Es el Programa costo-efectivo?
¿Son los costos del Programa razonables de acuerdo a los beneficios que
ofrece a la población?
¿Existe algún otro diseño de Programa que pueda alcanzar lo mismos
beneficios a un menor costo?
www.spectron.com.mx
Evaluar impacto vs resultados o tendencias
Seguro Popular: hogares beneficiarios por año (millones)
¿Es bueno el crecimiento de la cobertura?
www.spectron.com.mx
La evolución del empleo informal, sector externo y Seguro Popular
Fuente: Arias, Azuara, Bernal, Heckman, Villarreal. Policies to Promote Growth and Economic Efficiency in Mexico. 2010. IZA DP No. 4740
www.spectron.com.mxwww.spectron.com.mx
Evaluación de Impacto: Pregunta central
Pregunta:
• ¿Qué hubiera pasado si no se hubiera tenido el programa?
• Sin embargo, es una pregunta difícil de responder, porque o se
tiene o no se tiene el programa
www.spectron.com.mxwww.spectron.com.mx
7
Qué se requiere
• Se necesita construir grupos de tratamiento (beneficiarios) y grupos de control que son comparables (contra-factual)
• Encontrar un diseño contra-factual implica que SOLAMENTE las diferencias restantes entre el grupo de tratamiento y control se pueden atribuir a la intervención.
www.spectron.com.mxwww.spectron.com.mx
8
Medición de ImpactoMétodos más usados:
• Métodos Aleatorios Contra-factual: Selección de grupos de control y tratamiento en forma aleatoria
• Regresión discontinuaContra-factual: Selección de grupos de control y tratamiento en base a un a un índice de elegibilidad continuo y un criterio o valor de corte ad- hoc bien definido que distingue a un grupo de otro pero sin ninguna relación con el efecto de la intervención
• Matching o PareamientoContra-factual: Selección de grupos de control y tratamiento por características observables similares
• •
0
0.2
0.4
0.6
0.8
1
-25 -15 -5 5 15 25
Relative ranking
Pro
ba
bili
ty
Recipients Non-recipients
0
0.2
0.4
0.6
0.8
1
-25 -15 -5 5 15 25
Relative ranking
Pro
ba
bili
ty
Recipients Non-recipients
¿Qué se requiere para evaluar?
• ¿Qué hubiera pasada sin el programa?
• El problema del contrafactual
• Métodos experimentales (aleatorización, experimentos naturales)
• Métodos cuasi-experimentales
• Pareamiento, Dif-Dif
• Regresión discontinua
• Variables instrumentales, otros
Hogares con personas de 65 a 75 años sin
seguro social
Reciben
"100 a los 70"
No reciben
"100 a los 70"
Diferencia
(4) - (5)
Educación de jefe
Bachillerato 0.02 0.06 -0.03**
Superior 0.01 0.02 -0.01**
Composición del hogar
15 a 19 años 0.23 0.30 -0.07**20 a 29 años 0.32 0.40 -0.08**55 a 64 años 0.17 0.29 -0.13**
Total de integrantes 3.48 3.73 -0.25*Localidades rurales 0.801 0.716 0.085**Hogar de adultos mayores 0.351 0.261 0.089**
Método de Regresión Discontinua
• Aprovechar el criterio de edad de 70 años para recibir los beneficios del
programa.
• Supuesto clave:
• Las personas próximas a los 70 años, pero que aún no los cumplen, no son
diferentes a las que ya los cumplieron o tienen poco tiempo de haberlos cumplido
Estrategia empírica
• Muestra de análisis:
• Grupo control:
• Hogares con personas 65 a 69
• años sin acceso a la seguridad social, no reciben “100 a los 70.”
• Grupo tratamiento:
• Hogares con población de 70 a 75
• años sin acceso a la seguridad social que sí reciben “100 a los 70”.
• Variables instrumentales:
• Proporción de personas de 70 años o más que reciben el progama a nivel
corregimiento
Fuentes de información
Encuesta de Mercado Laboral (EML)
Encuesta de Propósitos Múltiples
• 2011, 2012, 2013, 2014 • 2011, 2012, 2013
• Ventajas: Información anual y detallada sobre decisiones laborales, ingresos, y si se es beneficiario de “100 a los 70”
• Desventajas: No cuentan con información sobre otras dimensiones relevantes para el programa: salud, nutrición,utilización de servicios de salud, movilidad, etc.
Parámetros de impacto
• Decisiones laborales y productivas:
Participación laboral, horas trabajadas, ingreso laboral,
negocios propios o del hogar.
• Ingresos del hogar:
Transferencias privadas, otros programas sociales
• Otras dimensiones disponibles:
Asistencia escolar
Salida de residentes del hogar
Impacto en las decisiones laborales y productivas
Participación
laboral
Horas
trabajadas
Negocio
familiar
Ingreso
laboral
15 a 29 años
Rurales -0.02 -5.86 -0.02 -0.30
Urbanos 0.15 9.70* -0.41** 0.46*
65 a 75 años
Rurales -0.38** -5.23 0.23** -0.31
Urbanos -0.39** -16.86** -0.13 -0.68
Impacto en los ingresos del hogar
Total de hogares
Tipo corregimiento
Rurales Urbanos
Ln [Ingreso Total]
(con B.100/70) 0.26** 0.23 0.30*
(0.12) (0.16) (0.16)
Ln [Transferencias
privadas] -0.10 -0.07 -0.27*
(0.12) (0.15) (0.15)
Obs 3,044 2,245 799
Impacto en otros indicadores
Total de
hogares
Tipo corregimiento
Rurales Urbanos
Asistencia escolar
(6 a 17 años)-0.031 -0.143 -0.037
(0.083) (0.118) (0.104)
Salida de residentes 0.006 -0.033 0.047
(0.055) (0.066) (0.089)
Conclusiones• Gracias al B.100/70 las personas entre 65 y 75 años destinan
más tiempo a actividades productivas dentro del hogar, y
pueden depender menos del mercado laboral.
• En paralelo, los jóvenes pueden destinar más horas de trabajo
en el mercado laboral, y aumentar sus ingresos.
• El efecto neto de estas decisiones más la transferencia
monetaria aumenta el ingreso total del hogar.
• Los resultados sugieren que B.100/70 disminuye la
vulnerabilidad económica de su población objetivo
• Un ejercicio de evaluación integral permitiría identificar
impactos en otros ámbitos del bienestar: salud, nutrición,
autonomía, entre otros