Cómo construir un grupo de comparación adecuado...

Andrés Ham Universidad de Illinois Urbana-Champaign

4 de Abril de 2017Guatemala

TALLER DE EVALUACIÓN DE IMPACTO

Cómo construir un grupo de comparación adecuado para medir resultados:

Buenos y malos contrafactuales

Referencias

Versiones en Inglés y Francés disponibles. Versión en Portugués

pronto disponible.

Descarga gratuita desde:www.worldbank.org/ieinpractice

Libro “Running Randomized Evaluations” (“Implementación de

Evaluaciones Aleatorizadas”)

Disponible sólo en Inglés. Más información en:

http://runningres.com

Evaluación de Impacto – Mapa de Ruta

Marco Lógico

Medición de Impacto

Plan Operativo

Recursos

Cómo funciona el programa en

la teoría

Métodos para identificar impacto

Nuestro Objetivo

Estimar el efecto causal (Impacto) del programa (P) sobre un resultado (Y).

P = Programa o TratamientoY = Indicador, Medida del ÉxitoYT = Resultado con el programa (tratamiento)YC = Resultado sin el programa (control)

Impacto = YT- YC

Ejemplo: TMC Progresa

� Programa nacional contra la pobreza en México

� Transferencias Monetarias Condicionadas a la escolarización y asistencia a centros de salud.

� Selección de participantes

•Elegibilidad basada en índice de pobreza

� Duración:

•Comienzo: 1997

•Implementación por etapas,

5 millones de beneficiarios

al 2004

Cuál es el Impacto de….

…una transferencia monetariacondicionada…

… en el consumo hogareño?

(P)

(Y)

Pregunta de Investigación

Desafío – Sin contrafactual

Impacto= YT- YC

No observamos lo que les hubiera ocurrido a los alumnos si no hubieran recibido ninguna transferenciamonetaria (el contrafactual)?

EL CONTRAFACTUAL PERFECTO

CLON

El Experimento Perfecto

Primero, identificar los beneficiarios objetivo…

… y clones de los beneficiarios objetivo

El Experimento Perfecto - Clones

El Experimento Perfecto - Clones

Dar las transferencias monetarias a uno de los grupos de clones

El Experimento Perfecto - Clones… y comparar su consumo algún tiempo después

• Porque las personas que recibieron la transferencia monetaria son exactamente iguales a las que no la recibieron, es que podemos realmente atribuir la diferencia observada al programa

MALOS CONTRAFACTUALES

Antes & Después

Comparación entre enrolados y no enrolados

Caso 1: Antes & Después

Y

Tiempot=1997 t=1998

$35

ESTIMACION DEL IMPACTO =A-B= $35

B

A

233

268

(1) Observa sólo a los beneficiarios

(2) Dos observaciones en el tiempo: Consumo in 1997Consumo in 1998

Caso 1: Antes & Después

Nota: Si el efecto es estadísticamente significativo al 1% de nivel de significancia, marcamos el nivel estimadode impacto con 2 estrellas (**).

Consumo (Y)

Consumo después del inicio del programa(tratamiento)

268.7

Consumo antes del inicio del programa(control (contrafactual)) 233.4

Estimación de Impacto 35.3***

Impacto Estimado en el Consumo (Y)

Regresión Lineal 35.27**

Regresión Lineal Multivariada 34.28**

Y

TiempoT=0 T=1

α = $35

B

A

233

268Auge Económico:o Impacto Real=A-Co A-B sobre estima el

impacto

C ?

D ?

Impacto?

Impacto?Recesión Económica:o Impacto Real=A-Do A-B subestima el

impacto

Caso 1: Problema: no sabemos quéhubiera pasado sin el programa

Caso 2: Algunas personas se inscriben, otras no

No elegibles(No pobres)

Elegibles(Pobres= Poblaciónobjetivo)

No Enrolados

Enrolados


GRUPO DE TRATAMIENTO GRUPO DE CONTROL

Caso 2: Problema de sesgo en la selección

Qué tal si aquellos que eligieron no inscribirse son diferentes?


Y, qué tal si no podemos observar (controlar por) esas diferencias…


Y si esas diferencias influyen en los resultados?

Están correlacionados con el consumo los factores que determinanel enrolamiento?


Consumo (Y)

Consumo con el programa(inscriptos- tratamiento) 268

Consumo sin el programa(no inscriptos- control) 290

Estimación de impacto -22**

Impacto Estimado sobre el Consumo(Y)

Regresión Lineal -22**

Regresión Lineal Multivariada -4.15

Nota: Si el efecto es estadísticamente significativo al 1% de nivel de significancia, marcamosel nivel estimado de impacto con 2 estrellas (**).

Qué recomendación para Políticas obtenemos de

Progresa?

Impacto sobre el Consumo (Y)

Caso 1: Antes &Después



Caso 2: Insctiptos & No Inscriptos




Recuerda…

ComparaciónAntes-Después

Problema: otros factoresrelevantes también cambiancon el tiempo.

Comparación entre aquellos que se inscriben y aquellosque noProblema: Sesgo en la selección. Los enroladospueden ser diferentes, y no observamos estas diferencias.

Los dos grupos de comparación pueden llevar a estimaciones sesgadas del impacto del programa.

BUEN CONTRAFACTUAL

ALEATORIZACION

Aleatorización: creando grupos similares

Con una muestra GRANDE, dos grupos tienen EN PROMEDIO características muy similares

Validez Externa e Interna

Muestra Aleatoria

Asignación Aleatoria

Población Objetivo

Validez Externa Validez Interna

Una Muestra Aleatoria NO es lo mismo

que una Asignación Aleatoria!

No ParticipantesParticipantes

Extraer una muestra aleatoria de cada grupo no los hace comparables.

Caso 3: Asignación Aleatoria en Progresa

Cómo saber si tenemos buenos “clones” del grupo de tratamiento?

En la ausencia de Progresa, los grupos de tratamiento y comparación deberían ser

idénticos

Comparemos sus características en la línea de base (t=0)

Caso 3: Características balanceadas en la línea de base


Tratamiento Comparación Comparables?

Consumo($ mensual per capita) 233.4 233.47 ✅

Edad del jefe del hogar(años) 41.6 42.3 ✅

Edad de la esposa(años) 36.8 36.8 ✅

Educación del jefe del hogar(años) 2.9 2.8 ✅

Educación de la esposa(años) 2.7 2.6 ✅


Tratamiento Comparación Comparables?

Si el/la jefe/a del hogar esfemenina=1 0.07 0.07 ✅

Indígena=1 0.42 0.42 ✅

Cantidad de miembros enel hogar 5.7 5.7 ✅

Baño=1 0.57 0.56 ✅

Hectáreas de tierra 1.67 1.71 ✅

Distancia al hospital (km) 109 106 ✅

Caso 3: Características balanceadas en la líneade base

… crear el contrafactual perfecto

Y

t=1997 t=1998

B

A

233

268

239

Impacto Verdadero

Medida del Impacto=A-B= $29

Caso 3: Asignación Aleatoria

Grupo de Tratamiento

(Aleatorizado alTratamiento)

Contrafactual(Aleatorizado a laComparición)

Impacto

Línea de base (t=0) Consumo (Y) 233.47 233.40 0.07

Seguimiento (t=1) Consumo (Y) 268.75 239.5 29.25**

Impacto Estimado sobre el Consumo(Y)




Qué recomendación para Políticas obtenemos de Progresa?

Impacto de Progresa sobre el Consumo (Y)

Caso 1: Antes &Después


Caso 2: Enrolados & No Enrolados



Caso 3: AsignaciónAleatoria



Recuerda


En la Asignación Aleatoria, muestrassuficientemente grandes generan dos grupos estadísticamente equivalentes.

Hemos identificado al clon perfecto!

Gracias!

Cómo construir un grupo de comparación adecuado...

Documents

Transcript of Cómo construir un grupo de comparación adecuado...