Datos microeconomicos, heterogeneidad y la evaluación de políticas públicas (Heckman J., 2003)
Amenazas a la validez de los diseños experimentales · Corrección de selectividad de muestra...
69
Amenazas a la validez de los diseños experimentales Francisco Gallego PUC Chile
-
Upload
hoangxuyen -
Category
Documents
-
view
218 -
download
0
Transcript of Amenazas a la validez de los diseños experimentales · Corrección de selectividad de muestra...
Amenazas a la validez de
los diseños experimentales
Francisco Gallego
PUC Chile
Esquema de presentación
I. Introducción
II. Efectos Indirectos
III. Desgaste de la muestra
IV. Cumplimiento imperfecto
I. Introducción
Introducción Aún cuando hayamos diseñando un buen experimento
aleatorio, todavía podemos tener problemas…
Formalmente:
E(Y|T = 1) - E(Y|T = 0)
no siempre refleja:
• el efecto tratamiento promedio E(y(1) - y(0)):
• sobre la población inicial
Aquí estudiamos estos problemas y como remediarlos.
II. Efectos indirectos
¿Qué podría fallar?
Población
objetivo
No es parte
de la
Evaluación
Muestra
Evaluación
Población
Total
Asignación
aleatoria
Grupo de
Tratamiento
Grupo de
Control
Externalidades, contaminación
Población
Objetivo
No es parte
de la
Evaluación
Evaluación
Muestra
Población
Total
Asignación
aleatoria
Grupo de
Tratamiento
Grupo de
Control
Tratamiento
Externalidades, contaminación
Población
Objetivo
No es parte
de la
evaluación
Muestra
Evaluación
Población
Total
Asignación
Aleatoria
Grupo en
Tratamiento
Grupo de
Control
Tratamiento
Aislar externalidades:
Vacuna contra la Varicela
Suponga que selecciona aleatoriamente vacunas
anti varicela dentro de las escuelas
• Suponga que impide la transmisión de la
enfermedad, ¿qué problemas genera esto para
la evaluación?
• Suponga que las externalidades son locales.
¿Cómo podemos medir el impacto total?
Alumno Tratamiento
(Vacuna)
Resultado
1 Sí Sin varicela
2 No Con varicela
3 Sí Sin varicela
4 No Con varicela
5 Sí Sin varicela
6 No Con varicela
Sin externalidades
Alumno Tratamiento
(Vacuna)
Resultado
1 Sí Sin varicela
2 No Con varicela
3 Sí Sin varicela
4 No Con varicela
5 Sí Sin varicela
6 No Con varicela
Sin externalidades
Tratamiento Resultado
Sí 0% con varicela
No 100% con varicela
Sin externalidades
Tratamiento Resultado
Sí 0% con varicela
No 100% con varicela
Efecto del tratamiento:
-100%
Alumno Tratamiento
(Vacuna)
Resultado
1 Sí Sin varicela
2 No Sin varicela
3 Sí Sin varicela
4 No Con varicela
5 Sí Sin varicela
6 No Con varicela
Con externalidades
Alumno Tratamiento
(Vacuna)
Resultado
1 Sí Sin varicela
2 No Sin varicela
3 Sí Sin varicela
4 No Con varicela
5 Sí Sin varicela
6 No Con varicela
Con externalidades
Tratamiento Resultado
Sí 0% con varicela
No 67% con varicela
Con externalidades
Tratamiento Resultado
Sí 0% con varicela
No 67% con varicela
Efecto del tratamiento:
-67%
Medir externalidades
Diseñe la unidad de aleatorización de manera
que abarque las externalidades
Por ejemplo, si esperamos que se encuentren
externalidades, que estén todas dentro de la
escuela:
– La aleatorización a nivel de la escuela
permite la estimación del efecto global
Medir externalidades
Diseñe la unidad de aleatorización de manera
que abarque las externalidades
Por ejemplo, si esperamos que se encuentren
externalidades, que estén todas dentro de la
escuela:
– La aleatorización a nivel de la escuela
permite la estimación del efecto global
• Efecto directo más efectos indirecto
Externalidades: Otras soluciones I
Tener información respecto de los individuos que han recibido externalidades.
Ejemplos:
• Miguel y Kremer: efectos de desparasitación en escolares de Kenia – Identificar lugar de vivienda y cantidad de sujetos que
habitan en un rango potencialmente afectable por la desparatisación
• Diferentes evaluaciones en micro-finanzas o información: – Identificar contactos de las personas/grupos tratados,
controlar por recepción de la información/capacitación de modo indirecto
Externalidades: Otras soluciones II
Variar la intensidad del tratamiento en
diferentes grupos
• Efectos de equilibrio general (entrada de
nuevos actores, efectos en precios, etc.):
Caso canónico que preocupa a los
economistas
– Intervenir “mercados” en diferentes intensidades
y cómo el efecto tratamiento varía por grado de
intensidad.
• Kremer y Muralidharan (en progreso) sobre entrega de
vouchers en India y efectos de equilibrio general.
III. Desgaste de la
muestra
Desgaste
Aleatorización garantiza que el grupo de control y
tratamiento son estadísticamente idénticos y
representativos de la población inicial.
Deserción
Desgaste (atrición):
Por alguna razón, no podemos hacer que
complete las encuestas, es decir, se sale de la
muestra.
La amenaza de deserción
Al finalizar la intervención, el grupo de tratamiento
y control no son:
– Comparables (problema de validez interna)
– Representativos de la población inicial
(problema de validez externa)
Sesgo de desgaste: un ejemplo
El problema que Ud. quiere abordar:
• Algunos niños no van a la escuela porque están
demasiado débiles (desnutridos)
Usted inicia un programa de alimentación escolar y
desea hacer una evaluación
Ud. tiene un grupo en tratamiento y un grupo de control
• Niños débiles, raquíticos empiezan a ir a la escuela
más si viven cerca de la escuela en tratamiento.
El primer impacto de su programa: aumento de matrículas.
Además, usted quiere medir el impacto en el crecimiento del
niño
• Segundo resultado de interés: Peso de los niños
Usted visita todas las escuelas (tratamiento y control) y mide
todos los que están en la escuela en ese día determinado
• ¿Será subestimada o sobreestimada la diferencia de
control de tratamiento de peso ?
25
Sesgo de desgaste: un ejemplo
Antes del Tratamiento Después del Tratamiento
T C
20 20
25 25
30 30
T C
22 20
27 25
32 30
Antes del Tratamiento Después del Tratamiento
T C
20 20
25 25
30 30
25 25
T C
22 20
27 25
32 30
27 25 Promedio
Antes del Tratamiento Después del Tratamiento
T C
20 20
25 25
30 30
25 25
T C
22 20
27 25
32 30
27 25 Promedio
Diferencia: 0 Diferencia: 2
Antes del Tratamiento Después del Tratamiento
T C
ausente ausente
25 25
30 30
25 25
T C
22 ausente
27 25
32 30
27 25 Promedio
Diferencia: 0 Diferencia: -0,5
¿Qué sucede si solo niños de menos de 21 Kg asisten a clases?
Sesgo de desgaste
Soluciones al sesgo de deserción
1. Ser terco! Llegue al 100% de encuestados.
• Implemente todas las estrategias posibles:
Teléfono + correo + email + mensajes de
texto + visitas de puerta a puerta
• Encuesta más corta
• Incentivos: financieros, no financieros
Si no alcanza 100%, puede seleccionar una
submuestra de observaciones faltantes y
encontrarlos a cualquier costo:
• Recobrar una muestra representativa
• Recobrar comparabilidad
• Costo: poder, tiempo, dinero
Soluciones al sesgo de deserción
• 2. Tener suerte.
• Asumir que las observaciones faltan
aleatoriamente, a lo mejor condicional en un set
de covariables.
Soluciones al sesgo de deserción
¿Qué pasa si la tasa de respuesta en ambos grupos de
mantiene?
• Hacemos el supuesto de que el tratamiento afecta el
resultado en una sola dirección
• Tratamiento no afecta la tasa de respuesta
• Por lo tanto, validez interna se mantiene
• Pero todavía podríamos perder algunos individuos y
por lo tanto todavía habrían preocupaciones con
respecto a la validez externa.
Soluciones al sesgo de deserción
3. Corrección de selectividad de muestra
Modelo de selección de Heckman
Sin ninguna corrección, parámetro beta en la
siguiente ecuación está sesgado:
yi = Ti + ei
Soluciones al sesgo de deserción
Primer paso es estimar una modelo de
selección:
Si =WiY + ei
• Procedimiento de Heckit corrige beta utilizando la
estimación de la ecuación de selección
• Este modelo es identificado por medio de un instrumento
y de formas funcionales (normalidad de al menos
ecuación de selección): encuentra una variable que
influye en Si pero que no tiene impacto directo sobre yi
Soluciones al sesgo de deserción
Soluciones al sesgo de deserción
• También se pueden utilizar métodos semi-paramétricos (Ichimura y Lee, 1991; Ahn y Powell, 1993)
– Se relaja supuesto de normalidad, pero ahora es clave la restricción de exclusión.
4. Bounds (límites)
– Idea: en vez de corregir los estimadores de efecto
tratamiento: determinar un límite para el efecto:
• Supuesto respecto del impacto de la deserción en efecto
tratamiento estimado.
– Límites de Horowitz y Manski (2000):
• Tomar valores mínimos o máximos de variable de
resultados. Especialmente útil cuando variable de
resultados es binaria.
• Problema: intervalos demasiados amplios y por tanto
poco informativos.
Soluciones al sesgo de deserción
4. Bounds (límites) de Lee
Adonde:
• Y es el resultado de interés
• D es la asignación al tratamiento
• S es si se observa el tratamiento
• (Y0, Y1): resultado potencial cuando D = 0 y D = 1
• (S0, S1): si observamos el resultado cuando D = 0 y D = 1
Soluciones al sesgo de deserción
La diferencia entre las medias de la muestra
seleccionada del grupo de control y tratamiento es:
Lee Bounds
Supuestos del procedimiento de Lee:
• Los resultados y el responder de los participantes
ocurre independientemente de D (aleatorización)
• Monotonicity: Pr(S1 = 0, S0 = 1) = 0
Lee Bounds
Dados estos supuestos, podemos crear dos límites tal que:
Lee Bounds
Cortamos las colas de la distribución observada de Y
en el grupo de tratamiento por la propoción p, de la
muestra seleccionada del grupo de tratamiento que se
presume está en la muestra debido a la asignación al tratamiento.
Lee Bounds
Lee Bounds
Límites:
Lee Bounds: Implementación
1. Identificar el % de individuos con resultados observados:
𝑞𝑇 ≡ 1 𝑇𝑖=1,𝑆=1
1 𝑇𝑖=1 y 𝑞𝐶 ≡
1 𝑇𝑖=0,𝑆=1
1 𝑇𝑖=0
2. 𝑞 ≡𝑞𝑇−𝑞𝐶
𝑞𝑇 si 𝑞𝑇 > 𝑞𝐶 (revertir si pasa lo
contrario)
3.
45
1S1,T|q-1Gy 1S1,T|qG -1
Y1
-1
Y
T
q
T
q yy
Lee Bounds: Implementación
4. Los límites son, entonces:
46
i
ii
i
iii
i
T
qiii
i
i
T
qiii
i
ii
i
iii
i
T
qiii
i
i
T
qiii
ST
YST
yYST
YyYST
E
ST
YST
yYST
YyYST
E
)1,0(1
)1,0(1
),1,1(1
),1,1(1
)1,0(1
)1,0(1
),1,1(1
),1,1(1
Lee Bounds: Una aplicación
47
• Efectos de provisión de crédito en micro-empresas en India (De Mel et al., 2008) – Empresas desaparecen y no se puede medir utilidades
o retorno del capital.
– Implementación de supuesto de Lee: • Algunas firmas desaparecen si no reciben tratamiento pero
ninguna firma desaparece por recibir tratamiento.
• q en el caso de ellos es 5.2%.
• Resultados: – Para utilidades: Efecto tratamiento es 541 y E=404 y 𝐸 =754
– Para retornos del capital: Efecto tratamiento es 5.3% y E=2.6% y 𝐸 =6.7%.
Lee Bounds: Discusión y Extensiones
48
• STATA: leebounds (incluye errores estandar).
• Quizás demasiado exigentes. Buscando soluciones “creativas” que dependen del contexto:
– Volviendo a De Mel (2008), E supone que las firmas más rentables del grupo control son las que desaparecen. Poco probable. E es probablemente poco relevante.
– Angrist et al. (2002, 2006) sobre vouchers en Colombia: estudiantes que no rinden prueba ICFES de selección universitaria (aumenta la probabilidad que receptor de voucher rinda la prueba), ¿cuál es el puntaje que habrían obtenido los que no recibieron voucher? Utilizan supuestos de distribución más razonables para límites.
IV. Cumplimiento
imperfecto
Cumplimiento imperfecto
Población
Objetivo
No es parte
de la
Evaluacion
Muestra de
Evaluación
Grupo de
tratamiento
Participantes
Ausencias
Grupo de
Control No Participan
Control
tratado
Selección
Aleatoria
No!
¿Qué puedes hacer? ¿Los puedes cambiar?
Población
Objetivo
No es parte
de la
Evaluación
Evaluación
Muestra
Grupo en
Tratamiento
Participantes
Ausentes
Grupo de
Control No Participan
Crontrol-
Tratado
Asignación
Aleatoria
¡No!
¿Qué puedes hacer?
¿Los dejas fuera?
Cumplimiento imperfecto
Población
Objetivo
No es parte
de la
Evaluación
Muestra
Evaluación
Grupo en
Tratamiento
Participantes
Ausentes
Grupo en
Control No Participan
Crontrol -
tratado
Asignación
Aleatoria
Puedes comparar los
grupos originales
Cumplimiento imperfecto
Sesgo en selección de muestra
Sesgo en selección de la muestra podría
surgir si factores distintos de la asignación
aleatoria influencian la asignación del
programa
• Incluso si la asignación prevista del
programa fue aleatoria, la asignación real
no puede hacerse.
Sesgo en selección de Muestra
Las personas asignadas al grupo de
comparación podrían intentar ingresar al grupo
de tratamiento
• Programa de alimentación escolar: los
padres pueden tratar de cambiar a sus hijos
desde una escuela control a una de
tratamiento
Sesgo en selección de Muestra
Alternativamente, los individuos asignados al
grupo de tratamiento podrían no recibir
tratamiento
• Programa de alimentación escolar: algunos
estudiantes asignados a escuelas de
tratamiento llevan y comen su propio
almuerzo o eligen no comer.
Incumplimiento
56
Población
Objetivo
No es parte
de la
Evaluacion
Muestra de
Evaluación
Grupo de
tratamiento
Participantes
Ausencias
Grupo de
Control No Participan
Control
tratado
Selección
Aleatoria
¡No!
¿Qué puedes hacer? ¿Los puedes cambiar?
Incumplimiento
57
Población
Objetivo
No es parte
de la
Evaluación
Evaluación
Muestra
Grupo en
Tratamiento
Participantes
Ausentes
Grupo de
Control No Participan
Crontrol-
Tratado
Asignación
Aleatoria
¡No!
¿Qué puedes hacer?
¿Los dejas fuera?
Incumplimiento
58
Población
Objetivo
No es parte
de la
Evaluación
Muestra
Evaluación
Grupo en
Tratamiento
Participantes
Ausentes
Grupo en
Control No Participan
Crontrol -
tratado
Asignación
Aleatoria
Puedes comparar los grupos originales
¿Qué no podemos hacer?
• Eliminar los no tratados del grupo de
tratamiento
• Re-asignar los no tratados al grupo de
control
¿Qué podemos hacer?
Analizar el experimento como si el tratamiento
original fuera asignar tratamiento (y no la
intervención en sí):
– Impacto del incentivo (no tratamiento) sobre
la población inicial
– Parámetro de interés: intención de tratar
¿Qué podemos hacer?
Analizar el efecto del tratamiento sobre los
tratados
– Impacto del programa sobre un grupo
particular de participantes
– Parámetro de interés: Efecto Tratamiento
Promedio Local (LATE)
Intención de Tratar
ITT = E(y|Z = 1) - E(y|Z = 0)
• Pregunta de política pública: ¿existiría, en realidad, un
programa compuesto únicamente de incentivos?
• Aún si este fuera el caso, la participación real importa para
poder hacer cálculos de costo-beneficio…
LATE en la práctica
Ejemplo:
Evaluamos el impacto de un mejor acceso a agua
mediante acceso a un sistema de agua potable
entubado.
LATE en la práctica
Es imposible aleatorizar acceso al sistema de
agua potable, pero podemos incentivar la
participación.
Tratamiento
(Incentivo)
Control
(Sin incentivo)
315 clústers 311 clústers
372 parcelas 360 parcelas
434 casa 410 casa
LATE en la práctica
En una primera etápa:
• El 70% de
tratamiento se
conectó al sistema
de agua potable
• Casi el 10% del
control se conectó al
sistema de agua
potable
LATE en la práctica
Estimamos b en la ecuación:
y = a + bT + u
En caso de incumplimiento imperfecto, T estaría
correlacionado con u
LATE en la práctica
Convertimos la asignación al tratamiento como el instrumento:
– Z y T estarían correlacionados si el incentivo funciona
– Z no estaría correlacionado con u
Usamos un procedimiento de Mínimos Cuadrados en dos Etapas
LATE en la práctica
Hay que tener cuidado con la interpretación de variables
instrumentales:
• Dan el efecto de tratamiento sobre aquellos cuyo estado
de tratamiento se encuentre impactado por el
instrumento
• ¿Estamos interesados en este efecto para esta
población en particular?
• ¿Si encontráramos otra manera de implementar el
tratamiento, conseguiríamos el mismo efecto?
¡Gracias!
