Administración de una

evaluación experimental Adam Kemmis Betty

Innovations for Poverty Action

Introducción

Una evaluación experimental busca contestar una

pregunta o serie de preguntas.

Una buena evaluación de impacto:

1. Busca contestar preguntas importantes

2. Las contesta bien

En muchos casos, una evaluación experimental es la

mejor forma de contestar la pregunta. ¡Pero solo si

se la implementa bien!

Fases de una evaluación

Diseño

Recolección de datos

Análisis

Enfoque de esta presentación

Introducción

Administrar una evaluación experimental

requiere poder anticipar, ex ante, muchos de los

problemas que pueden surgir y desarrollar los

protocolos necesarios para poder lidiar con ellos.

¡E incluirlos en el presupuesto!

Tipos de error

Diseño

Recolección de datos

Análisis

Error de diseño

Error de medición

Error de proceso

Introducción

J-PAL y IPA tienen muchos protocolos y técnicas que utilizamos

para minimizar errores. Compartimos algunas de nuestras

técnicas con ustedes.

I. Fidelidad al diseño del estudio

Evitar error de diseño

II. Recolección de datos

Evitar error de medición

III. Digitación y limpieza de datos

Evitar error de proceso

Esquema de presentación

I. Fidelidad al diseño del estudio

Evitar error de diseño

II. Recolección de datos

Evitar error de medición

III. Digitación y limpieza de datos

Evitar error de proceso

Esquema de presentación

• Comunicación continua

• Acuerdo formales

• Capacitación

• Monitoreo

• Presupuesto: 1 persona tiempo completo

• Externalidades positivas

Fidelidad al diseño del estudio

I. Fidelidad al diseño del estudio

Evitar error de diseño

II. Recolección de datos

Evitar error de medición

III. Digitación y limpieza de datos

Evitar error de proceso

Esquema de presentación

• Datos administrativos:

– Implementación del programa (si los servicios

llegaron o no)

– Demanda / tasa de aceptación: ¡puede ser la

pregunta más importante!

• Datos que recolectamos:

– Encuestas

– Pruebas

– Observaciones

Fuentes de información

x = T + e

Dos tipos de error:

er: error aleatorio

es: error sistemático

Error de medición

x = T + er + es

Diferencia entre el valor real y el valor obtenido por

la medición.

Error de medición

Notemos, el error aleatoria no afecta el promedio, sino

solo la varianza alrededor del promedio

Distribución de X con

error aleatorio

Distribución de X sin

error aleatorio

Error aleatorio

Distribución de X con

error sistémico

Distribución de X sin error

sistémico

Notemos, el error sistémico sí afecta el

promedio, esto se llama sesgo

Fre

cuencia

Error sistemático

Por ejemplo:

Un encuestador, Óscar, no sigue las preguntas al pie de

la letra:

- “¿usted se siente inseguro en su barrio, verdad que

sí?”

- “ puede ser…a veces sí, a veces, pues, no…”

- “entonces ¿como que sí, verdad?”

- “bueno…eee”

- “ok, gracias. La siguiente pregunta.” 1=yes

Un ejemplo

17

Dado que usted va a tener que tomar decisiones en terreno

y dado ciertas limitantes

vamos a tener que pensar en qué técnicas

minimizan el error.

Error de medición

18

Buena calidad

Rápido

Barato

Escoge dos:

19

• Diseño del cuestionario • Pilotos • Planificación • Estrategia de comunicación • Encuestadores calificados • Capacitación • Supervisión adecuada • Verificación de datos

Formas de minimizar el error

• ¿Qué quieres medir? Las preguntas se

basan en la teoría de cambio

• Usar materiales que ya existen

• Preguntas – MEDIR: Medible, Especifico,

Delimitado, Inteligible, Relevante

• Largo: <60 minutos

• Orden: secciones más pesadas al inicio

Diseño del cuestionario

• Objetivos:

– Contextualizar el

cuestionario

– Corregir errores

– Asegurar varianza en

las respuestas

– Medir tiempos

– Coordinación logística

– Calcular tasa de

respuesta

Pilotos

• Reglas generales:

– Empezar temprano

– Usar varios encuestadores

(¡no sólo los mejores!)

– Encuesta larga: primero

en secciones

– Proceso iterativo: pilotear

hasta que no haya más

observaciones

– ¿4 días por cada 20

minutos?

• Ser pesimista en el

presupuesto

• Conocer el terreno

• Estrategia de transporte

• Estrategia de

alimentación, hospedaje

• Análisis de riesgos

Planificación logística

• Tener mensajes claros:

– Objetivo del estudio

– Confidencialidad de los datos

• ¿Es necesario tener permiso (formal) de

ciertas personas?

• ¿Con quién es necesario coordinar?

• Estrategia de generar confianza

Estrategia de comunicación

• Conocimiento de la

lengua y cultura local

• Paciencia

• Atención al detalle

• Responsable

Encuestadores calificados

• Regla general: capacitar a 25%-50% más

encuestadores de los que van a necesitar

• 1-2 días por cada media hora de encuesta

• Por cada sección, 4 pasos:

– Revisión de la encuesta juntos (leer en voz alta,

aclarar dudas)

– Práctica en grupo: todos anotan

– Prácticas en pareja

– Práctica en campo

• Ratio: max 10:1

Capacitación

Supervisión adecuada

Cargo Descripción

Jefe Coordinación general, miembro del equipo de investigación

Coordinadores de campo Responsables de trabajo de campo; acompañamiento 10%

Supervisor Supervisar el chequeo del trabajo, digitadores y encuestadores

Encuestador Recolección de datos

Auditor Revisión de proyecto

Editor Edición de datos

• Un monitor independiente revisita a los

encuestados

• Regla general: 10% de las encuestas

• Objetivo: verificar que...

– … el encuestador realizó la visita

– … el encuestador terminó la encuesta

– … el encuestador aplicó bien las preguntas

– … el encuestado respondió bien

Verificación de datos

Resultados de auditoría

Sample of approx 1,500 audit surveys

TASA DE

ERROR

% DE

ENCUESTAS

CUMULATIVO

0% 53% 53%

Hasta 15% 33% 86%

Hasta 30% 11% 97%

Hasta 50% 3% 100%

Preguntas que no deberían cambiar

CATEGORIA VARIABLE % DE ENCUESTAS

T1 ¿Cuál es su fecha de nacimiento? 5%

T1 ¿Cuál es su estado civil? 5%

T1Tomando en cuenta a usted misma y a todos los integrantes del hogar, inclusive a todos los

niños pequeños y adultos mayores, ¿cuántas personas viven en este hogar? 8%

T1 ¿Cuántos niños entre 0 y 3 años viven en su hogar? 7%

T1 ¿Cuántos niños entre 4 y 17 años viven en su hogar? 12%

T1 ¿Cuántos negocios o actividades económicas tiene usted actualmente? 10%

T1De estos créditos, ¿cuántos han sido a su nombre, incluyendo algún crédito o préstamo que

tenga en este momento? 15%

DISCREPANCIAS CON ENCUESTA DE AUDITORIA

Preguntas que podrían cambiar un poco

CATEGORIA VARIABLE % DE ENCUESTAS

T2 ¿Cuál es el úl timo año que aprobó o pasó en la escuela ? 14%

T2En los úl timos 2 años , ¿le han hecho a lgún cambio a esta vivienda , como

pintar o enjarrar las paredes , cambiar el techo, poner piso nuevo o construir

un cuarto adicional?

12%

T2En los úl timos dos años , ¿usted o a lgún miembro de su hogar compró o

vendió muebles o l ínea blanca para el hogar, como colchón, mesa, sa la ,

microondas , lavadora, refrigerador, ca lentador de agua, estufa , cooler, etc.13%

T2En los úl timos dos años , ¿usted o a lgún miembro de su hogar compró o

vendió aparatos electrónicos , como televis ión, radio/estéreo, teléfono,

celular, computadora, juego de video (consola), reproductor de DVD, etc.12%

T2¿Usted tenía , o ha tenido, a lgún negocio o actividad económica

anteriormente? 9%

T2Durante los úl timos 12 meses , ¿su hogar tuvo que cubrir gastos escolares

como colegiaturas , l ibros o úti les ?12%

T2Durante los úl timos 12 meses , ¿su hogar tuvo que cubrir gastos médicos

como de hospita l , doctor o medicamentos?16%

T2¿Usted tiene, o ha tenido en los úl timos dos años , a lguna cuenta de

nómina , de cheques , o de ahorros en a lgún banco, ca ja cooperativa ?14%

T2¿Usted participa , o ha participado en los úl timos dos años , en a lguna

cundina?7%

T2¿Cuántos créditos , en total , han tenido todos los integrantes de su hogar

durante los úl timos 2 años , incluyendo los créditos que tengan en este

momento y los que tenga a su nombre?

40%

DISCREPANCIAS CON ENCUESTA DE AUDITORIA

Preguntas subjetivas, difícil de recordar

CATEGORIA VARIABLE % DE ENCUESTAS

T3¿Diría que usted toma todas las decisiones, la mayoría, la mitad, poca parte o ninguna de las

decisiones económicas?37%

T3 En términos generales, ¿actualmente cómo se encuentra usted de salud? 30%

T3 ¿Hace cuánto tiempo vive en su comunidad? 11%

T3Si usted necesitara un crédito o préstamo de $6,000 pesos para mañana, ¿a dónde iría a

conseguir el dinero?42%

DISCREPANCIAS CON ENCUESTA DE AUDITORIA

Reliable question?

I. Fidelidad al diseño del estudio

Evitar error de diseño

II. Recolección de datos

Evitar error de medición

III. Digitación y limpieza de datos

Evitar error de proceso

Esquema de presentación

Parece fácil…

Encuestas

Datos!

…pero no lo es!

Hay muchas oportunidades para que las cosas salgan mal:

• Los cuestionarios no se organizan correctamente. Se pierden los

datos.

• Se envían los cuestionario de la oficina de campo a la sede. El

camión que transporta los cuestionarios choca. 20 toneladas de

cuestionario se pierden en el norte de la India. Se pierden los datos.

• Las computadoras que almacenan los datos se estropean. No se

hicieron copias de seguridad. Se pierden los datos.

• Nadie verificó la calidad de los datos. Resulta que no hay una

variable de identificación. Se pierden los datos.

• Nadie monitoreo el proceso de digitación. Resulta que los

digitadores copiaron y pegaron los datos, cambiando solo los

valores de la variable de identificación. Se pierden los datos.

Digitación: reglas generales

• Usar un interfaz que parece a la encuesta:

CSPro, Access, Epidata

• Empezar lo más antes posible

• Asegurar que hay identificadores únicos

• Copias de seguridad

• Siempre doble digitación

• Auditoría en caso de sub-contratación

Proceso de doble digitación

Cuestionarios

Digitador 1 Digitador 2

Discrepancias

Digitador 1 Digitador 2

Discrepancias

Reconciliación Final

Base de Datos Final

Alternativa…

PDAs!!

Cuestionarios

DATOS!! Recolección

de datos

Encuestas electrónicas (1)

Pros Cons

Precisa de más preparación

antes de poder aplicarse

No hay doble digitación

Los datos están inmediatamente disponibles tras

la entrevista

No se utiliza papel

Encuestas electrónicas (2) • Eligiendo y comprando el equipo

– Beneficio – coste (será usado en otros proyectos?)

– PDA vs. netbook (precio, dificultad de conseguir, etc.)

– Duración de baterías (+10 horas)

• Preparación

– Mucho tiempo invertido en desarrollo del software y tests

– Piloteo – aprender a usar el software lo antes posible

– Entrenamiento extra a encuestadores en usos de netbooks/PDAs

• Encuestando

– Siempre llevar copias en papel para los encuestadores

– Cuidado del equipo

– Logística de carga de baterías, programas, etc.

Limpieza de datos

Reglas generales

• Remover y proteger información personal

• Establecer reglas lógicas / criterios para

limpiar:

– Corregir la respuesta si es posible

– Identificar “outliers”

• Documentar el proceso (do-file)

Conclusiones

• El equipo de investigación tiene que estar

involucrado en la evaluación de inicio a fin

• Desarrollar una estrategia para manejar todos

los riegos

• Asegurar que hay personal y presupuesto

para ejecutar la estrategia

• Documentar todo

• Externalidades positivas