BVCI0006558.pdf

Documento de Trabajo 53

Asistencia docente y rendimiento escolar: el caso del programa META1

Santiago Cueto, Mximo Torero, Juan Len y Jos Deustua2

1 LosautoresagradecenlacolaboracindelpersonaldelMinisteriodeEducacin,enespe-cialdeGustavoCabrerayCarlosMeza,apoyoquepermitidisponerdelasbasesdedatosutilizadasenelpresentereporte.Tambinseagradecenloscomentariosdedosrevisoresdeversionespreviasdelpresentedocumento.Esteestudiofueposiblegraciasalapoyofinan-cierodelConsorciodeInvestigacinEconmicaySocial(CIES).

2 SantiagoCuetoesInvestigadorPrincipaldeGRADE.MximoToreroesDirectordelaDivisindeMercados,ComercioeInstitucionesdeIFPRI,enWashington,D.C.JuanLenesestudiantedeldoctoradoenEducacindelaUniversidadEstataldePensilvania.JosDeustuaesestudiantedelaMaestraenEconomadelaUniversidaddeOxford.

Losdocumentosde trabajoquepublicaelGrupodeAnlisisparaelDesarrollo (GRADE)buscandifundiroportunamentelosresultadosdelosestudiosquerealizansusinvestigadores.Enconcordanciaconlosobjetivosdelainstitucin,supropsitoessuscitarunintercambioconotrosmiembrosdelacomunidadcientficaquepermitaenriquecerelproductofinaldelainvestigacin,demodoqueestallegueaaprobarslidoscriteriostcnicosparaelprocesopolticodetomadedecisiones.

Lasopiniones y recomendaciones vertidas en estosdocumentos son responsabilidadde susautoresynorepresentannecesariamentelospuntosdevistadeGRADEnidelasinstitucionesauspiciadoras.

Lima,2008ImpresoenelPer700ejemplares

HechoelDepsito Legal en la Biblioteca Nacional del Per: 2008-11716ISBN: 978-9972-615-47-4

GrupodeAnlisisparaelDesarrollo,GRADE Av.delEjrcito1870,SanIsidro,Lima,Per Telfono:264-1780 Fax:264-1882 [email protected] www.grade.org.pe

DirectordeInvestigacin:MartnValdiviaRevisindetextoycuidadodeedicin:LuisAndradeC.Asistentedeedicin:MarcelaCarrilloT.Diagramacineimpresin:RemansoEdicionesEIRLFotografa:RalEgsquiza/NiosdelMilenio*

*Laprofesoraretratadaenlafotodelaportadaautorizlapublicacindelaimagen.

CENDOC/GRADECUETO,Santiago

Asistencia docente y rendimiento escolar: el caso del programaMETA / Santiago Cueto, Mximo Torero, Juan Len y JosDeustua.Lima:GRADE,2008,84pp.(DocumentodeTrabajo53)

DOCENTES/RENDIMIENTOESCOLAR/PER

ndice

Resumen 71. Introduccin 92. DescripcindelprogramadeincentivosMETA 133. Marcotericoyconceptual 15

3.1 Accountability(polticasderendicindecuentas) 153.2 Teorasdemotivacineincentivos 163.3 Experienciaslocales 173.4 Experienciasinternacionales 18

4. Basededatos 235. Metodologa 31

5.1Mtodosparalaevaluacindeimpactodelprograma 316. Resultados 37

6.1 Anlisisdecomparacinsimpledemediasde asistenciadocente 37

6.2 Anlisisdelaasistenciadocentecontrolando pordiferenciasentreelgrupodecontrolyelgrupo detratamiento 41

6.3 Rendimientodelosestudiantesasociado alprogramaMETA 46

7. Asistenciadocenteyrendimiento 518. Consideracionesfinales 579. Bibliografa 61

6 Asistenciadocenteyrendimientoescolar:elcasodelprogramaMETA

Anexos 65Anexo1 66Anexo2 68Anexo3 70Anexo4 72Anexo5 73

Anexo6 75Anexo7 77PublicacionesrecientesdeGRADE 79

Introduccin 7

RESUMEN

Amediadosdel2003elMinisteriodeEducacininiciunprogramapilotocuyoobjetivo fue incrementar la asistenciadiariay laperma-nencia enclasede losdocentes a travsdeun sistemade incentivosparalosmaestrosenalgunaszonasruralesdelPer.Losdocentesquelograran laMETA(nombreconelque fue rebautizadoelprogramaMejor Educacin a travs de ms Tiempo en el Aulael2004)recibiranunincentivomonetario.Elprogramafuecontinuadoduranteelao2004,peroademsdelaasistenciadocente,serecogierondatossobreelrendimientodelosestudiantesencomprensindelecturaymate-mtica(laspruebasfueronadministradasainiciosyfindelaoesco-lar,demodoquesepudieraestimarelcrecimientoenrendimiento).Elestudioencontrquelarealizacindelprogramatuvounimpactopositivoenlaasistenciadelosdocentes.Elefectodelprogramaenelrendimientoesmenosclaro,aunqueseobservaunatendenciaaunaasociacinpositiva.Sibienelprogramahasidodescontinuado,enelpresentedocumentoseanalizanalgunasimplicanciasdepolticasparaprogramasdeincentivosafavordelosdocentes(porejemplo,quesevinculenlosincentivosconprogramasdedesarrolloprofesional).Encualquiercaso,estas iniciativasdeberanestarvinculadasa laLeydeCarreraPblicaMagisterial,queestsiendoimplementadapaulatina-menteporelMinisteriodeEducacin.

1.INTRODUCCIN

Sibienelsistemaeducativoperuanohatenidologrosnotablesencuan-toacobertura(especialmenteenprimaria),conunatasanetadema-trcula del orden de 96,3%para el 2006,3 diversas evaluaciones delrendimientohanmostradoque los aprendizajesdistanmuchode loqueseesperaradeacuerdoconelcurrculoqueloscolegiosdeberancumplir4ycomparativamenteconotrospases.5

Asimismo,lainvestigacinrecientesobreelsistemaeducativohadestacadolanecesidaddeunareformadelacarreramagisterial.EnunestudiosobrelacarreradelmaestroenelPer,DazySaavedra(2000)encontraronquelosdocentesdelsectorpblicotienen,enpromedio,ingresosmenoresqueelrestodeprofesionales,yqueelcrecimientodesusingresosalolargodesucarreraesmuypequeo.Sinembargo,ladocenciaenelsectorpblicoofreceingresosmuypredeciblesyesta-bilidad.As,lacarreradocentesecaracterizaporingresosbajosyesta-bles,ypornoofrecerestmulosclarosparainnovarytenerunmejordesempeo.

La Ley 24029 o Ley del Profesorado, vigente entre 1984 y2007,contenaunconjuntodenormasqueproteganlaplazadelmaestro,impedanlacreacindeincentivosbasadoseneldesempeo,ademsdenopermitir lamovilidadde losprofesoresde acuerdocon las necesidades del sistema y las potestades disciplinarias del

3 EstadsticadeCalidadEducativa(),UnidaddeEstadsticaEduca-tiva,SecretaradePlanificacinEstratgicadelMinisteriodeEducacin.

4 Vanse,porejemplo,losresultadosdelasevaluacionesnacionales2001y2004,disponi-blesen.

5 Vase,porejemplo,laevaluacindelaUnescoenCuetoyRodrguez(2001),yladelaOrganizacinparalaCooperacinyDesarrolloEconmicos(2003).


director (InstitutoApoyo2002).LanuevaLeydeCarreraPblicaMagisterial,aprobadaenjuliodel2007,estpensadademodoqueseincentiveeconmicamenteelmejordesempeoprofesional(medidoatravsdeevaluacionesaescalanacionalyencadainstitucinedu-cativa)ysedejeiradocentesqueseanevaluadosnegativamentetresvecesconsecutivas.

Apesardequelossalariosdelosdocentesserecuperaronunpocoduranteladcadade1990einiciosdeestadcada,siguenmuybajos.Secalculaqueenagostode1999elpoderdecompradeunmaestroequi-valaa51,3%desupoderadquisitivoen1942(Chiroque1999).Lossalariossontambinbajossiseloscomparaconlosdeotrospases(Al-czaryPollarolo2001).Comosesabe,losdocentesenelsectorpblicorecibieronel2003unaumentomensualde100nuevossoles,enel2004dosporuntotalde115nuevossolesmensuales,yenel2005unosimilaraldel2004,peroningunodeellosestuvoligadoaldesempeo.

Este contextodebajos salarioshamotivadoqueno existan in-centivosparalalabordocente,enespecialenzonasrurales.Estosevereflejadoenelausentismodocente,queenzonasruralesalcanza10,6%(Alczaretal.2006).ElMinisteriodeEducacininicilaimplemen-tacindeunplanpilotodeincentivosporasistenciaparalosdocen-tesruralesapartirdeagostodel2003,autorizadopor laResolucinMinisterial0731-2003-ED.Esteplandeincentivossebasabaenasig-nacionesadicionalesadocentesenalgunaszonasruralesdelPerencompensacinporunaasistenciaypermanenciaenlaescuelasuperiora90%delosdasplanificados.Sibieninicialmentelaexperienciapa-recehabersidoexitosa,nosehizounaevaluacincomprehensivaqueincluyeraelrendimientoestudiantil.Paraelao2004,elMinisteriodeEducacincontinuimplementandoelprogramaencuatrozonasdetratamientoyunadecontraste,e incorporpruebasderendimientodecomprensindelecturaymatemticaencincogradosdeprimaria(2.a6.).Estaspruebasfueronadministradasenmayoynoviembre.Elpropsitodeaplicarlaspruebasfueobservarlaasociacinentreasis-tenciadocenteyrendimientodelosestudiantes.

Elpresentedocumentotienetresobjetivoscentrales:(a)evaluarelimpactodelsistemadeincentivosmonetariossobrelospatronesde

Introduccin 11

asistenciamensualyanualdelosdocentes;(b)determinarsielsistemadeincentivosmonetariosalaasistenciadocentetuvoefectossobreelrendimientoestudiantily,entrminosmsgenerales,identificarsilamayorasistenciadelosdocentesserelacionconunmejorrendimien-todelosestudiantes;y(c)elaborarrecomendacionesparamejorarlaefectividaddelprograma.

Existe abundante justificacin terica para establecer la impor-tanciadelamejoraenlaasistenciadocentecomoundeterminantedelrendimientoestudiantil.Estudioscomo losdeHornberger (1987)yCueto,JacobyyPollitt(1997)hannotadoeldesperdiciodetiempoenlasaulasperuanas(sobretodoenzonasrurales).ElanlisisdelInstitutodeInvestigacinparaelDesarrolloy laDefensaNacional (2000)vaenelmismosentidoysugierecomoprioridadaumentareltiempodeaprendizajeenlasaulas.ElsistemadeincentivosdelMinisteriopre-mianosololaasistenciadocentesinolapermanenciadelosdocentesconsusestudiantesmientrasloindiqueelhorariooficial(esdecir,almenoscuatrohorasymediadeclasesdiarias).Sibienesciertoqueunaumentodel tiempode aprendizaje en el aulade los estudiantesnonecesariamenteresultarenmejoresaprendizajes(silacalidaddocenteesinsuficiente,nohabrmejorasdeaprendizaje),tambinloesquesinpresenciadocentenohayaprendizajeformalposibleenlaescuela.

DescripcindelprogramadeincentivosMETA 13

2.DESCRIPCINDELPROGRAMADEINCENTIVOSMETA

Elprogramadeincentivoscreadoel2003fuecontinuadoel2004conelnombreMETA(Mejor Educacin a travs de ms Tiempo en el Aula).ElprogramafuediseadoporunequipodeconsultoresdelGrupodeAnlisisparaelDesarrollo(GRADE)yfuncionariosdelMinisteriodeEducacin.6 En esta seccin se describen brevemente algunas de lascaractersticasdelplandeincentivos:

Eldiseodelprograma incluyungrupode tratamientoenzonasruralesdePiura,Cusco,PunoySanMartn,yungrupodecontrasteenCajamarcayAyacucho.Nohuboasignacinaleatoriaalosgrupos,sinoquetodosloscentrosdeunazonapasaronaunodeambosgrupos.

Debido a problemas con los docentes de Cajamarca, no sepudoimplementarelprogramaenestazona,quefueretiradatantodelalneadebasecomoel2004.7EstoimpidiqueCa-jamarcafuerausadacomodepartamentodecontraste.

Laasistenciaeramonitoreadaencadaescueladiariamentetresveces(unaalinicio,unaalfinalyunaaleatoriaintermedia)pormonitores entrenados para la tarea. Estosmonitores, por logeneral,eranpadresdefamilia,quenorecibanpago.

6 PorGRADEparticiparon SantiagoCueto,Cecilia Ramrez,GabrielaGuerrero y JuanLen.PorelMinisteriodeEducacin,GustavoCabrera,CarlosMezayespecialistasdelaOficinadePlanificacin.

7 EnCajamarcahuboproblemasconelSindicatoUnitariodeTrabajadoresenlaEducacindelPer(SUTEP),debidoaquesedifundi la ideadequesetratabadeunprogramaligadoalaprivatizacindelaeducacin,conlocualnosedejtrabajaralosencuestadoresdurantelaprimerafasedelrecojodedatoselao2003.


Existanincentivosparaellogrodemetasindividuales8ymetasparaelconjuntodedocentesenuncentroeducativo(si80%omsdelosdocenteslograbanlametaindividual,cadadocen-terecibaunmontoadicional,yeldirectorsolocobrabasilametaselograbaparaelconjunto).

Losmonitores entregaban lashojasdemonitoreoapersonaldelMinisterio,queseencargabadelprocesamientoyelpagodeincentivos.

Elmontodelincentivocorrespondaaaproximadamente8%deloquerecibenlosdocentes.Losdocentesenzonasruralesmscercadelaciudad(menosde2horas)reciban40nuevossoles(equivalentesaaproximadamente12dlares)mensuales,losquetrabajanencentrosquequedanauntiempodeentre2y5horasdelaciudadmscercanareciban60nuevossoles(aproximadamente 18 dlares)mensuales, y los que traba-janamsde5horasde laciudadreciban80nuevos soles(aproximadamente23dlares)mensuales.9Noexistansan-cionesparalosdocentesquenolograbanlameta.Lospagossehacanluegodecontabilizarlosregistrosdevariosmeses(oalfinaldelao).

El programa de incentivos recogi adicionalmente informa-cinsobreelrendimientodelosestudiantesainiciosyfindeao,lascaractersticassocioeconmicasdelosestudiantesysusfamilias, los rasgos del centro educativo y de la comunidaddondeestefunciona.

8 Lametaindividualconsistaenquelosdocentesdebancumplirconasistir90%delosdas (das completos) que deban dar clases durante el ao escolar, de acuerdo con loprogramado.Seconsiderabacomodacompletositenalastresverificacionesdiariasdeasistencia(alinicio,alfinalyunaaleatoriaintermedia).

9 Seuseltipodecambionominalpromedioparaelperodo2004(S/.3,41).InformacinobtenidadelportaldelBancoCentraldeReservadelPer().

Marcotericoyconceptual 15

3.MARCOTERICOyCONCEPTUAL

Enlapresenteseccinserevisanalgunosdelosprincipalesconceptosquesustentanlosenfoquescontemporneossobreincentivosadocen-tes,ascomoexperienciasnacionaleseinternacionales.

Enelpresenteestudioentendemoslosincentivoscomounaestra-tegiaorientadaamotivarcambioseneldesempeodocenteindividual-menteoenelcuerpodeprofesoresdeuncentroeducativodemaneraconcertada.Elincentivoesunarecompensaporellogrodeunametadefinidaconanterioridad,suponelaevaluacindeltrabajador,ypuedesermonetarioono(porejemplo,diplomasdereconocimientooaccesoaoportunidadesdedesarrolloprofesional).Enprimerlugar,sediscutebrevementeelroldelosdocentescomofuncionarios:enlamedidaenquesussueldosyresponsabilidadessonasignadasporelEstadoparaellogrodeunbienpblico(educacin)confondosdetodosloscontri-buyentes, losdocentesdebenrespondercumpliendocon,entreotrascosas,elhorarioescolarporelnmerodedasasignadoporelMinis-teriodeEducacin.

3.1. Accountability (polticas de rendicin de cuentas)

Eltrminoaccountabilityestrelacionadoconunatendencia inter-nacionalrecientequeplanteaquetodapersona,yenespeciallosfun-cionarios,quetienenunaresponsabilidaddepositadaenellos,debenrendir cuentas de qu tan bien han cumplido con esta (Fuhrman1999;Anderson2005).Estoabarcaafuncionariosendiferentesni-veles,loqueincluyealosdocentesdelasescuelaspblicas.Unadifi-cultadrelacionadaconestetrminoessuaplicacinconcreta:sobrequ resultadosdeben rendir cuentas los funcionarios (eneste caso,


losdocentes)yculesdebenser lasconsecuenciasdecumpliro in-cumplirloesperado?EnelPer,lamentablemente,esmuypobrelaculturaderendicindecuentasdelosdocentesenparticular,queengeneralcobransusueldosinqueseevaleosiquierasemonitoreesutrabajodemaneraregular.

3.2. Teoras de motivacin e incentivos

Unaspecto interesantealrededorde los incentivosesel fundamentodelcambio;esdecir,analizarporqudadalaofertadeunincentivo,undocentequerracambiarsuconductademodoqueaumentelapro-babilidaddeconseguirelincentivo.OddenyKelley(1997)hacenunresumendelasprincipalesteorasdeincentivos:

Teoradelacontingencia.Estateorapostulaquelosincentivosycompensacionesfuncionancuandoseadecanalasestrate-giasycaractersticasdelainstitucinenlaqueseaplican,sobretodoencuantoalasprcticaslocalesderecursoshumanos.

Teoradelasmetas(goal-setting theory).Deacuerdoconestateo-ra,lasmetasmotivanalostrabajadoressiempreycuandoseanpercibidascomoespecficasynovagas,yconstituyanunreto.

Teoradelaexpectativa(expectancy theory).Estateorapostu-laque los incentivos funcionarn siempreycuando lagentepercibaquecon los recursosa sudisposicinpuedealcanzarlameta(expectativa),quehayunarelacinentresuconductayellogrodelameta(lneadevisin)yvalorenelincentivolosuficientedemodoqueseesfuercenparalograrlo(valencia).

Teoradeldilemasocial(social dilemma theory).Estateorapos-tulaqueensituacionesdeincentivosotorgadosporlogrosdelgrupodemaneraconjunta,losindividuostienenunincentivoparanocumplirsusresponsabilidadesesperandoqueelrestolohaga(free riders,esdecirindividuosqueesperanbeneficiarsedelesfuerzoconjuntosincontribuirsignificativamente).

Teoradelmanejoparticipativo(participative management theory).Esta teora sugierequecuando los trabajadores tienenopininrespectodedecisionesimportantes(porejemplo,losincentivos)


yselespermiteparticiparenellas,esmsprobablequeestnmo-tivadosparatrabajarysecomprometanconlainstitucin.

Enparticular,elprogramaMETAincorporelao2004princi-piosdelateorademetas(alplantearmetasespecficasparaellogrodeincentivos),delateoradelaexpectativa(porlarelacinentreconduc-tasrelativamentefcilesdelograryellogrodeincentivos)ydeldilemasocial(yaqueseincorporunincentivoindividualjuntoaunoparatodalaescuela)y,enmenormedida,deladecontingencia(nohuboreglasespecficasporescuelasinosolamentegenerales).Hubierasidodeseable que se incorporaran los principios de la teora delmanejoparticipativo,peroelprogramafuediseadoeimplementadoconpocaparticipacindelosdocentes.

3.3. Experiencias locales

EnelPer,unestudiomuestraquelosdocentesperuanosconsideranque el primer criterio que debera tomarse en cuenta para determi-narlascategorasdelsalarioeslaevaluacinperidicadeldesempeo,seguidapor el ttulo acadmico (MinisteriodeEducacin yUnesco2002).Elsistemaderemuneracionesvigentealmomentodelestudio,basadoprincipalmente en la antigedadenel sistema, erapercibidocomoinjustoporlamayoradedocentes.Talsistematenacomoprin-cipalproblemaquenoexistancriteriosclarossobrequconductasseesperabandelosdocentes,niunsistemadeevaluacindeldesempeoquerecompensaraalosdocentesporellogrodedeterminadasmetas.Comosedijoantes,estesistemafuereemplazadoenjuliodel2007porunanuevacarrerapblicamagisterial.

Enrelacinconeltemadelosincentivosdocentesenparticular,hahabidoalgunosestudiosrealizadosenelcasoperuanosobreelotor-gamientodeincentivosobonificacionesaldocenteruralodezonasdecondicionesespeciales.ElMinisteriodeEducacinpublicelestudioAlternativas para mejorar el sistema de bonificaciones a plazas docentes de zonas rurales y otras condiciones especiales(AlczaryPollarolo2001).Sobre labasede los resultadosdel estudioanterior, elMinisteriodeEducacinencargalInstitutoApoyo,enmarzodel2001,elestudio


Plan de implementacin de un programa de incentivos orientadosa asegurar que las zonas rurales yde condiciones especiales cuentencondocentesquecumplanunperfilmnimoestablecido.ElInstitutoApoyodesarrollunapropuestaquenuncallegaserimplementada.METAfue,portanto,unaexperienciainnovadoraparaelPer.

3.4. Experiencias internacionales

Enestaseccinserevisanbrevementealgunasexperienciasdelaregin,EstadosUnidosyfrica.

ElprimersistemaeducativoenestablecerincentivosparadocentesenAmricaLatinafueeldeMxico,queloligalacarreramagisterial.Losincentivossecalculanapartirdelossiguientescriterios:antigedad(10%),gradoacadmico(15%),actualizacinysuperacinprofesional(17%),preparacinprofesional(28%),desempeoprofesional(10%)yaprovechamientoescolarenpruebasderendimiento(20%).Elingre-soadicionalparaeldocentepuedeoscilarentreel27%yel224%delsalario(MizalayRomaguera2005).Elsegundosistemaenlareginhasidoelchileno.ElSistemaNacionaldeEvaluacindelDesempeode los Establecimientos Educacionales Subvencionados (SNED) fueestablecidoen1996.Esteestorientadoatodoslosestablecimientospblicos del pas, administrados pormunicipios o el sector privado(siesquesonsubvencionadosporelEstado).Adiferenciadelsistemamexicano,elincentivovaalcentroeducativoynoaldocenteindivi-dual.El incentivosebasaen los siguientescriterios: iniciativa (6%),mejoramientodecondicionesdetrabajo(2%),integracindeprofe-soresypadresdefamilia(5%),igualdaddeoportunidades(tasasdere-tencinyaprobacin;22%),efectividad(rendimientodelosestudian-tes enpruebas;37%)y superacin (cambioenel rendimientoentreaosdecohortesenelmismogrado;28%).Elingresoadicionalparalosdocentesporelincentivooscilaentre4,7%y7,2%delsueldoanual(MizalayRomaguera2005).Hahabidoabundanteinvestigacinsobreelsistemachileno.Porejemplo,Contreras,Larraaga,Flores,LovatoyMacas (2005)hanencontradoque la introduccindelSNEDhallevadoaunincrementoenlospuntajesdelosestudianteschilenosen


pruebasestandarizadas.Sinembargo,estudioscomoeldeChang-TaiyUrquiola(2002)sugierenqueelsistemachilenohaconducidoaunreordenamientode losestudiantes (sedebe recordarqueenChileelEstadodafondosaloscentroseducativosdeacuerdoconelnmerodeestudiantesmatriculados).Enotraspalabras,losmejoresestudianteshabranempezadoacambiarsealoscentroseducativosquesonperci-bidosocalificadoscomolosmejoressinqueestostrasladosresultenenincrementosrealesparaelconjuntodelapoblacinescolar.

EnBoliviahahabidodosexperienciasentornoalosincentivos.Enprimerlugar,en1998seimplementunsistemadesalariosalmrito,queconsistaenpagosporaprobarunapruebadesuficiencia,volun-taria,sobreelcontenidoquelosdocentesdebanensear.Estesistemafuereemplazadoporlosincentivoscolectivosaescuelas(ICE).Elprogramaseaplicenprimaria,yelincentivo,queesparatodoelcentroeducativo,oscilaentre5%y19,3%anual(MizalayRomaguera2005).

Finalmente,MizalayRomaguera(2005)describenelsistemadeincentivosenElSalvador, llamadoPLAN.Enestecaso,el incenti-vodependedelaadministracinescolar(25%),lagestineducativa(9%),elplaneamientoinstitucional(paraprevenirlarepeticinyladesercinescolar;44%)ylagestindeldocente(estoes,planifica-cinymaterialdidctico;22%).Ellogrodelincentivoesequivalentea4%delbsicodelosdocentes.Lasautorascriticanquelossistemaslatinoamericanoshayanpuestotantonfasisendiversoscriteriosdeinsumoseducativosytanpocoenlosresultados.Boliviaincluyeso-lamentetasasdepromocin,abandonoyrepeticin,elsistemamexi-canoconsideraresultadosdeunacohortedeestudiantesenpruebasestandarizadasysoloChiletomaencuentaresultadosdeunacohorteycambioseneltiempo.ElSalvadornoincluyeresultadoscomocri-terioparaelincentivo.

Cambiandoderegin,Kelley,HenemanyMilanowski(2000)lle-ganaalgunasconclusionesdepolticarespectodelosprogramasdein-centivosapartirdelasexperienciasdesarrolladasenEstadosUnidos:

Expectativasdelosdocentes.Esimportantequelosdocentespercibanqueatravsdesusaccionespuedenconseguirlasme-tasvinculadasalosincentivos.


Probabilidaddeobtenerelincentivosiselogralameta.Cuan-dounprogramadeincentivosrecinseinstala,escomnquelosdocentespiensenquenoseasignarelbonoaunsiselogralameta.Muchosescpticossoloseconvencenluegodequeelprogramaestenfuncionamientoalgntiempo.

Tamaodelincentivo.Losdocentessuelenvalorarelbonoenfuncindelesfuerzoadicionalquetendranquehacerparacon-seguirlo.Enestecontexto,elmontoofrecidodebeseratractivoparalosdocentes.

Apoyodelosdirectores.Losdirectoresdecentroseducativosaparecencomofigurasclavesenladifusindelosincentivosylaorganizacindeloscentroseducativosparaconseguirlos.Porlotanto,esfundamentaltenerloscomoaliados.

Percepcindejusticia.Losparticipantesenelprogramadebenpercibirque lasreglassonjustasyque laasignacindeestastambinloes;enotraspalabras, losparticipantestienenqueobservarunarelacinapropiadaentresudesempeoylaspo-sibilidadesdelograrelincentivo.

Participacindelosdocenteseneldiseodelprogramadein-centivos.Losautoresencuentranqueestefactorayudaalxitodelasexperiencias.

Keniaprobunsistemadeincentivosbasadoenelrendimien-to de los estudiantes (Glewwe, Ilias y Kremer 2003). Los autoresencontraronmejorespuntajesen laspruebasdelgrupoquerecibiincentivos,aunqueladesercinfuesimilar.Sinembargo,nohabancambiadolasprcticaspedaggicasque,deacuerdoconlapercepcindelosautores,podanexplicarlosresultados(noencontraronquelaasistenciadocentemejorara,quelasprcticaspedaggicascambiaranniqueselesasignaraalosestudiantesmayorestareasparalacasa).Losautoresatribuyenlasdiferenciasenrendimientoprincipalmentea que los docentes del grupo de tratamiento habran preparado asusestudiantespararesponderpruebasdeopcinmltiple.Estoex-plicaraporqulasdiferenciassedesvanecieronconeltiempo.Elanteriorestudiosugieredoscosas:esimportanterecogerdatosnosolodelosresultadossinotambindelosprocesoseducativosque


uno esperara que cambien dada la situacin observada; adems,es posible que programas como el descrito funcionen solamentesisetrabajaconlosdocentesentornoamejoresformasdeensearalosestudiantes.Esinteresantequelosautoresdiscutanalfinaldelartculo laposibilidaddeotorgar incentivosno a resultados sino ainsumos,ymencionancomoejemplolaasistenciadelosdocentesalaescuela(enKeniaelausentismodocenteoscilaalrededordel20%).Paraello,sugierenconsiderarlaposibilidaddeinstaurarmecanismosdecontroldeasistenciaacargodeorganizacioneslocales.

EnunestudiollevadoacaboenescuelasruralesenlaIndia(DufloyHanna2005)seusaroncmarasfotogrficasparadefinirlaasistenciadelosdocentesylospremiosmonetariosporasistencia.Losresultadosfueronpositivosencuantoaincrementarlaasistencia(elausentismoseredujode44%a22%)yelrendimientodelosestudiantes(ladife-renciaentreelgrupodetratamientoyeldecontrolfuede0,17desvia-cionesestndar).Esteesquemaessimilaralperuano,peroelregistroesmsautomtico (cmarasenvezdemonitoresde lacomunidad).Otradiferenciaradicaenquesilosdocentesasistanmenosdasdeloprevisto,podanrecibirdescuentos.

Comosepuedeapreciarenlosestudiosyorientacionesdiscutidosan-teriormente,eltemadelosincentivosalosdocentesporsudesempeoestganandonotoriedadenelmbitointernacional.EnelPer,eltemaesre-levantedadalaaprobacinrecientedelanuevacarrerapblicamagisterial.Loimportanteenestecontexto,msalldelanormagenricaquedictaloslineamientos,esestablecerprocedimientosconfiablesyvlidosparamedireldesempeodocenteyrecompensaralosmejores.Decualquierforma,lossistemasdeincentivosnosonlapanacea.Dehecho,hayevidenciasdequelosprogramasenalgunoscasosnofuncionanyhastapodrantenerconsecuenciasnegativas(porejemplo,ahondarladesigualdadeducativa,yaquelospadresmseducadoslogransacarmayorventajaparasushijos).Talvezelmayorriesgoparaunprogramadeincentivosseaquelospartici-pantesnopuedanestablecerclaramenteunarelacinentresudesempeoylaobtencindelincentivo;enestasituacin,elincentivoserapercibidocomounaespeciedeloteray,portanto,elprogramanoseraeficiente(Kelley,Odden,MilanowskiyHeneman2000;Milanowski2002).

Basededatos 23

4.BASEDEDATOS

Losinstrumentosprincipalesfueronlosregistrosdelprogramademo-nitoreo,quefueronpiloteadosporelMinisterioel2003ymejoradosy administrados a inicios y fines del ao escolar 2004. Las pruebasde rendimiento fueronelaboradas especialmente en comprensindelecturaymatemticaparaelpresenteestudioporpersonaldelMinis-terio de Educacin.10 Finalmente, se cuenta con encuestas de datosdecontextosobrelascaractersticasdelosestudiantesfichaPEAR(porejemplo:edad,sexo,niveleducativodelospadresylenguamater-na),losdocentes(porejemplo:edad,sexoycondicindecontratadoonombrado),laescuela(porejemplo:siesunidocente,multigradosopolidocentecompleta)ylacomunidad(porejemplo,ladistanciadelcentroeducativoalacapitaldeldistrito).

Paraelanlisisdelaasistenciadocenteyelimpactosobreelaprendi-zajedelsistemadeincentivos,setomlabasededatosrecogidaainiciosdelaoescolar(mayo)porelMinisteriodeEducacinylaqueserecogiafinesdelaoescolar (noviembre).EstamuestraestconstituidaporcentroseducativosruralesdecincoregionesseleccionadasparaparticiparenelprogramaMETA.Enelpresenteinformesolosetomarnenconsi-deracinloscentroseducativosprimarios,yaquecontamoscondatosderendimientosoloparaesteniveldeestudios.Acontinuacinsemuestraladistribucininicialdecentroseducativos,docentesyestudiantesenlamuestradelprogramaMETA(Ayacuchoformelgrupodecontrasteyelrestointegrelgrupodetratamiento):

10 Lapruebadecomprensindelecturaestababasadaenelcurrculovigenteenelmomentodeadministrar lapruebadelreadeComunicacinIntegral,y ladematemtica,enelcurrculovigentedelreadeLgico-Matemtica.


Lamuestradeestudiantesseredujoennoviembreporlimitacio-nespresupuestalesenelMinisteriodeEducacin.Elprocesoque sesiguiparalalimpiezayverificacindelabasededatosdeasistenciafueelsiguiente:

Seeliminaronescuelasquepresentaronproblemasparaelreco-jodelaasistenciadeacuerdoconlosealadoporlosespecia-listasdelprogramaMETAylosinformesdetrabajodecampopreparadosporespecialistasdelMinisterio.

Se eliminaron escuelaspara las cuales losdatosde asistenciaeransolodeunodelosdossemestresdelao;esdecir,soloseconsideraronaquellasescuelasquetuvierandatosdeasistenciaparatodoelaoescolar.

Seprocediacalcularelnmerodedasenquelaescuelatuvoclasesduranteelaoescolar,yseeliminaaquellosdocentesque a pesar de haber asistido todos los das y sin tardanzas,hubieranrecuperadomsde15dasentresbados,domingosy feriados. Este nmero se us dado que se consider pococrebledeacuerdoconelrestodedocentes.

Sefijaronpuntosdecortealinicioyfindeaoescolarparaelanlisisdelaasistenciadeldocente.As,parainiciosdeao,seconsidermediadosdemarzo,yparafines,el24denoviembre.

Cuadro 1Distribucin inicial de centros educativos, docentes y estudiantes por regin

Escuelas DocentesEstudiantes (rendimiento)

Comprensin de lectura MatemticaMayo Noviembre Mayo Noviembre

Total 317 1.092 9.967 4.335 10.056 4.442Por regin Ayacucho 51 191 1.155 707 1.190 699 Cusco 48 200 1.767 754 1.878 785 Piura 113 278 2.626 1.235 2.673 1.261 Puno 37 171 2.051 709 2.078 750 San Martn 68 252 2.368 930 2.237 947

Fuente:BasesdedatosdelprogramaMETA.Elaboracinpropia.

Basededatos 25

Deestemodo,seeliminaronlasobservacionesdeasistenciaan-terioresyposterioresaestasfechas.Sibienhuboclasesluegodel24denoviembre,elprogramanotieneregistrodeestas.

Seeliminaronescuelasquehabantrabajadoenelaounn-merodedasequivalenteamenosdetresdesviacionesestndarpordebajooencimadelpromediodelamuestra.Estaesunaformadecorregirporoutliers (valorespocoprobables).

Sefijunnmeromnimodedasdeasistenciamensualparalosmesesdemarzoanoviembre;as,paraaquellosdocentesquetu-vieranmenosdecincodasdeasistenciamensual,laobservacinparaesemeseracodificadacomomissing(ausente)y,portanto,esedocentenoentrabaparaelanlisisdelaasistencia.

Seeliminalosdocentesqueestuvieranlaborandoenmsdeunaescuela,debidoaqueestohubierageneradoelproblemadeculasistenciatomarparaelclculodelimpactodelprogra-masobrelaasistencia.

Se elimin a los docentes quehubieran empezado clases unmesdespusdeiniciadoelaoescolar.

Estalimpiezadedatosoriginquelamuestradeescuelasydocen-tesseredujeracomoseapreciaenelsiguientecuadro:

Centros educativos DocentesTotal 209 619Por regin Ayacucho 17 45 Cusco 40 142 Piura 75 146 Puno 34 115 San Martn 43 171

Cuadro 2Distribucin de centros educativos y docentes una vez limpia la

muestra por regin



Comoseapreciaenelcuadro2,lamuestradeescuelasdelgrupode contraste (Ayacucho) se ve reducidade51 a17 escuelas, lo cuallimitalascomparacionesdeasistenciadocente.Estareduccinsedebeprincipalmente a la falta de recojo de asistencia para varios centroseducativos,ascomoalhechodequevariasescuelasempezaronclasesafinesdemarzoeiniciosdeabril.

Asimismo,parapoderhacerlosanlisiscomparativos,fuenece-sariainformacindeldocenteencuantoacaractersticasquepudieraninfluirenlaasistenciadiariaalaescuela.Paratalpropsito,serequiriutilizar lasbasesdedatosdel2003aodeiniciodelprogramadeincentivos, que recogieron informacin sociodemogrfica de cadadocente.Deestamanera,almomentodecruzarambasbasesdedatos,lamuestradeescuelasydocentessevioreducida,comosemuestraenelsiguientecuadro:

Sepuedeapreciarquelamuestraparalaevaluacindeimpactosevenotablementereducidaconrespectoalamuestrainicial,alcon-tarsesolocon354docentesde1.092enlamuestrainicial.Encuantoaposiblessesgosdecaractersticasdocentesalhacerdichaeliminacin,estosnosepuedendeterminar,yaquenosecuentaconinformacin

Cuadro 3Distribucin final de centros educativos y docentes para la evaluacin

de impacto del programa de asistencia por regin

Centros educativos DocentesTotal 178 354Por regin Ayacucho 12 29 Cusco 33 82 Piura 65 100 Puno 33 63 San Martn 35 80

Fuente: BasesdedatosdelprogramaMETA.Elaboracinpropia.

Basededatos 27

sociodemogrfica para todos los profesores. Sin embargo, el anlisisdeposiblessesgosserealizutilizandolaasistenciadocente,comosemuestraenelgrficosiguiente.Deestamanera,unavezqueselimpilaasistenciaporescuelascondatosincompletosoinvlidos,elprome-diodedasqueasistenlosdocentesaument,debidoprincipalmentealaeliminacindedocentesquenocontabanconlatomadeasistenciaparatodoelperodoquevademarzoanoviembreyqueoriginabanunsubdimensionamientodedichaasistencia.Asimismo,observamosqueunavezlimpialamuestraalcotejarestainformacinconlosdatosdeldocentedel2003(pasodelamuestralimpiaalamuestraconin-formacindeldocente),prcticamentenovaraelpromediodedasdeasistenciacompleta11delosdocentes.

11 Asistencia completaserefierealnmerodedasenloscualeseldocenteestuvopresenteenlostreschequeosdiariosrealizados.Deestaforma,siundocentesolocontabaconunoodosdeloschequeosenelformatodeasistencia,noseconsiderabaesedacomodeasisten-ciacompleta,peroscomodeasistenciatotal.

Grfico 1Asistencia total de los docentes (das completos) por grupo de estudio

160

140

120

100

80

60

40

20

0

Muestrainicial Muestradeasistenciaconinformacindocente

Muestraluegodelalimpieza

93

134

Dasd

easistencia

126

146

127

147

Contraste Tratamiento


Laotrabasededatosconlaquesetrabajserefiereapruebasderendimientodelosestudiantes.Secuentaconpruebasparaestudiantesdesegundoasextogradodeprimaria.Losanlisisinicialesdeespecia-listasdelprogramaMETAsealanquelaspruebasderendimientodecuartoasextogradofueronlasnicasquemostraronnivelesadecuadosdeconfiabilidad,porloquesolousamosestasparalosanlisis.Aligualqueparalabasedeasistencia,seprocedialimpiarlabasederendi-mientoatravsdelossiguientespasos:

Seeliminaronloscasosdeescuelasenlascualeselnmerodeestudiantesevaluadoseramenordetres,conelobjetivodete-nervariabilidadenel interiordecadaauladeclaseycentroeducativoencuantoalrendimientodelestudiante.

Asimismo,seprocediacotejarlasbasesdeinicioyfindeaoescolar. Sin embargo, a finales del ao escolar, por un temapresupuestal,elprogramaMETAdecidiadministrarlasprue-basaunamuestradeescuelasquefueronevaluadasa iniciosdeao,yseevaluabaencadaescuelaatodoslosalumnosdesegundoasextogrado.Estoredujoelnmerodealumnoseva-luadosconsiderablemente.

Paraelclculodelospuntajesobtenidosporlosestudiantes,setransformaronsusrespuestasapuntajesdeescalasiguiendoelmodeloRasch(TeoradeRespuestaaltem;vase,porejem-plo,Baker2001).Estemodelousacomoparmetroparacal-cularlospuntajeselniveldedificultaddelostems,demodoqueseobtienelaprobabilidaddequeunestudianterespondacorrectamentecadatem(yaseaquelohayatenidobienono).CabesealarqueelanlisisRaschprocedeaeliminarlasob-servacionesextremasdelamuestra,loquepermitetenerunamejordistribucindelpuntajeenlaspruebas.Lamediaparacada rea y grado evaluado se fij en 300 puntos en cuartogrado,500puntosenquintogradoy700puntosensextogra-do,mientrasqueladesviacinestndarparatodaslasreasygradossefijen50.

Acontinuacinsemuestraladistribucindepruebasunavezlim-pialamuestrainicial(cuadro4).

Basededatos 29

Sibiensetomarondospruebas,unaainiciosyotraafinaldelao,laestructuradeambasnoessuficientementesemejantecomoparaha-cerestospuntajesequiparables.Deestaforma,aunquesepodrevaluarelrendimientocomoelresultadoqueobtuvocadaindividuoencadaprueba,estenopodrsermedidocomoladiferenciaentrelosresulta-dosdelaspruebasdeinicioyfindeao.

Finalmente,paralaevaluacindelrendimientodelosalumnosseutilizconjuntamente labasedepruebasderendimiento, labasededatossocioeconmicosdelosnios(fichaPEAR),labasededatosdeasistenciacorregidaylabasededatosdeldocentedelao2003.Debi-doaquecadabasefuerealizadaparaunamuestradistinta,resultadodelaconjuncindedosomsbases,hubounadisminucinenelnmerodeobservacionesenlosanlisisquesepresentanmsadelante.

Cuadro 4Distribucin de pruebas por grado y perodo de aplicacin

Comprensin de lectura Matemtica

Mayo Noviembre Ambos perodos Mayo NoviembreAmbos

perodosCuarto grado 3.063 1.452 1.057 3.408 1.642 1.281Quinto grado 3.034 1.161 953 3.157 1.323 1.130Sexto grado 2.741 1.230 1.059 2.851 1.260 1.106Total 8.838 3.843 3.069 9.416 4.225 3.517


Metodologa 31

5.METODOLOGA

Eldiseofuecuasiexperimental (nohuboasignacinaleatoriaa losgruposdetratamientoycontraste)conregistrosdeasistenciadiariaparacadadocenteenelprogramadesdemarzohastanoviembredel2004.Asimismo,secontconpruebasderendimientodelosestudiantesaini-ciosyfinesdel2004enlasreasdematemticaycomprensindelectura.

Elanlisisestadsticose llevacabo,enprimerlugar,enformadescriptiva,mostrandoelcomportamientodelaasistenciadelosdo-centesmesamesduranteelaoescolar2004,demodoquesepudie-rancompararelgrupodetratamientoyeldecontraste,yobservarsiexistendiferenciassignificativasenesteaspecto.

En segundo lugar, se efectuarondos anlisis; con elprimero sebuscversiexistandiferenciassignificativasenasistenciaentreelgru-po de tratamiento y contraste en la asistencia docente una vez quese controlabapor las caractersticas del docente, el centro educativoylazonadondeseencuentraelcentroeducativo.Elsegundoanlisisconsistiendeterminarelimpactodelprogramadeincentivossobreelrendimientodelosestudiantes.Paraambosanlisisseemplelame-todologapropuestaporHeckman,IchimirayTodd(1997,1998)paraevaluacionesdeimpacto;esdecir,elusodepropensity scores(medidasdepropensin)para encontrargruposde contraste apropiadosdadoeldiseocuasiexperimental.Acontinuacinsedescribenlosinstru-mentos,basesdedatosymetodologasqueseusaronparaanalizarlaasistenciadocenteysuimpactosobreelaprendizaje.

5.1. Mtodos para la evaluacin de impacto del programa

AtravsdeestaevaluacinseintentaresponderalapreguntaCul es la diferencia en asistencia de los profesores y en el rendimiento de


los estudiantes entre los salones que participaron y no participaron en el programa META?Porlotanto,elprincipalproblemadelaevaluacindeimpactoconsisteenaveriguarculhubiesesidoelresultadodelosbeneficiariosdespusdeterminadoelaoescolarsinohubieranparti-cipadoenelprogramaMETA.12

LamaneraidealderealizarestetipodeanlisisseraobservarlasituacindecadaindividuodespusdehaberparticipadoenelprogramaMETAy,simultneamente,susituacinenelestadocontrafactualesdecir,sinhaberparticipadoenelprograma,paraluegocompararambosestados.Sinembargo,solosepuedeobservaracadaindividuoenunnicoestado.Losdistintosmtodosdeanlisispresentadosmsadelanteintentanacercarsealasituacinideal,demodoquesepuedasimularexactamenteculeselcambioenlasituacindecadaindivi-duoatribuibleexclusivamenteasuparticipacinenelprograma.Paraello,seutilizaungrupodecontraste;esdecir,profesoresyalumnosquenohanparticipadoenelprograma,peroquereflejanlasituacinhipo-tticadelosbeneficiariosdeesteanteunestadodenotratamiento.Dehecho,elgrupodecontrastesolopuedeserobservadoenelestadodenotratamiento.

Elmtodo que se sigue en el presente trabajo para conseguirel objetivo antesmencionado es el de emparejamiento omatching(Heckman,IchimirayTodd1997,1998),queconsisteenasignaracadabeneficiariouncontrol;esdecir,unindividuoquenoparticipaenelprogramaperoqueesmuyparecidoal.Esgravitantequeesteparecidolosearespectoalascaractersticasquesonimportantesenladeterminacindelavariabledeimpacto;esdecir,laasistencia,paraelcasodelosdocentes,yelrendimiento,paraeldelosalumnos.Debidoaquelaseleccindeindividuosparaelgrupodetratamientoycontrastedentrodelprogramanofuerealizadaaleatoriamente,unacomparacinsimpleentreestosdosgrupospuedereflejarelefectode

12 Sinembargo,elcontrastenoesunasituacinregularsinounaenlaquedetodosmodoslosmonitoresregistrabanasistenciadocente,aunquesinincentivos;dehecho,sepodrapensarqueestemonitoreopudierahabertenidounimpactoenlaasistenciaalsentirselosdocentesobservados.

Metodologa 33

variablesdistintasdelhechodeparticiparonoenelprogramaMETA(sesgodeseleccin).Porejemplo,paraelcasodelanlisisdeasisten-cia,losdocentesquepertenecenalgrupodetratamientopodranser,enpromedio,mseducadosquelosdocentesdelgrupodecontraste,con lo cual no se sabra si el efecto de unamayor asistencia en elgrupodetratamientosedebeasumayorniveleducativooalhechoderecibirel incentivo.Lametodologadeevaluacionesde impactopermitireliminarelposiblesesgodeseleccinrealizandocompara-cionesnicamenteentreindividuosconcaractersticassemejantes.

Dentrodenuestrabasedeinformacintenemosdosgrupos:ungrupodetratamientoconstituidoportodoslosindividuos(docentesyalumnos)quetrabajanoestudianenescuelasenlasqueseaplicelprogramadeincentivosyungrupodecontraste,integradoporlosde-msindividuosquetrabajanoestudianenescuelasenlasque,comosedijoantes,hubomonitoreodeasistenciadocente,peronoseofrecieronincentivosmonetarios.Lametodologapropuestapermitiremparejarcada individuo tratado con un individuo de contraste semejante entodaslascaractersticasqueinfluyanenlaasistencia.Paraelcasodelosdocentes,seincluyenlasvariablesaos de docencia, sueldo, nivel de edu-cacin, distancia al centro educativo ycaractersticas del centro educativo.Paraelrendimientoescolarseincluyenlasvariablesdelosestudiantesnivel socioeconmico, edad, sexo, tamao del hogar y caractersticas del centro educativo.

Debidoaqueespocoprobablequedosindividuoscoincidanentodas lasvariables, seproponeseguirunemparejamientoatravsdelamedidadepropensindecadaalumnodeperteneceralgrupodetratamiento,propuestaporRosenbaumyRubin(1983,1985).Lapro-pensindecadaindividuosecalculaatravsdemodelosdeestimacindicotmicos(ProbitoLogit)enloscualesseintroducecomovariabledependiente (y)unadummy que toma el valorde1 si el individuopertenecealgrupodetratamientoy0sipertenecealgrupodecontras-te.Comovariablesindependientes(X)seincluyentodasaquellasquepuedan sesgar la comparacinentre elgrupode tratamientoyeldecontraste.Conelloseobtienelasiguienteecuacin:

Yi = Bx Xi + i


Apartirdeestaecuacinseobtieneelefectodecadavariablesobrelaopcindeperteneceralgrupodetratamientoocontrol(E[Bx ])yconelloseprocedeacalcularlaprobabilidaddecadaindividuodepertene-ceraestegrupo(p(Yi )):

E[p(Yi )]=E[Bx ]Xi+E[i]Deestaforma,estemtodopermitebasarelemparejamientoen

laprobabilidaddecadaindividuodeserparticipanteenelgrupodetratamiento,facilitandolabsquedadeunindividuosemejanteparacadaindividuobeneficiariodelprogramadeincentivos.Seconcluye,entonces,quesidosindividuostienenlamismaprobabilidaddeper-teneceralgrupodetratamiento(medidadepropensin),entonces,enpromedio,sernsemejantes.

Enestepunto,esimportantedefinireltrminosoportecomn,queserutilizadoalolargodelestudio.Unavezestimadalaprobabi-lidaddecadaindividuodeserparticipanteenelgrupodetratamien-to, esprobableque existan individuosde este grupoqueno tenganindividuossemejantesenelgrupodecontraste,yviceversa.Todoslosindividuosquenotenganunposibleindividuocomparableserncon-sideradosfueradelsoportecomn.

Unavezhalladalamedidadepropensindecadaindividuo,seprocederacalcularladiferenciaenlavariabledeimpacto(asistenciaenelcasodelosdocentesyrendimientoenelcasodelosalumnos)del grupode tratamientoydel grupode contrastepara los indivi-duos que estn dentro del soporte comn.Esta podr ser calcula-da como ladiferenciade cada individuodel grupode tratamientocontrasurespectivoindividuodecontraste(one to one,unoauno)ocomoladiferenciadecadaindividuobeneficiarioemparejadaconunaobservacinficticia,queesunpromediodelasobservacionesenelgrupodecontraste.Ennuestrocaso,optaremosporambosclcu-los,efectuandoelsegundoatravsdeunmtodokernel.Elclculodediferenciasatravsdelmtodokernelcompararlaasistenciaoelrendimiento de cada individuobeneficiario contra el promedio deasistenciaode rendimientode todos los controlesponderadosporlainversadesudistanciamedidaatravsdelpropensity score.Ambas

Metodologa 35

diferenciasestarnlibresdetodosesgoy,porende,recogernneta-menteelimpactodelprogramadeincentivosparadocentessobrelaasistenciadocenteyelrendimientoescolar.

Finalmente,cabemencionarqueestametodologapuedeserutili-zadapararealizaremparejamientosendistintosnivelesdelanlisis.Porejemplo,primerosepuederealizarunemparejamientoenelniveldeloscentroseducativos,eliminandodelanlisistodosaquelloscentrosqueestnfueradelsoportecomn,paraluegorealizarunemparejamientoenelniveldelosdocentesoalumnos.Esteanlisispermiteunmayorgradodeexactitudalmomentoderealizarlascomparaciones,yaquesecomparanindividuossemejantesqueprovienendecentroseducativosenpromediosemejantes.Sinembargo,laadicindeetapassucesivastieneelefectonegativodereducirlamuestraparalassiguientesetapas(sereducengradosdelibertadenelanlisisestadstico),porloquesedebenbalancearlosbeneficiosdeunamayorprecisinconloscostosdeunmenorpoderestadstico.

Introduccin 37

6.RESULTADOS

6.1. Anlisis de comparacin simple de medias de asistencia docente

Losresultadosdelaasistenciadocentesedescribirntantodemaneratotalcomodesagregadamesames.Debidoaloscortesfijadosparaelrecojodeinformacin(marzoynoviembre),losdasefectivosdeclasedeberanser156.13Paraefectosdenuestroanlisis,hemoscon-sideradodosmedidasdeasistenciaparahacergruposdecontrasteytratamiento:

Das totales:nmerodedasenelaoescolarenqueeldocenteestuvoenalmenosunodelostreschequeosdiarios.

Das completos:nmerodedasenloscualeseldocenteestu-vopresenteenlostreschequeosdiarios.Deestaforma,siundocentesolocontabaconunoodosdeloschequeosenelfor-matodeasistencia,noseconsiderabaesedacomoasistenciacompletaperoscomoasistenciatotal.

Acontinuacinsemuestranresultadosdescriptivosrespectoalaasistenciadocente.

Elgrfico2muestra,paraelperododel29demarzoal24denoviembre,elpromediodedastotalesydascompletosdeasistenciaparaelgrupoqueparticipaenelprograma(grupodetratamiento)yelgrupoquenolohace(grupodecontraste).Seobservaqueenelgrupodecontraste,losdocentesasisten20dasmenos(asistenciatotal)o30dasmenosque loobligatorio (asistencia completa).Enel grupode

13 SeobtuvoestetotaldedasdeacuerdoconnormasdelMinisteriodeEducacinquefijanelnmerodedasenquedeberahaberclases,descontandolosferiadosnacionalesenquenodeberahaberclases.


tratamiento,laasistenciatotales,enpromedio,2dasmenos,ylaasis-tenciacompleta,10dasmenosqueloobligatorio.Enotraspalabras,setiendeaunamayorasistenciadocentecuandoseofrecenincentivosporello.Siserevisalaasistenciacompletaenrelacinconlatotal,sepuedeapreciarqueelnmerodedasesparecidoenambosgrupos:10dasmenosqueloobligatorioenelgrupodecontrastey8dasmenosenelgrupodetratamiento.

Elgrfico3presentalainformacinporgrupomesames.Lasl-neaspunteadasmuestranlosdastotalesporcadagrupo,mientrasquelas lneascontinuasmuestran losdascompletos.Cuandoalgunadelaslneassuperalalneadedasobligatorios,esosignificaqueesemeseldocentetrabajmsdasdeloesperadoporelcalendarioregular;esdecir,recuperclases.

Alanalizarlaasistenciadelosdocentesdelgrupodetratamiento,seobservaquesigueelmismopatrnquelaasistenciaobligatoriaestableci-daporelMinisteriodeEducacin.Hay,sinembargo,ligerasvariaciones,

Grfico 2Das totales y completos de los docentes por grupo de estudio

160

140

120

100

80

60

40

20

0

Contraste Tratamiento

126136

Dasd

easistencia

146154

Dascompletos Dastotales

Dasobligatoriosparaelperodo:156

Resultados 39

enespecialelmesdejulio,enelcuallosdasdeasistenciacompletos(ytotales)superanalosdasobligatorios.Alparecer,losdocentesdelgrupodetratamientousaronalgunosdasdelasvacacionesdemedioao(ju-lio)pararecuperardasenlosquenoasistieronenmarzoymayo,oentodocaso,paratomardossemanasdevacacionesenagosto.

Porotrolado,sianalizamosalgrupodecontraste,estenosigueunpatrndeasistenciaconformealosdasobligatorios.Laasistenciadeestegrupoesnotablementemenorquelaobligatoriaenlosmesesdemayo,junioyjulio,creceenagosto(enestemessuperaalgrupode tratamiento)y luegomantieneelpatrndedasobligatoriosenelperododesetiembreanoviembre.Estosresultadossugierenquelosdocentesdelazonadecontrastesedemoranenempezarelaoescolar,ycuandolohacen,tienenunaasistenciairregular.Seobser-vaqueenlosmesesdejunioyjulio,lazonadelgrupodecontrasteexperimentunacadapronunciadaenlaasistencia;estacadasera

Grfico 3Nmero promedio de das de asistencia total y completa por

grupos de estudio

25

20

15

10

5

0Marzo

Dasobligatorios Dastotales-Contraste Dastotales-Tratamiento Dascompletos-Contraste Dascompletos-Tratamiento

Abril Mayo Junio Julio Agosto Setiembre Octubre Noviembre


originadaporlahuelgaorganizadaporelSUTEP.14Especficamente,lahuelgadurdel21dejunioal9julio,yseperdieronentotal16dasde clases efectivos.Unavez culminada lahuelga, losdocentesregresaronalasclasesconlapromesaderecuperaresosdasdeasis-tencia.Estoestaraoriginandoqueenelcasodeagosto,laasistenciaparalazonadecontrasteseasuperioraladetratamiento,dondesserespetaronlasvacacionesdemedioao.Sinembargo,aunconesteaumentodeasistencia,enelmesdeagostosolosecubrieroncincodashbiles.15

Asimismo, cuando se observa la asistencia de los docentes deacuerdoconladistanciadelcentroeducativoalacapitaldedistrito,seapreciaqueenelcasodelgrupodetratamientonoexistenmayoresdiferencias(grfico4);encambio,enelgrupodecontrasteseapreciaquesonlosdocentesdeescuelasmscercanaslosqueregistranunme-nornmerodedasdeasistenciaomayornmerodetardanzasduranteelaoescolar.Estosepodradeberaquelosdocentesdezonasmsalejadasvivenenlamismacomunidad,mientrasquelosquevivenenzonasmscercanastienenqueviajardiariamentedelacasa(presumi-blementeenlacapitaldedistrito)alaescuela.

14 EstahuelgafueconvocadaporlafaccindisidenteynoporladirigencianacionaldelSUTEP,porloquesolofueacatadaporungruporeducidodedocentes.Losdocentesquelohi-cieronsedistribuanentrelasregionesdeAyacucho,PunoyCusco,perosoloenelcasodeAyacuchoelparofuetotal,mientrasqueenPunoyCuscoelgrupodedocentesqueacatlahuelgafueminoritario(enescuelasqueseubicanenprovinciasdistintasdedondefuncionaelprogramaMETA).

15 Undiseomsrigurosodeevaluacinhubieraconsideradoescuelasadicionalesdecon-trasteenotraszonasdelpas,demodoqueeventoscomolahuelgamencionadapudieranperdersignificacinparaelanlisis.

Resultados 41

6.2. Anlisis de la asistencia docente controlando por diferencias entre el grupo de control y el grupo de tratamiento

Elsiguientepasoconsistienanalizarlaasistencialimpiandolosposi-blessesgosdeseleccinmediante lametodologaparaevaluacionesdeimpactodetalladaanteriormente.Seoptporrealizarunemparejamientoendosnivelesdeanlisis(comoseexplicaenlaseccin5);enunprimermomento,enelniveldelcentroeducativoy,enunsegundomomento,eneldelosdocentes,loquepermitidepurarprimerolossesgosenelniveldeloscentroseducativosyluegoeneldelosdocentes.

Lasestimacionesdelasmedidasdepropensinparacadaunadelasetapasseencuentranenelanexo1.Enelanexo2segraficanlasme-didasdepropensinparacadaunodelosgruposconformeseavanzaenlasetapasdeemparejamiento.Sepuedeobservarenestosltimosquedichoemparejamientohapermitidoobtenerdosdistribuciones

Grfico 4Nmero promedio de das de asistencia completa por grupos de

estudio y distancia del centro educativo

160

140

120

100

80

60

40

20

0Contraste Tratamiento

125136

Dasd

easistencia

146 145

0a2horas 2a5horas 5amshoras

148143


semejantesdelasmedidasdepropensin;siesteprocedimientonosehubierarealizado,setendraungrupodetratamientoconmedidasdepropensin16muchomayoresqueelgrupodecontraste(distribucinsesgadaaladerecha).Acontinuacinsemuestranlosresultadosparacadaunadelassituaciones,conysinemparejamiento.

Seobservaqueparalaasistenciaanual,aunqueladiferenciaentregruposhadisminuidoluegodelemparejamiento,ansemantieneunadiferenciaestadsticamentesignificativa.Conestoseestaraconfirmandoelimpactodelprogramadeincentivossobrelaasistencia.Adiferencia

16 Probabilidaddeperteneceralgrupodetratamiento.

Cuadro 5Nmero de das de asistencia completos promedio al ao por grupo de

estudio y tipo de mtodo para el emparejamiento (los das obligatorios son 156)

Contraste Tratamiento DiferenciaIC (95%)

Inferior SuperiorAsistencia sin emparejamiento(n = 619)

126,2 146,1 19,9 No aplica No aplica

Asistencia con emparejamiento uno a uno(n = 126)

126,7 144,6 17,9 9,3 25,8

Asistencia con emparejamiento kernel(n = 129)

127,5 144,5 17,1 10,6 24,2

Asistencia con emparejamiento nearest neighbora

(n = 129)

128,2 144,5 16,4 12,6 20,1

aSeutilizelmtododesarrolladoporAbadieeImbens(2006),quepermitemejorar laestimacindeloserroresestndar.EstemtodoestdisponibleenStata(nnmatch)yutilizacomomtododeempareja-mientoelnearest neighborovecinomscercano.


Resultados 43

delcasoanterior,enelquesecomparabaelpromediodeasistenciadelosdocentesdedosgrupos(tratamientoycontraste)nonecesariamentesi-milares(grficos1y2),ahorasecomparaelpromediodeasistenciadelosdocentesdeungrupodecontrasteconcaractersticassimilaresalgrupodetratamiento.Deestaforma,sepodraafirmarcon95%deconfianzaquesitodoslosdocenteshubieranparticipadoenelprograma,habranalcanzadounaasistenciapromediomayoren17das.17

Elsiguientepasofuecalcularlasdiferenciasenlaasistenciapro-mediode cadadocente para cadaunode losmeses de anlisis. Losgrficos5y6presentanlosresultadosdeasistenciamensualconysinajusteestadstico.

17 Serealizelejerciciodecalcularlaasistenciadelosdocentesusandolosmesesnoinfluen-ciadospor losefectosde lahuelga (demarzoamayoyde setiembreanoviembre); losresultadosmuestranqueelincrementoenelnmerodedasdeasistenciaserade10,cifraqueesestadsticamentesignificativa.Enelanexo4semuestranestosresultados.

Abril

Grfico 5Comparacin de los das completos de asistencia mensual sin ajustar y

con la asistencia ajustada por emparejamiento uno a unoa

aEnelanexo3seencuentranlastablasconlosvaloresylosintervalosdeconfianza.

28

24

20

16

12

8

Obligatorios Contraste(unoauno) Tratamiento(unoauno) Contrastesinajustar Tratamientosinajustar

Mayo Junio Julio Agosto Setiembre Octubre Noviembre


Grfico 6Comparacin de la asistencia mensual sin ajustar con la asistencia

ajustada por emparejamiento kernel

Abril

28

24

20

16

12

8

Obligatorios Contraste(kernel) Tratamiento(kernel) Contrastesinajustar Tratamientosinajustar


Grfico 7Comparacin de la asistencia mensual sin ajustar con la asistencia

ajustada por emparejamiento nearest neighbor

Abril

28

24

20

16

12

8

Obligatorios Contraste(nearest neighbor) Tratamiento(nearest neighbor) Contrastesinajustar Tratamientosinajustar


Resultados 45

Luegoderealizarelemparejamiento,seobservaquelosvaloresab-solutosdeasistenciadisminuyenparaelgrupodetratamientoyaumen-tanparaelgrupodecontraste,peroenpequeascantidades.18Tambinseconstataqueapesardecorregirposiblessesgos,latendenciaseman-tieneparaambosgrupos.Estosedebeaqueelefectodelahuelgafueelmismoparatodoslosdocentesdelgrupodecontraste,locualenciertaformasustentaqueelaumentodelaasistenciaenlasegundamitaddelaosedebeaunefectoexgenoynoauncomportamientonormaldelosdocentes.Enelanexo5seencuentranlasdistribucionesdeasistenciadecadaunodelosmesesparaelgrupodecontrasteyeldetratamiento.Apartirdelanlisisdedistribucionessepuedeobservarqueapartirdeagosto,paraelgrupodecontraste,dichasdistribucionesestnmscon-centradasypresentanpocavariabilidad(mayorkurtosis),mientrasqueaprincipiodeaosepodandistinguirdistribucionesmscercanasaunacurvanormalestndar,conunamayorvariabilidadenlaasistencia.Estamayorconcentracinafinalesdeao(agostoanoviembre)sedeberaalefectodelahuelga,queocasionquelosdocentesdelgrupodecontrasteaumentaransuasistenciacasiensutotalidadyseasemejaranalaasisten-ciadelosdocentesdelgrupodetratamiento.

Detodosmodos,enelgrupodecontrastelahuelgaimpideunacompletacomparabilidaddelaasistenciaentregruposparaelsegundosemestre.Sinembargo,anresultarelevanteanalizarla,paramostrarlaasistenciamensualdelosdocentes.Esdeesperarquesinohubierahabidohuelgaenlazonadecontraste,losdocenteshubieranseguidounpatrnsimilaraldelosprimerosmeses.Paraanalizarlaprobableasistenciadelgrupodecontrastedenohabersepresentadounahuelga,optamospordistribuirlaasistenciadesdeelmesdejuniosiguiendolosporcentajesdeasignacindeasistenciaquemostraronparaesemismoperodolosdocentesdelgrupodetratamiento.Debidoaqueambosgruposhansidoemparejadosatravsdelamedidadepropensin,tie-nesentidopensarquelaasignacinporcentualdelgrupodecontrastehubierasidosimilaraladelgrupodetratamiento.

18 Nosehapodidoconsiderarmarzoenelanlisisporlaspocasobservacionesexistentesparaestemesenlamuestra.


Seobservaque si losdocentesdel grupode contrastehubieranasignadosuasistenciaparalosmesesposterioresajunio,comolohi-cieronlosdocentesdelgrupodetratamiento,sehubieraobtenidounadiferenciaconstanteparatodoslosmesesafavordelosdocentesquerecibieronincentivosconrespectoalosquenolohicieron.

6.3. Rendimiento de los estudiantes asociado al programa META

Elanlisisdelrendimientoserealizconlaspruebasdematemticaycomprensindelectura.Acontinuacinsepuedenobservarlosresul-tadosainiciosyfinesdelaoescolar.19

19 Seconsiderasoloalosestudiantesquerindieronambaspruebas;comoseexplicantes,todos lospuntajesdecuartosehancalculadoparaunpromediode300puntos, losdequintopara500puntosylosdesextopara700puntos.

Grfico 8Comparacin de la asistencia mensual corregida por emparejamiento

uno a uno ajustada por distribuciones de asignacina

aParaesteejerciciosehanusadosolamentelosresultadosdelemparejamientounoauno.

Abril

28

24

20

16

12

8

Obligatorios Dascompletos-Contraste Dascompletos-Tratamiento


Resultados 47

Delanlisissedesprendequetantoainicioscomoafinalesdeao,losestudiantesdelgrupodetratamientoobtuvieronmejoresresultadosquelosdelgrupodecontraste.ElprocedimientoqueseseguirparaidentificarsielmejorresultadoenlaspruebasdefindeaoparalosalumnosdelgrupodetratamientosedebealprogramaMETAoaotrosfactoressersimilaralusadoenelanlisisdeasistenciadelosdocentes.Enunaprimeraetapa,serealizarunemparejamientoatravsdediversasvariablesdelosalumnos,losdocentes,laescuela,etctera.Esteemparejamiento,aligualqueenelanlisisdelaasistenciadelosdocentes,permitirdefinirelsoportecomnconelcualsetrabajarenlasegundaetapadelemparejamiento.

Paracontrolarpor lahabilidadeducativadelalumno,serealizarunasegundaetapadeemparejamiento,usandocomovariabledeempateelresultadoqueelalumnoobtuvoenlaprimerapruebadelao.Sibienelresultadoenambaspruebasnoesequiparableensentidoestricto(apesardequelapruebadefindeaomedalasmismasreasqueladeinicio),elresultadode laprimerapruebaesdetodosmodosunbuenindicadordelascapacidadesqueelalumnotraaalempezarelaoen

Cuadro 6Resultados de las pruebas por grupos de estudio y grado, comparacin

simple de medias

Grupo de tratamiento* Grupo de contraste**Diferencia

(tratamiento-contraste)

4.o(n=874)

5.o(n=758)

6.o(n=812)

4.o(n=107)

5.o(n=114)

6.o(n=140)

4.o 5.o 6.o

Comprensin de lectura

Inicio de ao 304,13 501,26 704,70 277,32 478,87 684,65 26,81 22,39 20,05

Fin de ao 309,31 501,99 705,21 268,61 487,53 679,98 40,70 14,46 25,22

Matemtica

Inicio de ao 299,54 498,34 705,84 278,29 485,99 699,94 21,26 12,36 5,90

Fin de ao 307,10 501,13 698,93 283,26 496,53 690,17 23,84 4,60 8,75

*NiosqueasistenaescuelasenlasqueseimplementelprogramaMETA.**NiosqueasistenaescuelasenlasquenoseimplementelprogramaMETA.Fuente: BasesdedatosdelprogramaMETA.Elaboracinpropia.


cadaunadelasreasevaluadas.Deestaforma,laprimeraetapapermiteobteneralumnosdecaractersticassocioeconmicassimilares,ylasegun-da,compararalumnosdecapacidadesinicialessemejantes.As,sepuedeinferirquesidosalumnostienen,enpromedio,caractersticassimilares(primeraetapadeemparejamiento)yobtuvieronelmismoresultadoenlaspruebasde iniciosdeao(segundaetapadeemparejamiento),de-beranobtenerunresultadosimilarenlaspruebasdefindeao;sisondiferentes,sepodrainferirqueMETAeslacausa.

Parael anlisis seplanteancuatromodelos, loscuales sediferen-cianprincipalmenteenlaestimacindelaprimeraetapa.Comosehamencionadoanteriormente,lainclusindevariablesadicionalesencadamodelotieneelefectodereducirlamuestra,debidoaquenotodaslasvariableshansidoobtenidasdelamismafuente.Sinembargo,lainclu-sindevariablesadicionalespermitemejorarlaestimacindelamedidadepropensin.Acontinuacinsedescribebrevementecadamodelo:20

Modelo1.Esteprimermodelosoloincluyecomovariabledeemparejamiento el resultadode laprimerapruebadel aoyomitelaprimeraetapadeemparejamiento.Estopermiteobte-nerunmayornmerodecontrolesybeneficiarios,perodismi-nuyelaexactitudenelemparejamiento.

Modelo2.Elmodeloincluyeensuprimeraetapasolamentevariablesdel alumno,como sexo, edad y lengua materna.Sinembargo,sereduceelnmerodecontrolesybeneficiarios.

Modelo3.Adicionalmentea lasvariablesdelalumno, se in-cluyenenlaprimeraetapavariablesdelaescuelacomotipo de centro educativoy servicios bsicos,yvariablesde losdocentescomosexo, edad y sueldo.

Modelo4.Igualqueelmodelo3,perosoloseconsideranlasescuelasqueseutilizaronenelanlisisdeasistenciadelosdo-centespresentadoantes.

Del anlisis descrito se obtiene que en el caso de comprensindelecturaenquintogrado,entresdelosmodelos,lasdiferenciasson

20 Elresultadodelaprimeraetapadecadamodelosepuedeobservarenelanexo6.

Resultados 49

estadsticamentesignificativasafavordelgrupodecontraste,mientrasqueensextogradoseapreciatodolocontrario:entresdelosmodeloslasdiferenciassonestadsticamentesignificativasafavordelgrupodeestu-diantesdeescuelasqueparticipanenelprograma.Encuartogradosolounodelosmodelosmuestraunadiferenciaestadsticamentesignificativaafavordelgrupodetratamiento.Enelcasodematemtica,sepuedeapreciarqueexistenenunoodosdelosmodelosparacadagradodife-renciasestadsticamentesignificativasafavordelgrupodetratamiento.Estoquieredecirquemientrasqueencomprensindelecturanoexisteunpatrnclaro,enelcasodematemtica,lasnicasdiferenciasestads-ticamentesignificativasencadagradosedanafavordelgrupodetrata-miento.Caberesaltarqueduranteelanlisisdelosmodelos3y4paralaspruebasdecuartoyquintogrado,elnmerodeobservacionesparaelgrupodecontrasteesreducido(menosde50observaciones),comosepuedeapreciarenloscuadros7y9,porlocuallosresultadosparaestosgradossedebentomarconmuchacautela.21

Cuadro 7Nmero de observaciones por emparejamiento para las pruebas de

comprensin de lectura

Cuarto grado Quinto grado Sexto grado

Tratamiento Contraste Tratamiento Contraste Tratamiento ContrasteModelo 1 734 104 702 110 733 136

Modelo 2 671 95 655 101 646 126

Modelo 3 210 38 193 30 270 94

Modelo 4 179 19 44 3 250 69

21 Asimismo, se realiz el anlisisde emparejamientousando lametodologadeAbadie eImbens(2006)paraelclculodeloserroresestndar,disponibleenStata(nnmatch).Losresultadosdeesteanlisissepresentanenelanexo7.


Cuadro 8Resultados de las pruebas de comprensin de lectura controlando por

diferencias entre el grupo de contraste y el grupo de tratamiento

Cuarto grado Quinto grado Sexto gradoDiferenciaa Diferencia Diferencia

Modelo 1 10,64 -2,60 27,59 ***

Modelo 2 12,49 -28,68 *** 12,92

Modelo 3 28,27 *** -52,29 *** 16,33 *

Modelo 4 -7,31 -139,35 ** 27,93 ***

***p

BVCI0006558.pdf

Documents

Transcript of BVCI0006558.pdf