Programa Asesor Técnico Pedagógico Dirección General de ...1. Evaluación del Programa Asesor...

DATOS GENERALES DEL PROGRAMA

1. Nombre del Programa: Programa Asesor Técnico Pedagógico

2. Dependencia: SEP.

3.Unidad Administrativa Responsable: Dirección General de Educación Indígena

4. Datos del(a) Titular 1

Nombre: Edgar Yesid Sierra Soler

Teléfono: 36011000

Correo electrónico: [email protected]

5. Datos del(a) Responsable Operativo(a) del Programa 1

Nombre: Edgar Yesid Sierra Soler

Teléfono: 36011000

Correo electrónico: [email protected]

6. Modalidad: S - 119

7. Año de inicio del programa: 2003

8. Presupuesto (MDP):

AñoPresupuesto

Aprobado Autorizado Ejercido

2004 40.23 18.5 18.5

2005 15.16 14.23 14.23

2006 15.16 13.46 13.2

2007 15.16 19.11 19.11

2008 16.6 84.82 84.81

2009 100.83 0.0 0.0

Informe de la Evaluación Específica de Desempeño 2008Informe de la Evaluación Específica de Desempeño 2008Informe de la Evaluación Específica de Desempeño 2008

Programa Asesor Técnico Pedagógico

Dirección General de Educación Indígena

S119 1/20

Alineación con Planeación Nacional 1Objetivo: Reducir la pobreza extrema y asegurar la igualdad de oportunidades y la ampliación de capacidadespara que todos los mexicanos mejoren significativamente su calidad de vida y tengan garantizadosalimentación, salud, educación, vivienda digna y un medio ambiente adecuado para su desarrollo tal y como loestablece la Constitución. - Eje: Igualdad de Oportunidades - Tema: Transformación Educativa

Alineación con Programa Sectorial/ Institucional 1Objetivo: Elevar la calidad de la educación para que los estudiantes mejoren su nivel de logro educativo,cuenten con medios para tener acceso a un mayor bienestar y contribuyan al desarrollo nacional.

FinContribuir a elevar la calidad de la educación indígena que se ofrece a las niñas y niños de las escuelasprimarias bilingües.

PropósitoProfesoras (es) indígenas de escuelas primarias bilingües realizan su práctica pedagógica en el aula en formamejorada gracias a la asesoría recibida con enfoque en Educación Intercultural Bilingüe.

Componentes1. Asesorías para mejorar las prácticas educativas proporcionadas a profesores y profesoras indígenas de lasescuelas primarias bilingües.




S119 2/20

Resumen de ComponentesMediante asesorias al profesorado indígena con enfoque en Educación Intercultural Bilingüe, para mejorar lasprácticas educativas en el aula de las escuelas primarias bilingües.

Actividades1. Evaluación del Programa Asesor Técnico Pedagógico.2. Incorporar profesores de educación primaria indígena como Asesores Técnico Pedagógicos.3. Asesorar a los profesores y profesoras indígenas sobre la aplicación de prácticas educativas mejoradas conun enfoque intercultural bilingüe.




S119 3/20

RESULTADOS/PRODUCTOS

Principales 5 Indicadores Estratégicos

- Indicador 1

1. Nombre del Indicador: Logro académico en la escuelas primarias bilingües

2. Definición: Mide el porcentaje del logro académico en las escuelas primarias bilingües.

3. Método de Cálculo: (Escuelas primarias indígenas que están en el nivel elemental obueno de las pruebas ENLACE/ Total de escuelas de eduación primaria evaluadas)*100

4. Unidad de Medida: Porcentaje

5. Frecuencia de Medición del Indicador: Anual

6. Meta del indicador 2008: 52%

7. Valor del indicador 2008 (%): 113.84

8. Valoración del Indicador: Consistente, confiable y relevante. Sin embargo, la fórmula noespecifica cuál de los resultados de ENLACE de una determinada escuela se deben utilizarpara su construcción (global, matemáticas o español) y el grado escolar que se toma comoreferencia. Un reto adicional es que existen otros factores que explican cambios en elaprendizaje de los alumnos, por lo que se necesita una evaluación de impacto paraconocer el efecto causal del Programa.

9. Porcentaje de Avance:

2008 : 113.8

- Indicador 2

1. Nombre del Indicador: Porcentaje de profesoras asesoradas que aplican

prácticas pedagógicas mejoradas

2. Definición: Mide el porcentaje de profesoras de escuelas primarias bilingües que aplicanprácticas educativas mejoradas con el enfoque de la Educación Intercultural Bilingüe.




S119 4/20

3. Método de Cálculo: (Número de profesoras de escuelas primarias bilingües que aplicanprácticas educativas mejoradas con el enfoque de la Educación Intercultural Bilingüe/ Totalde profesoras de escuelas primarias bilingües asesoradas)*100





8. Valoración del Indicador: El indicador es pertinente. Sin embargo, la pregunta de laencuesta sobre la que se basa no se apegó a la fórmula establecida. Es probable que elresultado esté sesgado, ya que el instrumento de medición sólo alcanzó al 76% de lamuestra, dejando fuera cuatro de los 15 estados considerados. Tomando en cuenta la tasade no respuesta (13%), este indicador se reduciría a 76%. El cálculo no se llevó a cabopara hombres y mujeres por separado, como lo requiere la MIR, solo se reporta elagregado.


2008 : 725.0

- Indicador 3

1. Nombre del Indicador: Porcentaje de profesores asesorados que aplican

prácticas pedagógicas mejoradas

2. Definición: Mide el porcentaje de profesores de escuelas primarias bilingües que aplicanprácticas pedagógicas mejoradas con el enfoque de la Educación Intercultural Bilingüe.

3. Método de Cálculo: (Número de profesores de escuelas primarias bilingües que aplicanprácticas pedagógicas mejoradas con el enfoque de la Educación Intercultural/ Total deprofesores de escuelas primarias bilingües asesorados)*100





S119 5/20




8. Valoración del Indicador: El indicador es pertinente. Sin embargo, la pregunta de laencuesta sobre la que se basa no se apegó a la fórmula establecida. Es probable que elresultado esté sesgado, ya que el instrumento de medición solo alcanzó al 76% de lamuestra, dejando fuera cuatro de los 15 estados considerados. Tomando en cuenta la tasade no respuesta (13%), este indicador se reduciría a 76%. El cálculo no se llevó a cabopara hombres y mujeres por separado, como lo requiere la MIR, sólo se reporta elagregado.


2008 : 725.0

- Indicador 4

1. Nombre del Indicador: Porcentaje de profesoras asesoradas por el Programa

en mejorar sus prácticas educativas

2. Definición: Mide el porcentaje de profesoras de escuelas primarias bilingües que aplicanprácticas pedagógicas mejoradas con el enfoque de la Educación Intercultural Bilingüe.

3. Método de Cálculo: (Número de profesoras asesoradas en mejorar sus prácticaseducativas/Total de docentes de educación primaria indígena)*100


5. Frecuencia de Medición del Indicador: Mensual

6. Meta del indicador 2008: 60





S119 6/20

8. Valoración del Indicador: Este indicador es pertinente, ya que mide el nivel de avance enel logro del componente correspondiente. También es consistente, claro, y confiable, dadoque sus datos son de fácil recolección y su fórmula no presenta ambigüedades. Suconstrucción depende de que exista un sistema de monitoreo y evaluación que se puedaactualizar mensualmente.


E : 238.3

F : 466.6

M : 356.6

A : 268.3

M : 158.3

J : 210.0

J : 0.0

A : 0.0

S : 191.6

O : 80.0

N : 31.66

D : 131.6

- Indicador 5

1. Nombre del Indicador: Porcentaje de profesores asesorados por el Programa

en mejorar sus prácticas educativas

2. Definición: Mide el porcentaje de profesores de escuelas primarias bilingües que aplicanprácticas pedagógicas mejoradas con el enfoque de la Educación Intercultural Bilingüe

3. Método de Cálculo: (Número de profesores asesorados en mejorar sus prácticaseducativas/Total de docentes de educación primaria indígena)*100




S119 7/20





8. Valoración del Indicador: Este indicador es pertinente, ya que mide el nivel de avance enel logro del componente correspondiente. También es consistente, claro, y confiable, dadoque sus datos son de fácil recolección y su fórmula no presenta ambigüedades. Suconstrucción depende de que exista un sistema de monitoreo y evaluación que se puedaactualizar mensualmente.


E : 176.6

F : 306.6

M : 116.6

A : 171.6

M : 136.6

J : 241.6

J : 0.0

A : 0.0

S : 173.3

O : 58.33

N : 40.0

D : 118.3

Principales 5 Indicadores de Gestión




S119 8/20

- Indicador 1

1. Nombre del Indicador: Porcentaje de docente satisfechos con la asesorías

2. Definición: Porcentaje de profesores y profesoras satisfechos en recibir asesoría.

3. Método de Cálculo: (Número de profesores y profesoras que manifiestan estarsatisfechos con las asesorías recibidas a través del Programa Asesor TécnicoPedagógico/Total de profesores y profesoras de educación primaria indígena asesoradosque participan en el Programa)*100





8. Valoración del Indicador: Pertinente y relevante, ya que parte de la opinión de losbeneficiarios para determinar si las asesorías cumplen con las expectativas de calidad;además de que su fórmula es clara. Su confiabilidad presenta dos retos: i) su construccióndepende de encuestas a beneficiarios las cuales no siempre son factibles; ii) la percepciónde calidad de las asesorías depende de juicios subjetivos de los beneficiarios lo que puededebilitar su consistencia.


- Indicador 2

1. Nombre del Indicador: Porcentaje de docentes de primaria indígena

incorporados

2. Definición: Mide el porcentaje de Asesores Técnicos Pedagógicos incorporados alPrograma.

3. Método de Cálculo: Número de profesores y profesoras de educación primaria indígenaincorporados como Asesores Técnico Pedagógicos/ Total de Asesores TécnicoPedagógico autorizados)*100




S119 9/20



6. Meta del indicador 2008: 93.8


8. Valoración del Indicador: Este indicador es pertinente y relevante, ya que mide el avancede las actividades de incorporación del Programa. Su fórmula es clara y su construcción esconfiable, dado que se alimenta de registros derivados de los procesos operativos.


- Indicador 3

1. Nombre del Indicador: Porcentaje del costo de las asesorías realizadas

2. Definición: Este indicador mide las asesorías realizadas por el Asesor TécnicoPedagógico y su costo en relación al costo de las asesorías programadas.

3. Método de Cálculo: (Costo de asesorías realizadas por el Asesor Técnico Pedagógico/Costo de asesorías programadas conforme a las Reglas de Operación)*100





8. Valoración del Indicador: Este indicador constituye una medida clara del avance en laejecución del presupuesto destinado a pagar las asesorías brindadas por el Programa. Sinembargo, la definición del indicador no corresponde del todo con su fórmula, ya que éstaplantea una media para costear las asesorías. Si se asume que el costo de cada asesoríaes fijo, este indicador representa una medida de cuántas asesorías se llevaron a cabo, conrelación a cuántas se programaron.




S119 10/20


- Indicador 4

1. Nombre del Indicador: Evaluaciones realizadas

2. Definición: Mide la realización de las evaluaciones programadas

3. Método de Cálculo: (Evaluación realizada del PATP/Evaluación programada del PATPconforme a las Reglas de Operación)*100





8. Valoración del Indicador: Este indicador es pertinente, relevante y claro, dado que reflejauna medida de cumplimiento sobre si se efectuó la evaluación externa requerida por elPrograma. Su construcción se hace a partir de registros administrativos.


a. Existe evidencia de Resultados: Si

1. Tipo de Resultados Documentados 1:

Fuente: Evaluación Complementaria de Percepción de Beneficiarios




S119 11/20

Tipo de Evaluación: Otros Resultados Relevantes

Institución Evaluadora: FLACSO

Nombre del(a) Coordinador(a): Martín de los Heros Rondenil

Año de la Evaluación: 2008

2. Resultados Finales Documentados:

El 87% de los beneficiarios manifestó mejorar su práctica gracias a las asesorías. El PATPcontribuyó a clarificar el enfoque de la Educación Bilingüe y a fortalecer sus estrategias deenseñanza.

3. Califique la evaluación de acuerdo con su rigor técnico y metodológico:

Regular

Valoración de los Resultados/ProductosLas evaluaciones se han focalizado en diseño, y estudios de caso. Sin embargo, no se cuenta con unaevaluación de impacto o de seguimiento, que mida a beneficiarios en al menos dos puntos en el tiempo. Existeuna evaluación de percepción que capta los resultados planteados en la MIR: aplicación de lo aprendido porparte de los beneficiarios, así como su satisfacción con las asesorías, tanto en lo general, como en aspectosparticulares (atributos del ATP, estructura de las asesorías, etc).

Fuentes de Información1.- Evaluación Complementaria. Ejercicio Fiscal 2008. Elaborada por FLACSO. 2.- Programa Asesor TécnicoPedagógico Evaluación Externa 2007. Informe Final. Evaluación de Diseño, Consistencia y Resultados.Elaborada por Universidad Pedagógica Nacional. 3.- Evaluación Externa del Programa ATP 2005-2006.Informe Final. Elaborada por Universidad Autónoma Metropolitana Xochimilco.

Comentarios y ObservacionesLa evaluación de percepción a beneficiarios representa un avance en la medición de resultados. Sin embargo,existen algunos retos. En primer lugar, los beneficiarios de la muestra no pudieron ser entrevistados en sutotalidad. Este hecho podría sesgar los resultados. En segundo lugar, los resultados se están basando en laspercepciones de los beneficiarios sobre la utilidad y la calidad de las asesorías recibidas, lo cual constituyenjuicios de valor que podrían no ser comparables entre distintos individuos, siendo esto una fuente potencial desesgo. En tercer lugar, el documento podría tener mayor utilidad si se incluyeran conclusiones y resumenejecutivo y si los resultados se interpretaran de manera más clara. El Programa se vería beneficiado con unaevaluación de impacto para conocer sus avances con respecto al Fin. También se vería beneficiado si sedesarrollan instrumentos de medición periódicos y consistentes, ya que este ejercicio solo se ha llevado a cabouna vez.




S119 12/20

VALORACIÓN GENERAL DE LOS INDICADORES

Valoración de los Indicadores del ProgramaEl indicador de fin se encuentra planteado de manera pertinente. Sin embargo, hasta el momento no se hallevado a cabo una evaluación de impacto por lo que no se puede conocer el efecto en este rubro. Losindicadores de propósito son relevantes, pertinentes y claros, pero no existen instrumentos sistematizados pararecabarlos de manera periódica y consistente. Los indicadores de componentes y actividades presentanatributos deseables, excepto el indicador que mide el costo de las asesorías.

Fuentes de Información1.- Evaluación Complementaria. Ejercicio Fiscal 2008. Elaborada por FLACSO. 2.- Programa Asesor TécnicoPedagógico Evaluación Externa 2007. Informe Final. Evaluación de Diseño, Consistencia y Resultados.Elaborada por Universidad Pedagógica Nacional. 3.- MIR del Programa 2008.

Comentarios y ObservacionesHasta el momento, la matriz se ha focalizado en obtener información de la población objetivo expresada en lasreglas de operación: los docentes que reciben asesorías. El proceso de evaluación se vería beneficiado si seincluye la perspectiva de los ATP, para conocer si cuentan con los insumos apropiados para llevar a cabo susfunciones; y de los padres de familia y estudiantes, para conocer si sus docentes están contribuyendo a elevarla calidad de la educación recibida. Existen retos para reportar los indicadores en la MIR. En especial, elindicador de Propósito tiene qué recabarse a través de encuestas aplicadas a los beneficiarios. Es probableque este indicador esté sesgado, dado que no fueron entrevistados todos los beneficiarios previstos por lamuestra.




S119 13/20

EVOLUCIÓN DE LA COBERTURA

4.1 Población Potencial

a.Se encuentra claramente definida: Si

b.Unidad de medida para la población potencial: Docentes frente a grupo de educaciónprimaria del subsistema de Educación Indígena

c.Cuantificación de la población potencial: 37656

4.2 Población Objetivo


b.Unidad de medida para la población objetivo: Docentes frente a grupo de educaciónprimaria del subsistema de Educación Indígena

c.Cuantificación de la población objetivo: 22594

4.3 Población Atendida


b.Unidad de medida para la población atendida: Docentes frente a grupo de educaciónprimaria del subsistema de Educación Indígena

c.Cuantificación de la población atendida: 20950

Localización de la población atendida:

Entidades sin atender Entidades atendidas




S119 14/20

Municipios atendidos

4.4 Evolución de la Cobertura del Programa:1. Población Atendida / Población Objetivo 2. Población Objetivo/ Población Potencial

Año 2006: 269.2%

Año 2007: 173.8%

Año 2008: 92.72%

Año 2008: 60.0%

Valoración de la Evolución de CoberturaHan existido avances en la definición de la población objetivo con respecto a 2007. En ese año, la poblaciónobjetivo abarcó al 50% de la población potencial. Para el año 2008, esta cifra fue del 60%. También, lasexpectativas de cobertura del Programa se han ajustado a la alza. Mientras que para los años 2006 y 2007, lapoblación atendida fue superior al 100% de la población objetivo, esta cifra fue de 93% en 2008.

Fuentes de Información1.- Plantilla de población atendida para 2008. 2.- Programa Asesor Técnico Pedagógico Evaluación Externa2007. Informe Final. Evaluación de Diseño, Consistencia y Resultados. Elaborada por UniversidadPedagógica Nacional. 3.- Justificación de población potencial para 2008. 4.- Cobertura para 2008.

Comentarios y ObservacionesLa población objetivo y la población potencial se encuentran claramente definidas en las Reglas de Operacióndel Programa. Además, en las evaluaciones revisadas existe evidencia que la población atendida pertenece ala población objetivo. Cabe mencionar que existe variación en la intensidad con la que los beneficiarios recibenasesorías. Mientras que el 45% de los docentes reciben entre una y tres asesoría durante un año, el 55%restante reciben entre cuatro y 30 en el mismo periodo. De igual manera, mientras que el 16% recibe asesoríasde manera individual, el resto las recibe de manera grupal.




S119 15/20

SEGUIMIENTO A ASPECTOS DE MEJORA

a. Existe un documento de trabajo adecuado para atender o mejorar el programa:

Si

b. Principales 5 aspectos susceptibles de mejora contenidos en el Documento de Trabajo

Aspecto 1. El fin y el propósito del PATP no están claramente definidos.

Aspecto 2. No todos los indicadores son adecuados para proveer información eficaz yeficientemente.

Aspecto 3. No se cuenta con estrategias de cobertura a corto, mediano y largo plazo.

Aspecto 4. El Programa prevé la aplicación de una encuesta a los beneficiarios, la cual nose ha aplicado.

Aspecto 5. Algunos supuestos no tienen congruencia con los elementos del resumennarrativo de la MML.

Valoración de los Seguimiento a Aspectos de MejoraLos aspectos se pueden clasificar en tres rubros: Mejorar la definición de los objetivos (a nivel propósito y fin);redefinición de los indicadores de la MIR para incrementar su eficacia y eficiencia, así como sus medios deverificación; y fortalecer la planeación estratégica, en especial, aquellos relacionados con incrementar lacobertura del Programa. Se basan en recomendaciones planteadas por la evaluación externa de 2007 y lasactividades relacionadas son claras y relevantes.

Fuentes de Información




S119 16/20

1.- Programa Asesor Técnico Pedagógico Evaluación Externa 2007. Informe Final. Evaluación de Diseño,Consistencia y Resultados. Elaborada por Universidad Pedagógica Nacional. 2.- Documento de trabajo para2008. 3.- Documento institucional para 2008: Seguimiento de los aspectos susceptibles de mejora derivados delos informes y evaluaciones externas a programas federales 2008.

Comentarios y ObservacionesEn el documento institucional se mencionan los aspectos de mejora relacionados con la redefinición deobjetivos de Fin y Propósito, ue han sido atendidos por el área responsable, basándose en lasrecomendaciones de la evaluación externa, y tomando en cuenta las lecciones aprendidas del Programa. Losindicadores también han sido redefinidos para aumentar su eficacia y eficiencia, y los supuestos de la MML sehan revisado. También, se ha llevado a cabo una encuesta de percepción de los beneficiarios, que eranecesaria para medir el Propósito del Programa. Sin embargo, en el mismo documento se señalanrecomendaciones del evaluador que no se han considerado pertinentes: establecimiento de un planestratégico, puesto que el ejecutor señala contar con un proceso de este tipo mencionado en su ProgramaSectorial; agregar un componente en la MML del Programa, puesto que rebasa los alcances del PATP; asícomo recomendaciones de carácter administrativo y de medición de la eficiencia.




S119 17/20

CONCLUSIONES DE LA EVALUACIÓN

Consideraciones de la Evaluación: El indicador de Fin del Programa ha rebasado la metaplanteada por el área responsable. Sin embargo, hasta el momento no se puede establecer elgrado en el que el mismo ha contribuido a la consecución de tal meta, puesto que no se hallevado a cabo una evaluación de impacto, que compare a las escuelas en donde se recibenlas asesorías de los ATP, contra escuelas que no reciben este beneficio. El Programa cuentacon fuentes de información suficientes para conocer sus niveles de cobertura, avancesoperativos, seguimiento a aspectos de mejora y el alcance de sus metas de Propósito yComponentes. Se cuenta con indicadores adecuados para medir el avance de sus distintosniveles de objetivos planteados en la MIR. Sin embargo, en la MIR solamente se incluye elseguimiento a uno de los dos componentes establecidos en la Matriz de Marco Lógico delPrograma.

Fuente de Información General: 1.- Evaluación Complementaria. Ejercicio Fiscal 2008.Elaborada por FLACSO. 2.- Programa Asesor Técnico Pedagógico Evaluación Externa 2007.Informe Final. Evaluación de Diseño, Consistencia y Resultados. Elaborada por UniversidadPedagógica Nacional.3.-MIR del Programa 2008. 4.- Reglas de Operación. 5.- Documentos deCobertura.

Resumen de Resultados: El Programa no cuenta con evaluaciones de impacto y/oseguimiento a beneficiarios que hagan mediciones en al menos dos puntos en el tiempo.

Fortalezas: El Programa está llegando a casi a la totalidad de la población objetivo y no se hanidentificado errores de inclusión en su cobertura. Por lo general, los beneficiarios seencuentran satisfechos por la asesoría recibida y, en su opinión, están fortaleciendo suscompetencias docentes. En cuanto al proceso de evaluación, el área responsable ha llevado acabo los estudios para estudiar tanto el diseño del Programa, como los resultados del mismo.Además, ha dado puntual seguimiento de los aspectos de mejora.

Debilidades: Hasta el momento, la MIR no incluye indicadores sobre el proceso decapacitación de los ATP. Tampoco existe información sistematizada para conocer si los ATPscuentan con los insumos necesarios para llevar a cabo su labor.




S119 18/20

Conclusiones del Evaluador Externo: El indicador para medir el Fin del Programa se basa enlos resultados de las pruebas ENLACE, obtenidos por las escuelas de educación primariaindígena. Si bien se han observado avances en el logro educativo de dichas escuelas conrespecto a años anteriores, aun no se conoce en qué medida el Programa contribuye a estelogro puesto que no se ha llevado a cabo una evaluación de impacto. El indicador dePropósito, asume que una vez que se ha recibido la asesoría por parte del ATP, cadabeneficiario mejora su práctica docente. En opinión de los beneficiarios, este es un supuestoplausible, puesto que afirman haber fortalecido sus competencias pedagógicas. Sin embargo,podrían existir indicadores con mayor relevancia, como pruebas aplicadas a los docentes, endonde se midan, de manera consistente y periódica, las competencias adquiridas en lasasesorías.




S119 19/20

DATOS DE LA INSTITUCIÓN EVALUADORA

1. Institución Evaluadora: C-230 Consultores, S. C.

2. Nombre del(a) Coordinador(a) de la Evaluación: Lucrecia Santibañez / Raúl Abreu

3. Correo Electrónico: [email protected]

4. Teléfono: 52084429




S119 20/20

Programa Asesor Técnico Pedagógico Dirección General de ...1. Evaluación del Programa Asesor...

Documents

Transcript of Programa Asesor Técnico Pedagógico Dirección General de ...1. Evaluación del Programa Asesor...