Centro de Ciencias Sociales y Humanidades Departamento de Educación

Programa del Sistema Nacional de Formación Continua y Superación Profesional de Maestros de Educación

Básica en Servicio

Informe final de la evaluación externa de diseño del programa

Dra. Guadalupe Ruiz Cuéllar Coordinadora de la evaluación

M. en I. E. Patricia Langford de la Rosa

L. en A.P. Lucía Magdalena Rodríguez Ponce L. en A.P. Elsa del Socorro Ramírez

L. en T. Leonor García Pérez Equipo evaluador

Dra. Margarita María Zorrilla Fierro

Asesora

Aguascalientes, Ags., 24 de julio de 2009

i

Resumen Ejecutivo

Con base en la experiencia acumulada a través de más de diez años por el Programa

Nacional para la Actualización Permanente de los Maestros de Educación Básica en Servicio

(PRONAP), se instaura en México, a partir del presente año, el Programa del Sistema

Nacional de Formación Continua y Superación Profesional de Maestros de Educación Básica

en Servicio (PSNFCSP).

El PSNFCSP pretende avanzar en la descentralización de los servicios de formación

continua que a través de sus diferentes etapas impulsó el PRONAP, y atender los problemas

que aún persisten y que hacen evidente la necesidad de una política de estado que

promueva la articulación en un sistema nacional de las instancias, programas, servicios y

actores involucrados en la profesionalización de los maestros de educación básica del país.

En forma consistente con los hallazgos de estudios nacionales y extranjeros y con las

recomendaciones de política de organismos internacionales, el PSNFCSP reconoce el papel

crucial de los docentes en la mejora de la calidad de la educación básica y asume que una

formación continua pertinente y de calidad es indispensable para contribuir al desarrollo de

las competencias que los cambios sociales, económicos y culturales que caracterizan al

mundo actual, exigen a los maestros.

Este informe presenta la evaluación del PSNFCSP de acuerdo a los Términos de Referencia

para la Evaluación en Materia de Diseño (TR2). De acuerdo a éstos, se examinan temas

centrales del diseño del programa: su contribución al logro de objetivos estratégicos de orden

superior; la calidad de su matriz de indicadores, expresada a través de la claridad, suficiencia

y relaciones de coherencia entre sus distintos componentes; la precisión en la definición de la

población potencial y objetivo del programa; la congruencia entre las Reglas de Operación

(ROP) del programa y su diseño, expresado éste en la matriz de indicadores (MI); y los

escenarios de complementariedad o duplicidad que puede enfrentar el programa dada la

existencia de otros con propósitos similares que presenten algún grado de coincidencia en lo

relativo a la población que pretenden atender.

La pretensión de contribuir al logro de objetivos estratégicos de orden superior (del sector

educativo y del país) está claramente planteada en el PSNFCSP: la formación continua de

los maestros tiene sentido en la medida en que contribuya a mejorar la calidad de la

educación básica. Para ello se necesita desplegar una gama amplia y compleja de servicios

de formación que respondan a las necesidades enfrentadas por maestros que desarrollan su

ii

labor en contextos cada vez más diversos y desafiantes. La apuesta del programa es que, a

través del desarrollo de nuevas competencias, los maestros enriquezcan y mejoren sus

prácticas pedagógicas y esto a su vez, influya en un mayor aprendizaje de sus alumnos y, en

última instancia, en el logro en un nivel satisfactorio, de los propósitos formativos de la

educación básica. Esta es quizá la principal fortaleza del programa y, a la vez, su dimensión

más problemática, ya que su ámbito de impacto, el que puede controlar y sobre el que puede

actuar es, en sentido estricto, el de la formación de los docentes.

El análisis de los instrumentos de planeación y evaluación del PSNFCSP muestra una falta

de congruencia entre sus ROP y su MI. En particular, esta última, refleja sólo en forma

parcial los componentes del programa que están expresados en sus ROP. Esto limita el

aporte de la matriz como herramienta para fortalecer el diseño y operación del programa y

facilitar el monitoreo y evaluación de sus resultados e impactos. Adicionalmente, la matriz

evaluada evidencia diversas limitaciones en su lógica interna que condicionan aun más su

utilidad. En especial, es importante avanzar en la definición de indicadores técnicamente

correctos, además de relevantes, que informen al programa en forma oportuna y suficiente

sobre la medida en que logra sus propios objetivos y contribuye a alcanzar otros.

Un ámbito del programa que sigue requiriendo atención –señalado por la evaluación de

consistencia y resultados del PRONAP– es el relativo a la definición de la población potencial

y objetivo del nuevo programa. Sin duda, garantizar una educación de calidad para todos los

niños y jóvenes que cursan la educación básica, requiere que la oferta de formación continua

sea puesta a disposición de todos los docentes involucrados en su atención. Pero este gran

desafío debe resolverse cada vez más, a través de acciones diversificadas, altamente

sensibles a las distintas necesidades de formación que enfrentan los maestros, por sus

propias características y por las condiciones escolares y extra-escolares en que actúan. La

focalización de los esfuerzos parece también una medida necesaria en aras de contribuir a

enriquecer la oferta educativa en aquellos contextos donde las desventajas asociadas al

origen socio-económico y cultural de los alumnos así lo demanda, desde una perspectiva de

equidad.

Finalmente, la articulación de los esfuerzos en materia de formación continua en un auténtico

sistema nacional requiere acciones coordinadas entre el PSNFCSP y otros programas

federales que comparten con aquél, la pretensión de contribuir a la mejora de la calidad

educativa y que para ello requieren de estrategias de capitación y/o actualización de los

docentes involucrados en su operación.

iii

Índice

Introducción 1

Capítulo 1. Evaluación de diseño 2

Capítulo 2. Principales fortalezas, retos y recomendaciones 38

Capítulo 3. Conclusiones 40

Bibliografía 42

Anexos

Anexo I. Características generales del programa (Formato INV01-07)

Anexo II. Objetivos estratégicos de la dependencia y/o entidad

Anexo III. Entrevistas y/o talleres realizados

Anexo IV. Instrumentos de recolección de información

Anexo V. Bases de datos de gabinete utilizadas para el análisis

Anexo VI. Matriz de indicadores 2008

Anexo VII. Propuesta de matriz de indicadores

Anexo VIII. Nota técnica con los principales conceptos de la matriz de

indicadores. Información original del programa

Anexo IX. Nota técnica con los principales conceptos de la matriz de

indicadores. Sugerencias

Anexo X. Características de los indicadores

1

Introducción Este informe presenta la evaluación de diseño del Programa del Sistema Nacional de

Formación Continua y Superación Profesional de Maestros de Educación Básica en Servicio

(PSNFCSP), instrumento de política que establece los componentes normativos, técnicos y

financieros para la generación de condiciones que permitan la implementación y el desarrollo

del Sistema Nacional.

El documento incluye la presente introducción; tres capítulos sustantivos, el primero

referido a la evaluación de diseño; el segundo a las fortalezas, retos y recomendaciones

identificados por el equipo evaluador y, el tercero, a las conclusiones de la evaluación;

además, se incluyen bibliografía y anexos.

En el primer capítulo, se examinan seis asuntos: a) las características del programa; b)

su contribución a los objetivos estratégicos; c) la matriz de indicadores; d) las poblaciones

potencial y objetivo que intenta atender el programa; e) la vinculación de los objetivos del

SNFCSP con sus Reglas de Operación (ROP), y f) las coincidencias, complementariedades y

duplicidades del programa con otros. En el segundo capítulo se presenta el análisis de las

fortalezas, oportunidades, debilidades y amenazas identificadas en el diseño del programa,

así como recomendaciones para atender y tratar de solventar estas últimas. Las

conclusiones se formulan tanto en relación con cada tema de evaluación establecido por los

Términos de Referencia para la Evaluación en Materia de Diseño, como en referencia al

conjunto, en la forma de una conclusión global sobre el diseño del programa.

El análisis y evaluación de diseño del programa se sustenta fundamentalmente en la

información contenida en las ROP del programa, la página web de la dependencia federal

responsable del programa y la matriz de indicadores (MI) presentada por ésta misma para el

ejercicio fiscal 2009, así como en información adicional obtenida de fuentes documentales

del programa y de los informes de las evaluaciones externas de que fue objeto el PRONAP.

La evaluación ofrece una fotografía del programa en un momento dado, a partir de los

insumos mencionados; por ello, es preciso señalar que su dinamismo y la mejora de algunos

de sus instrumentos de planeación –en especial la MI– no son captados en la evaluación que

aquí se presenta.

Una versión preliminar de este informe fue objeto de retroalimentación por personal de

la Dirección General de Formación Continua de Maestros en Servicio y de la Dirección

General de Evaluación de Políticas, ambas áreas de la Secretaría de Educación Pública.

2

Capítulo 1. Evaluación de Diseño

Características del programa

El Programa del Sistema Nacional de Formación Continua y Superación Profesional de

Maestros de Educación Básica en Servicio (PSNFCSP), dependiente de la Dirección General

de Formación Continua de Maestros en Servicio (DGFCMS) de la Subsecretaría de

Educación Básica de la Secretaría de Educación Pública, empieza a operar en el presente

año, como un esfuerzo “para transitar de un programa para la actualización de maestros a

una política de estado para la profesionalización de los maestros en servicio” (SEP, 2008: 3).

El Sistema Nacional de Formación Continua y Superación Profesional de Maestros en

Servicio se concibe como “un conjunto de instituciones, organismos, servicios, productos y

relaciones, articulados y regulados por la Secretaría de Educación Pública bajo la dirección

de las autoridades educativas estatales, con un alto grado de adaptabilidad a las

necesidades y condiciones locales, que impulsa la profesionalización de los maestros en

activo como una vía para mejorar la calidad y equidad de los servicios de Educación básica

en el país” (DGFCMS, 2008: 37).

El PSNFCSP reconoce los logros indiscutibles del Programa Nacional para la Actualización

Permanente de los Maestros de Educación Básica (PRONAP), a lo largo de los casi 15 años

transcurridos desde su creación. Identifica, a la par, retos para el desarrollo y consolidación

de la política de formación continua en el país, acorde a las nuevas exigencias que plantean

los acelerados cambios que tienen lugar en la sociedad hoy en día.

El programa está sujeto a Reglas de Operación (ROP), publicadas el 31 de diciembre de

2008.

Su Fin es “Mejorar el nivel de resultados de los alumnos de educación básica en las pruebas

estandarizadas nacionales e internacionales (PISA, ENLACE, EXCALE)”. Su Propósito se

plantea como “Maestros con dominio de los elementos teórico-metodológicos para ejercer su

práctica docente”.

El programa ofrece sus apoyos en las 31 entidades federativas del país y el Distrito Federal,

mismo ámbito de atención cubierto por su antecedente, el PRONAP, durante el ejercicio

fiscal anterior.

El PSNFCSP no tiene criterios territoriales o de otro tipo de focalización de los bienes y

servicios que entrega. Define como su población objetivo a los profesionales de la educación

básica en servicio que participen de la oferta y de los servicios de formación continua y

3

superación profesional, y al personal responsable del diseño, desarrollo y operación de estos

servicios conforme a las funciones que desempeñan. Los beneficiarios directos son los

docentes y directivos de educación básica en servicio, los asesores técnico-pedagógicos y

los integrantes de equipos técnicos estatales que operan los servicios de formación continua.

Los apoyos entregados por el programa son en especie (cursos y otro tipo de experiencias

formativas, materiales de estudio, asesoría y apoyo, etcétera), agrupables en torno al

concepto general de “capacitación”.1

Como prácticamente todos los programas federales del sector educativo, el PSNFCSP aspira

a mejorar la calidad de la educación básica que se ofrece en el país, a través de un abanico

complejo y amplio de líneas de acción que apuntan a fortalecer las competencias de

docentes, directivos y asesores técnico-pedagógicos, para que su desempeño profesional

conduzca a la obtención de los resultados esperados en las aulas y las escuelas de México.

Su contribución a este gran propósito es no menor, si se considera que, como lo demuestra

la experiencia de los países con mejores resultados en las evaluaciones internacionales, “la

calidad de un sistema educativo tiene como techo la calidad de sus docentes” (Barber y

Moursher, 2008).

Los beneficiarios no deben pagar de ninguna forma los

apoyos que les entrega el programa, ni adquieren corresponsabilidad alguna al recibirlos.

1 El programa distingue en realidad, varios ámbitos de formación continua o desarrollo profesional del personal docente. De acuerdo con las ROP del PSNFCSP, la capacitación es el proceso mediante el cual los profesionales de la educación adquieren y desarrollan conocimientos y competencias profesionales para atender de manera eficiente las innovaciones del sistema educativo: curriculares, de gestión y tecnológicas. La actualización es el proceso mediante el cual los profesionales de la educación adquieren, amplían o consolidan sus conocimientos y competencias profesionales para estar al día con los nuevos requerimientos de la práctica educativa.

4

1. ¿El problema o necesidad prioritaria al que va dirigido el programa está correctamente identificado y claramente definido? Respuesta: Sí Aunque en ninguno de los documentos revisados hay un apartado que en forma expresa se

identifique como “definición del problema o necesidad prioritaria”, en algunos de ellos se

identifican planteamientos que dan cuenta de la problemática que se pretende atender.

En este sentido, una primera formulación sitúa el problema y necesidad de la formación

continua en el marco de los cambios sociales, económicos y culturales que caracterizan al

mundo actual, los que “plantean nuevos retos a los sistemas educativos y hacen necesaria

una transformación de los roles tradicionales de la escuela y los maestros” (DGFCMS, 2008:

13; SEP, 2008: 3).

La heterogeneidad de la población atendida por el sistema educativo mexicano ofrece otra

dimensión del problema o necesidad que se pretende subsanar a través de la formación

continua, ya que, según se reconoce, los docentes del país “se desenvuelven en entornos

diversos, atienden a niños y jóvenes con características culturales, étnicas, sociales,

religiosas y económicas diferentes que, en consecuencia, demandan de sus profesores

competencias y niveles de especialización que sólo pueden desarrollarse a través de

procesos de formación continua y superación profesional sistemáticos, integrales,

pertinentes, oportunos, con calidad y equidad” (DGFCMS, 2008: 20).

Finalmente, el escaso impacto de las acciones de formación continua de los docentes en su

actuación en el aula y en el aprendizaje de los alumnos a los que atienden, sugiere una

dimensión adicional del problema que el programa pretende resolver: “si bien alrededor de un

tercio de profesores han acreditado a través de un examen nacional de actualización los

conocimientos adquiridos en los Cursos Nacionales de Actualización, los estudios recientes

muestran que el impacto de las acciones de formación continua en el aula y en el aprendizaje

de los alumnos no es el deseable” (ibid).

La mejora de la práctica profesional de los docentes y del aprendizaje de los alumnos

expresan pues las necesidades que el programa pretende atender, a la luz de las

problemáticas señaladas. No es de importancia menor dirimir con la mayor precisión posible

qué actores educativos son la razón de ser del programa, ¿los maestros o los alumnos? Esto

tiene consecuencias para la definición de aspectos centrales de su diseño.

5

2. ¿Existe un diagnóstico actualizado y adecuado, elaborado por el programa, la dependencia o entidad, sobre la problemática detectada que sustente la razón de ser del programa? Respuesta: No El equipo evaluador no identificó la existencia de un diagnóstico sobre la problemática

identificada en respuesta a la pregunta anterior, que caracterice explícitamente las causas,

magnitud y consecuencias del problema; la población específica a la que afecta, y la

situación o contexto institucional. En consecuencia, no se puede afirmar la existencia de un

diagnóstico que sustente la razón de ser del programa, en función de la problemática que

pretende atender.

Sin embargo, es preciso señalar que el programa sí cuenta con un diagnóstico sobre su

propio funcionamiento, sus logros desde que se instauraron en el país en forma sistemática

acciones de formación continua de los maestros de educación básica en servicio; las

limitaciones que aun persisten y los desafíos que se advierten en la actualidad. Así, a pesar

de los avances logrados por el PRONAP a lo largo de los años transcurridos desde su

creación, la dependencia responsable del programa identifica, con base tanto en

diagnósticos internos como en las evaluaciones externas realizadas a ese programa, la

persistencia de problemas de diversa índole que requieren atención; éstos son: la escasa

institucionalización de los procesos de formación continua y superación profesional en las

entidades; una prioridad desigual al tema de la formación continua en las agendas estatales;

la falta de articulación entre las instituciones encargadas de la formación continua; una

operación poco eficiente de las instancias que prestan estos servicios lo que resta unidad y

coherencia a las acciones, proyectos y programas que llevan a cabo y se traduce, en última

instancia, en problemas de calidad y pertinencia de la formación continua; la debilidad de la

oferta formativa para algunos grupos de maestros, niveles y modalidades; la alta movilidad

del personal responsable de la formación continua en las entidades federativas y la

inexistencia de criterios y normas para regular su acceso, permanencia y promoción; la

insuficiencia de recursos humanos, materiales y financieros para la prestación de los

servicios de formación continua, y limitaciones en la participación de diversos actores en

estos procesos debido al carácter endogámico de la formación continua (SEP, 2008;

DGFCMS, 2008). Como es evidente, este diagnóstico es valioso para orientar los esfuerzos y

acciones que el PSNFCSP debe realizar en aras de un mayor desarrollo y consolidación de

la formación continua en el país.

6

3. ¿El Fin y el Propósito del programa están claramente definidos? Respuesta: No En la matriz de indicadores del PSNFCSP se establece como Fin: “Mejorar el nivel de

resultados de los alumnos de educación básica en las pruebas estandarizadas nacionales e

internacionales (PISA, ENLACE, EXCALE)”, y como Propósito: “Maestros con dominio de los

elementos teórico-metodológicos para ejercer su práctica docente”.

De acuerdo a los TR que guían esta evaluación, se entiende por Fin, la “descripción de cómo

el programa contribuye, en el mediano o largo plazo, a la solución de un problema de

desarrollo o a la consecución de objetivos estratégicos de la institución”. El Propósito “es el

resultado directo que se espera alcanzar en la población objetivo como consecuencia de la

utilización de los componentes producidos o entregados por el programa”.

El análisis de estos elementos conforme a las definiciones mencionadas permite apreciar que

el Fin no está claramente definido pues no señala cómo contribuirá el programa a la solución

del problema que se identificó en la respuesta a la pregunta 1; además, sólo aborda una de

las dimensiones problemáticas señaladas (la relativa a la escasa aportación de los esfuerzos

de formación continua de los maestros de educación básica a la mejora de los resultados de

aprendizaje de los alumnos). En este sentido, sería deseable que el Fin integrara las distintas

facetas del problema que el programa pretende atender.

Para valorar la claridad del Propósito hay que considerar, además, los componentes

establecidos por el programa. En la matriz de indicadores aparece uno solo, expresado como

el “fortalecimiento de la formación continua y superación profesional presencial y en línea de

los maestros de educación básica”.

El conjunto de elementos mencionados permite afirmar que el Propósito sí expresa el

resultado directo que se espera alcanzar en la población objetivo mediante la utilización del

componente formulado en la matriz de indicadores. Sin embargo, se sugiere precisar la

noción de “dominio”, mencionando en forma explícita cuál es el nivel de las expectativas del

programa a este respecto: ¿se trata de un dominio mínimo, básico o suficiente? ¿De un nivel

óptimo o esperado? Establecer en forma precisa esta cuestión, contribuirá a definir los

indicadores más adecuados para evaluar el logro del Propósito; para ello podrían tomarse

como referencia los niveles de logro utilizados en las evaluaciones del aprendizaje de los

alumnos: por debajo del básico, básico, medio y avanzado (véase INEE, 2006).

7

4. ¿El Fin y el Propósito corresponden a la solución del problema? Respuesta: No La respuesta a esta pregunta tiene que ser afirmativa si, tanto el Fin como el Propósito

corresponden a la solución del problema.2

El Fin del PSNFCSP, expresado como se ha dicho, en términos de “Mejorar el nivel de

resultados de los alumnos de educación básica en las pruebas estandarizadas nacionales e

internacionales (PISA, ENLACE, EXCALE)”, remite a la tercera dimensión del problema

identificado en la respuesta a la pregunta 1 de esta evaluación. Aunque esto no se menciona

en forma explícita en los documentos del programa, la pretensión de mejorar el nivel de

resultados de los alumnos de educación básica en las evaluaciones externas del aprendizaje

que hoy en día se realizan en el país, tiene como sustento, el reconocimiento del nivel

insatisfactorio de logro que revelan en forma consistente esas evaluaciones y el escaso

impacto que parece posible atribuir a las acciones de formación continua de los docentes. De

esta suerte, el Fin expresa la intención de contribuir a una de las dimensiones problemáticas

identificadas.

Como se argumenta enseguida, ambos elementos

contribuyen sólo parcialmente a la solución del problema identificado en la respuesta a la

primera pregunta de esta evaluación.

El Propósito, por su parte (“Maestros con dominio de los elementos teórico-metodológicos

para ejercer su práctica docente”), puede ser relacionado con la primera dimensión

problemática identificada en los propios planteamientos del programa, esto es, la necesidad

de poner al día las competencias de los profesionales de la educación, ante las nuevas

exigencias al sistema educativo, las escuelas y los docentes, que derivan de cambios en

todos los órdenes del mundo actual. Sin embargo, la formulación del Propósito no recoge

esta preocupación. El dominio de elementos teórico-metodológicos para el ejercicio de la

práctica docente es, por así decirlo, atemporal; no sitúa –en congruencia con la problemática

expresada–, la necesidad de actualizar y ampliar, ante las nuevas exigencias, las

competencias profesionales de los profesores.

Finalmente, la problemática que deriva de la diversidad de condiciones en que se

desenvuelven profesionalmente los maestros y los retos que esta situación plantea

específicamente a la formación continua, no se atiende ni a través del Fin ni del Propósito del

programa. 2 De acuerdo a lo establecido en el documento Criterios generales para dar respuesta a las preguntas de la evaluación de consistencia y resultados y de diseño 2007 de los programas federales

8

5. ¿El programa cuenta con evidencia de estudios o investigaciones nacionales y/o internacionales que muestren que el tipo de servicios o productos que brinda el programa es adecuado para la consecución del Propósito y Fin que persigue el programa? De no ser así, el evaluador deberá investigar y, de existir, presentar dicha evidencia. Respuesta: Sí Como se ha venido señalando en este informe, a través de su Propósito, el programa

pretende tener impacto en el dominio de los maestros para el ejercicio de su práctica

docente, mientras que a través de su Fin, aspira a mejorar los resultados de aprendizaje de

los alumnos.

En relación con este último, el programa reconoce que la mejora de los resultados educativos

es producto de diferentes factores; pero también da cuenta al menos de una evidencia

relacionada con lo que indaga esta pregunta. Así, un estudio sobre las condiciones para el

desarrollo de competencias lectoras y de escritura en el aula, encontró diferencias entre los

grupos de alumnos según si contaban o no con recursos, materiales de apoyo y maestros

acreditados en un Curso Nacional de Actualización (Reimers, 2006 en DGFCMS, 2008).

Por otro lado, las evaluaciones externas de que ha sido objeto el PRONAP, programa

antecedente del PSNFCSP, avalan desde diferentes perspectivas la contribución de los

servicios brindados por el programa a la consecución de su Propósito y/o Fin:

“El análisis realizado nos plantea la Formación Continua como un proceso optimista con

avances significativos y con una plataforma de docentes a lo largo de todo el país que han

fortalecido sus capacidades, saberes y tecnologías propias” (OEI, 2007: 115).

En la encuesta realizada por Ipsos-Bimsa (2006) se pidió a los maestros encuestados que

dieran su opinión sobre la efectividad de diferentes iniciativas de actualización para ayudar a

los maestros a mejorar el aprendizaje de sus alumnos. Más de cuatro de cada diez

profesores consideraron que los Talleres Generales de Actualización, los Cursos Nacionales

de Actualización y la asesoría profesional en la escuela, son iniciativas “muy efectivas” (42,

43 y 41% respectivamente). Otros componentes del PRONAP fueron valorados de esta

forma por un número menor de docentes.

Evidencia adicional es proporcionada por trabajos de investigación realizados en el país

(véase por ejemplo: Flores, 2002; Ventura, 2006) y por las propuestas de política educativa

de organismos internacionales (véase UNESCO, 2007).

9

6. Con base en los objetivos estratégicos de la dependencia y/o entidad que coordina el programa, ¿a qué objetivo u objetivos estratégicos está vinculado o contribuye el programa?* El objetivo general de la dependencia que coordina el programa es “Regular los servicios de

formación continua, ampliando las posibilidades de todas y todos los profesores de acceder a

una formación permanente de alta calidad, con el concurso de actores competentes

interesados en contribuir a la actualización de los docentes en el marco del artículo 3º

constitucional y la Ley General de Educación”. Los objetivos específicos son tres: “1.

Promover en cada entidad federativa el desarrollo y la consolidación de las condiciones

normativas, técnicas financieras y materiales que aseguren la prestación regular,

permanente, con equidad y alta calidad de servicios de formación continua para los

colectivos docentes y los profesores de educación básica; 2. Impulsar el desarrollo de

opciones diversificadas y pertinentes de formación continua dirigidas a los maestros –en lo

individual– y a los colectivos docentes de las escuelas de educación básica; y, 3. Promover

entre los maestros de educación básica la acreditación de sus conocimientos a través de los

Exámenes Nacionales para Maestros en Servicio”.

El PSNFCSP contribuye tanto al objetivo general como a los específicos de la DGFCMS

descritos en su página web. Esto se afirma con base en la identificación y análisis de sus

ámbitos de actuación, enumerados en las ROP del programa, más que en los elementos

hasta aquí considerados (Fin y Propósito), que dan cuenta sólo en forma parcial de los

alcances del programa.

Así, la coordinación y operación de los servicios de formación continua y superación

profesional en las entidades federativas del país es un ámbito de actuación del programa que

se relaciona directamente con el objetivo general de la dependencia, al igual que la

construcción de las condiciones institucionales necesarias para la instauración del sistema de

formación continua y superación profesional a nivel estatal, ámbito que también contribuye al

logro del primer objetivo específico.

El ámbito de actuación identificado como “articulación de una oferta con calidad, pertinencia,

relevancia y equidad” se vincula asimismo con el objetivo general de la dependencia y con su

segundo objetivo específico. Finalmente, el ámbito relacionado con la organización y

aplicación de los Exámenes Nacionales para la Actualización de Maestros en Servicio

(ENAMS), se vincula al tercer objetivo específico de la dependencia.

10

7. Con base en lo anterior, analizar y evaluar si existe una relación lógica del programa con los objetivos nacionales del Plan Nacional de Desarrollo.* De acuerdo con la matriz de indicadores del programa, el objetivo del Plan Nacional de

Desarrollo 2007-2012 con el que se vincula es: “reducir la pobreza extrema y asegurar la

igualdad de oportunidades y la ampliación de capacidades para que todos los mexicanos

mejoren significativamente su calidad de vida y tengan garantizados alimentación, salud,

educación, vivienda digna, y un medio ambiente adecuado para su desarrollo tal y como lo

establece la Constitución”.

Por otro lado, la MI también consigna que el objetivo del Programa Sectorial de Educación

2007-2012 con el que se alinea el programa es: “Elevar la calidad de la educación para que

los estudiantes mejoren su nivel de logro educativo, cuenten con medios para tener acceso a

un mayor bienestar y contribuyan al desarrollo nacional”.

La relación lógica que se puede establecer entre el Fin y el Propósito del programa y estos

objetivos es la siguiente: si el Propósito del programa se cumple (“Maestros con dominio

teórico-metodológico para ejercer su práctica docente”), esto contribuye al logro de su Fin

(“Mejorar el nivel de resultados de los alumnos de educación básica en las pruebas

estandarizadas nacionales e internacionales…”). Esta relación es reconocida por la

dependencia responsable del programa cuando afirma que “la experiencia mexicana en

materia de formación de docentes en servicio ha estado en constante transformación,

derivada principalmente de la búsqueda de un Modelo que impacte directamente en los

resultados de los aprendizajes escolares, ya que ha existido la creencia y concepción de que

a mayor formación de los maestros, mejores resultados en el aprovechamiento escolar de los

estudiantes” [subrayado nuestro] (DGFCMS, 2008:19).

De darse estas condiciones, se contribuiría a elevar la calidad de la educación para que los

estudiantes mejoren su nivel de logro educativo. A su vez, esto daría elementos para alcanzar

el objetivo nacional, en particular, lo que se refiere a la ampliación de capacidades para que

todos los mexicanos mejoren significativamente su calidad de vida.

Ahora bien, estas condiciones, si bien necesarias, no son suficientes para que esta secuencia

lógica de factores se pueda garantizar. En particular, entre el Propósito y el Fin del programa

hay muchos más factores que intervienen en la explicación –y mejora– de los resultados

educativos, además del dominio, por parte de los profesores, de los elementos teórico-

metodológicos necesarios para ejercer su práctica docente.

11

8. ¿Las Actividades del programa son suficientes y necesarias para producir cada uno de los Componentes? Respuesta: No La matriz de indicadores del PSNFCMS muestra solamente un componente –que en sentido

estricto no refleja claramente un producto (bien y/o servicio) que el programa entrega a la

población beneficiaria–, así como dos actividades y dos supuestos (uno por cada actividad): Componente: Fortalecimiento de la formación continua y superación profesional, presencial y en línea de

los maestros de educación básica.

Actividades: 1. Capacitar y/o actualizar a los maestros en servicio, en las reformas de la educación básica.

2. Capacitar docentes en el uso educativo de las nuevas tecnologías de la información y

comunicación (TIC).

Supuestos: 1. Los maestros de preescolar y secundaria responden a la convocatoria de capacitación

sobre las reformas de la educación básica.

2. Los maestros de primaria y secundaria acreditan el examen de certificación en el uso

educativo de las TIC.

Las actividades descritas en la matriz de indicadores del programa son necesarias pero no

suficientes, conjuntamente con los supuestos a ese nivel, para producir el Componente. El

fortalecimiento de la formación continua y superación profesional,3 presencial y en línea de

los maestros de educación básica, será, en realidad, el resultado de un conjunto más amplio

de actividades previstas por el propio programa, y que supone, en términos generales,

servicios establecidos y consolidados de actualización, capacitación y superación profesional

en las entidades federativas del país, infraestructura, programas de estudio de diverso tipo,

materiales, personal de apoyo con experiencia, profesionalismo y profesionalidad, y, una

oferta más diversificada y amplia de actualización.4

Además de lo antes señalado, puede advertirse que aunque las dos actividades son muy

semejantes (capacitación en ambos casos), los supuestos son de distinta envergadura;

mientras que en el primer caso se condiciona la actividad a la “acreditación” del examen de

certificación en el uso de las TIC, en el segundo, solamente se plantea que los maestros

“respondan” a la convocatoria de capacitación sobre las reformas de la educación básica, lo

cual es ambiguo porque la respuesta puede entenderse tan sólo como la inscripción o

asistencia al curso, pero no su acreditación.

3 Aunque no se encuentra propiamente una definición del componente, cabe señalar que la cultura de la formación continua es entendida como “la suma de actividades sistemáticas y regulares que les permitan [a los maestros] renovar sus conocimientos y capacidades a lo largo de su ejercicio profesional mediante acciones de actualización, capacitación y superación profesional, enfocadas a la mejora de la práctica profesional y del aprendizaje de los estudiantes”. En opinión del equipo evaluador, el fortalecimiento aludiría a la intención de hacer más sólida esta cultura. 4 En realidad, ello depende de la amplitud con la que se entienda la noción de “fortalecimiento”.

12

9. ¿Los Componentes son necesarios y suficientes para el logro del Propósito? Respuesta: No El Componente resulta sin duda necesario para el logro del Propósito, al igual que el

supuesto que tiene vinculado: Propósito: Maestros con dominio de los elementos teórico-metodológicos para ejercer su práctica docente.

Supuesto: Los maestros inscritos a los ENAMS, los sustentan y acreditan.

Componente:

Fortalecimiento de la formación continua y superación profesional, presencial y en línea de los maestros de educación básica.

Supuesto:

Los maestros participan en las distintas opciones de formación continua.

Esto es, si en efecto se logra la participación de los maestros en las distintas opciones de

formación continua que se les ofrezcan, puede aspirarse a que se fortalezca su formación

continua y, en última instancia, alcancen dominio de los elementos teórico-metodológicos

necesarios para ejercer su práctica docente; ahora bien, no sobra señalar que al menos un

supuesto adicional consiste en que la participación en las opciones de formación continua

ofrecidas se traduzca en un aprovechamiento real de los contenidos abordados. El supuesto

asociado al Propósito –que los maestros inscritos a los ENAMS los sustenten y acrediten–

parece ser también un elemento necesario para que éste se logre. Sin embargo, esta última

relación puede ser objeto de cuestionamiento en tanto el dominio de los elementos teórico-

metodológicos requeridos para el ejercicio profesional puede ser alcanzado aun cuando no

se sustenten y acrediten los ENAMS; máxime si, como sucede desde hace algunos años,

estos exámenes no están alineados a cursos estatales o nacionales, o aun estándolo, no se

requiere haber participado en algún curso o experiencia formativa para presentarlos.

Adicionalmente, el hecho de que sólo una tercera parte de los profesores haya acreditado al

menos un examen nacional (DGFCMS, 2008: 20), hace depender de un elemento del

programa cuya eficacia es baja, el logro de su Propósito.

Por otro lado, los distintos elementos analizados son insuficientes para lograr que los

maestros alcancen dominio de los elementos teórico-metodológicos necesarios para su

práctica docente. Al menos un elemento adicional necesario es que la oferta de formación

continua a disposición de los maestros sea en efecto pertinente y de calidad5

5 En la última década, se impartieron 10 mil cursos en todo el país que “jamás abonaron, o con muy escasas excepciones, al desarrollo profesional de los maestros”. Gómez, Julio César. Formación continua de los profesores, clave de la calidad educativa (Entrevista a Alba Martínez Olivé). En Educación 2001, agosto 2006.

para que se

traduzca en un mayor desarrollo de las competencias necesarias para su práctica.

13

10. ¿Es claro y lógico que el logro del Propósito contribuye al logro del Fin? Respuesta: Sí La relación causal entre Propósito y Fin es clara y lógica. Ya se mencionó en respuesta a la

pregunta 7 que este vínculo se sustenta en “la creencia y concepción de que a mayor

formación de los maestros, mejores resultados en el aprovechamiento escolar de los

estudiantes” (DGFCMS, 2008: 19).

Además, esta relación se fundamenta en los hallazgos de estudios internacionales. Al igual

que el programa, la UNESCO/OREALC (2007: 49) reconoce que “el escenario educativo

actual se ha complejizado en directa relación con la profundidad y la velocidad de los

cambios en la sociedad actual… Los docentes deben trabajar en nuevos escenarios, para los

cuales no han sido ni están siendo suficientemente preparados”. Por ello, se debe desarrollar

el profesionalismo y la profesionalidad de los docentes, como “dos grandes dimensiones a

partir de las cuales se configura la identidad de la profesión docente…” (Braslavsky, 2004, en

UNESCO/OREALC, op cit). El profesionalismo alude a la adquisición, a lo largo de la vida, de

competencias cognitivas y pedagógicas para la práctica docente. La profesionalidad se

refiere al cumplimiento responsable de la misión asignada por la sociedad a los docentes.

Uno de los elementos fundamentales para lograrlos es un sistema articulado de formación y

desarrollo profesional permanente (ibid).

Por otro lado, de acuerdo con Barber y Mourshed (2008: 12), “la evidencia disponible sugiere

que el principal impulsor de las variaciones en el aprendizaje escolar es la calidad de los

docentes”. Entre los elementos que contribuyen a elevar la calidad de los docentes, los

autores identifican que los sistemas educativos de los países con mejores resultados en las

evaluaciones internacionales, apuestan fuertemente a la mejora de la instrucción; esto

implica mejorar la interacción entre alumnos y docentes y desarrollar intervenciones que han

mostrado su efectividad: entrenar en práctica en clase, llevar la capacitación docente a las

aulas, desarrollar líderes con mayores capacidades y facilitar la retroalimentación entre

docentes (ibid: 28).

14

11. Considerando el análisis y la evaluación realizados en este punto, ¿la lógica vertical de la matriz de indicadores del programa es clara y se valida en su totalidad? Es decir, ¿la lógica interna del programa es clara? Respuesta: No Fin: Mejorar el nivel de resultados de los alumnos de educación básica en las pruebas estandarizadas nacionales e internacionales (PISA, ENLACE, EXCALE…).

Supuesto: Los maestros participan en procesos de capacitación y/o actualización.

Propósito: Maestros con dominio de los elementos teórico-metodológicos para ejercer su práctica docente.

Supuesto: Los maestros inscritos a los ENAMS, los sustentan y acreditan.

Componente:

Fortalecimiento de la formación continua y superación profesional, presencial y en línea de los maestros de educación básica.

Supuesto:

Los maestros participan en las distintas opciones de formación continua.

Actividades:

1. Capacitar y/o actualizar a los maestros en servicio, en las reformas de la educación básica.

Supuesto:

Los maestros de preescolar y secundaria responden a la convocatoria de capacitación sobre las reformas de la educación básica.

2. Capacitar docentes en el uso educativo de las nuevas tecnologías de la información y comunicación (TIC).

Los maestros de primaria y secundaria acreditan el examen de certificación en el uso educativo de las TIC.

El análisis de los elementos necesarios para responder esta pregunta permite apreciar que la

lógica vertical de la matriz de indicadores del programa es clara en la medida en que puede

establecerse una relación causal entre los diferentes niveles de objetivos (lo cual se aborda

en las respuestas a las preguntas 8 y 9). Esto es, la capacitación y/o actualización de los

maestros en servicio contribuye al fortalecimiento de la formación continua; a su vez, esto

favorece el logro del Propósito, es decir, que los maestros dominen los elementos teórico-

metodológicos necesarios para el ejercicio de su práctica docente. En la secuencia de

relaciones causales que es posible identificar en la matriz de indicadores del programa, el

hecho de que los maestros estén mejor habilitados para la docencia, contribuirá a mejorar el

nivel de resultados de los alumnos de educación básica en las diferentes evaluaciones

externas en que participan. Ahora bien, lo que no se advierte es validez total de la lógica

vertical de la matriz de indicadores, aun cuando el Componente se entienda en los términos

de los indicadores que tiene asociados (maestros capacitados y/o actualizados y

acreditados). En los niveles superiores de objetivos, las actividades y supuestos asociados,

si bien necesarios, no son suficientes para producir el Propósito y Fin por las razones ya

expuestas en respuesta a las preguntas 8 y 9.

15

12. De no ser así, proponer los cambios que deberían hacerse en el diseño del programa y en su lógica interna. Estos cambios deberían reflejarse en la matriz de indicadores definitiva del programa.* Aunque la lógica vertical de la matriz de indicadores es clara, se sugiere una redacción del

Fin en términos que expresen aquello a lo que el programa puede aspirar en forma más

realista, esto es, “contribuir a la mejora en el nivel de aprendizaje de los alumnos de la

educación básica, a través de la formación continua de los docentes en servicio”. El nivel de

resultados de los alumnos de educación básica en las pruebas estandarizadas nacionales e

internacionales (cuya mejora es el Fin propuesto por el programa en correspondencia con

objetivos estratégicos de orden superior) es efecto de una compleja interacción de factores

escolares y extraescolares, como lo muestran los análisis explicativos de los resultados de

aprendizaje en primaria y secundaria realizados por el Instituto Nacional para la Evaluación

de la Educación (véase INEE, 2007a, 2007b y 2007c). Desde luego, y como se señala en

respuesta a la pregunta 10 de esta evaluación, la formación en servicio de los docentes y la

mejora de sus prácticas pedagógicas contribuyen a explicar las variaciones en los resultados

de aprendizaje, pero la mejora de éstos no depende sólo de las variables sobre las que

puede actuar la formación continua.

En cuanto al Propósito, se sugiere que este elemento describa de manera precisa el impacto

o resultado directo que se pretende alcanzar mediante la utilización de los componentes, por

ejemplo: “Los maestros de educación básica dominan los elementos teórico-metodológicos

necesarios para ejercer su práctica docente con calidad, ya que alcanzan al menos el nivel

medio en los ENAMS que sustentan”.

A nivel de Componente se sugiere repensar la manera de formularlo, de suerte que su

progreso sí pueda ser medido u observado. En la versión actual, resulta difícil imaginar cómo

se podrían identificar, niveles crecientes de fortalecimiento de la formación continua.

Se propone reformular el supuesto de la Actividad 1 de forma que se elimine la ambigüedad

que supone la expresión “que los maestros respondan a la oferta de capacitación sobre las

reformas de la educación básica” y se exprese con mayor contundencia la idea de

participación activa (asistencia, logro de objetivos, por ejemplo).

Éstos y otros cambios propuestos a la MI pueden verse en el Anexo VII del presente informe.

16

13. En términos de diseño, ¿existen indicadores para medir el desempeño del programa a nivel de Fin, Propósito, Componentes y Actividades e insumos? Respuesta: No Esta pregunta deberá responderse en forma afirmativa si el Fin, Propósito, Componentes y

Actividades cuentan con indicadores y éstos miden el resultado y/o avance de cada nivel de

objetivos. La matriz de indicadores del PSNFCMS cuenta con indicadores en todos sus

niveles y en su mayoría reúnen las características a que hace alusión la pregunta 14 (con la

que debe ser consistente la respuesta a la que ahora se aborda); sin embargo, la falta de

claridad de algunos compromete su capacidad de medir el resultado y/o avance de cada

nivel de objetivos.

Los indicadores incluidos en la matriz son los siguientes:

Fin

1. Maestros actualizados y/o capacitados para contribuir a una mejor calidad de la

educación de los niños y jóvenes de escuelas públicas. Dimensión: calidad.

Propósito

1. Porcentaje de maestros que acreditan los ENAMS. Dimensión: eficacia.

Componente

1. Tasa de crecimiento de maestros acreditados. Dimensión: eficacia.

2. Porcentaje de maestros capacitados y/o actualizados a través de programas de formación

continua (cursos, talleres diplomados, especializaciones). Dimensión: eficacia.

Actividades

1. Porcentaje de docentes actualizados y/o capacitados en los programas de la reforma de

la educación básica, preescolar y secundaria. Dimensión: eficacia.

2. Porcentaje de docentes de primaria y secundaria capacitados en el uso educativo de las

TIC. Dimensión: eficacia.

17

14. ¿Todos los indicadores son claros, relevantes, económicos, adecuados y monitoreables? Respuesta: No Los criterios con los que un indicador debe cumplir son los siguientes:6

a. Claridad: el indicador deberá ser preciso e inequívoco.

b. Relevancia: el indicador deberá reflejar una dimensión importante del logro del

objetivo.

c. Economía: la información necesaria para generar el indicador deberá estar

disponible a un costo razonable.

d. Monitoreable: el indicador debe poder sujetarse a una verificación

independiente.

e. Adecuado: el indicador deberá aportar una base suficiente para evaluar el

desempeño.

El cuadro que aparece enseguida ofrece un resumen del análisis realizado considerando

estas características y cada uno de los indicadores que aparecen en la matriz del programa:

Elementos de la MI

Indicadores Claro Relevante Económico Monitoreable Adecuado

Fin

• Maestros actualizados y/o capacitados para contribuir a una mejor calidad de la educación de los niños y jóvenes de escuelas públicas

No Sí No No No

Propósito • Porcentaje de maestros que acreditan los ENAMS

Sí Sí Sí Sí Sí

Componente

• Tasa de crecimiento de maestros acreditados

No Sí Sí Sí Sí

• Porcentaje de maestros capacitados y/o actualizados a través de programas de formación continua (cursos, talleres diplomados, especializaciones)

Sí Sí Sí Sí Sí

Actividades

• Porcentaje de docentes actualizados y/o capacitados en los programas de la reforma de la educación básica, preescolar y secundaria

Sí Sí Sí Sí Sí

• Porcentaje de docentes de primaria y secundaria capacitados en el uso educativo de las TIC

Sí Sí Sí Sí Sí

En el Anexo X de este informe se enlistan los indicadores de la matriz con el análisis por

característica y la justificación del juicio emitido en cada caso por el equipo evaluador.

6 Anexos al Oficio Circular No. 307.A.1593. Anexo Dos: Metodología para la elaboración de la matriz de indicadores de los programas presupuestarios de la APF.

18

15. De no ser el caso, la institución evaluadora, en coordinación con el programa, deberá proponer los indicadores faltantes y necesarios para cada ámbito de acción o las modificaciones a los indicadores existentes que sean necesarias.* En el Anexo VII de este informe se presenta la matriz de indicadores propuesta; ésta incluye

sugerencias puntuales de modificación a los indicadores existentes para el caso del

Propósito, el Componente y las Actividades del Programa, de la forma que se indica

enseguida:

Propósito:

• Porcentaje de maestros que acreditan los ENAMS y logran un nivel intermedio o superior

de desempeño, respecto a los maestros que los sustentan.

• Porcentaje de maestros que acreditan los ENAMS y logran un nivel intermedio o superior

de desempeño, respecto a los maestros de educación básica en servicio.

Se sugieren estos dos indicadores a fin de identificar con precisión los desafíos que supone

mejorar las competencias docentes a nivel de la población objetivo del programa, y la medida

en que se avanza en esta dirección.

Componente:

• Porcentaje de maestros atendidos a través de programas de formación continua (cursos,

talleres, diplomados, especializaciones), respecto a los maestros de educación básica en

servicio.

Actividades:

• Porcentaje de docentes actualizados y/o capacitados en los programas de la reforma de la

educación básica, preescolar y secundaria, respecto a los maestros de educación básica

en servicio.

• Porcentaje de docentes de primaria y secundaria capacitados en el uso educativo de las

TIC, respecto a los maestros de educación básica en servicio.

La matriz propuesta incluye también un par de indicadores para el Fin del programa. En este

caso sí se sugiere una reformulación más de fondo de los planteamientos actuales (véase

Anexo VII); se trata de indicadores complejos a un nivel muy agregado y de carácter más

cualitativo que cuantitativo, pero el equipo evaluador considera que ofrecen una

aproximación razonable y prudente a la relación causal que el Fin establece. Se reconoce

también, que éste es el terreno más complejo y desafiante en lo que se refiere al diseño de

instrumentos que permitan monitorear y evaluar los resultados e impactos del programa.

19

16. ¿Los indicadores incluidos en la matriz de indicadores tienen identificada su línea de base y temporalidad en la medición? Respuesta: No El análisis en relación con esta pregunta se realizó para los indicadores existentes; se

responde en forma negativa porque el indicador del Fin no tiene valor de línea base, aunque

todos los demás sí la establecen.

Fin

1. Maestros actualizados y/o capacitados para contribuir a una mejor calidad de la

educación de los niños y jóvenes de escuelas públicas.

El indicador no cuenta con valor de línea base y su frecuencia de medición es anual.

Propósito

1. Porcentaje de maestros que acreditan los ENAMS.

El valor de línea base del indicador es 170,000 maestros y su frecuencia de medición es

anual.

Componente

1. Tasa de crecimiento de maestros acreditados.

El valor de la línea base es 833,550 maestros y la frecuencia de medición del indicador es

anual.

2. Porcentaje de maestros capacitados y/o actualizados a través de programas de formación

continua (cursos, talleres diplomados, especializaciones).

El valor de la línea base del indicador es 450,000 maestros y su frecuencia de medición es

anual.

Actividades

1. Porcentaje de docentes actualizados y/o capacitados en los programas de la reforma de

la educación básica, preescolar y secundaria.

El valor de la línea base del indicador es 155,036 maestros y la frecuencia de medición es

anual.

2. Porcentaje de docentes de primaria y secundaria capacitados en el uso educativo de las

TIC. Dimensión: eficacia.

El valor de línea de base del indicador es 92,425 maestros y la frecuencia de medición es

anual.

20

17. ¿El programa ha identificado los medios de verificación para obtener cada uno de los indicadores? Respuesta: No El análisis en relación con esta pregunta se realizó para los indicadores existentes.

En estricto apego a los criterios generales para dar respuesta a las preguntas de la presente

evaluación,7

Ciertamente, cada indicador consigna un medio de verificación, pero no se precisan las

fuentes de información que se utilizarán para medir los indicadores y verificar que los ámbitos

de acción o nivel de objetivos del programa se lograron. La información contenida en la

matriz de indicadores sólo indica, en algunos casos, que el medio de verificación consiste en

“información proporcionada por la Subsecretaría de Educación Básica”. En otros, la

referencia tampoco es suficientemente precisa (“informes, reportes, expedientes, base de

datos”).

debe concluirse que el programa no ha identificado toda la información relativa a

los medios de verificación correspondientes a los indicadores formulados.

El programa podría avanzar en la definición puntual de los medios de verificación, esto es,

las fuentes de información que se utilizarán para medir los indicadores y para verificar que

los ámbitos de acción o nivel de objetivos del programa se lograron, si se considera que

salvo el indicador asociado a su Fin, los demás son, en principio monitoreables, como se

señala en la respuesta a la pregunta 14. La disposición de la información necesaria depende

en parte de una comunicación adecuada entre las instancias estatales de formación continua

y la federación, así como de la plena operación del Sistema Informático de Registro,

Acreditación y Certificación de los Procesos de Formación Continua y Superación Profesional

de los Maestros de Educación Básica en Servicio, que la dependencia a cargo del programa

refiere en atención a una de las recomendaciones de la evaluación externa del PRONAP

realizada por FLACSO en 2006 (PRONAP, 2008: 9).

7 Anexos al Oficio Circular No. 307.A.1593. Anexo Dos: Metodología para la elaboración de la matriz de indicadores de los programas presupuestarios de la APF.

21

18. Para aquellos medios de verificación que corresponda (por ejemplo encuestas), ¿el programa ha identificado el tamaño de muestra óptimo necesario para la medición del indicador, especificando sus características estadísticas como el nivel de significancia y el error máximo de estimación? Respuesta: No aplica La matriz de indicadores del PSNFCSP no menciona que se utilizarán como medios de

verificación encuestas, por lo tanto no es necesaria la inclusión de información sobre tamaño

de muestras óptimas ni características estadísticas asociadas.

22

19. ¿De qué manera el programa valida la veracidad de la información obtenida a través de los medios de verificación?* No se cuenta con información para dar respuesta a esta pregunta. No es claro, con base en

los contenidos de la matriz de indicadores, qué medios de verificación controla el propio

programa, esto es, los medios internos respecto a los cuales debe hacerse este análisis

según los TR que guían la presente evaluación.

Habría que identificar qué bases de datos aportados por la propia Subsecretaría de

Educación Básica serían útiles para validar la veracidad de la información obtenida a través

de los medios de verificación.

No sobra señalar que la evaluación piloto de procesos 2008 del PRONAP, en particular, de

los procesos operativos de los ENAMS (Zorrilla, Langford y Ruiz, 2009), muestra que en

relación con este componente del programa, hay una valiosa experiencia desarrollada en

materia de registro y validación de las bases de datos de maestros registrados, sustentantes

y acreditados en los exámenes nacionales. Sería deseable recuperar esta experiencia para

el desarrollo de los medios de verificación para los indicadores de otros servicios del

programa.

23

20. ¿Se consideran válidos los supuestos del programa tal como figuran en la matriz de indicadores? Respuesta: No Los supuestos son “factores externos que están fuera del control de la institución

responsable de un programa presupuestario, pero que inciden en el éxito o fracaso del

mismo. Corresponden a acontecimientos, condiciones o decisiones que tienen que ocurrir

para que se logren los distintos niveles de objetivos del programa”.8

Empezando por la segunda interpretación, puede afirmarse que todos los supuestos

constituyen condiciones necesarias en cada nivel de objetivos. Sin embargo, no todos están

por completo fuera del control de la institución responsable del programa y de las acciones

que éste mismo contempla (primera interpretación). La participación o “respuesta” de los

maestros a las distintas experiencias formativas que les son ofrecidas depende centralmente

de su propio interés y motivación para cursarlas, así como de contar con condiciones

propicias. Sin embargo, la acreditación de los ENAMS depende, al menos en parte –y en

conjugación desde luego, con factores personales–, de los recursos que el programa ponga

a disposición de los maestros (cursos, apoyo, materiales, etcétera) para lograr un nivel de

preparación que permita sustentarlos con éxito. Con base en estas consideraciones se

concluye que los supuestos del programa no son válidos.

Dado que la definición

que debe tomarse como referencia para evaluar la validez de los supuestos del programa

incluye dos interpretaciones posibles (la primera, eventos fuera de control del programa; la

segunda, condiciones necesarias para el logro de sus distintos niveles de objetivos), el

análisis muestra la apreciación del equipo evaluador en ambos sentidos.

Todos los supuestos del programa están expresados en términos positivos y, salvo el que

expresa que “los maestros de preescolar y secundaria responden a la convocatoria de

capacitación sobre las reformas de la educación básica”, todos son lo suficientemente

precisos para poder ser monitoreados.

8 Anexos al Oficio Circular No. 307.A.1593. Anexo Dos: Metodología para la elaboración de la matriz de indicadores de los programas presupuestarios de la APF.

24

21. Considerando el análisis y evaluación realizado en este punto, ¿la lógica horizontal de la matriz de indicadores se valida en su totalidad? Respuesta: No Si bien la matriz cuenta con indicadores para cada nivel de objetivos (respuesta a la pregunta

13), la lógica horizontal no se valida en su totalidad debido a que no todos los indicadores

cumplen con los criterios de claridad, relevancia, adecuación, economía y monitoreabilidad

evaluados en la respuesta a la pregunta 14. Por otro lado, y como se señala en respuesta a

la pregunta 17, los indicadores existentes no tienen identificado con precisión su medio de

verificación. Finalmente, y como se argumenta en la respuesta a la pregunta 20, no todos los

supuestos del programa se consideran válidos, dado que no cumplen con los criterios

conforme a los cuales se les evaluó (especificados en la respuesta a esa misma pregunta).

25

22. Si no es así, proponer los cambios que deberían hacerse a la lógica horizontal de la matriz de indicadores (indicadores, medios de verificación y supuestos)* Las modificaciones sugeridas se presentan en la matriz propuesta por esta evaluación

externa; entre otras, se recomienda reformular el Fin y definir de otra forma sus indicadores.

Se plantean también de forma más precisa los medios de verificación a este nivel.

La descripción narrativa del Propósito también es objeto de recomendaciones, al igual que

sus indicadores, fórmulas de cálculo, medios de verificación y supuestos.

Asimismo, se formulan recomendaciones para mejorar la lógica horizontal de todos los

elementos de la matriz asociados al Componente y las Actividades.

La matriz de indicadores que el equipo evaluador propone se ajusta en lo sustancial a la que

fue materia de evaluación. Los cambios se centran en una expresión más sencilla y

técnicamente más sólida de distintos elementos que constituyen la matriz, que pueden ser

retomados en versiones futuras de este instrumento de planeación del programa.

Otros elementos sugerentes para la construcción de una versión mejorada de la matriz se

ofrecen en varias partes de este informe y en conjunto con los que se presentan en la

propuesta, contribuirían a la definición de una matriz que de cuenta en forma más integral, de

la amplitud y complejidad del programa.

26

23. ¿La población que presenta el problema y/o necesidad (población potencial), así como la población objetivo están claramente definidas? Respuesta: Sí De acuerdo con los criterios que complementan los TR que guían esta evaluación, la

población potencial se define como “la población total que presenta la necesidad y/o

problema que justifica el programa y, por ende, pudiera ser elegible para su atención”. La

población objetivo es aquélla “que el programa tiene planeado o programado atender en un

periodo dado de tiempo, pudiendo corresponder a la totalidad de la población potencial o a

una parte de ella”.

Según lo establecido en sus ROP, el PSNFCSP está dirigido a las 32 entidades federativas

del país. Asimismo, la población potencial y objetivo se refieren al mismo universo de

atención, constituido por todos los docentes de educación básica en servicio (docentes y

directivos), asesores técnico-pedagógicos e integrantes de equipos técnicos estatales que

operan los servicios de formación continua.

Año con año, el programa antecedente del que se evalúa, ha programado atender a la

totalidad de la población potencial, convirtiéndola, a la vez, en su población objetivo.

El hecho de que la población objetivo no se defina de manera distinta que la potencial no

significa que no estén claramente definidas (cfr. FLACSO, 2007); sin embargo, la precisión,

delimitación o focalización de la población objetivo constituye un área de oportunidad para

que la oferta formativa del programa sea más eficiente y eficaz.

27

24. ¿El programa ha cuantificado y caracterizado ambas poblaciones, según los atributos que considere pertinentes? Respuesta: No Como se mencionó en la respuesta a la pregunta 23, tanto la población potencial como la

población objetivo del programa se refieren al mismo universo de atención. De acuerdo a las

ROP del PSNFCSP, en 2009 se busca beneficiar a) 1,222,320 maestras y maestros en

servicio (docentes y directivos), b) 41,504 asesores técnico-pedagógicos, y c) 3,771

integrantes de los equipos técnicos estatales que operan los servicios de formación continua

(áreas estatales de formación continua y superación profesional, coordinadores,

bibliotecarios y asesores permanentes de centros de maestros). De esta suerte, lo que se

puede afirmar es que el programa ha cuantificado ambas poblaciones (una sola, en el caso

de este programa), pero no las ha caracterizado, a juzgar por la información disponible.

Es decir, no existen evidencias de que se tengan identificadas características relevantes de

la población potencial y la población objetivo –tanto personales como relativas a sus

condiciones de trabajo y a los desafíos específicos que enfrentan los docentes en relación

con el aprendizaje de sus alumnos– que permitan orientar las acciones del programa en

función de perfiles distintos de la población a la que se pretende atender, pese a que se

reconoce, como fue señalado en respuesta a la pregunta 1, que los docentes del país “se

desenvuelven en entornos diversos, atienden a niños y jóvenes con características

culturales, étnicas, sociales, religiosas y económicas diferentes que, en consecuencia,

demandan de sus profesores competencias y niveles de especialización que sólo pueden

desarrollarse a través de procesos de formación continua y superación profesional

sistemáticos, integrales, pertinentes, oportunos, con calidad y equidad”.

Dado que una de las recomendaciones de la evaluación externa realizada por FLACSO al

PRONAP señala justamente esta carencia, al indicar que “…se precisa de un sistema de

información que permita la construcción de un padrón de beneficiarios que contribuya a la

focalización de las necesidades de formación continua en función de los requerimientos de

aprendizaje de los alumnos de educación básica” (FLACSO, 2007), la dependencia

responsable del programa señaló, en su momento, que dicha recomendación se encontraba

en proceso de atención (PRONAP, 2008). En el marco de esta evaluación de diseño del

PSNFCSP es preciso insistir en la importancia de avanzar en esta dirección, a fin de

responder mejor a las distintas dimensiones de la problemática que el programa pretende

atender.

28

25. ¿Cuál es la justificación que sustenta que los beneficios que otorga el programa se dirijan específicamente a dicha población potencial y objetivo?* Las ROP del programa del PSNFCSP refieren que los profesionales de la educación básica

tienen como propósito fundamental asegurar una educación equitativa y de calidad para

todos los niños y jóvenes mexicanos, lo que ha llevado a reconocer la necesidad de impulsar

políticas y programas de formación continua orientados al desarrollo de los conocimientos y

competencias profesionales necesarios para alcanzar ese propósito.

Pese a que se puede presumir que todos los docentes de la educación básica cuentan con al

menos una experiencia de formación continua dado que hay cursos obligatorios, típicamente

al inicio de cada ciclo escolar, la primera dimensión problemática que el programa pretende

atender –expresada en la respuesta a la pregunta 1–, justifica que los beneficios que otorga

aquél, se dirijan a todos los docentes de este tipo educativo. Es decir, si se reconoce que las

nuevas exigencias a la educación, las escuelas y los docentes, derivadas de los acelerados

cambios que ocurren en la actualidad en todos los órdenes de la vida social, requieren la

puesta al día de las competencias docentes y el desarrollo de nuevas competencias, se

justifica sin lugar a dudas, la necesidad de extender estos beneficios a todos aquellos

docentes que a través de su trabajo garantizan a todos los niños y jóvenes mexicanos, su

derecho fundamental a la educación.

Sin embargo, en alcance a lo señalado en las respuestas a las dos preguntas anteriores, y

en congruencia con lo que esta evaluación identifica como las dimensiones del problema al

que el programa pretende dar solución, la diversidad de condiciones de trabajo que enfrentan

los docentes del país hoy en día, refuerza la importancia de avanzar en la focalización de la

población objetivo y en el establecimiento de prioridades de atención, en función de

necesidades diferenciales de formación continua.

29

26. ¿La justificación es la adecuada? Respuesta: Sí Como se ha señalado en otras partes de este informe, los docentes enfrentan hoy en día la

necesidad de desarrollar nuevas competencias para su ejercicio profesional: Al maestro, en sus diversas funciones, se le exigen nuevas responsabilidades educativas en el trabajo

con los estudiantes: que promueva competencias para la ciudadanía, que incorpore al aula las

Tecnologías de la Información y la Comunicación con fines educativos, que conozca y aplique las

nuevas teorías pedagógicas y didácticas, que desarrolle nuevos modelos de gestión del conocimiento

escolar y de interacción con sus colegas y la comunidad educativa.

En el mismo sentido, también de los directores y supervisores escolares se espera que asuman un

liderazgo compartido, que resuelvan los conflictos interpersonales a través de la negociación y el

acuerdo, que desarrollen una visión estratégica y que dominen los procesos de planeación, control y

evaluación educativa. Por su parte, de los asesores técnico-pedagógicos se demanda actualización

permanente, liderazgo académico y compromiso para apoyar la transformación de la escuela en un

espacio que propicie el desarrollo pleno de alumnos y maestros (DGFCMS, 2008: 13).

A estas nuevas demandas a la actuación docente, diversas y complejas, se suman los

desafíos que supone la mejora de la calidad de la educación básica, en particular, de los

resultados de aprendizaje de los alumnos, insatisfactorios para amplios sectores de la

población según lo revelan las evaluaciones externas en la materia (INEE, 2006, 2007b).

Pero, como señala la OCDE (2005, en UNESCO/OREALC, 2007: 52), “la calidad de la

formación de los docentes es uno de los nudos críticos de los sistemas educativos”; este

problema abarca tanto a los procesos de formación inicial como a los de formación continua

o en servicio.

Estos elementos, más el reconocimiento del papel crucial que juegan los docentes en el

aseguramiento de una educación equitativa y de calidad para todos los niños y jóvenes,

hacen evidente la pertinencia de entregar los beneficios del programa a la población

potencial y objetivo que éste ha definido: “… -bajo un criterio de equidad- es necesario que el

sistema educativo proporcione oportunidades a todos los maestros y maestras para su

desarrollo profesional y formación continua, puesto que es forzoso que los niños y jóvenes

puedan ejercer su derecho a una buena preparación intelectual y ética” (Martínez, 2005: 15).

30

27. ¿Los criterios y mecanismos que utiliza el programa para determinar las unidades de atención (regiones, municipios, localidades, hogares y/o individuos, en su caso) son los adecuados? (Señalar principales mecanismos). Respuesta: Sí Las unidades de atención del programa son las Secretarías Estatales de Educación o

equivalentes y para el caso del Distrito Federal la AFSEDF. Para que éstas efectivamente

puedan acceder a los beneficios del programa, es necesario que cumplan en tiempo y forma

con los siguientes requisitos:

a. Entregar a la DGFCMS, durante el primer trimestre del año 2009, el Programa

Estatal de Formación Continua y Superación Profesional de los Maestros de

Educación Básica en Servicio (PEFCSP) 2009-2010.

b. Remitir a la DGFCMS, durante el primer trimestre del 2009, el Catálogo Estatal

de Formación Continua y Superación Profesional.

c. Presentar a la DGFCMS, durante el mes de noviembre de 2009 el Programa

Operativo Estatal de los Exámenes Nacionales para la Actualización de los

Maestros en Servicio 2009-2010.

d. Suscribir el Convenio Marco de Colaboración o los Lineamientos Internos de

Coordinación, según corresponda, con la SEP, para el ejercicio fiscal 2009.

e. Disponer de una cuenta bancaria exclusiva para la administración de los

recursos del PSNFCSP durante 2009.

Los mecanismos son adecuados, ya que en congruencia con el carácter federalizado del

programa, obligan a las unidades de atención a realizar acciones conducentes a lograr uno

de los objetivos específicos del mismo; esto es, “crear, desarrollar y consolidar, en su caso,

el Sistema Estatal de Formación Continua y Superación Profesional de Maestros en

Servicio”. Por otro lado, no se identifican criterios utilizados por el programa para determinar

las unidades de atención.

31

28. ¿Existe información sistematizada y actualizada que permita conocer quiénes reciben los apoyos del programa (padrón de beneficiarios), cuáles son las características socio-económicas de la población incluida en el padrón de beneficiarios y con qué frecuencia se levanta la información? Respuesta: No Existe información sistematizada y actualizada del padrón de beneficiarios potencial (Sistema

de Información de Estadística de Educación Básica, ciclo escolar 2007-2008; Sistema

Nacional de Carrera Magisterial; sistema en línea Plantilla de Personal de los Equipos

Técnicos de Actualización en las Entidades Federativas, 2006), sin embargo, no se cuenta

con información sistematizada sobre quiénes reciben los apoyos del programa, ni sus

características socio-económicas.

Sin embargo, como ha sido señalado ya en respuesta a las preguntas 17 y 24 de esta

evaluación, se encuentra en proceso de diseño e implementación, un sistema de información

que permitirá conocer características de la población beneficiaria del programa. Cabría

señalar, que dada la naturaleza, objetivos y población en la que pretende tener impacto el

PSNFCSP, las características socio-económicas de ésta son menos relevantes que otras

relativas a la formación y trayectoria profesional de los docentes y a sus condiciones de

trabajo, incluyendo, rasgos socio-culturales y socio-económicos de la población a la que

atienden. Esto es, para efectos de focalizar la oferta de formación continua, tanto en lo que

respecta a sus estrategias y servicios, como a sus contenidos, es igualmente importante

sistematizar en un padrón de beneficiarios, información relacionada con las características

socio-económicas y culturales de los docentes y de los contextos en los que trabajan, pues

ello supone demandas diferenciadas y especializadas de formación.

32

29. ¿El diseño del programa se encuentra correctamente expresado en sus ROP o normatividad correspondiente? Respuesta: No El diseño del programa tal como se encuentra formulado en la matriz de indicadores no se

encuentra correctamente expresado en las ROP del programa.9

Además, los indicadores asociados en las ROP al Componente que sí aparece en la matriz

(“Fortalecimiento de la formación continua y superación profesional presencial y en línea de

los maestros de educación básica”), no coinciden en su totalidad.

Éstas no contienen el Fin ni

las Actividades y agregan un componente (“Coadyuvar a la erradicación de la violencia hacia

las mujeres en las entidades federativas del país, mediante la implementación de acciones

de capacitación dirigidas a los maestros y maestras de educación básica en servicio”) que no

aparece en la matriz de indicadores.

Indicadores ROP:

a. Porcentaje de maestros capacitados y/o actualizados a través del Curso Básico

de Formación Continua.

b. Porcentaje de maestros capacitados y/o actualizados a través de programas de

formación continua (cursos, talleres, diplomados, especializaciones).

Indicadores MI:

a. Tasa de crecimiento de maestros acreditados.

b. Porcentaje de maestros capacitados y/o actualizados a través de programas de

formación continua (cursos, talleres, diplomados, especializaciones).

En realidad, las ROP del programa refieren en forma más adecuada la amplitud y

complejidad del programa que lo que se logra advertir en el diseño expresado en su matriz

de indicadores. La MI es una herramienta que tiene como propósito favorecer la coherencia,

viabilidad y evaluabilidad de un programa; su elaboración permite introducir criterios de rigor

científico en su formulación. Por ello, es crucial que el diseño del programa cumpla con las

condiciones establecidas desde esta metodología y de cuenta, lo más integralmente posible,

de la concepción global del programa y de los aspectos establecidos en sus ROP o en la

normatividad que orienta su operación.

9 Para responder esta pregunta se consideró únicamente lo establecido en el punto 8.3 Indicadores de Resultados de las ROP.

33

30. ¿Existe congruencia entre las ROP o normatividad aplicable del programa y su lógica interna? Respuesta: Si El Fin y el Propósito del programa especificados en la matriz de indicadores son congruentes

con los objetivos expresados en las ROP. Aunque no están formulados de idéntica forma en

uno y otro documento, el objetivo general contenido en las ROP (“Contribuir a elevar el logro

educativo de los alumnos de educación básica…”), apunta en la misma dirección que el Fin

de la matriz de indicadores (“Mejorar el nivel de resultados de los alumnos de educación

básica…”). Por otro lado, el Propósito (“Maestros con dominio de los elementos teórico-

metodológicos para ejercer su práctica docente”), está menos claro en las ROP, pero puede

relacionarse con el objetivo específico que establece “Promover la profesionalización de los

maestros de educación básica en servicio, mediante acciones de formación continua y

superación profesional, conforme a las prioridades educativas nacionales”.

Ahora bien, el Componente del programa especificado en la MI (“Fortalecimiento de la

formación continua y superación profesional, presencial y en línea de los maestros de

educación básica”) es lo suficientemente amplio –y a la vez ambiguo– como para establecer

relación de congruencia con los bienes y servicios especificados en las ROP (coordinación y

operación de los servicios de formación continua y superación profesional en las entidades;

articulación de una oferta con calidad, pertinencia, relevancia y equidad, etcétera).

Finalmente, las Actividades del programa especificadas en la MI, no aparecen expresadas

textualmente en las ROP; sin embargo, puede entenderse que quedan cubiertas en el ámbito

de actuación del programa denominado “Formación continua y superación profesional de

maestros de educación básica en servicio”, que se refiere a las acciones relacionadas con la

coordinación y operación de los servicios de formación continua y superación profesional,

con base en las prioridades educativas nacionales”, entre las que se encuentra, sin duda, por

lo menos la capacitación y actualización de los maestros en servicio en las reformas de la

educación básica.

34

31. Como resultado de la evaluación de diseño del programa, ¿el diseño del programa es el adecuado para alcanzar el Propósito antes definido y para atender a la población objetivo? Respuesta: Sí En términos generales el diseño del Programa presenta evidencias que permitirían alcanzar

al Propósito, ya que el Componente descrito en la matriz de indicadores, “Fortalecimiento de

la formación continua y superación profesional, presencial y en línea de los maestros de

educación básica”, muestra una relación lógica con el Propósito: “Maestros con dominio de

los elementos teórico-metodológicos para ejercer su práctica docente”. En cuanto a la

atención a la población objetivo, como ya se mencionó, se refiere a la población potencial

constituida por los docentes de educación básica de las entidades federativas que se

incorporen al PSNFCSP, y que decidan participar de la oferta y los servicios de formación

continua y superación profesional.

Esta congruencia general no obsta para que se atiendan las precisiones a que se ha venido

haciendo referencia y se mejore la lógica interna del diseño, de manera particular en lo que

se refiere al Fin, ya que no se puede garantizar que un mayor número de docentes

acreditados en los ENAMS traiga consigo en forma automática, mejoras en los niveles de

resultados de los alumnos de educación básica en pruebas estandarizadas.

35

32. ¿Con cuáles programas federales podría existir complementariedad y/o sinergia?* La complementariedad y/o sinergia del PSNFCSP con otros programas federales puede

identificarse básicamente, con todos aquellos que para su adecuada operación y el logro de

sus propósitos, incluyen un componente de formación continua y/o asesoría al personal

docente, directivo y de apoyo técnico-pedagógico de la educación básica. Las ROP del

PSNFCSP mencionan expresamente el Programa Escuelas de Calidad, el Programa

Nacional de Lectura, el Programa del Asesor Técnico-Pedagógico y “los relacionados con la

reforma de la educación básica” (SEP, 2008).

Sin embargo, cabe considerar otros que tienen la característica antes señalada:

Enciclomedia, Escuela Segura, Programa para el Fortalecimiento del Servicio de la

Educación Telesecundaria, Programa de Actualización al Magisterio para Prevenir la

Violencia hacia las Mujeres y Carrera Magisterial.

De éstos, como se señala en la evaluación externa del PRONAP realizada en 2008 por

FLACSO, la vinculación o relación de complementariedad más fuerte se ha establecido con

Carrera Magisterial, pues este programa “ha fungido como uno de los principales, si no es

que el más importante incentivo para la actualización de los docentes de educación básica

del país” (FLACSO, 2008). Dicha instancia evaluadora sugiere “la realización de una

evaluación que de cuenta del impacto que ha tenido este programa [Carrera Magisterial] en

el PRONAP y, a partir de este análisis que ofrezca evidencias verificables, replantear esta

relación entre ambos programas con el fin de coadyuvar al mejoramiento de la calidad

educativa” (op cit).

Este planteamiento sigue siendo válido para el caso del PSNFCSP; más aun si se considera

que su singularidad radica justamente en la pretensión de constituir un sistema nacional de

formación continua y superación profesional de los maestros de educación básica en

servicio, que integre y articule “instituciones, organismos, servicios, productos y relaciones”

(DGFCMS, 2008: 37).

Conseguir una relación virtuosa entre el nuevo programa y Carrera Magisterial, en particular,

es una tarea de gran complejidad que supone entre otros factores, tratar de armonizar, si ello

es posible y contribuye a la mejora de la calidad educativa, o bien, a independizar, las

distintas razones que llevan a los docentes a participar en uno y otro programa.

36

33. ¿Con cuáles programas federales podría existir duplicidad?* Paradójicamente, los mismos programas con los que el PSNFCSP puede establecer

relaciones de sinergia y complementariedad, presentan el riesgo de duplicidad por la razón

señalada en la respuesta a la pregunta anterior. Aunque podría argüirse que algunos de esos

programas focalizan de manera mucho más precisa su población objetivo para efectos de la

formación en servicio, lo cierto es que también desarrollan acciones de capacitación y

actualización a través de equipos técnicos estatales cuya labor podría ser realizada en forma

más eficiente y eficaz, si se lograra una adecuada articulación entre aquéllos y el PSNFCSP,

esto es, el programa de formación continua por excelencia.

La evaluación externa de FLACSO recoge algunas preocupaciones en este sentido, a partir

del análisis realizado a los Programas Rectores Estatales de Formación Continua de varias

entidades: “encontramos que en los diagnósticos de varias entidades se hace referencia a la

duplicidad, falta de vinculación, carga excesiva de trabajo, e inclusive, obstaculización que

representan la diversidad de programas federales, y también estatales, que existen en cada

estado de la República” (FLACSO, 2008).

Como sustento a esta apreciación, la evaluación externa mencionada (op cit) cita algunos

ejemplos textuales que apuntan a la misma idea: “Existen distintos programas educativos

que desarrollan actividades de apoyo y asesoría académica al profesorado de educación

básica en la entidad. Entre ellos se encuentran el PEC, el PAREIB, el PNL y el PRONAP…

[Éstos] mantienen equipos técnicos para el desarrollo de tareas de asesoría específicas que

emanan de sus proyectos de trabajo. [Por lo que] hay una diversidad de grupos de apoyo y

acciones orientadas a mejorar la calidad de la educación y todos, en distintos momentos y

con estrategias diferentes, acceden a los maestros y a la escuela para desarrollar sus planes

de trabajo y desahogar sus metas. Cada uno de ellos tiene un nicho específico de atención,

pero es común que sus actividades y fines se entrecrucen, se traslapen y en ocasiones se

obstruyan” (PREFC Chiapas).

37

34. ¿El programa cuenta con información en la que se hayan detectado dichas complementariedades y/o posibles duplicidades? Respuesta: Sí El programa cuenta con documentos oficiales que identifican, con base en estudios o

investigaciones hechas por el propio programa a nivel estatal, las complementariedades y/o

duplicidades del programa evaluado con otros programas, principalmente federales; es el

caso de los PREFC mencionados en la respuesta a la pregunta anterior.

También se pueden mencionar las evaluaciones externas realizadas al PRONAP (OEI, 2006;

FLACSO, 2008).

38

Capítulo 2. Principales Fortalezas, Retos y Recomendaciones

Nombre de la dependencia y/o entidad que coordina el programa: Dirección General de

Formación Continua de Maestros en Servicio, Subsecretaría de Educación Básica.

Nombre del programa: Programa del Sistema Nacional de Formación Continua y Superación

Profesional de Maestros de Educación Básica en Servicio.

Tema de evaluación

Fortalezas y Oportunidades/ Debilidad o Amenaza Referencia Recomendación

Referencia de la recomendación Fortaleza y Oportunidad

Dise

ño

1. La focalización del programa en la conformación y consolidación del Sistema Nacional de Formación Continua de Maestros y Superación Profesional como una política de estado para la profesionalización de los maestros de educación básica en servicio que favorezca la integración, articulación y unidad de las diversas acciones en la materia.

ROP 2009, página 3 Resumen, página i (párrafos 1 y 2) Informe, páginas 1 (párrafo 1), 2 (párrafo 1) y 40 (párrafo 1)

No aplica

2. La potencialidad del programa para definir una oferta de formación continua pertinente y de calidad, sensible a necesidades específicas de los docentes y los colectivos escolares, en un marco de creciente federalización.

ROP 2009, páginas 3, 6 y 7

3. La línea de desarrollo de la formación continua centrada en la escuela, ámbito que aun requiere de desarrollo en el país, pero que, de acuerdo a las investigaciones, constituye la mejor forma de hacer pertinente la oferta de formación continua.

Informe: pregunta 5, (párrafo 6)

4. La potencialidad del programa para conformar bases de información y registro sobre los servicios de formación continua ofrecidos, los trayectos formativos individuales y de colectivos escolares que retroalimenten al programa sobre su desempeño y den sustento a indicadores que informen sobre su contribución a objetivos de orden superior.

Resumen ejecutivo: página ii (párrafo 1) Informe: preguntas 24 y 28

5. La complementariedad y sinergia que el programa puede establecer con otros que coincidan con el mismo universo de atención y tengan propósitos similares o articulables.

ROP 2009, página 3 Informe: pregunta 32

39

Debilidad o Amenaza

DIS

EÑ

O

1. El programa no define de manera expresa el problema o necesidad que pretende atender, aunque se identifican formulaciones alusivas a ellos, y no cuenta con un diagnóstico actualizado y adecuado sobre la problemática detectada.

Informe: respuesta a la pregunta 1 (párrafo 1)

Realizar, en el marco de las acciones de planeación del programa, un ejercicio tendente a definir con la mayor precisión posible el problema o necesidad que pretende resolver. Esto ayudará a tener muy clara la razón de ser del programa y dará pautas para identificar el tipo y los contenidos del diagnóstico que será necesario elaborar para dar mayor sustento al diseño y operación del programa.

2. El Fin y el Propósito del programa expresan los resultados e impactos que éste pretende pero no se formulan en forma suficientemente clara y precisa, ni ponen de manifiesto la coherencia necesaria entre ellos y su correspondencia con el problema o necesidad que el programa pretende atender.

Informe: respuesta a las preguntas 3, 4, 12 (párrafo 1)

Formular el Fin y el Propósito del programa en forma inequívoca, en función de la problemática cuya atención le da sentido al programa, y cuidando la relación de coherencia entre ambos elementos. Esto contribuirá a identificar y construir los indicadores más pertinentes para informar al programa sobre la medida en que cumple sus objetivos.

3. La matriz de indicadores analizada en el marco de esta evaluación adolece de limitaciones que condicionan su utilidad como instrumento para la planeación, monitoreo y evaluación de los avances y resultados del programa. Además, muestra poca congruencia con sus ROP.

Informe: respuesta a las preguntas 8, 9, 11, 12, 13, 14, 16, 17, 20, 21, 29 y 30

Elaborar una nueva matriz de indicadores que exponga una cuidadosa reflexión sobre las relaciones causales entre sus componentes; de manera especial, formular indicadores pertinentes y técnicamente correctos que contribuyan a dar seguimiento y evaluar los resultados e impactos del programa.

4. El programa carece de sistemas de información que permitan caracterizar a sus beneficiarios potenciales. Esto limita la diversificación de sus acciones, así como el seguimiento de sus resultados e impactos.

Informe: respuesta a las preguntas 23 y 24

Avanzar, en los esfuerzos que ya se realizan a fin de contar con sistemas de información que permitan identificar con claridad las trayectorias formativas de los docentes y de los colectivos escolares. La experiencia que el propio programa tiene en el registro y validación de las bases de datos de los ENAMS, constituye un importante antecedente.

5. La población potencial y objetivo se refieren al mismo universo de atención. No existe una focalización que precise qué grupos de docentes, de manera particular, requieren atención.

ROP 4.1 Cobertura ROP 4.2 Población objetivo Informe: respuesta a las preguntas 23, 25 y 28

Focalizar los esfuerzos del programa para atender prioritariamente a aquellos maestros que por sus condiciones de trabajo y los resultados de sus alumnos, requieren de mayor apoyo en materia de formación continua.

40

Capítulo 3. Conclusiones Conforme a los TR utilizados para esta evaluación, se presentan conclusiones por cada uno

de los temas abordados y una conclusión global sobre el diseño del programa.

1. Características del programa

El PSNFCSP inicia su operación en 2009, dando continuidad a las acciones realizadas

previamente en el marco del PRONAP, con la pretensión expresa de consolidar una política

de estado para la profesionalización de los maestros de educación básica en servicio, que le

de mayor cobertura, alcance y, en especial, capacidad de articulación, integración y unidad

de conjunto a la actuación de las diferentes instancias involucradas en la formación continua

en el país. El programa ofrece su apoyo en las 31 entidades federativas y el Distrito Federal.

2. Contribución a los objetivos estratégicos

De acuerdo a lo descrito en las ROP del programa, se concluye que el PSNFCSP contribuye

tanto al objetivo general como a los específicos de la dependencia que lo coordina; de igual

forma, se advierte congruencia entre los objetivos del programa y la DGFCMS, y los objetivos

nacionales establecidos tanto para el sector educativo como a nivel global, en el Plan

Nacional de Desarrollo 2007-2012. El PSNFCSP pretende contribuir a los propósitos de

mejora de la calidad de la educación, aseguramiento de la igualdad de oportunidades para

todos los mexicanos y ampliación de sus capacidades para que mejore su calidad de vida, a

través de una formación continua de alta calidad, pertinente y equitativa, puesta al servicio de

los maestros de educación básica del país.

3. Matriz de indicadores

El análisis realizado a la MI suministrada por el programa para los efectos de esta

evaluación, concluye que no se valida en su totalidad, ya que no se cumplen diversos

criterios en la definición de sus componentes10

10 Se utiliza aquí el término “componentes” en el sentido de elementos constitutivos de la MI; es importante no confundir con el nivel de Componentes en la jerarquía de objetivos de ella.

(Fin, Propósito, Componentes y Actividades)

y los elementos que tienen asociados (indicadores, medios de verificación, supuestos). En

general, todos los componentes incluidos son necesarios en los distintos niveles en que

están formulados, más no suficientes, lo que limita la lógica vertical de la matriz. En cuanto a

la lógica horizontal, en la MI se incluyen indicadores para todos los niveles de objetivos, pero

no todos evidencian los atributos que les son necesarios, esto es: claridad, relevancia,

adecuación, economía y monitoreabilidad. Por otro lado, no se describen de manera

completa los medios de verificación de los indicadores.

41

4. Población potencial y objetivo

El diseño del PSNFCSP define ambas poblaciones de la misma forma. El universo de

atención está constituido por todos los docentes de educación básica en servicio (docentes y

directivos), asesores técnico-pedagógicos e integrantes de equipos técnicos estatales que

operan los servicios de formación continua en las 32 entidades federativas del país. Aunque

la población está claramente cuantificada, no ha sido caracterizada de acuerdo a atributos

pertinentes que contribuyan a focalizar mejor los servicios que brinda el programa.

5. Vinculación con las ROP

El Diseño del Programa muestra algunas evidencias de vinculación entre el PSNFCSP y sus

ROP 2009. Ejemplo de esto se observa en el mecanismo de acceso a los beneficios del

Programa descrito en las ROP, sin embargo, en ellas no se define el Fin referido en la MI, ni

las actividades. Por otro lado, las ROP mencionan un componente relacionado con la

erradicación de la violencia hacia las mujeres que tampoco se presenta en la MI.

6. Coincidencias, complementariedades y duplicidades

Diversos programas federales dirigidos a las escuelas, colectivos y actores de la educación

básica incluyen componentes de formación continua de los maestros que habrán de

involucrarse en su implementación. Con estos programas el PSNFCSP enfrenta riesgos de

duplicidad, pero también oportunidades de complementariedad. La conjunción de esfuerzos

para el logro de sinergias y el aprovechamiento de los recursos es prioritaria. A través de la

propia Subsecretaría de Educación Básica debe promoverse la coordinación entre todos los

programas dirigidos a las escuelas, pues a pesar de la especificidad de cada uno de ellos,

todos comparten con el PSNFCSP el propósito último de contribuir a la mejora de la calidad

de la educación.

Valoración global A través de esta evaluación de diseño se concluye que el PSNFCSP expresa en sus ROP

una amplia gama de líneas de acción en materia de formación continua de los maestros de

educación básica del país; aprovecha la experiencia acumulada por el PRONAP, pero

pretende avanzar en la atención de problemas que aun persisten. La MI, por su parte, resulta

limitada en relación con las ROP del programa y por lo mismo, refleja de manera insuficiente

la información relativa a éste, lo que condiciona el aporte de esta herramienta de planeación

al propio diseño y operación del programa, a la identificación clara de sus resultados

esperados, y a su monitoreo y evaluación. Condiciona también, la provisión de información

relevante para la toma de decisiones.

42

Bibliografía

Barber, Michael y Mona Mourshed (2008). Cómo hicieron los sistemas educativos con mejor desempeño del mundo para alcanzar sus objetivos. Santiago: PREAL.

DGFCMS (2008). Sistema Nacional de Formación Continua y Superación Profesional de Maestros en Servicio. México: Secretaría de Educación Pública.

Educación 2001 (2008). Dossier Educativo, El Sistema Nacional de Formación Continua y Superación Profesional de Maestros en Servicio. En: Educación 2001, (158).

FLACSO (2008). Evaluación externa 2007. Informe final. Programa Nacional para la Actualización Permanente de los Maestros de Educación Básica en Servicio (PRONAP). México: Facultad Latinoamericana de Ciencias Sociales.

Flores, Fernando (2002). Transformaciones conceptuales y pedagógicas de los profesores de ciencias naturales de secundaria: los efectos de los Cursos Nacionales de Actualización. México: Secretaría de Educación Pública.

Gobierno Federal (2007). Plan Nacional de Desarrollo 2007-2012. México: Gobierno Federal.

INEE (2006). El aprendizaje del Español y las Matemáticas en la educación básica en México. Sexto de primaria y tercero de secundaria. México: Instituto Nacional para la Evaluación de la Educación.

INEE (2007a). Aprendizaje y desigualdad social en México. México: Instituto Nacional para la Evaluación de la Educación.

INEE (2007b). El aprendizaje en tercero de primaria en México. Español, Matemáticas, Ciencias Naturales, Ciencias Sociales. México: Instituto Nacional para la Evaluación de la Educación.

INEE (2007c). Factores escolares y aprendizaje en México. El caso de la educación básica. México: Instituto Nacional para la Evaluación de la Educación.

Ipsos-Bimsa (2006). Encuesta de opinión pública nacional a docentes de educación básica.

Martínez, Alba (2006). Formación continua centrada en la escuela. En: Educación 2001, (135), pp. 7-10.

Martínez, Alba (2005). En busca de una mejor opción para la formación de las maestras y los maestros en servicio. En: Educare Nueva Época, año 1, número 2, pp. 14-17.

OEI. (2007). Evaluación externa del Programa Nacional para la Actualización Permanente de los Maestros de Educación Básica en Servicio 2006. Segunda fase. http://w2k.formacioncontinua.sep.gob.mx/EvaluacionExterna2006/EE2006_PDF/Eval_Final/EE2006_Final.pdf

PRONAP (2008). Seguimiento de los aspectos susceptibles de mejora derivados de los informes y evaluaciones externas a programas federales 2008. Programa Nacional de Actualización Permanente de Maestros de Educación Básica en Servicio. Documento de posicionamiento institucional. http://www.sep.gob.mx/work/sites/sep1/resources/LocalContent/107218/1/For_Posic_PRONAP_151208[1].pdf

43

Reimers, Fernando, coord. (2006). Aprender más y mejor. Políticas, programas y oportunidades de aprendizaje en educación básica en México. México: SEP, FCE-Harvard.

SEP (1993). Ley General de Educación. México: Secretaría de Educación Pública. SEP/SNTE. (2008). Alianza por la Calidad de la Educación. México: SEP. Recuperado de:

Consultado en: http://www.sep.gob.mx/wb/sep1/alianzaporlacalidaddelaeducacion SEP (2008). Reglas de Operación del Programa del Sistema Nacional de Formación

Continua y Superación Profesional de maestros de Educación Básica en Servicio (2008). México: Secretaría de Educación Pública.

UNESCO/OREALC (2007). Educación de calidad para todos: un asunto de derechos humanos. Santiago: UNESCO/OREALC.

Ventura, Oscar (2006). La gestión del conocimiento y su impacto en prácticas educativas innovadoras: el caso del nuevo modelo de formación continua de los maestros en México. México: SEP/UNAM.

Zorrilla, Margarita, Langford, Patricia y Guadalupe Ruiz (Coord.) (2009). Evaluación piloto de procesos 2008 del Programa Nacional para la Actualización Permanente de los Maestros de Educación Básica en Servicio (PRONAP). Informe de evaluación. Mecanoescrito.

Sitios Web consultados: http://formacioncontinua.sep.gob.mx/index.php?option=com_content&view=article&id=51&

Itemid=76. http://formacioncontinua.sep.gob.mx/sites/SistNaldeFCySP/docs/Sistema_Nacional_de_F

CySP.pdf. http://www.coneval.gob.mx/coneval/evaluación.html.