Construyendo un sistema de monitoreo y evaluacin basado en resultados para el desarrollo social

Versin preliminar

Junio 8, 2008

2

Introduccin

La gestin para resultados es un enfoque orientado a mejorar el desempeo de las instituciones pblicas, buscando una mayor eficiencia y efectividad en el uso de los recursos. A travs de la gestin para resultados se persiguen al menos tres objetivos. En primer lugar, orientar las acciones del gobierno en la provisin de bienes y servicios para alcanzar metas cuantificables, de manera eficiente. En segundo lugar, promover la toma de decisiones con base en evidencia. Finalmente, se busca atender las demandas de la sociedad en materia de transparencia y rendicin de cuentas. Este enfoque ha sido utilizado en las ltimas dcadas en distintos pases miembros de la Organizacin para la Cooperacin y el Desarrollo Econmico (OCDE). Desde el ao 2000, ms del 75% por ciento de los pases miembros de la OCDE reportaban utilizar informacin sobre desempeo en los procesos de presupuestacion1. Entre los pases con mayor experiencia se pueden mencionar al Reino Unido con la introduccin desde 1982 del Financial Managment Initiative y Nueva Zelanda con la introduccin (1984) de un sistema de relaciones intra-gubernamentales que consiste en contratos de servicios (purchase agreements), suscritos entre los ministros y los rganos ejecutores dotados de autonoma administrativa, conteniendo trminos de referencia expresados en indicadores de resultados. Posteriormente, en 1993 en Estados Unidos se aprob la Ley de Desempeo y Resultados del Gobierno (Government Performance and Results Act) que procura la instalacin de un sistema presupuestario basado en el desempeo y en la flexibilidad gerencial, el cual concluye con un proceso de informe programtico que se entrega al Congreso para apoyar la discusin presupuestal2. En aos ms recientes existen tambin ejemplos de esfuerzos similares en pases latinoamericanos como Argentina, Colombia y Chile3. Este ltimo constituye uno de los referentes ms importantes a nivel latinoamericano y mundial. Sus orgenes datan del principio de los aos noventa, cuando se inici con un esquema piloto del Plan de Modernizacin de la Gestin Pblica con el objetivo de introducir paulatinamente un esquema de presupuestacin por resultados. El modelo chileno cuenta actualmente con un sistema de gestin ligado al presupuesto que incluye entre sus herramientas el establecimiento de indicadores de desempeo ligados a metas; un sistema de evaluaciones a programas y a nivel institucional; un programa de mejoramiento de la gestin vinculado al pago de incentivos a funcionarios pblicos por desempeo; y un fondo concursable ligado a matrices de marco lgico, que sirve entre otras cosas para que los ministerios (y programas) compitan por financiamiento4.

1 Ver ILPES-CEPAL, Gestin Pblica por Resultados, 2003 2 Shack Yalta, Nelson, Avances en la implementacin de indicadores de desempeo en los organismos pblicos del Per, en ILPES-CEPAL, Gestin Pblica por Resultados, 2003. 3 Ver Banco Mundial y OCDE, Buenas prcticas recientemente identificadas de gestin para resultados de desarrollo, 2005 y May, et.al. Hacia la Institucionalizacin de los Sistemas de Monitoreo y Evaluacin en America Latina y el Caribe, 2006. 4 Ver Guzmn, Marcela, Sistema de Control de Gestin y Presupuestos por Resultados: La Experiencia Chilena, Divisin de Control de Gesin del Ministerio de Hacienda, Chile, 2004

3

En Mxico, SEDESOL ha realizado desde 1999 un esfuerzo por incorporar un enfoque de gestin orientado hacia el logro de resultados y con ello ha hecho hincapi en el desarrollo y fortalecimiento de sus funciones e instrumentos de monitoreo y evaluacin. Inicialmente, este esfuerzo se centr en la evaluacin externa anual de los programas sujetos a reglas de operacin5. A partir del 2004, se promueve la construccin de un sistema de evaluacin y monitoreo basado en resultados. Con el sistema se busca fortalecer el componente de evaluacin con mediciones rigurosas del impacto de los programas, y desarrollar un mecanismo piloto de monitoreo basado resultados. En la actualidad, la Secretara se encuentra lista para iniciar una segunda fase del sistema bajo un nuevo modelo y con un alcance mayor. Para ello, se han identificado importantes desafos transversales en el mbito institucional, tcnico-operativo y de informacin. El presente artculo se divide en cuatro secciones que detallan i) la primera fase del sistema de monitoreo y evaluacin basado en resultados; ii) el cambio en el contexto institucional y normativo; iii) el nuevo modelo para la etapa de expansin y consolidacin, y finalmente, iv) las conclusiones.

I. Construyendo un sistema de evaluacin y monitoreo basado en resultados 2004-2007

Durante mucho tiempo, los programas sociales carecieron de mecanismos de rendicin de cuentas y generacin de evidencia sobre su efectividad. Entre los primeros esfuerzos, an aislados, de cuantificar rigurosamente los beneficios de la intervencin gubernamental se encuentra la evaluacin de impacto del Programa de Educacin, Salud y Alimentacin (PROGRESA) entre 1997 y el 2000. Posteriormente, se introduce de manera ms sistemtica la obligacin de evaluar anualmente los programas sujetos a reglas de operacin y el reporte trimestral de indicadores.

A partir de lo anterior, la SEDESOL solicit al Banco Mundial llevar a cabo un diagnstico sobre los sistemas de informacin existentes y la capacidad institucional de la Secretara, a fin de desarrollar un sistema de monitoreo y evaluacin que permitiera avanzar hacia una gestin basada en resultados.

Dicho diagnstico concluy que efectivamente, la SEDESOL contaba con las bases necesarias para transitar hacia una gestin basada en resultados. Sin embargo, era necesario reorientar, entre otros, los siguientes aspectos:

Vinculacin incipiente entre la entrega de productos/servicios de programas y la medicin de resultados

Abundante produccin de informacin operativa (productos), no necesariamente complementada con informacin sobre resultados (efectos, impactos)

Multiplicidad de sistemas de informacin administrativa, operativa y de gestin Numerosos reportes de indicadores a distintas instituciones externas, sin una

utilidad clara para la gestin de los programas

5 Desde 1999 se establece en el Presupuesto de Egresos de la Federacin la obligacin de llevar a cabo evaluaciones externas anuales a todos los programas sujetos a reglas de operacin.

4

Diseo de sistemas para el reporte de actividades, pero con informacin y un uso limitado para retroalimentar a los encargados de la toma de decisiones

Desvinculacin entre planeacin estratgica, operativa y presupuestal. Necesidad de crear incentivos en los niveles medios jerrquicos para promover

la orientacin a resultados

Con base en este diagnstico se concibi un sistema de evaluacin y monitoreo orientado a apoyar la gestin para resultados, considerando 3 componentes principales: evaluaciones de resultados anuales, evaluaciones de impacto6 y la implementacin piloto de un sistema de indicadores para el monitoreo enfocado a resultados. La conceptualizacin de los tres componentes en un Sistema de Evaluacin y Monitoreo basado en Resultados (SEMBR) traslada el nfasis de la gestin tradicional concentrada en insumos a la consecucin de resultados. La figura 1 muestra la interaccin de los componentes y su alcance, todo ello enfocado a la gestin basada en resultados.

6 Adems, existen estudios complementarios como evaluaciones cualitativas, monitoreo de sostenibilidad de obra pblica y ejercicios especficos de satisfaccin de beneficiarios.

5

Figura 1. Sistema de evaluacin y monitoreo basado en resultados

Evaluacin de resultados anual: Conforme a lo establecido en la normatividad vigente7, cada ao debera realizarse un informe de evaluacin elaborado por un evaluador externo para los programas sujetos a reglas de operacin (ver Tabla 1). El enfoque de la evaluacin era principalmente para la rendicin de cuentas en el ejercicio fiscal correspondiente sobre el cumplimiento de los objetivos de los programas, de las reglas de operacin, y de las metas fsicas y financieras. Adicionalmente, se solicitaba un anlisis de los beneficios econmicos y sociales, cuyo alcance estaba acotado por la periodicidad de la entrega de los informes de evaluacin. Se promovi la retroalimentacin de los resultados de las evaluaciones, a travs del Sistema de Seguimiento a las Evaluaciones Externas en el cual se estableca un plan de trabajo para atender las recomendaciones derivadas de las evaluaciones.

Tabla 1: Evaluaciones Externas Anuales 2004-2007

2004 2005 2006 2007

Programa operados por SEDESOL 7 8 8 11

Programas operados por rganos desconcentrados o entidades sectorizadas

6 8 9 10

Total 13 16 17 21

7 Decreto de presupuesto de egresos de la federacin para el ejercicio fiscal correspondiente y Acuerdo por el que se expiden los requisitos mnimos que las dependencias y entidades de la Administracin Pblica Federal debern considerar para seleccionar a las instituciones acadmicas y de investigacin u organismos especializados, de carcter nacional o internacional, interesados en realizar la evaluacin de resultados de los programas gubernamentales sujetos a reglas de operacin en el ejercicio fiscal 2002 (DOF 30-04-2002).

Impacto

Resultados

Productos

Actividades

Insumos

Mejoras en las condiciones de vida (resultados de largo plazo)

Efectos intermedios de los productos en los beneficiarios (resultados de corto y mediano plazo) Bienes y servicios producidos y ofrecidos por el programa

Tareas y acciones emprendidas en la implementacin del programa

Recursos financieros, humanos y materiales del programa

Evaluacin de impacto

Evaluacin de

resultados y

Monitoreo de indicadores

Mon

itore

o tr

adic

iona

l

Ges

tin

para

resu

ltado

s

6

Evaluacin multi-anual de impacto: Para complementar lo anterior, se realizaron diferentes evaluaciones de mediano y largo plazo con el fin de cuantificar las relaciones causales entre las acciones implementadas por los programas y los cambios en diferentes dimensiones del bienestar de los beneficiarios. A travs de las evaluaciones de impacto, se busc generar evidencia slida sobre la efectividad de distintas intervenciones en la nutricin de los nios, la asistencia escolar, el ingreso de las familias, el acceso a servicios bsicos, entre otros. Estas evaluaciones requieren una mayor inversin en trminos de presupuesto, un nivel superior de especializacin para su anlisis y un mayor tiempo de maduracin de las intervenciones para observar los impactos esperados. Por lo anterior, se realizaron de forma selectiva para programas y acciones de carcter estratgico tales como Oportunidades, Hbitat, Tu Casa, Programa de Apoyo Alimentario, fortificacin de la leche Liconsa, Estrategia de Microrregiones, y acciones de piso firme. Los resultados de estas evaluaciones son pblicos y se han utilizado para informar la toma de decisiones sobre adecuaciones al diseo, expansin de cobertura y continuidad de los programas.

Monitoreo basado en resultados: Aunque se realizaban reportes periodicos de indicadores del avance fsico y financiero de los programas, no se encontraban sistematizados ni tenan una orientacin hacia el logro de resultados. Con base en el diagnstico realizado por el BM, se inici con la implementacin de una fase piloto del componente de monitoreo basado en resultados8. Esta fase incluy capacitacin extensiva sobre la metodologa de marco lgico (MML)9; la construccin de matrices; el diseo conceptual del sistema; y el desarrollo de una plataforma informtica.

Las matrices de marco lgico se elaboraron a travs de talleres participativos con los responsables del diseo, operacin y evaluacin de los programas. El objetivo de dichos talleres fue i) identificar de manera consensuada el objetivo general de cada programa y su correspondiente modelo lgico (i.e. cadena de resultados: actividades, productos, resultados e impactos); ii) definir los indicadores del programa y sus metas; y iii) determinar las fuentes de informacin para el seguimiento de los indicadores. La introduccin de las MML implic una mejora en relevancia y parsimonia de los indicadores.

Una vez identificados los indicadores y establecidas las metas, stos fueron concentrados en un tablero de control10. El tablero presenta la informacin utilizando semforos que indican el avance de los indicadores con respecto a las metas establecidas.

A partir de 2007, la Secretara avanz hacia la definicin y el uso de matrices de marco lgico (MML) en sus 21 programas sujetos a reglas de operacin. Esto signific un paso adicional hacia el mejoramiento y estandarizacin de los procesos de formulacin de

8 En la fase piloto se incluyeron cuatro programas (Opciones Productivas, Coinversin Social, Hbitat y Apoyo Alimentario) con distintos grados de avance institucional en la recopilacin de indicadores y sistemas de informacin. 9 La MML es una herramienta de gestin pblica que permite presentar de forma sistemtica y lgica los objetivos de un programa, las relaciones de causalidad de sus componentes y los factores externos al programa que pueden influir en su consecucin. 10 Un tablero de control o cuadro de mando, es una analoga utilizada en la gestin empresarial para el diseo y operacin de un conjunto de instrumentos que den cuenta de la buena marcha (o no) de una organizacin. De manera ms reciente se ha popularizado la imagen de un semforo que indica las alertas y seales requeridas para la buena gestin.

7

indicadores y metas, y hacia el establecimiento de bases ms slidas para realizar la medicin de resultados de sus programas.

De acuerdo con el planteamiento inicial, una vez concluida la fase piloto del componente de monitoreo, se buscara la incorporacin del resto de los programas de desarrollo social al tablero de control. Si bien, el objetivo de contar con un sistema de evaluacin y monitoreo que apoye la gestin para resultados contina vigente, recientemente se han dado importantes cambios normativos e institucionales a nivel nacional que hacen necesario un replanteamiento del diseo conceptual del SEMBR.

II. Cambios en el marco normativo e institucional

La necesidad de iniciar una segunda fase del SEMBR que involucra un replanteamiento del modelo de orientacin a resultados de la Secretara responde a dos razones principales. La primera est relacionada con la experiencia adquirida a partir de la implementacin piloto del componente de monitoreo. La segunda razn tiene que ver con la necesidad de adaptar el SEMBR a un nuevo contexto normativo e institucional marcado por las reformas introducidas al presupuesto pblico11, la creacin del Consejo Nacional de Evaluacin de la Poltica Social (CONEVAL), as como por la necesidad de adoptar los lineamientos de iniciativas federales actualmente en desarrollo como el Sistema de Evaluacin del Desempeo (SED)12 y el Programa de Mejora de la Gestin (PMG). Hacia mediados de 2007, se introdujo una nueva y clara orientacin desde la SHCP, la SFP, la Presidencia de la Repblica y el CONEVAL para avanzar hacia el establecimiento de un vnculo (nacional y sectorial) entre la planeacin, el presupuesto y la ejecucin de los programas federales haciendo uso de herramientas de monitoreo y evaluacin. En particular, esta nueva orientacin se materializa en la administracin federal a travs de la creacin del SED, con el impulso al PMG, y con base en el Plan Nacional de Desarrollo y de los programas sectoriales. Tanto en los lineamentos de evaluacin como de presupuestacin se plantea la necesidad de contar con un marco de referencia en la gestin que considere los objetivos estratgicos del pas y de los sectores, as como su alineacin y articulacin. Igualmente, se plantea la utilizacin de la informacin del desempeo por parte de las instancias encargadas de programar el presupuesto, y de promover el mejoramiento institucional con base en incentivos de desempeo. A esto se suma el planteamiento de incrementar la rendicin de cuentas, a travs de proveer ms y mejor informacin del desempeo para las discusiones presupuestarias.

11 Ver Ley Federal de Presupuesto y Responsabilidad Hacendaria (DOF 30-03-2006) y su reglamento; Decreto de Presupuesto de Egresos de la Federacin para los ejercicios 2007 y 2008; y Lineamientos para la Programacin Presupuestal 2008. 12 El Sistema de Evaluacin del Desempeo es el conjunto de elementos metodolgicos que permiten realizar una valoracin objetiva del desempeo de los programas, bajo los principios de verificacin del grado de cumplimiento de metas y objetivos, con base en indicadores estratgicos y de gestin que permitan conocer el impacto social de los programas y de los proyectos;

8

En este contexto, a partir de finales del 2007, la SHCP coordin un esfuerzo para operacionalizar la gestin basada en resultados, desde la perspectiva del Sistema de Evaluacin del Desempeo (SED) que tiene entre sus objetivos:

La verificacin y monitoreo del cumplimiento de metas y objetivos, con base en indicadores estratgicos y de gestin que permitan conocer los resultados de los programas

Vincular la planeacin, programacin, presupuestacin seguimiento, ejercicio de los recursos y la evaluacin de las polticas pblicas y los programas presupuestarios.

Esto deriv en la conformacin de las Directrices generales para avanzar hacia el presupuesto basado en resultados y el Sistema de Evaluacin del Desempeo, en las cuales se implanta la matriz de indicadores (o matriz de marco lgico) como una herramienta para la planeacin estratgica de los programas presupuestarios y se realiza un ejercicio para ligar los indicadores de las matrices de todos los programas sujetos a reglas de operacin al presupuesto federal. A travs de una plataforma informtica13, se concentran la totalidad de los indicadores de las matrices, desde el nivel de operacin hasta los de impacto14 (y su vinculacin con los objetivos estratgicos de las dependencias y el Plan Nacional de Desarrollo), a los cuales se les da un seguimiento peridico para verificar el grado de avance que existe en el cumplimiento de las metas asociadas15. Con el objeto de tener un manejo estratgico de la informacin, la SHCP, en coordinacin con cada dependencia, seleccion a partir de las matrices un subconjunto de indicadores clave para el seguimiento presupuestal de los programas. Asimismo, la Presidencia de la Repblica da seguimiento a los indicadores y metas de los programas sectoriales. Este nuevo marco institucional y normativo configura un contexto diferente para el desarrollo del SEMBR. Este contexto contrasta ampliamente con el anterior, basado en un enfoque individualizado de los programas, y particularmente de su operacin. Previamente, no exista un marco de referencia ms amplio que vinculara la planeacin estratgica sectorial y el presupuesto, y no se contaba con mecanismos slidos que incentivaran la demanda y el uso de la informacin del desempeo por parte de la Presidencia, la SHCP, la SFP y el CONEVAL.

III. Un nuevo modelo del SEMBR para la fase expansin y consolidacin 2008-2012

13 Portal Aplicativo de la Secretara de Hacienda (PASH) 14 La matriz de indicadores contempla cuatro niveles de monitoreo de los programas: actividades, componentes, propsito y fin. Los primeros se refieren a las acciones operativas y los bienes o servicios que genera el programa. Los niveles superiores miden los resultados e impactos del programa y su contribucin con los objetivos sectoriales. 15 Peridicamente se reporta el avance en los indicadores de las matrices de todos los programas federales.

9

En respuesta a los cambios institucionales y normativos, se realiz un replanteamiento del SEMBR. En el nuevo modelo se pasa de un enfoque fundamentalmente basado en la operacin de los programas a un esquema ms amplio, centrado en el desempeo agregado del sector desarrollo social. Dicho esquema se fundamenta en la medicin del desempeo a partir de la dimensin estratgica del Programa Sectorial de Desarrollo Social (PSDS), as como de su alineacin con el Plan Nacional de Desarrollo. Bajo este enfoque, el rediseo del SEMBR tiene como objetivo operacionalizar dentro de la SEDESOL la iniciativa del presupuesto basado en resultados y el SED, incorporando sus lineamientos y propsitos. Con este nuevo enfoque se busca consolidar los avances logrados, corregir los problemas encontrados y complementar su alcance, incorporando otras reas de evaluacin de la gestin, incluyendo la dimensin presupuestal. En el replanteamiento del sistema se consideran tres pilares principales: monitoreo basado en resultados, evaluacin basada en resultados y presupuesto basado en resultados (Figura 2). El desarrollo, fortalecimiento e integracin de estos tres componentes establece un mayor balance en los proceso de generacin de informacin del desempeo y facilita su utilizacin dentro de los procesos de toma de decisiones. El monitoreo buscar ser una funcin continua y la evaluacin una actividad selectiva con base en criterios de prioridad de poltica y monto de los recursos asignados, entre otros. Con el componente de monitoreo, se fortalece el seguimiento a la operacin de los programas y sus resultados, y se ampla esta tarea al mbito de las estrategias y planes del sector desarrollo social (PSDS). Con el componente de evaluacin, se avanza en la consolidacin de las metodologas de anlisis de causalidad entre los principales programas operados y coordinados por SEDESOL y sus efectos, adems de incorporar nuevas herramientas como las evaluaciones de consistencia y resultados, indicadores y procesos16. A travs del componente de presupuesto por resultados se introducen mecanismos para asegurar la retroalimentacin de las decisiones presupuestales con la informacin del desempeo proveniente del monitoreo y las evaluaciones, buscando contribuir por esta va al mejoramiento de la calidad del gasto. El balance en la operacin conjunta de estos componentes facilitar y estimular el seguimiento de los resultados agregados de la Secretara, generando incentivos para su mejoramiento continuo. Adicionalmente, este enfoque permite fortalecer la planeacin estratgica dentro de la gestin de la poltica social, y mejorar la rendicin de cuentas de sus resultados tanto internamente, como externamente.

16 Conforme a lo establecido en los Lineamientos generales para la Evaluacin de los Programas Federales de la Administracin Pblica Federal (DOF 30-03-07)

10

Figura 2: Nuevo modelo conceptual del SEMBR.

Objetivos del SEMBR El objetivo general es operacionalizar dentro del sector desarrollo social la iniciativa del presupuesto basado en resultados y la evaluacin del desempeo, bajo un enfoque que busque el logro de las metas sectoriales, a travs de un sistema de evaluacin y monitoreo basado en resultados. Se pretende avanzar en la implementacin y consolidacin del SEMBR como herramienta de gestin pblica que permita: i) realizar un seguimiento integrado al avance fsico y financiero de los programas; ii) establecer un marco unificado, y con base en criterios de prioridad, para el desarrollo de evaluaciones anuales y de impacto que permita identificar el efecto de los mismos en el mejoramiento de la calidad de vida de los beneficiarios; iii) retroalimentar la toma de decisiones sobre la operacin, asignacin de recursos y diseo de los programas; y, iv) facilitar y estimular la gestin de la Secretara en relacin con la planeacin sectorial y nacional.

Objetivos especficos

Establecer un vnculo permanente y progresivo entre los procesos de planeacin, presupuestacin, ejecucin y evaluacin y monitoreo, con base en indicadores seleccionados de productos, resultados e impacto y metas sectoriales de desarrollo

ObjetivosEstratgicos

Estudios yEvaluaciones

Presupuesto porobjetivos

SEMBR

DiseoMML

Avance fsico yfinanciero

IntegracinPlan-Presupuesto

Rendicin decuentas y PMG

Consistenciay ResultadosIndicadores

transversales-Cobertura-Focalizacin-Percepcin

Indicadores yprocesos

Impacto

MonitoreoBasado enResultados

Evaluaci nBasada enResultados

PresupuestoBasado enResultados

Especficas

11

social, con el fin de lograr una mejor alineacin con el Plan Nacional de Desarrollo y el Programa Sectorial.

Articular y balancear las funciones de monitoreo, evaluacin y rendicin de cuentas,

para que contribuyan a orientar la gestin de la Secretara al logro de resultados.

Fortalecer la institucionalidad del Sistema, precisando los papeles y responsabilidades de las diferentes instancias, as como los mecanismos de coordinacin y decisin que se requieran.

Incentivar una nueva dinmica organizacional dentro de la Secretara y entidades

coordinadas, vinculando a las reas responsables de planeacin, programacin y presupuesto, sistemas informticos y evaluacin, con las unidades operativas de los programas y las delegaciones estatales.

Mejorar la calidad, disponibilidad y oportunidad de la informacin de evaluacin y

monitoreo del Sistema con base en una herramienta tecnolgica que permita monitorear el cumplimiento de las metas sectoriales y consolidar la informacin para la toma de decisiones a nivel estratgico y de gestin.

Desarrollar la capacidad de evaluacin y monitoreo de los programas operados y

entidades coordinadas por la SEDESOL para generar informacin confiable y oportuna para la toma de decisiones de programacin y presupuestacin.

Diseo conceptual

El diseo conceptual del SEMBR se estructura en torno a seis componentes bsicos. Como ya se mencion, los tres primeros constituyen los pilares del modelo monitoreo, evaluacin y presupuesto basado en resultados y el resto corresponden a aspectos transversales del sistema: organizacin institucional requerida para respaldar al SEMBR; desarrollo de capacidad institucional en evaluacin y monitoreo; y agenda de informacin.

Monitoreo basado en resultados Con el fin de monitorear el avance en el cumplimiento de los objetivos de SEDESOL establecidos en el Programa Sectorial de Desarrollo Social y el Plan Nacional de Desarrollo se est elaborando un Plan Indicativo Sectorial. Este plan indicativo busca facilitar la alineacin de los programas (a partir de sus matrices de marco lgico individuales) estableciendo metas con lneas de base e indicadores de resultados consistentes con las asignaciones presupuestales. En la actualidad, se cuenta con matrices para 21 programa y alrededor de 470 indicadores: 107 ligados con resultados; 150 referentes a la cantidad, eficiencia y calidad de los bienes y servicios entregados por los programas; y el resto a las actividades necesarias para su produccin. A partir de estos indicadores, se identificaron alrededor de 10 indicadores

12

estratgicos para el seguimiento presupuestal. Asimismo, se monitorean cerca de 20 indicadores prioritarios para el cumplimiento de los objetivos sectoriales, incluidos en el plan indicativo.

Evaluacin basada en resultados

Considerando la importancia en el Programa Sectorial y el Plan Nacional de Desarrollo se est definiendo una agenda de evaluacin 2008-2012 con base en los siguientes criterios, entre otros: i) el monto de recursos pblicos involucrados; ii) el tamao y caractersticas de la poblacin objetivo; iii) la importancia para el sector; iv) el carcter innovador del programa o poltica; y, v) el potencial de aplicacin y replicabilidad de las lecciones derivadas de la evaluacin. Esta agenda definir las acciones de evaluacin del corto y mediano plazo, considerando los distintos tipos de evaluacin: i) evaluaciones del desempeo de los programas sociales (consistencia y resultados); ii) evaluaciones del desempeo de las delegaciones; iii) evaluaciones de impacto para programas estratgicos; y iv) evaluaciones especficas, de procesos e indicadores.

Presupuesto basado en resultados Para que el ejercicio de monitoreo y evaluacin sea completo y robusto, se requiere establecer mecanismos que permitan visualizar los resultados a nivel sectorial y de programa en funcin de la programacin y ejecucin de su presupuesto. Este objetivo es necesario adems para hacer consistente el SEMBR con los lineamientos del Sistema de Evaluacin del Desempeo. Esto implica establecer la correspondencia entre productos y resultados con el presupuesto para establecer un vnculo entre ste y las prioridades del Programa Sectorial. De esta forma se busca que se pueda identificar hacia donde se est destinando el gasto de la SEDESOL y, con base en el monitoreo y las evaluaciones, conocer si se estn obteniendo los resultados esperados con las asignaciones presupuestales en las metas previstas. En este componente del SEMBR, un primer paso ser revisar la clasificacin presupuestal, de corte funcional y contable que actualmente rige la elaboracin del presupuesto y complementarla o ajustarla a la clasificacin programtica asociada a los objetivos del programa sectorial. Este ejercicio busca establecer una secuencia lgica entre el programa presupuestal y los objetivo de la estrategia o plan sectorial, asociando a estos los indicadores, metas y lneas de base en cada nivel. Es importante sealar que la vinculacin con el presupuesto debe ser contextualizada considerando la diferencia entre la temporalidad del ejercicio presupuestal, y los plazos de materializacin de los bienes y servicios, de maduracin de los efectos esperados y su medicin. Mientras que el ejercicio presupuestal es casi inmediato, la construccin de una red de agua puede requerir varios meses, y an ms, la medicin del cambio en la incidencia de enfermedades diarreicas. Adicionalmente, se debe considerar que la relacin

13

presupuesto-resultados no es directa ni automtica, por lo que el SEMBR debe ser utilizado como una herramienta que apoye la toma de decisiones, no la determine.

Agenda de informacin La utilizacin de la informacin para la orientacin estratgica del gasto, la rendicin de cuentas y la retroalimentacin de la gestin para estimular el mejoramiento continuo es uno de los prerrequisitos del SEMBR Esto implica disponer de informacin bsica con atributos de calidad, oportunidad y accesibilidad para todos los programas, a fin de conocer los resultados de la gestin y facilitar la formulacin y la toma de decisiones fundamentadas. Por lo anterior, es importante impulsar una agenda de informacin que contemple por un lado, bases normativas y estndares para la generacin, recoleccin y procesamiento de datos del desempeo, as como mecanismos para el control de su calidad. Por otro lado, buscara definir parmetros de interoperabilidad de las herramientas tecnolgicas existentes, conectividad de las oficinas, entidades y delegaciones y el desarrollo de una plataforma tecnolgica para desplegar el Sistema.

Organizacin institucional Es importante considerar la estructura organizacional para fortalecer la integracin de los procesos de planeacin y presupuesto, y establecer mecanismos de coordinacin para realizar tareas de monitoreo institucional. As mismo, es fundamental generar un marco institucional que asegure que la informacin sobre los resultados del desempeo retroalimente los procesos de toma de decisiones y que garantice la sostenibilidad de estos esfuerzos en el largo plazo.

Desarrollo de la capacidad institucional Con el fin de consolidar en la SEDESOL una cultura de gestin orientada al logro de resultados, es necesario fortalecer la capacidad institucional. Para lograr este objetivo se buscar: i) definir metodologas, incluyendo manuales bsicos para la construccin de indicadores, y la aplicacin de mtodos de evaluacin; ii) divulgar las bases conceptuales, los instrumentos y las herramientas tecnolgicas del Sistema; y, iii) capacitar a los funcionarios pblicos sobre la gestin para resultados y el monitoreo y evaluacin.

IV. Conclusiones

En los ltimos aos, se ha buscado transitar a una gestin de la poltica de desarrollo social orientada al logro de resultados. A partir del 2004, se han sistematizado gradualmente las acciones de evaluacin y monitoreo con el fin de construir un sistema de evaluacin y monitoreo que apoye la gestin para resultados. En una primera etapa, se conceptualiz un sistema con un mayor nfasis en evaluacin y centrado en la gestin individual de programas. Respondiendo a los cambios recientes en el marco normativo e institucional y a las lecciones aprendidas en la primera etapa, se hizo un replanteamiento del modelo. Este

14

modelo busca incorporar una visin del desempeo sectorial; vincular el monitoreo y la evaluacin con el proceso de planeacin y presupuestacin; y explicitar componentes transversales crticos, incluyendo una agenda de informacin y la organizacin y capacidad institucional. Construir una gestin para resultados es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. Requiere generar informacin relevante, oportuna y de calidad que sea utilizada en la toma de decisiones. Es necesario tambin, conformar las bases institucionales que permitan la vinculacin entre las actividades de planeacin, programacin y presupuestacin, ejecucin, y evaluacin. Finalmente, es importante contar con un esquema de incentivos orientado al logro de resultados y mecanismos para garantizar la sostenibilidad de la iniciativa.