La evaluación de programas de capacitación de jóvenes … · 2005-03-09 · CapítuloII. Los...

Documento de trabajo en la serie:Estrategias de educación y de formación para los grupos desfavorecidos

La evaluación de programas decapacitación de jóvenes

desfavorecidos:Una illustración con programas para jóvenes

desempleados en los países del Cono Sur

Claudia Jacinto y María Antonia Gallart

Para obtener un ejemplar de esta publicación, diríjase a laOficina de Difusión de Publicaciones del IIPE

[email protected] catálogo de los publicaciones y documentos del IIPE

se pueden consultar en el sitio Web: http://www.unesco.org/iiep

Co-operation Agency (Sida) has provided financial assistance for the publication of

this bookle Publicación del:Instituto Internacional de Planeamiento de la Educación/UNESCO

7 - 9 rue Eugène-Delacroix, 75116 París

© UNESCO 1998

Instituto Internacional de Planeamiento de la Educación

http://www.unesco.org/iiep

Instituto Internacional de Planeamiento de la Educación http://www.unesco.org/iiep


Estrategias de educación y de formaciónpara los grupos desfavorecidos

La evaluación de programasde capacitación dejóvenes desempleados:

Claudia Jacinto y María Antonia Gallart


Estudio realizado dentro del proyecto IIPE"Estrategias de educación y de formación para los grupos desfavorecidos",

bajo la dirección de Françoise Caillods

Una ilustración en los paísesdel Cono Sur


“Las denominaciones empleadas en esta publicación y la forma

en que aparecen presentados los datos que contiene no implican,

por parte de la UNESCO o del IIPE, juicio alguno sobre la condición

jurídica de ninguno de los países, territorios, ciudades o zonas cita-

dos, o de sus autoridades, ni respecto de la delimitación de sus fron-

teras.

Esta publicación ha sido financiada gracias a la subvención de la

UNESCO y a las contribuciones de varios Estados Miembros de la

UNESCO, cuya lista figura al final de este volumen.”

Composición e impresión en el taller gráfico del IIPE


7 - 9 rue Eugène-Delacroix, 75116 París

© UNESCO Septiembre de 1998



5

INDICE

Página

Presentación de la serie 7

Introduccíon 11

Capítulo I. Enfoques de la evaluación de proyectossociales y de formación laboral 15

CapítuloII. Los nuevos programas de capacitaciónlaboral de jóvenes desempleadosde bajo nivel educativo en América Latinay su evaluación 25

I. Descripción de los programas 27

Características generales de los programas 29

Los tipos de formación 34

La población objetivo 36

II. Estrategias de evaluación empleadaspor los programas 39

Los problemas de la evaluación 39

Una aproximación a la evaluaciónde proceso: los datos acercade la implementación 43

La evaluación de impacto 48

Capítulo III. La evaluación de la evaluación 53

I. Aspectos institucionales de la evaluación 57

II. Sobre los métodos, sus alcances y objetivos 61

Los límites de los diseños cuasi-experimentales y la necesariaincorporación de metodologíascualitativas 61

Estrategias metodológicascomplementarias 64



6

III. Sobre las dimensiones y los interrogantes 71

El contexto como condicionante 71

El impacto en los beneficiarios 73

La calidad e institucionalizaciónde la capacitación 78

Reflexiones finales 87

Bibliografía 93

Indice



7

PRESENTACIÓN DE LA SERIE

El tema de la educación y de la formación de grupos desfavoreci-

dos constituye hoy en día una preocupación importante en la mayor

parte de los países, ya que remite a un fenómeno mayor: el aumento

de la pobreza y de la exclusión social. Inquietante, esta situación es

también paradoxal porque el aumento de la pobreza y de la exclu-

sión coexiste frecuentemente junto al crecimiento económico. Esta

constatación preocupante sugiere que el aumento de la riqueza no

es suficiente, sino que debe estar acompañado de la creación de em-

pleos y de una redistribución del ingreso.

Resulta claro que el empleo o la relación con el trabajo está en el

centro de los problemas de pobreza y exclusión social. El no-acceso a

los sistemas de educación y de formación representa también una

causa importante. En efecto, la escolarización débil o directamente

la no-escolarización, contribuyen frecuentemente a una inserción

precaria en el mercado de trabajo.

Pero el rol de la educación no se limita a favorecer el acceso de

los jóvenes al empleo y a un ingreso decente. El acceso de los secto-

res desfavorecidos a los sistemas de educación y formación se inscri-

be en una preocupación más amplia de promoción de un proceso

educativo a lo largo de toda la vida, condición indispensable, no sola-

mente para una inserción durable en el mercado de trabajo, sino tam-

bién para una participación activa en la sociedad civil. Además, las

inversiones educativas tienen efectos que se inscriben en gran parte

en el largo término, por lo cual pueden romper la transmisión inter-

generacional de la pobreza.

Los sistemas de educación y formación se adaptan mal a las

necesidades de los grupos desfavorecidos, tal como lo testimonia la

cantidad de niños que dejan la escuela de manera precoz. Para



8

La evaluación de programas de capacitaciónde jóvenes desempleados

responder a sus necesidades, el sector público se ha esforzado por

implementar diferentes mecanismos; por otro lado, se multiplican las

iniciativas privadas, realizadas al margen de la escuela formal por ONGs

frecuentemente sostenidas por la ayuda exterior. A pesar del beneficio

innegable que estas últimas han aportado a los grupos desfavorecidos,

la suma de estas realizaciones no constituye una respuesta satisfactoria

frente a la amplitud del problema. Ninguna solución podrá ser

realmente encontrada en tanto el sistema educativo continúe

produciendo excluidos. Es entonces importante extraer las lecciones

aprendidas de estas aproximaciones tanto publicas como privadas, y

poner en marcha un proceso de capitalización indispensable para

producir una intervención a una escala mayor.

El proyecto de investigación sobre “Estrategias alternativas de

educación para los grupos desfavorecidos” que el Instituto está de-

sarrollando, tiene precisamente como primer objetivo recoger y di-

fundir información sobre proyectos y programas de educación y ca-

pacitación dirigidos a desfavorecidos. El segundo objetivo es estu-

diarlos en profundidad; el tercero, observar los mecanismos de

articulación entre las estructuras administrativas publicas y las de

otros actores implicados; y finalmente analizar los métodos y instru-

mentos de evaluación de esos proyectos y programas. El objetivo últi-

mo es favorecer el diálogo político y técnico y reforzar las capacida-

des nacionales para concebir y implementar programas para los des-

favorecidos.

La noción de grupos desfavorecidos es difícil de precisar. Puede

ser definida de múltiples formas, según criterios diversos (criterios

sociales, económicos, etc.). Además, es una noción relativa: designa

una realidad diferente según los contextos. Por este motivo el proyecto

no cubre la totalidad del campo correspondiente a esa noción. Se limi-

ta al estudio de los jóvenes sin calificación, que no han tenido acceso a

la escolarización o que han sido excluidos prematuramente.



9

Presentación de la serie

El proyecto se interesa esencialmente sobre el rol jugado por los

diferentes actores públicos. Esta preocupación se expresa alrededor

de dos series de cuestiones:

• ¿Cómo abrir y adaptar los sistemas de enseñanza y de formación a

fin de garantizar el acceso de los desfavorecidos? ¿Es posible? ¿A

través de que estrategias? ¿En que condiciones?

• ¿Cómo delegar funciones de enseñanza y de formación para los

grupos desfavorecidos a otros actores: ONGs, poderes locales, gru-

pos comunitarios, empresas, etc.? ¿Cómo promover, orientar, con-

trolar, coordinar, financiar y evaluar su acción?

Estas dos opciones son complementarias. En efecto, puede supo-

nerse que la experiencia adquirida en las acciones dirigidas a grupos

desfavorecidos, generará efectos de retorno de los cuales se podrá

beneficiar la política educativa en su conjunto.

Este documento aborda la cuestión de la evaluación de progra-

mas de capacitación e intermediación laboral de jóvenes desfavoreci-

dos, que han tenido nuevos enfoques y gran alcance en varios países

de América Latina durante los últimos años. Se trata de programas

que brindan formación en un nivel de semi-calificación apoyándose

en un mecanismo de operación en el que el Estado financia y coordi-

na, y las entidades públicas y privadas subcontratadas por medio de

licitaciones, diseñan y ejecutan la capacitación. La multiplicidad de

objetivos y de actores intervinientes, el establecimiento de metas pre-

cisas, y la focalización en jóvenes desfavorecidos han llevado a incor-

porar en la implementación de los programas un componente relati-

vamente nuevo en el ámbito público latinoamericano: la evaluación,

que será el foco de análisis de este documento.

Partiendo de la importancia de la evaluación de estos programas

para medir su impacto y mejorar su gestión, se describen sus



10


características generales, los tipos de formación y las poblaciones

focalizadas, planteando las dificultades detectadas en la gestión y en

el logro de los objetivos. A partir de esta descripción se examinan los

procedimientos puestos en juego en la evaluación de la gestión y del

impacto, comparándolos con los modelos predominantes en la

actualidad para la evaluación de proyectos sociales y de ofertas de

formación. Finalmente, se aborda la “evaluación de la evaluación”,

señalando los límites de los enfoques adoptados; se presentan y

ejemplifican interrogantes relevantes que hoy no son respondidos

por las evaluaciones, y se sugieren estrategias metodológicas para un

mejor aprovechamiento de los datos disponibles y para el diseño de

evaluaciones que sumen riqueza y alcance a las ya efectuadas.



11

INTRODUCCIÓN

En los últimos años, en varios países de América Latina, se han

estado desarrollando programas de gran alcance de capacitación e

intermediación laboral de jóvenes, cuyo modelo de intervención

difiere en rasgos centrales de la oferta previa de formación profesio-

nal. Representan un nuevo modelo de política pública que ha empe-

zado a instaurarse tras el agotamiento de los Estados de Bienestar. Se

trata de programas o proyectos y no de sistemas de formación, por lo

cual son intervenciones que tienen una duración definida, dirigién-

dose cubrir ‘nichos’ de formación en un nivel de semi-calificación.

Ahora bien, más allá de su carácter temporario, estos programas in-

tentan impactar en el desarrollo de una oferta de capacitación más

adecuada a la demanda; de hecho, los mecanismos puestos en juego,

en especial la asignación de los cursos a entidades capacitadoras que

se presentan a una licitación pública, se han ido extendiendo a los

diferentes sectores de la oferta pública de capacitación. De esta for-

ma, se busca superar algunas de las críticas habituales a los sistemas

de formación profesional por medio de un diseño considerado como

menos burocratizado y más flexible, en el que el Estado financia y

coordina, y las entidades públicas y privadas ejecutan.

Otro rasgo característico es su focalización en jóvenes con pro-

blemas de empleo y de bajos niveles educativos. Esta definición de la

población objetivo es sumamente amplia ya que incluye desde jóve-

nes con estudios secundarios incompletos (e incluso, en el caso de

algunos países, con secundarios completos) hasta jóvenes analfabe-

tos; desde sectores sociales recientemente empobrecidos pero con

acceso a bienes y servicios al menos básicos, hasta jóvenes en situa-

ción de pobreza extrema.



12


La inscripción en el marco de las nuevas políticas públicas, la mul-

tiplicidad de objetivos y de actores intervinientes, el novedoso di-

seño de procedimientos, el establecimiento de metas precisas así

como la focalización, han llevado a incorporar en la implementación

de los programas un componente relativamente nuevo en el ámbito

público latinoamericano: la evaluación, que será el foco de análisis de

este documento.

Los propósitos de este documento son: a) mostrar la importancia

de la evaluación de estos programas para medir su impacto y mejorar

su gestión; b) describir la metodología utilizada, comparándola con

los modelos predominantes en la actualidad para la evaluación de

proyectos sociales y de ofertas de formación; c) analizar los límites y

alcances de las estrategias de evaluación empleadas; y d) formular

propuestas en torno a las metodologías y los interrogantes aborda-

dos en la evaluación.

Este documento se divide en tres partes. En la primera, se descri-

ben algunos de los rasgos sobresalientes de los enfoques habituales

en la evaluación de proyectos sociales y de la formación laboral, como

encuadre para el análisis de los modelos y mecanismos de evaluación

de estos programas, que se efectúa en la segunda parte. En esta últi-

ma, se describen las características generales de los programas, los

tipos de formación y las poblaciones focalizadas, planteando las difi-

cultades detectadas en la gestión y en el logro de los objetivos. A

partir de esta descripción se explicitan mecanismos puestos en jue-

go en la evaluación de la gestión y del impacto. En la tercera parte del

documento, se aborda la evaluación de la evaluación, señalando los

límites de los enfoques adoptados; se presentan y ejemplifican inter-

rogantes relevantes que hoy no son respondidos por las evaluacio-

nes y se sugieren estrategias metodológicas para un mejor aprove-

chamiento de los datos disponibles y para el diseño de evaluaciones

que sumen riqueza y alcance a las ya efectuadas. Finalmente, se pro-



13

Introducción

ponen variables y dimensiones relevantes a incluir en evaluaciones,

que provienen de las lecciones aprendidas en la materia.

Es preciso marcar algunas salvedades sobre los alcances de este

documento. Los programas que se analizarán, a pesar de dirigirse a

jóvenes de sectores desfavorecidos, abarcan una población suma-

nente heterogenea. Esta heterogeneidad está en el origen de una pa-

radoja: siendo en general buena la focalización lograda, ésta sin em-

bargo suele concentrarse en los sectores de jóvenes más favoreci-

dos dentro del conjunto de los focalizados. Este resultado del diseño

del programa (probablemente debido a algunas de sus característi-

cas, entre ellas, el tipo de formación brindada y la inclusión de pasan-

tías en empresas) se refleja también en los métodos de evaluación

puestos en juego. Por lo tanto, los análisis y recomendaciones que se

realizarán probablemente no alcanzarán a abarcar toda la problemáti-

ca de los programas que enfocan a los jóvenes de sectores muy mar-

ginales o en situación de pobreza extrema. Otra importante salvedad

es que dado el énfasis de este documento en aspectos conceptuales

y estrategias metodológicas de la evaluación de este tipo de progra-

mas, sólo se abordarán muy someramente aspectos económicos, que

sin embargo, son muy importantes. Finalmente, debe aclararse que

aunque estos programas se desarrollan con características similares

en varios países de América Latina, los datos que se analizarán provie-

nen especialmente de Chile, Argentina y Uruguay.



CAPÍTULO I

ENFOQUES DE LA EVALUACIÓN DE PROYECTOSSOCIALES Y DE FORMACIÓN LABORAL



17

ENFOQUES DE LA EVALUACIÓN DE PROYECTOS SOCIALES YDE FORMACIÓN LABORAL

Dado que estos programas de capacitación e intermediación con

el empleo están orientados a la atención de los jóvenes desemplea-

dos de bajos niveles educativos a través de la formación laboral, las

metodologías de evaluación se han diseñado ad hoc, combinando al-

gunos de los rasgos de la evaluación habitual de proyectos sociales

con otros de los sistemas de formación profesional. Por ejemplo, al

igual que en los enfoques propugnados por diversas agencias que

financian programas sociales, la evaluación parte de una definición

precisa de metas e indicadores de impacto, y ha tenido en cuenta di-

mensiones vinculadas a la satisfacción de los beneficiarios. Pero al

mismo tiempo, la metodología básica utilizada para medir el impacto

es la habitualmente empleada en la evaluación externa de los siste-

mas de formación, es decir, el seguimiento de egresados. Por ello

parece conveniente describir algunos de los rasgos sobresalientes

de estos enfoques, para encuadrar el análisis de los modelos y meca-

nismos de evaluación de estos programas, que se efectuará en el se-

gundo capítulo.

En un sentido amplio, evaluar consiste en el examen riguroso y

sistemático, a partir de criterios específicos, de los logros obtenidos

por una política o programa social en relación a las metas que se ha

propuesto y a los efectos esperados en los grupos sociales beneficia-

rios. Este concepto de evaluación alude a la denominada evaluación

ex post, que se orienta a conocer el grado de cumplimiento de las

metas esperadas y las causas de la distancia entre aquellas y los logros

obtenidos. Se concentra en el grado en que el grupo objetivo o la

comunidad han experimentado un cambio en su situación como con-

secuencia del programa. Resulta especialmente útil para la compara-

ción de programas con enfoques similares.



18


El énfasis está puesto en la efectividad, recurriéndose a mecanis-

mos que permitan establecer relaciones de causalidad entre las ac-

ciones del programa y los resultados. Es decir, se trata de determinar

los efectos netos de la intervención, o sea aquellos estrictamente

imputables o atribuibles al programa. Para ello, se recurre a métodos

experimentales, cuasi-experimentales y/o a herramientas estadísticas

como modelos causales lineales. Estos diseños requieren como míni-

mo una medición de la situación al inicio y otra al final del programa,

y el uso de mecanismos de control.

Dado que la evaluación ex post resulta tardía para mejorar el de-

sempeño de los proyectos, en los últimos años se comenzó a enfati-

zar la necesidad de realizar evaluaciones intermedias, o sea el estu-

dio sistemático de las actividades desarrolladas por los programas para

lograr las metas y los impactos propuestos. De esta manera, en la ac-

tualidad la evaluación se orienta a mejorar el desempeño de los pro-

gramas sociales, y es concebida como una instancia de aprendizaje.

Esta evaluación de procesos o monitoreo se concentra en medir la

cobertura del programa, el grado en el cual se está llegando a la po-

blación objetivo y en particular, realiza un seguimiento de los proce-

sos que se desarrollan en su interior, para conocer los mecanismos

por los cuales se ha estado logrando éxito y en que se puede estar

fracasando. Su objetivo es detectar posibles defectos en el diseño, y

obstáculos en la implementación. En su forma clásica trabaja sobre

factores fundamentalmente técnico-instrumentales, pero más recien-

temente se ha complejizado este enfoque (BID, 1995).

Entre los énfasis más recientes se destaca que en el diseño de los

proyectos se tenga en cuenta su evaluabilidad posterior y se

desarrollan metodologías específicas con este fin, entre la cuales la

conocida como ‘marco lógico’1 ha sido la más difundida. Se resalta

1 Este enfoque, concebido por la Agencia para el Desarrollo Internacional de los Estados Unidoshacia fines de los años setenta, es esencialmente una herramienta de planificación que enfatiza losvínculos entre los componentes principales del diseño de un proyecto o programa social, tales



19

Enfoques de la evaluación de proyectos socialesy de formación laboral

también la conveniencia de adoptar enfoques metodológicos

multidimensionales, que tengan en cuenta todos los datos disponibles

y el conocimiento, las perspectivas y los valores de todos los

involucrados, inclusive introduciendo técnicas participativas.

Otra de las categorías de evaluación más recientemente enfatiza-

das es la sustentabilidad posterior de los proyectos de formación, es

decir, la probabilidad de que la intervención subsista en el tiempo

una vez terminado el programa en el marco del cual nació. Esta pers-

pectiva está asociada a la creciente importancia otorgada a la socie-

dad civil en el campo social ante la crisis del Estado benefactor. En el

caso de los programas analizados en este documento, esta preocupa-

ción se traduciría en la evaluación de la sustentabilidad posterior de

las instituciones de capacitación que se están creando o fortalecien-

do, y la evaluación de las fuentes que podrían brindar un financia-

miento alternativo, por ejemplo, las propias empresas.

La evaluación de proyectos o sistemas de formación profesional

generalmente se orienta a medir la eficiencia en términos de desem-

peño académico de los estudiantes o egresados. Algunas dimensio-

nes que se toman en cuenta son incrementos en habilidades, cam-

bios de actitudes, y adquisición de conocimiento (Hunting, et al.,

1986).

En el caso de los egresados, la forma habitual de evaluar la eficien-

cia se orienta hacia la inserción laboral y la calidad de los empleos;

cuando se llega a un nivel de especificación mayor, se analizan las

habilidades utilizadas en el trabajo y la productividad.

como la identificación del problema, y de la población afectada, la definición de la estrategia, elestablecimiento de objetivos, la descripción de los principales productos y actividades, ladeterminación de los supuestos y factores externos que condicionan la ejecución y los resultados,y establecimiento de pre-condiciones. Aproximaciones basadas en este modelo han sido adoptadaspor múltiples agencias de cooperación, bancos, y organizaciones tales como: OIT, FAO, UNESCO,BID, GTZ (Alemania); ODA (Gran Bretaña); la Unión Europea, etc.



20


Más allá de la eficiencia en el mercado de trabajo, existen otros

resultados que muchas veces se incluyen entre los objetivos y que

pueden ser particularmente difíciles de medir. Por ejemplo, la trans-

versalidad de las competencias adquiridas, es decir, la posibilidad de

utilizarlas en ocupaciones diferentes a la formación específica reci-

bida, o los efectos en la moral o en la autoestima de los participantes.

Finalmente, la eficiencia de un proyecto también puede ser eva-

luada en términos de sus efectos indirectos, como un cambio en el

rol de la mujer o en el impacto en la proporción de individuos capaci-

tados en el mercado de trabajo.

Algunos proyectos, como en el caso de los aquí analizados, incluyen

entre sus objetivos realizar un impacto en la equidad. Se trata de

mejorar la posición relativa de un grupo desfavorecido con respecto

a algunos o a todos los efectos discutidos anteriormente. Este objeti-

vo plantea dificultades en la evaluación ya que no existen indicado-

res simples para mostrar en qué medida un programa de capacita-

ción está orientado más hacia las necesidades de los desfavorecidos

que a las características del mercado de trabajo. Por otro lado, la efec-

tividad de un programa ‘orientado a las necesidades’ se relaciona tam-

bién con la medida en que las competencias adquiridas son deman-

dadas en el mercado de trabajo. Esto implica que eficiencia y equidad

son objetivos que interactúan entre sí, lo cual debe ser tenido en

cuenta en la evaluación.

En cuanto a qué evaluar tanto en la oferta de formación, como en

la evaluación de proyectos sociales se distingue entre la evaluación

interna (que se relaciona con la evaluación de proceso o monitoreo)

y la evaluación externa (o de impacto y resultados). La evaluación

interna muchas veces es concebida como formativa en tanto implica

retroalimentación del proceso de implementación, brindando la po-

siblidad de corregir errores y dificultades. En tanto, la evaluación



21


externa suele tener un propósito sumativo a fin de analizar el im-

pacto de la intervención y sus ventajas comparativas o no con otro

tipo de intervenciones.

La evaluación de eficiencia interna de una entidad de formación

vocacional incluye el nivel de conocimientos o de competencias ad-

quiridas por los estudiantes o beneficiarios, la eficacia medida sobre

todo por la relación entre los que ingresan y los que egresan (lo que

está afectado por las repitencias y el abandono) y el costo financiero.

Entre las dimensiones se incluyen aspectos organizacionales, peda-

gógicos, de articulaciones con el mundo del trabajo y económicos. Se

evalúan por ejemplo, el contenido y la relevancia de los cursos, los

métodos de aprendizaje, la calidad de los docentes e instructores, la

adecuación y utilización del espacio, la pertinencia y el uso de los

equipos; la efectividad de la dirección y las interrelaciones con las

empresas; el flujo de los estudiantes y del personal; y los costos.

La evaluación externa ha tenido principalmente dos abordajes: la

medición de la rentabilidad económica de la educación a nivel indivi-

dual y social; y el estudio de la inserción laboral de los egresados. La

primera intenta evaluar el rendimiento de la formación según un cál-

culo económico similar al que se aplicaría a las inversiones económi-

cas. La segunda consiste en estudiar cómo se ubican en el mercado

de trabajo aquellos que han sido formados, y en qué medida el em-

pleo que ellos ocupan corresponde al tipo de formación recibida.

Dado que ambos abordajes han sido incorporados a las metodologías

de evaluación utilizadas en los programas de capacitación de jóve-

nes, se reseñarán a continuación sus características principales.

El análisis del costo-beneficio de la educación se basa en la teoría

del capital humano, según la cual educación y formación constituyen

una inversión económicamente rentable tanto a nivel de los indivi-

duos como de los países. Pone el acento sobre los mecanismos de



22


regulación natural del mercado de trabajo, a través de los salarios y

los ingresos. A nivel individual, el análisis de costo-beneficio se reali-

za calculando los gastos que hacen las personas en su educación, y

sobre todo, sus costos de oportunidad, es decir, el salario que dejan

de percibir los estudiantes debido a que eligen continuar sus estu-

dios. Los beneficios se miden a través de los diferenciales de salarios

de trabajadores de la misma edad, pero con distintos niveles de esco-

laridad. El mismo cálculo se realiza a nivel de los países, sobre la base

de los costos de la educación y sus beneficios.

El principal aporte de este enfoque ha sido subrayar el rol del fac-

tor ingresos en la relación entre educación y empleo. Diversos auto-

res han señalado sus limitaciones en tanto se basa en criterios de la

racionalidad puramente económica de los actores, cuando la reali-

dad resulta mucho más compleja2. A pesar de que no da más que indi-

caciones muy globales sobre los grandes tipos de educación, es cor-

rientemente muy utilizado en los trabajos y en los préstamos de los

grandes organismos internacionales.

Otro enfoque de la evaluación externa de la educación y la forma-

ción lo constituyen los estudios sobre inserción laboral de egresa-

dos, implementados desde hace una quincena de años en diversos

países. Estos estudios reúnen información sobre los ex-alumnos en

relación a su inserción en el trabajo, las condiciones de entrada a la

vida activa, y su relación con el empleo, desempleo y subempleo.

2 Entre las dificultades más evidentes de este tipo de enfoque en la planificación y evaluacióneducativa pueden mencionarse: a) El análisis de la rentabilidad supone cierta libre elección de laspersonas y que éstas manejan la información sobre los beneficios económicos de la educación. Comorepetidamente ha demostrado la teoría social, los márgenes de libertad de las personas dependen demúltiples factores, entre ellos el origen socioeconómico (Briones, 1991). b) Además, en las últimasdécadas se ha puesto claramente de manifiesto que la demanda social por educación excede la tasade retorno de la inversión a nivel individual. c) La oferta de educación tiene muchas veces más quever con decisiones políticas que con su rentabilidad social (Bertrand, 1992; Gallart y Bertoncello,1997). d) Los diferenciales de salarios no pueden realizarse independientemente del análisis de lascaracterísticas del mercado de trabajo, entre ellas las políticas de recursos humanos de las empresas,y las demandas de competencias y la sobre-oferta o escasez de individuos que las posean.



23


El interés de estos estudios es amplio y diverso por varios moti-

vos. Brindan indicadores de rendimiento externo del sistema de for-

mación y de las instituciones, y permiten establecer comparaciones

entre distintas especialidades. Permiten evaluar la conveniencia o no

de modificar o actualizar contenidos, de abrir o cerrar especialida-

des. Posibilitan disponer de informaciones detalladas sobre las rela-

ciones entre nivel de formación y empleo en categorías precisas de

jóvenes.

Existen dos tipos de estudios de inserción ocupacional (Lamoure, 1995)

• los primeros (follow-up studies) se centran en la transición entre

la educación y el trabajo. Interrogan a los jóvenes cuando aún es-

tán en la escuela, volviéndo a entrevistarlos un tiempo después

cuando ya están insertos en el trabajo.

• los segundos (tracer studies) los interrogan cuando ya salieron de

la escuela. Se los ubica en su domicilio o en su trabajo, y se les

indaga acerca de sus trayectorias educativas y laborales.

A su vez, ambos tipos de estudios pueden presentar dos formas

diferentes: o bien relevan información sobre los egresados en algún

momento desde unos meses a un año de la salida de la formación

(estos estudios son conocidos como ‘encuestas de entrada a la vida

activa’); o bien efectúan un seguimiento registrando la evolución so-

bre un período más largo (conocidas como encuestas de ‘carrera ocu-

pacional’). Estas últimas poseen la ventaja de evaluar el impacto a más

largo plazo de una formación sobre el acceso al empleo, ya que se-

gún el estado del mercado de trabajo, los primeros empleos no ha-

cen más que reflejar situaciones pasajeras. Además dan cuenta de los

fenómenos de movilidad ocupacional, del espectro de las utilizacio-

nes posibles de una formación, y de las relaciones existentes entre

formación inicial, continua y experiencia profesional.



24


Los estudios de las trayectorias ocupacionales y educativas a lo

largo de un período, constituyen una evaluación más amplia y exacta

del impacto de la formación que un estudio que sólo toma dos o tres

momentos en el tiempo, pero su complejidad y costos hacen que sean

menos habituales. Una alternativa, como se verá más adelante, es la

triangulación de múltiples fuentes y métodos de investigación orien-

tados a responder los distintos tipos de interrogantes que se susci-

tan en la evaluación.



CAPÍTULO II

LOS NUEVOS PROGRAMASDE CAPACITACIÓN LABORAL

DE JÓVENES DESEMPLEADOSDE BAJO NIVEL EDUCATIVO

EN AMÉRICA LATINA Y SU EVALUACIÓN



27

I. DESCRIPCIÓN DE LOS PROGRAMAS

Los programas de capacitación laboral de jóvenes que se vienen

desarrollando en distintos países de América Latina desde principios

de los años noventa, parten del reconocimiento de que los jóvenes

son el grupo etario con mayores dificultades de inserción laboral en

un mercado de trabajo que crece poco. Al mismo tiempo, ante las

transformaciones en los modos de producción y gestión de las em-

presas, y por tener los jóvenes mayor flexibilidad y capacidad de

aprendizaje, se convierten en un grupo privilegiado entre los que

tienden a focalizarse las políticas públicas de formación y empleo.

Especificando el diagnóstico sobre la situación de los jóvenes, se

reconoce que: en primer lugar, los jóvenes presentan las mayores ta-

sas de desempleo, subempleo, y las peores condiciones de contrata-

ción. En toda América Latina, alrededor de 5.5 millones de jóvenes

están desempleados, y la tasa promedio es de 16% (Tokman, 1997). En

segundo lugar, existe una gran concentración de jóvenes desemplea-

dos entre los grupos vulnerables: las mujeres, y los menos educados.

En tercer lugar, los jóvenes entran al mercado de empleo en una si-

tuación precaria, en trabajos sin protección y sin estabilidad, y cuan-

to mayor es su situación de pobreza, más desfavorecida es esta inser-

ción.

Esta situación fue considerada el punto de partida para intervenir

focalizadamente operando sobre la productividad de los jóvenes y al

mismo tiempo, sobre los mecanismos de selectividad del mercado de

empleo.

Ahora bien, para responder a esta problemática se estimó adecua-

do crear programas ad hoc, intentando lograr resultados más eficien-

tes que los de los sistemas públicos de formación profesional hasta

el momento. Estos sistemas históricamente habían respondido en la



28


mayoría de los países a cubrir las demandas de formación del modelo

de sustitución de las importaciones instalado en la posguerra, mos-

trando amplio rango en cuanto al nivel de calidad de los servicios.

Sin embargo, sobre todo a partir de los años ochenta comenzaron a

considerarse inadecuados a las demandas de competencias en el mer-

cado de trabajo, debido a su tendencia a ofertar capacitación más allá

del análisis cuantitativo y cualitativo de la demanda de trabajadores

(supply driven) (Kanawaty y Castro, 1991; Caillods, 1994). De allí la

decisión de organizar una oferta desburocratizada y flexible, que

fuera más pertinente en relación a las demandas de calificación de

parte de las empresas (demand driven). Esta pertinencia estaría ase-

gurada por la implementación dentro de la capacitación de una etapa

de pasantía en lugares de trabajo.

Además, se consideró preciso diseñar una operatoria que coinci-

diera con el nuevo rol del Estado. En efecto, la crisis del modelo de

intervención social estatal conocido como ‘Estado de bienestar’ que

se hizo evidente a nivel mundial a fines de los años setenta, llevó a un

profundo debate sobre el rol social del Estado en el marco del nuevo

patrón de acumulación económica. El modelo propuesto como alter-

nativo plantea el pasaje de un enfoque de las políticas públicas con

una orientación distributiva y protectora del sector trabajo, a un en-

foque que separa la política económica de la política social. Dos ras-

gos centrales del nuevo enfoque son:

• Su focalización como contrapartida a su universalismo previo, que

consiste en el diseño de programas sociales específicos, dirigidos

a los grupos sociales más carenciados.

• La separación del diseño, la coordinación, la supervisión y la evalua-

ción, que quedan en manos del Estado, de la ejecución, que debe ser

realizada por instituciones públicas y privadas. De este modo se inten-

ta mejorar la gestión del Estado, optimizando el uso de los recursos.



29

Los nuevos programas de capacitación laboral de jóvenes desempleados de bajo nivel educativo en América Latina y su evaluación

Uno de los supuestos básicos de la estrategia de intervención de

estos programas es que existe disponibilidad de plazas, explícita o

implícitamente, en el mercado de trabajo. Por ello, para aumentar la

empleabilidad de los jóvenes sólo se necesitaría incrementar su pro-

ductividad vía capacitación o realizar una ‘intermediación’ con el

mercado de trabajo, a través de la pasantía. El logro de los objetivos

presupone esta disponibilidad de puestos de trabajo.

Otro de los supuestos fuertes es que la calificación de recursos

humanos está dada por el juego de la oferta y de la demanda en mer-

cados definidos con base a la libre competencia. Los programas in-

tentan en este punto mejorar la distribución inequitativa de las opor-

tunidades de acceso a la capacitación y el empleo. Por ello, se diseñan

proyectos concebidos como coyunturales. Como se verá posterior-

mente, los fenómenos que se dirige a corregir (esencialmente, la ine-

quidad de oportunidades de los jóvenes en el mercado de empleo)

parecen haberse instalado persistentemente como producto del

modelo de desarrollo adoptado y por ello, estos programas tienden

actualmente a institucionalizarse de manera más permanente.

Características generales de los programas3

Como se ha mencionado, este modelo alternativo de formación

profesional se orientó a crear una oferta flexible, adecuada a la de-

manda de las empresas y focalizada en grupos sociales desfavoreci-

dos. Desde esta perspectiva general, se están implementando progra-

mas nacionales de capacitación de jóvenes en Chile, la Argentina, Uru-

guay, Colombia, Venezuela, Perú, y Panamá, estando en estudio en

3 Numerosos artículos recientes se ocupan de analizar las características de estos programasdentro de los contextos latinoamericanos, y pueden ser una fuente de ampliación sobre la temática.Para desarrollar esta descripción se ha seguido principalmente los trabajos de CINTERFOR, 1997;Ramírez, 1996 y varios artículos aparecidos en el Boletín de CINTERFOR nº 139/140, 1997.



30


otros países4. Se orientan a capacitar a jóvenes de bajos recursos, otor-

gando al mercado un rol preponderante en la asignación de fondos y

en la identificación de beneficiarios. El énfasis puesto en la articula-

ción con el sistema productivo tiende a adecuar la formación a la de-

manda real de calificaciones en las empresas. Para lograr este objeti-

vo, la implementación de los programas se realiza a partir de la con-

tratación competitiva de cursos mediante licitaciones a las que

acceden instituciones de capacitación públicas y privadas. Se ponen

en juego mecanismos rigurosos en los procesos de selección de los

cursos, y se enfatiza la focalización. Estos procedimientos se apoyan

en la concepción de que los mecanismos de mercado resultan los más

eficaces y eficientes para determinar la capacitación demandada por

el sistema productivo. Al mismo tiempo, se redefine el rol del Estado

ubicándolo como diseñador, articulador, supervisor y financiador de

la capacitación dirigida a este grupo objetivo, sin ser ejecutor directo

de las políticas. El sector empresarial aporta espacios de práctica la-

boral, suministrando señales de pertinencia a la capacitación ofreci-

da.

Otra característica de la operatoria global de estos programas con-

siste en el traspaso de ciertas responsabilidades de la gestión a uni-

dades regionales o locales descentralizadas, quienes asumen parte

de la administración del programa. El grado de descentralización im-

plementado, varía en función de escalas y desarrollo de capacidades

logísticas y técnicas de los organismos locales.

Los objetivos manifiestos se ubican entre la equidad y la eficien-

cia económica. Sin mayores matices entre los países, se señala como

objetivo central “mejorar las condiciones de los beneficiarios para

que puedan postular a un empleo en relación de dependencia a nivel

4 Originalmente, todos ellos fueron o son financiados por el Banco Interamericano de Desarrollo.Actualmente, en Chile y Uruguay son financiados con fondos propios.



31


de semicalificación”; “incrementar la probabilidad de inserción labo-

ral para jóvenes de bajos ingresos, que enfrentan dificultades de in-

tegración económica y social a través de la formación, capacitación y

experiencia laboral, como elementos claves para aumentar su emplea-

bilidad” (Chile Joven, 1997). Se enfatiza entonces sobre la dimensión

de equidad.

También se resaltan objetivos vinculados a la eficiencia económi-

ca. Por ejemplo, en el caso argentino, en el que el programa se halla

inserto en el Programa de Apoyo a la Reconversión Productiva, se

espera “contribuir a la reconversión de los sectores productivos me-

diante la formación de recursos humanos demandados por las em-

presas” (Mitnik, 1997).

En mayor o menor medida todos los programas incluyen los dos

tipos de objetivos, aunque pueden diferir los énfasis. Por ejemplo, el

programa uruguayo establece claramente: “...como finalidad la inser-

ción laboral de los jóvenes de sectores de bajos ingresos y la amplia-

ción de sus oportunidades de integración a la sociedad. La capacita-

ción y el aporte de recursos humanos a los procesos de moderniza-

ción económica no son, por lo tanto, fines en sí mismos, sino

estrategias para lograr esas finalidades y obviamente están subordi-

nadas a ellas” (Lasida y Pereira, 1997).

Dónde se pone el énfasis, si en la dimensión de equidad o en con-

tribuir a la eficiencia económica global, no es un tema menor. Tal

como señala CINTERFOR (1997), “la estrategia seguida pondrá a sus

ejecutores ante algunas disyuntivas frente a las cuales la respuesta a

dar dependerá del énfasis por el que se opte”. Cuestiones tales como

los procedimientos de reclutamiento y selección de la población ob-

jetivo, el grado de diversificación de la oferta y las modalidades de

operación estarán relacionadas con este énfasis. Y especialmente en

el tema que concierne a este documento, la evaluación de proceso y



32


resultados, y la medida de éxito del programa, estará determinada

por los objetivos y la prioridad puesta en cada uno.

Un objetivo adicional planteado consiste en el fortalecimiento de

la oferta de capacitación, “favoreciendo la conformación de un mercado

de capacitación laboral competitivo en términos de calidad, ajuste a

demanda y precios” (Mitnik, 1997). El objetivo central es que la

capacitación se oriente por la demanda: para ello se exige la inclusión

de pasantías en la capacitación. La ventaja principal de este sistema

con respecto a las instituciones que reciben presupuestos fijos, es que

de este modo acceden a la financiación quiénes son capaces de dar

señales de pertinencia. En general, se promueve el desarrollo de una

oferta de capacitación privada; en algunos casos, considerando incluso

que el fomento de la calidad requiere una estrategia de incremento de

la participación activa de los empresarios (Chile Joven, 1997).

La propia participación en el programa es considerada como un

punto de partida para el desarrollo de capacidades nuevas en la ofer-

ta precedente o en la que se ha creado como consecuencia de estos

proyectos. Estas capacidades han sido resumidas del siguiente modo

(Lasida y Pereira, 1997): el manejo de procedimientos propios de las

licitaciones públicas, que incluyen planificación, presupuestación y

gestión, de acuerdo con los objetivos y el marco normativo estableci-

do; la incorporación de nuevas estrategias de capacitación; la articu-

lación con las demandas del mercado laboral en las etapas de prepa-

ración, ejecución y egreso de los cursos; y para algunas instituciones,

recibir a jóvenes pertenecientes a grupos sociales con los que no

tenían experiencia previa, por lo que debieron adecuar sus métodos

de trabajo.

Antes de pasar a examinar aspectos más específicos de los

programas, convendría analizar algunos puntos críticos y/o límites



33


que se han planteado a los lineamientos básicos de este modelo de

capacitación laboral por su importancia en el marco de la evaluación.

En primer lugar, algunos autores han planteado que cabría cuestio-

nar que la oferta de capacitación laboral (sobre todo cuando alcanza

esta envergadura en alcance y costos) deba orientarse sólo por la de-

manda del mercado laboral. Al respecto, se ha sostenido que si bien ya

se ha dejado atrás la capacitación guiada por la oferta, parece haberse

pasado al modelo opuesto. “Antes la capacitación estuvo encerrada en

su negocio, pensando en las herramientas y en los métodos pedagógi-

cos, como si el mundo exterior y el mercado no fueran de su incum-

bencia. Ahora, se orienta al mercado, olvidando completamente qué

hay dentro de los centros de capacitación, cómo trabajan, cuáles son

los contenidos críticos a ser enseñados” (Castro, 1995).

En efecto, el supuesto según el cual las instituciones capacitado-

ras, a través de los estudios de mercado realizados para el diseño de

los cursos y la obtención de pasantías, estarían mostrando una medi-

da adecuada de la demanda del mercado de trabajo, limita en varios

aspectos el desarrollo de una oferta de capacitación de calidad. Por

ejemplo, ese supuesto no tiene en cuenta que la capacitación es tam-

bién una manera de diseminar nuevas tecnologías y mejores formas

de producir, y en ese sentido los cursos no deberían diseñarse sólo

por la demanda explícita de los empleadores.

Estos señalamientos permiten visualizar que el desarrollo de una

oferta de capacitación de calidad es un problema multidimensional y

de compleja resolución. Al respecto, sin disminuir la importancia de

la adecuación a la demanda del mercado de trabajo, es preciso reco-

nocer el rol esencial del Estado en la coordinación de la oferta de

formación, y en el desarrollo de tareas tales como asegurar la calidad

mediante tests y certificaciones; desarrollo curricular; asistencia y



34


transmisión de know-how a las unidades ejecutoras, reconocimiento

de las demandas efectivas de capacitación y difusión de la oferta dis-

ponible (Middleton, Ziderman y Van Adams, 1993).

A partir del reconocimiento de algunas de estas limitaciones, em-

piezan a visualizarse acciones para superarlas en las fases actuales de

los programas. Por ejemplo, tanto en Chile como en Uruguay el pro-

grama se financia actualmente con fondos propios de fomento al

empleo, y las modalidades de operación tienden a institucionalizarse

para el conjunto de la oferta de capacitación laboral. Respecto a la

asistencia y transmisión de know-how a las unidades ejecutoras, en la

mayoría de los casos se efectúa un apoyo sobre todo en la etapa de

convocatoria, pero hay marcadas diferencias entre los países y pocos

de ellos han articulado un verdadero programa de fortalecimiento

institucional de los oferentes de cursos.

Otro de los límites del modelo implementado tiene que ver con

su prácticamente nula articulación con otras instancias de formación

o capacitación, ya que no se han articulado ni desarrollado equiva-

lencias con la capacitación preexistente, ni con la educación formal,

y no plantea una oferta secuenciada de capacitación de sucesiva com-

plejidad para quienes participan como beneficiarios.

Los tipos de formación

El principal tipo de curso en todos los países ha sido la modalidad

que incluye capacitación y pasantía, ésta última como condición ne-

cesaria. Estos cursos de capacitación son eminentemente prácticos,

con una duración no mayor de seis meses, que comprenden dos eta-

pas. La primera consiste en la capacitación de los beneficiarios en

conocimientos, destrezas y habilidades básicas para el desempeño

de una ocupación a nivel de semicalificación (entre 200 y 400 horas).



35


La segunda etapa consiste en pasantías desarrolladas en empresas

donde los beneficiarios se desempeñan en un puesto de trabajo que

debe ser acorde con la ocupación para la que han sido capacitados y

ser supervisado por la institución donde realizaron la capacitación.

En algunos casos, y dependiendo de las características de determina-

dos subgrupos dentro de las poblaciones objetivo, se han desarrolla-

do actividades de carácter remedial en habilidades básicas o psico-

sociales, aunque éstas son consideradas entre los aspectos débiles

de la oferta, dados los marcados déficits de los jóvenes atendidos (Ja-

cinto, 1997b; CINTERFOR, 1997).

Otros tipos de cursos se han desarrollado para atender situacio-

nes más específicas, teniendo mucho menor preponderancia que el

considerado anteriormente. Casi todos los programas han organiza-

do un componente que apunta a la formación orientada al desarrollo

de microemprendimientos. En el caso de la atención de jóvenes con

mayores dificultades de inserción laboral debidas a su condición so-

cio-educativa, se han realizado cursos con mayor carga horaria (por

ejemplo, en el caso de Uruguay) o con prácticas laborales protegidas

(en el caso de Chile). Se han puesto a prueba también intervenciones

más integrales y que apuntan a mayor nivel de calificación, como en

el caso del componente de Aprendizaje Alternado de Chile Joven,

siguiendo el modelo del sistema dual alemán.

La combinación de componentes diversos en un mismo curso re-

vela también una estrategia más integral en la medida que atiende

varias dimensiones de la problemática. Al respecto es interesante la

experiencia del programa en el Uruguay, donde los cursos técnicos

incluyen además de la pasantía, la participación en un taller de orien-

tación ocupacional y vocacional. Un componente especialmente in-

novador es el apoyo a la inserción laboral, que consiste en el acompa-

ñamiento — a través de la figura de un tutor — a cada egresado en la



36


búsqueda de trabajo y en la primera etapa de desempeño laboral; los

objetivos de esta intervención son la facilitación de redes de contac-

tos y el apoyo en competencias sociales en torno al trabajo.

Como puede observarse con estos ejemplos, si bien los progra-

mas tienen una serie amplia de coincidencias en el modelo y en la

principal modalidad de intervención, la complejización y diversifica-

ción de componentes plantea algunas dimensiones diferentes que

seguramente se reflejan en el impacto. Por ello, es de fundamental

importancia a la hora de la evaluación tener en cuenta la variedad de

tipos de la oferta y su relación con las características generales y es-

pecíficas de los grupos atendidos.

Otra estrategia adoptada por todos los programas se relaciona con

el énfasis puesto en la participación de las mujeres. Para estimular y

facilitar esa participación, se realiza una sensibilización de los insti-

tutos de capacitación y de los empresarios, el control de prácticas

discriminativas, la estimulación a su incorporación en oficios no tra-

dicionales y el apoyo especial a las jóvenes madres para la atención

de sus hijos mientras se capacitan.

Los beneficiarios reciben durante su permanencia en el progra-

ma un subsidio o beca, que se dirige a reforzar la retención. Este estí-

mulo ha resultado particularmente efectivo, especialmente en con-

textos laborales de alto desempleo, en los que el costo de oportuni-

dad de la participación en el programa es muy reducido a causa de las

escasas oportunidades alternativas de inserción laboral. Incluso en

estos casos actúa reforzando la focalización (Jacinto, 1997b).

La población objetivo

En consonancia con el paradigma de las nuevas políticas públicas

focalizadas, los programas delimitan una población objetivo: jóvenes



37


pertenecientes a sectores de bajos ingresos, desocupados, inactivos

o subempleados que se encuentran fuera del sistema educativo o de

formación, en algunos casos incluyendo a egresados de escuela me-

dia y en otros no.

Esta población es considerada prioritaria porque presenta los ni-

veles más altos de desempleo, y porque carece de habilidades básicas,

psicosociales y capacitación demandadas por los segmentos moder-

nos del mercado de trabajo. Se trata de jóvenes doblemente desfavo-

recidos: por su edad y por su condición social, y se caracterizan en

general por la baja autoestima, y en algunos casos, por la propensión

a la conflictividad.

La estrategia planteada para llegar a la población beneficiaria ha

sido denominada ‘autofocalización’. Ello consiste en que la capacita-

ción, por el nivel de calificación propuesto, por incluir una experien-

cia laboral corta y transitoria, y por el escaso monto del subsidio de

manutención, sólo resulta atractiva para los jóvenes a los que se apun-

ta.

Como puede observarse, la población objetivo es amplia, e incluye

jóvenes de características heterogéneas. En términos generales, la

focalización de los programas es considerada exitosa, aunque se re-

conocen dificultades para captar a los jóvenes en situación de mayor

vulnerabilidad relativa. Esto es así porque algunos de los mecanis-

mos puestos en juego en la operatoria plantean una tensión entre

focalización y selectividad.

Esta tensión está relacionada con que, para mejorar la eficiencia, a

la institución capacitadora se le paga en relación a beneficiario reteni-

do a lo largo del curso, considerando además si el beneficiario ha man-

tenido su puesto una vez terminada la pasantía. El riesgo de este meca-

nismo ha sido mostrado por varias investigaciones en torno a disposi-



38


tivos de este tipo (Freyssinet, 1994): en la medida de las posibilidades,

se seleccionarán beneficiarios que estén en condiciones de obtener el

empleo, o al menos de ser retenidos durante el curso. Obviamente,

este riesgo se acrecienta en el caso de especialidades que pueden lle-

gar a resultar atractivas para jóvenes de niveles socio-educativos mayo-

res, como por ejemplo, computación. Otro factor que acrecienta el ries-

go es el contexto de alto desempleo, ya que jóvenes con formación

previa que no consiguen trabajo, pueden llegar a interesarse en reali-

zar una pasantía que significa la acreditación de una experiencia labo-

ral con la que tal vez no cuentan (Jacinto, 1997b).

La heterogeneidad de la población objetivo plantea también el

desafío de desarrollar estrategias diferenciadas de intervención, en

función de necesidades específicas. Por ejemplo, resulta obvio que

los jóvenes en condición de mayor marginalidad pueden necesitar

mayor reforzamiento de habilidades básicas y de competencias so-

ciales e interactivas, a través de intervenciones más largas y con mayor

énfasis en la socialización. En el otro extremo, jóvenes con niveles de

escolaridad mayores pueden ser objeto de intervenciones más cor-

tas y con énfasis en la adquisición de experiencia laboral, que es una

cuestión frecuentemente señalada como el déficit principal para el

ingreso al trabajo de este subgrupo de jóvenes. Esta cuestión se plan-

tea también a nivel de la evaluación: ¿cuán adecuados resultan los

componentes según los jóvenes que acceden a ellos?, ¿cuáles son los

perfiles de jóvenes de mayor y menor aprovechamiento según la in-

tervención?, son interrogantes cuyas respuestas permitirían una me-

jor adecuación de la formación a las características de los jóvenes.



39

II. ESTRATEGIAS DE EVALUACIÓN EMPLEADASPOR LOS PROGRAMAS

Los problemas de la evaluación

Como se ha venido sosteniendo, evaluar una política pública es

estudiar la relación entre la definición de objetivos, la movilización

de recursos y los resultados. Freyssinet (1994) ha propuesto un es-

quema que puede resultar particularmente útil para examinar los

procedimientos de evaluación empleados por los programas.

Un buen punto de partida para analizar las metodologías de eva-

luación, sus alcances y límites, es precisar los efectos esperados y la

problemática que presentan para su medición.

Como se ha visto, los programas presuponen que la capacitación

vinculada a las demandas del mercado de trabajo será una buena es-

trategia para insertar a los jóvenes.

El supuesto subyacente es que los empleos existen implicitamen-

te. En general, hay bastante consenso en que la formación laboral no

genera empleo, sino que la generación de empleo depende de otros

factores tales como variables macro-económicas, más que de la dis-



40


ponibilidad de mano de obra calificada (Castro, 1997). Este punto

marca un límite importante para la evaluación: si se acepta este su-

puesto, no se esperará del programa la generación neta de empleos.

No será necesario por lo tanto incluir esta dimensión en la evalua-

ción, que además es evidentemente muy difícil de medir dado que

debería demostrarse que los empleos creados se suman al total de

los ya existentes y no son mera redistribución en favor de los que

asistieron al curso, es decir, que no está operando el llamado efecto

de sustitución. Esto no significa que la evaluación de los programas

pueda efectuarse sin considerar las características del contexto.

Entre los objetivos y los dispositivos se plantea entonces una rela-

ción de coherencia: ¿responden los dispositivos a los objetivos? Por

ejemplo, en el caso de los programas aquí analizados ¿pueden estos

dispositivos asegurar empleabilidad en contextos de alto desempleo?;

¿qué pasa con la empleabilidad en el largo plazo?

Aceptando el supuesto de que los puestos existen explícita o im-

plícitamente, los jóvenes sólo necesitarían estar en mejores condi-

ciones de acceder a los empleos. Este mejoramiento implicaría la pues-

ta en marcha de dos dispositivos:

• una capacitación técnica específica adecuada a una demanda con-

creta de una empresa; así como, eventualmente, la adquisición de

hábitos generales en torno al trabajo, y algunas habilidades gene-

rales, aumentaría la productividad del joven;

• una intermediación, es decir, el filtrado y transmisión de informa-

ción que ayuda a articular al joven con la vacante (Robins, 1996).

La eficiencia de estos dispositivos se manifestaría en la inserción

laboral de los egresados. Se plantea aquí una relación de imputabili-

dad entre los dispositivos y los resultados. Al observarse cambios en

la situación objetiva de la población joven en un área geográfica, o en



41


una rama de actividad, ¿puede considerarse que el cambio es conse-

cuencia del dispositivo? Además debe probarse que los egresados

obtienen más empleos y de mejor calidad que los que lograrían en

ausencia del programa.

Este último efecto está relacionado con cambiar el orden de las

personas en la cola o fila de espera para los empleos existentes. Es

decir, mejorar la equidad a través de la modificación de la selectivi-

dad del mercado de trabajo. Los programas se focalizan en los jóve-

nes de menores recursos económico-sociales y niveles educativos,

quienes tienen mayores dificultades para conseguir trabajo. Capaci-

tando o intermediando a estos jóvenes se pone en marcha un meca-

nismo de discriminación positiva, es decir, se brinda una oportuni-

dad focalizada en quienes se encuentran en una situación más des-

ventajosa. Como se ha adelantado, un efecto perverso asociado a este

mecanismo es que se produzca la sustitución de trabajadores viejos

por jóvenes mejor capacitados. Con lo cual, si se deja fuera del em-

pleo a trabajadores jefes de familia a cargo del sostenimiento econó-

mico de sus hogares, el aporte a la equidad es discutible.

Evaluar tanto la imputabilidad de los resultados como el efecto

de discriminación positiva (y su contrapartida de sustitución) re-

cién presentados es bastante complejo, y por ello suele afirmarse

que no es fácil decidir si estos proyectos tienen o no buenos resul-

tados por las dificultades de la medición e interpretación de datos

(Castro, 1997).

Para controlar la imputablidad y la discriminación positiva se re-

curre a diseños experimentales o cuasi-experimentales. La caracte-

rística principal de estos diseños es reunir información al mismo tiem-

po de dos grupos comparativos: uno que ha pasado por el programa

y otro, con iguales características socio-económicas y educativas, que

no ha pasado por el mismo.



42


Los programas también esperan un impacto psicosocial positivo

en los jóvenes, producto indirecto de un mejoramiento de la autoes-

tima a partir de la participación en la experiencia de capacitación.

Este aspecto resulta importante: los jóvenes que pasan por estos pro-

gramas en general han tenido bajo rendimiento escolar e ingresos

fallidos al mundo del trabajo. La elevación de la autoestima, la con-

fianza en las propias potencialidades, es un punto de partida actitu-

dinal relevante para que puedan aplicar los saberes adquiridos en la

formación en la resolución de problemas concretos de la inserción

laboral. Resultan obvias las dificultades operativas de medición de

este efecto, sobre todo en diseños evaluativos cuantitativos con pre-

guntas cerradas.

Como se ha mencionado, se espera que las instituciones ejecutan-

tes de la capacitación crezcan en calidad y cantidad. La definición de

‘calidad’ generalmente adoptada resulta un poco estrecha. La calidad

se expresaría especialmente en el logro de cada vez más pertinencia

en relación a las demandas del mercado de trabajo5.

Para evaluar el proceso, se sistematizan datos de ejecución en lo

que constituiría una aproximación a una evaluación cuantitativa de

la implementación; esta información es significativa porque permite

evaluar la focalización del proyecto y las dificultades de la ejecución

y ha constituido fuente de ‘aprendizajes’ para el diseño de las sucesi-

vas etapas de los proyectos. Sin embargo, no puede clasificarse en

rigor como una evaluación de proceso, porque no llega a profundi-

zar información organizacional y pedagógica que permita adentrarse

en la ‘caja negra’ de la capacitación, a través de la utilización de estra-

tegias cualitativas de evaluación, como se verá en el punto siguiente.

5 Dentro de este criterio, reformulaciones recientes de los programas, por ejemplo en Argentinay Chile, ponen cada vez más énfasis en la calidad y confiabilidad de la pasantía cuando se evalúan ex

ante los diseños de los cursos presentados a la licitación. Incluso la evaluación ex post de la pasantíaen cuanto a calidad formativa e inserción laboral posterior es tenida en cuenta como dato de lainstitución capacitadora en las licitaciones posteriores.



43


La evaluación ex post se realiza a través de mediciones de impacto,

con un nivel de diseño y rigurosidad que tiene pocos antecedentes

en las políticas públicas latinoamericanas. Estos mecanismos se cen-

tran sobre todo en los jóvenes, en especial en su inserción laboral,

pero también incluyen a las instituciones capacitadoras y a las em-

presas que proveen pasantías.

A continuación, veremos con mayor detalle las estrategias metodo-

lógicas que se utilizan en la evaluación ex post y durante el proceso.

Una aproximación a la evaluación de proceso: los datos acercade la implementación

Los programas relevan y examinan estadísticamente datos claves

del proceso de implementación del dispositivo, incluyendo a los bene-

ficiarios; las especialidades de los cursos y las características de las

instituciones capacitadoras; y la caracterización de las empresas de

pasantías según su tamaño y sector económico al que pertenecen.

Este tipo de datos muestran la marcha de los programas, y demues-

tran el alcance de la intervención realizada y su relación con las metas

establecidas. Una primera aproximación se refleja en el esfuerzo fi-

nanciero que realiza el Estado en el dispositivo empleado (% del PBI)

y la relación de eficiencia entre los recursos puestos en juego y otras

alternativas posibles. En general, los proyectos manejan ese tipo de

datos y, durante el proceso, se controlan especialmente que los costos

de los cursos para que no excedan los de mercado, y el costo de opor-

tunidad para los jóvenes al constituirse en beneficiarios.

Para caracterizar el dispositivo se proporcionan datos de cobertura,

el perfil de los beneficiarios y la focalización, descripción de la forma-

ción impartida, retención de los alumnos y costos del programa.



44


Respecto a los datos de cobertura, se sistematiza información so-

bre jóvenes adjudicados (es decir, quienes por responder al perfil de

la población beneficiaria están en condiciones de acceder al progra-

ma), los que efectivamente se inscriben e inician los cursos, y los egre-

sados. La relación entre estos tres datos da una medida de los esfue-

rzos que deberán hacerse para mejorar la cobertura. En general se

considera que para avanzar en la resolución de los desfasajes la coor-

dinación central debe mejorar los procedimientos administrativos y

los tiempos de ejecución, pero también las instituciones capacitado-

ras deben afinar los procesos de selección de los jóvenes y su mutua

articulación con las empresas (Chile Joven, 1997).

La caracterización de los perfiles de los beneficiarios brinda da-

tos de focalización en términos generales y en particular respecto a

los distintos subgrupos de jóvenes. La desfocalización puede estar

revelando que no se están instrumentando estrategias de comunica-

ción y de reclutamiento adecuadas, o bien, que la oferta no atrae a la

población a la que se apunta.

Ahora bien, los datos de focalización brindan un índice muy glo-

bal, cuando como en el caso de estos programas, la población focali-

zada es sumamente amplia y heterogénea. Lo que permite profundi-

zar el análisis es la detección de subgrupos dentro de la población

objetivo para determinar cuáles son particularmente difíciles de cap-

tar, y cómo se manifiestan las tensiones entre focalización y selectivi-

dad (por ejemplo, ¿qué especialidades, en qué contextos geográfi-

cos, qué instituciones capacitadoras, etc. muestran mayor o menor

focalización?). Así, por ejemplo se ha detectado que el programa chi-

leno muestra dificultades para reclutar a los grupos comparativamen-

te más vulnerables (los más jóvenes, mujeres, jóvenes sin ocupación

previa). Estas dificultades han sido interpretadas como un efecto in-

directo de los mecanismos ya referidos que premian la retención.

Estos hallazgos han llamado la atención sobre la tensión referida, y



45


muestran la necesidad de mejorar el proceso en este punto. Sin em-

bargo, en general no se encuentran estudios que hagan un aprove-

chamiento exhaustivo de estos datos.

Respecto a las empresas que proveen pasantías, en general se las

caracteriza por su sector de actividad y su tamaño. En cuanto a lo pri-

mero, permite observar los sectores donde entra el programa en com-

paración, con la distribución del empleo a nivel nacional desde un

perspectiva diacrónica (los sectores más dinámicos en los últimos

años) y sincrónica. Este análisis posibilita apreciar concordancias y

discordancias e interrogarse sobre sus causas. Por ejemplo, es posi-

ble observar en el caso chileno que la distribución sectorial de las

prácticas responde más a la estructura estable del empleo que a sus

variaciones, estimándose entonces que el programa no estaría sufi-

cientemente imbricado con la reestructuración intersectorial del

empleo (Chile Joven, 1997). ¿A qué se debe esta situación? Una hipó-

tesis interpretativa podría ser que los sectores más dinámicos del

empleo no están interesados en incorporar jóvenes con perfiles so-

cio-educativos bajos como los que apunta este programa. En este sen-

tido, la colocación de los jóvenes estaría más en función del perfil

del puesto de trabajo a ocupar que del sector económico. Si esto fue-

ra cierto, y el programa intentara reforzar su presencia en los secto-

res más dinámicos, debería preverse formación orientada a empleos

de mayor nivel de calificación y a jóvenes de perfiles educativos más

altos. Otra hipótesis interpretativa del desfasaje citado podría con-

ducir a mejorar la estrategia comunicacional en ese tipo de empre-

sas, a dinamizar la coordinación con programas de fomento produc-

tivo, etc. Lo que interesa rescatar aquí es que el análisis de estos da-

tos brinda elementos fundamentales para perfeccionar las estrategias

de los programas.

El tamaño de las empresas de pasantías es un indicador relevante

porque existen indicios acerca de que el rol que los pasantes tienen



46


dentro de la estrategia empresarial difiere según su tamaño (Freyssi-

net, 1994). Las empresas de menor tamaño tomarían pasantes princi-

palmente para bajar el costo de la mano de obra, en tanto en las de

mayor tamaño la estrategia de la utilización de pasantes se motivaría

en el abaratamiento de la selección y capacitación, y en la sustitución

de trabajadores por jóvenes capacitados. Por ello, cuando los datos

revelan, como en el caso de los programas argentino y chileno, una

alta concentración en empresas medianas y sobre todo, pequeñas,

sería preciso profundizar la indagación relacionando este dato con

la inserción laboral posterior en esas mismas empresas. Es, que se

corre el riesgo de estar ‘regalando’ la capacitación a las empresas sin

mejorar la empleabilidad de los jóvenes. Como contrapartida, algu-

nos de los programas han detectado que en las empresas de menor

tamaño la pasantía brindaría capacitación más polivalente por la me-

nor división de tareas. Todos estos indicios provienen de datos im-

presionistas más que de evaluación sistemática de casos; es obvio el

interés que tendría profundizarlos para el mejoramiento de los pro-

gramas.

Los datos reunidos sobre las instituciones capacitadoras permiten

mostrar la capacidad de participación en el programa de distinto tipo

de entidades. Se evalúa su comportamiento individual en las sucesivas

licitaciones y se las clasifica según su grado de efectividad

esencialmente en cuanto al cumplimiento de la propuesta, retención

e inserción laboral posterior de los egresados, considerando a éste

último un fuerte indicador de pertinencia. Esta clasificación de

instituciones capacitadoras se ha ido ampliando en las sucesivas etapas

y actualmente, por ejemplo, el programa Chile Joven, ha adoptado

dieciocho indicadores del rendimiento del oferente para ser

evaluados en la presentación de las propuestas. Entre ellos se incluyen

la capacidad de gestión, el relacionamiento con el sector productivo,

el porcentaje de inserción laboral posterior a la pasantía, la capacidad

de focalización, el mejoramiento de la oferta en las sucesivas



47


licitaciones, la retención, etc. Reforzando la señal de pertinencia, se

ha incorporado el requisito de comprometer un cierto porcentaje de

trabajo futuro para los pasantes.

Curiosamente, los datos agregados sobre las entidades de capaci-

tación no parecen ser objeto de evaluación tan pormenorizada, como

se verá al analizar la evaluación respecto a la calidad de la oferta de

capacitación que se está creando.

Los propios programas se hacen cargo de reunir los datos de ges-

tión e implementación que acaban de citarse. Las únicas instancias

descentralizadas, para las cuales se contratan terceros a través de lici-

taciones públicas, son la supervisión de la calidad pedagógica y técni-

ca de los cursos. Esta supervisión focaliza su accionar en los siguien-

tes aspectos:

• administrativos, referidos a control del cumplimiento de aspec-

tos organizativos y burocrático-administrativos, como cobro de

manutención por parte de los beneficiarios, libro del curso, co-

municaciones, etc.;

• técnico-pedagógicos, como verificar la correspondencia de los

contenidos desarrollados con los presentados en la oferta, o de la

capacitación recibida con el contenido del puesto de trabajo en la

pasantía; el clima de trabajo y la satisfacción de los beneficiarios.

También se han detectado algunos estudios ad hoc que indagan

los niveles de satisfacción de los beneficiarios y la opinión de los prin-

cipales actores (supervisores, tutores, etc.) sobre la preparación que

otorga la capacitación para el mundo del trabajo. Como se ha men-

cionado, de esta información se extraen algunos indicios cualitati-

vos sobre la calidad de los procesos, pero deberían ser aprovechados

con rigurosidad mayor y con datos complementarios para constituir

una verdadera evaluación de proceso.



48


En síntesis, la gestión de esos programas suele ser ordenada y se-

guir criterios y procedimientos técnicos bastante rigurosos, razón por

la cual se cuenta con una buena sistematización de los datos de la

implementación. Sin embargo, el análisis de estos datos y del aprove-

chamiento que se hace de ellos presenta al menos dos limitaciones

en relación a la evaluación de procesos. En primer lugar, se cuenta

con muchos datos que no son analizados en forma agregada, lo cual

permitiría detectar tendencias y tener visiones más globales de la

calidad de los cursos y de la oferta de capacitación. En segundo lugar,

quedan muchos aspectos sustantivos del proceso que podrían inda-

garse con estudios cualitativos ad hoc, y permitirían brindar elemen-

tos de interpretación de los resultados, sobre todo en términos com-

parativos, y efectuar la retroalimentación sistemática del programa.

Interrogantes vinculados a los rendimientos diferenciales de los bene-

ficiarios y sus razones; los motivos por los cuales algunas institucio-

nes capacitadoras obtienen mejores resultados; cómo es el proceso

de asociación-negociación con la empresa que provee la pasantía; qué

tipo de articulación entre la etapa de formación y la de pasantía pare-

ce dar mejores resultados, podrían ser respondidos con estudios eva-

luativos de proceso. De hecho, suele aceptarse informalmente que

los mejores insumos para corregir aspectos deficientes del proceso

han resultado ser los focus groups que se han implementado por ejem-

plo, para conocer las opiniones de empresarios (Chile), o los perfiles

de las mujeres beneficiarias que realizan capacitaciones en cursos no

tradicionales (Argentina). Sin embargo, este tipo de estudios no se

han realizado sistemáticamente.

La evaluación de impacto

Todos los programas han instrumentado encuestas de seguimien-

to de egresados mayormente centradas en la empleabilidad y el im-

pacto psico-social en los beneficiarios. Estas mediciones se realizan

en tres momentos: la situación en el momento de la acreditación, en



49


el momento de finalización de las pasantías y alrededor de un año

después. Los diseños cuentan siempre con un grupo de control.

Las principales metas de la evaluación de impacto están orienta-

das a medir la inserción del joven en el mercado de trabajo, relacionán-

dolo con los distintos subprogramas o componentes, y controlando

por otros factores estas metas de inserción. Entre los factores con-

trolados se encuentran: las características personales del joven; las

características de hogar y de la familia en el momento inicial; el tipo

de componente al que acceden; el tipo de institución capacitadora y

las características del curso, y el tipo de empresa donde está emplea-

do.

Las dimensiones básicas son la descripción de la inserción laboral

y la calidad de los empleos. Las metas al respecto se expresan en que

los jóvenes tengan mayores posibilidades de encontrar empleos semi-

calificados en el sector formal de la economía, reduzcan el tiempo de

búsqueda de empleo y logren mayores ingresos. Se toman en cuenta

como indicadores: la condición de actividad, el tiempo de búsqueda

de empleo, la productividad medida en términos salariales, y el tipo

de empleo (que incluye formalidad en el empleo, estabilidad, obten-

ción de beneficios laborales, tipo de ocupación y subempleo). Los

indicadores son medidos y comparados con el grupo de control y en

su evolución entre las distintas mediciones.

Los informes de evaluación reflejan un esfuerzo mucho menor

por medir los impactos de las distintas variables de control sobre es-

tos resultados, aunque ello daría señales sobre qué jóvenes hacen un

mejor aprovechamiento del programa y qué instituciones obtienen

mejores resultados. En general, se tiene en cuenta la variable género,

por las metas del programa al respecto.

Otro aspecto incluido en la evaluación de impacto constituye una

innovación importante por lo que conceptualmente implica. Nos re-



50


ferimos a la medición del impacto psico-social. La significación de

este impacto es particularmente importante para esta población ya

que dados sus déficits en relación a múltiples aspectos, cotidianamen-

te son objeto de desvalorización y maltrato con efectos negativos para

su autoestima. Esta variable es medida a través de la autopercepción

que el joven tiene sobre su mayor seguridad y confianza en la bús-

queda de empleo, la ampliación de las estrategias con las que buscan

trabajo (que antes del pasaje por el programa están generalmente

dirigidas a redes familiares y sociales), y la disminución de los con-

flictos familiares.

Un dato inesperado surgido en las evaluaciones de impacto ha sido

considerado un indicador indirecto del aumento de la autoestima en

los jóvenes: la evidencia de que un número significativo de benefi-

ciarios reingresa a la educación formal como consecuencia de su pa-

saje por la capacitación. Este es uno de los impactos considerado po-

sitivo, y de hecho se lo promueve, considerando a la inserción labo-

ral en un sentido más amplio que la colocación inmediata al culminar

la capacitación, y estimando que contribuye a la integración social

del joven. Es en efecto, una señal auspiciosa que una intervención

tan corta haya estimulado a los jóvenes a un retorno a la educación

formal, cuyo impacto en la inserción laboral será sin duda más impor-

tante que el de una capacitación tan específica. La preocupación en

este sentido surgiría en torno a las posibilidades de permanencia de

esos jóvenes en un sistema educativo que ya los había excluido, y la

falta de articulaciones de los programas con la educación formal no

sólo en términos institucionales sino de certificaciones. Más aún cuan-

do tampoco se están poniendo en marcha sistemas de educación y

formación permanente.

Las instituciones capacitadoras como área de evaluación de im-

pacto han sido mucho menos estudiadas. Algunas son evaluadas con

los datos internos de la unidad coordinadora central, y en algunos



51


casos se han hecho estudios ad hoc. Sin embargo, si se recuerda el

énfasis de los objetivos en la creación de una oferta de capacitación

pertinente y de calidad, y la más reciente preocupación por la institu-

cionalización de los programas, es sin duda prioritario evaluar el con-

junto de esa oferta y de las instituciones ejecutantes. Piénsese por

ejemplo, en la riqueza que otorgaría al análisis la caracterización de

los resultados de cada institución según su antigüedad, su experien-

cia previa con este tipo de público y su grado de institucionalización.

Estos datos son particularmente relevantes para evaluar no sólo la

calidad y la adecuación a públicos diversos, sino también las posibili-

dades de permanencia en el tiempo de la oferta de capacitación que

se está creando, que son interrogantes centrales. Por ejemplo, una

señal particularmente preocupante del programa en Argentina es la

llamativa presencia de las personas físicas (consultores y docentes

individuales) entre los oferentes: cercana al 55% del total. Se ha in-

terpretado que se trata de ‘brokers’ competentes, capaces de vender-

les cursos a las empresas, contratar a quienes los dictan, y alquilar el

espacio requerido en escuelas y empresas. Ahora bien, ¿constituye

esto una medida de éxito del programa según los objetivos propues-

tos? Castro (1997) responde de la siguiente manera a este interro-

gante: ‘Si el objetivo era crear un gran ejército de intermediarios que

arman programas de un día para el otro, ha tenido un éxito asombro-

so. Pero si su verdadera meta era formar un potencial formador sóli-

do y cada vez más competente, cabe preguntarse si el hecho es de

veras auspicioso’. El mismo autor, que realiza estos señalamientos en

el marco de una evaluación externa del BID sobre el Proyecto Joven,

fundamenta las razones de esta preocupación señalando que las enti-

dades pequeñas y efímeras no generan las condiciones para producir

un aprendizaje organizacional acumulativo sobre estrategias, mate-

riales, y teorías del arte de enseñar. Estas razones sugieren que debe

darse preferencia a instituciones de formación que prometen per-

manencia y llegan a un tamaño mínimo para lograr sinergia interna,



52


sin lo cual no sería posible superar la improvisación y falta de acumu-

lación. Los propios datos del proyecto muestran la menor permanen-

cia de este tipo de oferentes a lo largo de las sucesivas licitaciones,

sin embargo, los informes no dan cuenta de estudios de evaluación

según resultados obtenidos.

En cuanto a las empresas donde se realizan las pasantías, los estu-

dios disponibles muestran esencialmente encuestas de opinión de

los empresarios y recomendaciones de su parte respecto del progra-

ma. Estos datos son sin duda valiosos, pero no alcanzan a mostrar el

impacto que ha tenido el programa en las propias empresas. Por ejem-

plo, ¿qué aprendizajes han hecho las empresas respecto a los proce-

sos de selección, capacitación y evaluación de necesidades de recur-

sos humanos a partir de la operatoria propuesta por el programa?;

¿ha habido cambios en las modalidades de gestión y en la productivi-

dad, o simplemente se trata de apropiarse de un mecanismo que pro-

vee mano de obra a bajo costo? Interrogantes de este tipo resultan

especialmente relevantes, sobre todo si se tiene en cuenta la altísima

participación de empresas pequeñas y medianas en estos programas

(que en promedio ronda el 70%).



CAPÍTULO III

LA EVALUACIÓN DE LA EVALUACIÓN



55

LA EVALUACIÓN DE LA EVALUACIÓN

Se ha venido enfatizando el esfuerzo y el avance que realizan es-

tos programas en la evaluación de las políticas públicas respecto a

experiencias anteriores en los países latinoamericanos. Se han mos-

trado los alcances y en este apartado se profundizarán algunos lími-

tes de estos enfoques de evaluación. A partir de ello se propondrán

estrategias metodológicas y dimensiones e interrogantes cuya incor-

poración a las evaluaciones daría una medida más amplia del éxito de

los programas, y fuentes para su mejoramiento. Podrá objetarse que

la complejización de las evaluaciones elevaría los ya altos costos de

las mismas. Sin embargo, algunas de las limitaciones a señalar provie-

nen más bien de dificultades conceptuales, en torno por ejemplo a

las dimensiones de impacto, o al planteo de interrogantes sustanti-

vos sobre el por qué del éxito o fracaso, que de la necesidad de enca-

rar relevamientos de datos sumamente costosos.

Muchos de los señalamientos provienen más de investigaciones

cualitativas de estudios de caso que intentaron detectar la emergen-

cia de aspectos ‘claves’ del éxito, que de investigaciones cuantitati-

vas sofisticadas. Probablemente lo más importante de una evaluación

sea hacerse las preguntas correctas, y encontrar los medios para con-

testarlas.

De cualquier modo, los aspectos a analizar no intentan ser exhaus-

tivos ni pretenden abarcar todas las medidas del ‘éxito’. Se espera

apenas que resulten una contribución, partiendo del reconocimien-

to de las dificultades conceptuales y metodológicas de toda evalua-

ción, y del escepticismo de muchos especialistas sobre los límites de

los diseños habituales (Grubb, 1995; Castro, 1997)



57

I. ASPECTOS INSTITUCIONALES DE LA EVALUACIÓN

Un aspecto importante de la evaluación se refiere a la inserción

institucional del dispositivo y a quien debe hacerse cargo de la tarea.

Con respecto a esto hay tres tipos de enfoques clásicos y sus combi-

naciones (Freyssinet, 1994).

En primer lugar, la evaluación depende del responsable político,

que es a su vez quien diseña el programa. En este caso, el evaluador

tiene acceso directo a la información y como decide la evaluación,

tiene un papel inmediato, directo. Los programas aquí analizados se

inscriben en un modelo de modernización de la gestión de las políti-

cas públicas que incluye la evaluación de resultados. De este modo,

la evaluación se inscribe dentro de los instrumentos de gestión del

Estado. Sin embargo, al no existir distancia entre el responsable y el

evaluador, es evidente el riesgo de que la evaluación resulte sesgada

para justificar el dispositivo o al que decide la política.

La segunda posiblidad es la constitución de un evaluador autóno-

mo, típicamente un grupo de expertos independientes. En algunos

casos, estos grupos son seleccionados a través de concursos o licita-

ciones públicas en función de sus competencias científicas. La venta-

ja evidente es la mayor autonomía, aunque no siempre estos grupos

estén exentos de presiones políticas. Esta tarea de evaluación exter-

na generalmente permite abordar estudios de mayor calidad o pro-

fundidad, aunque no necesariamente esto coincide con las urgencias

de los tiempos políticos.

En todo caso, estas evaluaciones deben ajustarse a los objetivos pro-

puestos por el poder político y responder a los interrogantes que fue-

ron planteados. En este sentido, pueden visualizarse dos fuentes de

limitaciones. Por un lado, pueden quedar interrogantes relevantes sin



58


contestar, dependiendo de cómo haya sido efectuada la demanda. Por

otro lado, los equipos científicos no siempre tienen el entrenamiento

adecuado para desarrollar investigaciones aplicadas, como sería el caso

de las evaluaciones, lo cual explica en ocasiones las dificultades para

encontrar los perfiles de evaluadores adecuados.

Una tercera posibilidad es la evaluación participativa, que en mu-

chos sentidos es recomendable en el caso de las evaluaciones de pro-

ceso. Si lo que se busca de la evaluación es la retroalimentación, si se

quiere una evaluación formativa, o sea que permita mejorar el proce-

so de capacitación a partir de sus resultados, es conveniente una par-

ticipación activa de los actores directos (formadores y formados).

De hecho, la mayor parte de las propuestas de evaluación de los

programas sociales financiados por bancos u organismos internacio-

nales enfatizan la necesidad de realizar autoevaluaciones periódicas.

Estas en general son acompañadas con monitoreos también periódi-

cos realizados por las unidades coordinadoras centrales y por las pro-

pias agencias financiadoras, si es que se trata de programas con finan-

ciamiento externo. La periodicidad de estas evaluaciones de proce-

sos o monitoreos suele ser anual. Este no es el caso de los programas

analizados en este documento, en las que la evaluación ex post es rea-

lizada por las propias unidades coordinadoras centrales; en algunos

casos se subcontratan expertos para realizar estudios ad hoc cualita-

tivos y en general, no cuentan con instancias de autoevaluación. Pue-

den observarse pues los límites de las estrategias institucionales pues-

tas en juego.

Cada una de las decisiones posibles acerca de quién debe hacerse

cargo de la evaluación tiene su función, su eficiencia y sus debilidades.

Lo importante es saber qué puede esperarse de cada tipo de



59

La evaluación de la evaluación

evaluación, e idealmente articular distinto tipo de dispositivos, según

los interrogantes. Los dispositivos de monitoreo a cargo de quienes

coordinan desde organismos públicos la ejecución de los programas

son necesarios para tener reacciones correctivas rápidas. En cambio,

cuando se trata de tener un diagnóstico objetivo después de un

período de funcionamiento, es conveniente encarar una evaluación

externa más profunda a cargo de un equipo técnico independiente.

Por su parte, la autoevaluación es un dispositivo especialmente

adecuado para retroalimentar el proceso. Más allá de que se incluya

o no autoevaluación, aún cuando la evaluación de procesos es reali-

zada por un agente externo, la retroalimentación es muy importante.

Esto implica que deben preverse desde el comienzo instancias parti-

cipativas de discusión de datos.

Por otro lado, las evaluaciones a encarar están limitadas por los

medios con que se cuenta para realizarlas: económicos, recursos

humanos, tiempo. Las limitaciones de los medios acotan las

posibilidades: una evaluación muy ambiciosa con pocos medios y poco

tiempo no puede aportar contribuciones significativas. Este aspecto

está muy relacionado con un actor clave: quién financia el dispositivo

—se trate de un organismo financiador externo o del propio Estado—

influye claramente en el diseño y los objetivos de la evaluación, tales

como la definición del nivel de análisis y la importancia de la

retroalimentación.



61

II. SOBRE LOS MÉTODOS, SUS ALCANCES Y OBJETIVOS

Los límites de los diseños cuasi-experimentales y la necesariaincorporación de metodologías cualitativas

Los diseños experimentales o en su defecto, los cuasi-experimen-

tales constituyen consensualmente el tipo de abordaje más adecua-

do para evaluar el impacto de un programa de este tipo en los benefi-

ciarios. Sin embargo, no están exentos de problemas.

En principio, la construcción del grupo de control presenta mu-

chas dificultades, aún en el caso de diseños cuasi-experimentales.

Controlar todas las variables críticas es muy difícil en el trabajo en

terreno. Por ejemplo, la construcción de los grupos de control ha

sido objetada en el programa argentino porque el grupo fue selec-

cionado en el momento de encuestar a los egresados, lo cual no ase-

gura características equivalentes. En otro de los estudios se eligieron

personas que se habían acreditado y decidieron no participar, con lo

cual podrían estar manifestando motivaciones muy diferentes a las

del grupo experimental.

Además de estas dificultades, cualquier diseño experimental pue-

de devenir en cuasi-experimental por el comportamiento no aleato-

rio de los grupos experimentales. Como se acaba de ver en el ejem-

plo anterior, resulta prácticamente imposible controlar variables vin-

culadas a motivaciones personales o problemáticas psicológicas que

pueden estar explicando buena parte de los comportamientos de los

jóvenes durante y después de la capacitación.

Aunque se forme un grupo de control al azar que sirva para eva-

luar el conjunto del programa, éste no resulta válido para evaluar ni-

veles de análisis menores, como a las entidades de capacitación con

sus distintos componentes; o subgrupos dentro de la población, como



62


hombres comparados con mujeres, personas que tienen experiencia

laboral previa con quienes no la tienen; las personas más educadas

con las menos educadas; etc. Un programa puede resultar exitoso en

su conjunto y alcanzar sus metas en términos de mejoramiento de la

situación en relación al grupo de control, pero si se lo analiza en sus

distintos componentes o instituciones ejecutantes o sub-grupos pue-

de no ser tan exitoso en algunos casos o viceversa.

Para superar esta limitación, los programas analizados han opta-

do por tres vías de evaluación: una central a través de estudios cuasi-

experimentales de impacto en los egresados, y otras complementa-

rias, que consisten en el análisis de la información de la ejecución

(cobertura, deserción, focalización, instituciones capacitadoras y

empresas participantes, etc.) y de los datos provenientes de las su-

pervisiones y de visitas de control en las que se recolectan datos ‘im-

presionistas’. Sin embargo, como se ha visto, esta última vía no ha

sido diseñada como una evaluación de proceso y los datos reunidos

son escasamente sistematizados.

Es sabido que los diseños experimentales o cuasi-experimentales

no alcanzan a medir el aumento neto del nivel de empleo en una re-

gión; especialmente en el caso de programas que tienen estrecha re-

lación con los empleadores. Es posible que el empleo de los entrena-

dos se cree a expensas de otros que hubieran sido empleados si no

mediara el programa, o sea que sólo se ha desplazado a potenciales

trabajadadores por otros. Como ya se ha visto, este efecto tiene mu-

chas dificultades de medición y los programas no cuentan con infor-

mación al respecto.

La dificultad y costos elevados de las evaluaciones que incluyen

un grupo de control, conduce a que las mediciones ex post se reali-

cen sólo una vez después de un período de tiempo de alrededor de

un año del egreso. Si bien es cierto que es difícil determinar la impu-



63


tabilidad de los resultados en periodos de tiempo más largos, espe-

cialmente en el caso de programas de capacitación específica como

los analizados en este documento, extender el período de la evalua-

ción permitiría observar el impacto sobre dos aspectos centrales: la

empleabilidad a más largo plazo, y el acceso y motivación para ingre-

sar a circuitos posteriores de formación de mayor nivel.

De hecho, uno de los límites importantes de la evaluación de los

programas se relaciona con que no se realizan seguimientos sobre

un período más largo. Como se ha señalado en el primer capítulo,

según el estado del mercado de trabajo, los primeros empleos no

hacen más que reflejar situaciones pasajeras. Más aún en el caso de

jóvenes como los focalizados, sobre quienes las investigaciones de

trayectorias han revelado un largo proceso de transición entre la sali-

da del sistema educativo y la inserción laboral, en el que se suceden

empleos precarios, periodos de desempleo, de inactividad, etc. Es

decir, no sólo sería aconsejable realizar mediciones a más largo pla-

zo, sino también estudios que reconstruyeran trayectorias. Estos últi-

mos tendrían la ventaja de permitir evaluar más ampliamente el im-

pacto sobre la empleabilidad, y las relaciones existentes entre perío-

dos de formación, de empleo, de desempleo y de inactividad.

Otra de las grandes limitaciones de los mecanismos de evaluación

puestos en juego consiste en la escasez de estudios cualitativos que

permitan comprender por qué la intervención resulta más exitosa

con algunos jóvenes que otros, en algunas instituciones capacitado-

ras y no en otras, etc. Las evaluaciones cuantitativas son necesarias

porque sólo ellas permiten ver el impacto sobre el nivel de empleo y

su calidad, pero los estudios cualitativos sobre los procesos formati-

vos y organizacionales implicados en la capacitación resultan claves

para interpretar los resultados de los programas y encontrar vías para

mejorarlos. Como ya se ha señalado, existe registro de informacio-

nes claves sobre los beneficiarios y se supervisa en rasgos generales



64


el proceso formativo. Las principales dificultades en este sentido son

que estas instancias no son realizadas en el marco de un diseño for-

mativo de evaluación, y los datos reunidos son escasamente analiza-

dos agregadamente. A ello debería sumarse que no existen instan-

cias de autoevaluación que comprometan a los propios actores de la

formación.

Estrategias metodológicas complementarias

Las decisiones acerca de las metodologías más adecuadas a em-

plear en la evaluación dependerán de los interrogantes que se inten-

ta abordar, a quién está dirigida la evaluación y el lugar que se asigna

a la retroalimentación. Si se trata de abordar interrogantes sobre re-

sultados e impacto, pero también sobre procesos; si se trata de gene-

rar información para evaluar la performance general del programa

para los organismos financiadores y los decisores políticos, pero que

también resulte útil para los actores participantes en distintos nive-

les; si se quiere que la evaluación resulte formativa y sumativa, debe-

rán adoptarse enfoques multidimensionales y multimétodo. Se anali-

zarán en este punto los aportes que pueden realizar los distintos

métodos según los interrogantes y propósitos de la evaluación, y en

el punto siguiente se abordarán las variables y dimensiones relevan-

tes a incluir en la misma.

Más allá de las limitaciones de los diseños experimentales o cuasi-

experimentales, la evaluación de este tipo de programas exige recur-

rir a ellos para medir el impacto diferencial entre los grupos que acce-

den y los que no acceden a este tipo de intervención. Lo que resulta

claro de las reflexiones realizadas en el punto anterior, es que es re-

comendable usarlos complementariamente con otras metodologías y

fuentes de datos para superar las limitaciones de uno u otro enfoque.



65


6 Lamoure, 1995.

Ya se ha mencionado que la metodología usual para apreciar los

resultados de una determinada formación sobre la inserción laboral

y otras dimensiones educativas y sociales, es el seguimiento de egre-

sados. Implica la realización de al menos tres mediciones a una mues-

tra representativa de aquellos (una medición de base, una de salida y

otra un período de tiempo después del egreso), para poner en evi-

dencia el valor agregado producido por la intervención (Gallart y Ja-

cinto, 1997b). La incorporación de un grupo de control permite eva-

luar la imputabilidad de los resultados y los logros en la equidad. La

medición de base posibilita conocer la heterogeneidad social y edu-

cativa de los usuarios, y los puntos de partida en términos de compe-

tencias y redes sociales. La medición al final del curso o programa

examina la inserción laboral inmediata y las competencias adquiri-

das. La tercera medición profundiza, idealmente después de un pe-

ríodo de más de un año para controlar si se trata de un efecto inme-

diato o permanente, la inserción ocupacional en términos de califi-

cación del empleo, continuidad, tipo de empresa, ingresos y otros

impactos psico-sociales. La comparación entre las distintas medicio-

nes permite poner en evidencia el promedio y la desviación en los

resultados, analizar si existen características especiales en los de

menor rendimiento, y examinar diferencias regionales y entre las ins-

tituciones sobre el grado de éxito. Dado que la técnica de seguimien-

to de egresados es muy conocida y existen varios excelentes manua-

les respecto a los procedimientos metodológicos para su puesta en

práctica6, el aporte principal que puede efectuarse al respecto en este

documento se refiere a la complejización de las variables, dimensio-

nes e indicadores a incluir, tema que será abordado en el Capítulo III

"El impacto en los beneficiarios", página 73.



66


Como complemento de las técnicas cuantitativas de seguimiento,

la aproximación cualitativa permite abrir la ‘caja negra’ del proceso

formativo y de las conductas organizacionales que lo respaldan.

La evaluación cualitativa o del proceso formativo implica relevar,

sistematizar y analizar información pertinente, en forma periódica,

para detectar fortalezas y debilidades en la ejecución de la forma-

ción. De este modo, se espera facilitar la toma de decisiones que per-

mitan reforzar o reorientar los proyectos. ¿Qué tipo de interrogan-

tes pueden abordarse en estudios de esta índole? Los referidos a los

procesos pedagógicos e institucionales de la formación; las articula-

ciones y dificultades en las relaciones entre los distintos actores in-

tervinientes en los programas, esencialmente las unidades coordina-

doras centrales y/o regionales, las instituciones capacitadoras y las

empresas que proveen pasantías; y las opiniones y percepciones de

los distintos actores sobre variados aspectos del programa.

Generalmente, se trata de estudios etnográficos o estudios de caso

y consiste en la puesta en práctica de técnicas cualitativas de recolec-

ción (observación, entrevistas, análisis documental, etc.) y análisis

de datos. Aunque obviamente no se pretende generalizar los halla-

zgos y se trata de estudios díficiles de replicar, la riqueza y profundi-

dad de la información y de las hipótesis emergentes de este tipo de

abordaje evaluativo, justifican ampliamente su utilización conjunta-

mente con la evaluación cuantitativa de resultados (Grubb, 1995; Sch-

neidmann,1996).

En la investigación cualitativa ‘pura’ suele partirse de un amplio

listado de dimensiones que se van ampliando a medida que avanza la

investigación; en el caso de la evaluación cualitativa, es conveniente

retener variables y dimensiones claves a partir de las cuales organi-

zar la recolección, la sistematización y el análisis de los datos.



67


En cuanto al número de casos a incluir en la muestra, no se sigue

en este tipo de diseño criterios de representatividad estadística, sino

que los casos son seleccionados estratégicamente, según su relevan-

cia para el fenómeno que se intenta estudiar (por ejemplo, para eva-

luar los logros de las entidades capacitadoras la muestra debería in-

cluir los distintos tipos de instituciones), y su cantidad es determina-

da a través de un procedimiento denominado ‘saturación de

categorías’ que alude al hecho de que nuevos casos no aportan más

información a la ya relevada7. En el caso de los programas a los que se

alude en este documento, se trataría fundamentalmente de profun-

dizar el análisis de los datos de implementación, habitualmente subu-

tilizados, para a partir de ellos determinar una submuestra de institu-

ciones capacitadoras, beneficiarios y/o empresas (según la temática

que se intenta evaluar) a incluir en la evaluación de procesos.

Un aspecto crucial para la comparabilidad de los estudios de caso

es el otorgamiento de los mismos significados a las variables e indica-

dores por parte de los diferentes actores intervinientes en los distin-

tos momentos del proceso de la evaluación: los propios formadores

y responsables institucionales, los equipos técnicos a cargo de la su-

pervisión del programa y/o los evaluadores externos si los hubiere.

Para contribuir a la homogeneización de las significaciones es funda-

mental brindar definiciones conceptuales y operacionales pertinen-

tes y consensuadas.

7 Entre otros autores, hacen referencia a estos procedimientos Bertaux (1988), Glaser y Strauss(1967), Strauss y Corbin (1990), Fielding y Fielding (1986), Flick (1992), etc. Estos textos tambiénabordan la temática de la ‘triangulación’, a la que se hará referencia más adelante. Este conceptoproviene de la navegación y alude al uso de múltiples puntos de referencia para identificar conmayor precisión la posición de un objeto. Su uso en ciencias sociales apunta también al usocomplementario de diversas técnicas metodológicas, o fuentes de datos para lograr la comprensiónmás amplia de una problemática, aumentando la confiabilidad y validez de los resultados. Sobre estetema puede consultarse también Jick (1979) y Denzin (1978).



68


Para que exista retroalimentación, es fundamental la considera-

ción de las diferentes posiciones de los actores frente a la realidad

analizada, esto es, la ‘triangulación’ no sólo de fuentes de datos (fi-

nanciadores, directivos, formadores, usuarios, eventualmente fami-

lias de éstos), sino también de distintas técnicas de recolección.

La recolección de datos se realiza con el apoyo de una serie de ítems

aplicados a distintos niveles de análisis: contexto, institución, activida-

des formativas, empresas proveedoras de pasantías, los jóvenes aten-

didos. Se incluyen datos cuantitativos que permiten describir y cuanti-

ficar situaciones objetivas, por ejemplo: número de alumnos, reten-

ción y deserción, local, tipo y valor del equipamiento, financiación

recibida y fuentes, etc. Se registra también información documental a

partir del análisis de estatutos, registros de actividades, planes y pro-

gramas de acción. Las variables y dimensiones seleccionadas orientan

asimismo las observaciones y entrevistas con los actores.

Ese conjunto de variables y dimensiones claves debe servir para la

evaluación periódica en los niveles de análisis o planos que se definan,

de modo de poder comparar los casos (cada entidad ejecutora y el con-

junto del programa) en el tiempo (análisis longitudinal), y también

compararlos entre sí (análisis transversal) y eventualmente poder cons-

truir tipologías (PROAME, 1997). La construcción de estas últimas re-

sulta especialmente útil para determinar los perfiles de las institucio-

nes en función de su contexto local, sus estrategias y resultados.

En la evaluación cualitativa de procesos es importante incluir ins-

tancias de auto-evaluación de los propios participantes, y no sólo que

ellos sean objetos de la evaluación a los que se transmiten después

los resultados de la misma. La participación activa de los propios su-

jetos garantiza su mayor compromiso con la práctica evaluativa, po-



69


tencia el caracter formativo de la misma y amplía las posibilidades de

que la evaluación permita mejorar las prácticas a través de la retroali-

mentación.

En síntesis, lo que se propone es llevar adelante un modelo de

evaluación más integral. Una evaluación externa fundamentalmente

cuantitativa, pero cuyos resultados se ‘triangulen’ con opiniones de

los actores8, e incluya ítems exploratorios sobre dimensiones cualita-

tivas más amplias, que se señalarán en el punto siguiente. Debería

incluirse una evaluación de los procesos de implementación funda-

mentalmente cualitativa, a través de estudios de casos, donde pudie-

ran relevarse las opiniones de los actores, las metodologías pedagó-

gicas y relaciones institucionales de las entidades capacitadoras con

las empresas y otros actores del contexto; esta información podría

ser complementada con datos cuantitativos como índices de deser-

ción en cada etapa, costos, etc. Todo ello debe ser complementado

con estudios de costos globales y sobre el gerenciamiento y uso de

los recursos a nivel de las entidades capacitadoras.

Un diseño más complejo y relevante sería lograr la articulación de

los datos provenientes de la evaluación cuantitativa de impacto y la

evaluación cualitativa de proceso, lo cual permitiría relacionar las

características dinámicas del proceso con los aspectos positivos y

negativos de los resultados, teniendo en cuenta las limitaciones del

contexto y las organizacionales. Esta tarea tiene dos objetivos enca-

denados. Un objetivo apunta a la retroalimentación, y es detectar los

8 Un informe bastante reciente de Chile Joven hace un esfuerzo en ese sentido(Paredes y otros, 1996).



70


puntos críticos de la implementación que permitirían mejorar la oferta

y transmitírselos a los dos destinatarios privilegiados de la evalua-

ción: el que ha encargado la evaluación y los propios actores que par-

ticipan y ejecutan el programa. El segundo objetivo es tener una vi-

sión de conjunto del programa, que permite describir e interpretar

los alcances generales del mismo y definir fundamentadamente su

continuidad y/o reformulación global.



71

III. SOBRE LAS DIMENSIONES Y LOS INTERROGANTES

El contexto como condicionante

El desarrollo de estos programas y sus resultados tiene estrecha

relación con el contexto económico en que son aplicados y con as-

pectos macro-organizacionales de la gestión.

Respecto al contexto, se ha visto que los programas presuponen

la disponibilidad de las plazas para las cuales se está capacitando a

los jóvenes. Sin embargo, la mayoría de los países donde se está apli-

cando muestran un panorama en cuanto a la demanda de trabajado-

res que no permite inferir que la capacitación o la intermediación

solas resolverán los problemas de la inserción laboral de los jóvenes.

Aunque programas de este tipo sean necesarios, mejorar la emplea-

bilidad de los jóvenes demanda un conjunto de acciones y condicio-

nes adicionales en diversos ámbitos (estímulos a la inversión econó-

mica; promoción social; modernización de actividades productivas y

de servicios sociales, etc.) para lograr resultados positivos. Más aún,

su impacto sobre el empleo en términos globales difícilmente se re-

fleja en lo inmediato.

Por lo tanto, cualquier evaluación debería tener en cuenta tanto

las dimensiones centrales del contexto socio-económico como los lo-

gros y alcances esperables en relación a ese contexto. Entre los aspec-

tos contextuales es preciso, además conferir atención a las articulacio-

nes, complementaciones o superposiciones de políticas o acciones que

apunten tanto al desarrollo económico y social en general, como a las

que se dirigen al mismo grupo objetivo. Los diversos organismos pú-

blicos que intervienen suelen tener visiones diferentes de las problemá-

ticas, intereses y demandas distintos en función de sus especializacio-

nes, y esto no es un tema menor en relación a las modalidades de im-

plementación del programa en cuestión.



72


Un nivel de análisis particularmente relevante para examinar este

entramado de acciones y políticas es el regional y local. Las compara-

ciones internacionales muestran que jóvenes con trayectorias socio-

escolares que parecen muy similares terminan en recorridos de in-

serción muy diferentes, según la gestión de las políticas de empleo

local, que ponen en juego al mismo tiempo la movilización de acto-

res institucionales, empresas, organismos de formación, y poderes

públicos (Demaziere y Dubar, 1994). Esta dimensión estructural y re-

lacional concierne tanto el funcionamiento de los dispositivos de

capacitación e intermediación como los modos de gestión de la mano

de obra juvenil por parte de las empresas, las ramas profesionales, las

instituciones capacitadoras y las formas de coordinación entre acto-

res de la relación formación-empleo a nivel local. Es en este nivel que

se despliegan las relaciones de poder, los clientelismos políticos y las

estrategias de cada actor institucional. Ello implica que la evaluación

no debería dejar de tenerlo en cuenta.

El contexto socio-económico no incide sólo en los resultados, sino

también en los procesos. El desenvolvimiento de un programa de este

tipo, y las estrategias desplegadas por los actores individuales e insti-

tucionales mucho tienen que ver con ese contexto. La ejemplifica-

ción con los casos argentino y chileno puede ser útil para mostrar

este aspecto del problema. Como es sabido, el programa se desarrol-

la en Chile en un contexto de expansión económica; por este motivo

se ha definido que la segunda fase enfatizará en el objetivo de la efi-

ciencia económica, considerando la equidad como un producto indi-

recto de aquella. Se estimula la mayor participación de los empresa-

rios en todos los niveles desde la gestión hasta la ejecución. Los em-

presarios vienen dando en este sentido cada vez mayores señales de

la pertinencia de la capacitación ya que suelen dar estímulos especia-

les (aporte monetario que complementa la beca; alimentación, vesti-

menta, etc.) para retener a los jóvenes durante su pasantía. Al mismo



73


tiempo, se verifica una tendencia a la desfocalización, porque las ins-

tituciones capacitadoras tienden a seleccionar a los jóvenes de nive-

les más altos entre los focalizados para asegurarse la retención y com-

placer las expectativas de los empresarios. Como contrapartida, el

programa argentino se desenvuelve en un contexto de achicamiento

de los planteles de las empresas y alto desempleo. Por ello, este pro-

grama enfatiza actualmente entre los objetivos no sólo la equidad

sino también su contribución a prevenir la exclusión social de los

jóvenes más desfavorecidos. A pesar de que se intenta estimular a los

empresarios, en un contexto de alta oferta de mano de obra, incluso

más educada que la de los jóvenes atendidos por el proyecto, existen

evidencias de que si se cambiaran los estímulos actuales (el Estado se

hace cargo de la beca, del seguro laboral y de la asistencia médica) no

se lograría ubicar a los jóvenes en las pasantías. Paradójicamente, la

retención de los jóvenes más desfavorecidos no ha resultado un pro-

blema en el caso argentino: ante la ausencia de otras oportunidades

laborales, la participación en la capacitación y la pasantía, y el monto

de la beca son consideradas un verdadero ‘trabajo’ por parte de esos

jóvenes.

El impacto en los beneficiarios

El gran esfuerzo de la evaluación de impacto está puesto sobre la

inserción laboral de los egresados y su comparación con el grupo de

control; esto es consistente con los objetivos de aumentar la emplea-

bilidad del grupo focalizado y mejorar la selectividad del mercado de

trabajo en relación a estos jóvenes o sea, contribuir a la equidad.

Ahora bien, el impacto de programas de este tipo no sólo tiene

que ver con la inserción laboral inmediata, y de hecho, la no inser-

ción laboral puede responder a muchos fenómenos. Puede estar

mostrando una formación no pertinente en relación a las demandas



74


del mercado de empleo. Pero también puede deberse a las dificulta-

des del propio mercado de trabajo, ya que, como se ha visto, aunque

estos proyectos han sido pensados en el marco de la expansión de

actividades económicas, esto no siempre se ha verificado. También

podría estar reflejando la inadecuación del perfil de entrada de los

beneficiarios o de ciertos de ellos, para efectuar un buen aprovecha-

miento de la capacitación. Y obviamente podría reflejar el hecho de

que las empresas estén usando sistemáticamente a pasantes para aba-

ratar sus costos. Dada esta multiplicidad de dimensiones, es funda-

mental determinar: los perfiles de quienes son retenidos y parecen

tener mejores resultados; la calidad de la formación y su adecuación

no sólo a las demandas sino también a esos perfiles; y las estrategias

puestas en juego por entidades capacitadoras y por las empresas al

tomar pasantes.

Yendo específicamente al impacto en los beneficiarios, ampliar el

foco de la evaluación implicaría tener en cuenta al menos otras dos

dimensiones acerca de los resultados. Estas dimensiones, que pue-

den o no relacionarse con el empleo en el corto plazo, son: el mejora-

miento de la formación (con la consiguiente elevación de la produc-

tividad del joven), y el ponerlo en contacto con otros, sobre todo,

lugares de trabajo, pero también instituciones y servicios. Obviamen-

te, como se ha visto, los supuestos subyacentes a los programas pre-

dican la relación entre esas dimensiones y la empleabilidad, pero ella

no es mecánica. Puede pasar, por ejemplo, que el joven mejore su

formación, pero las condiciones del mercado de trabajo impidan su

colocación. Por lo tanto, medir el impacto más ampliamente es rele-

vante porque las dimensiones señaladas se relacionan con la emplea-

bilidad a más largo plazo, con la integración social y con las expecta-

tivas de los propios beneficiarios9.

9 Existen evidencias de que para los beneficiarios la motivación por ingresar al programa no essólo la empleabilidad, lo cual se refleja especialmente en el caso de las mujeres.



75


Evaluar los logros de los beneficiarios en la formación implica

medir el valor agregado en competencias técnicas, generales y socia-

les10. Por un lado, es correcto que un adecuado indicador de ese in-

cremento es el grado y la calidad de la inserción laboral posterior de

los beneficiarios. Pero este indicador sólo mide indirectamente la

calidad de los aprendizajes logrados, sobre todo en contextos de alto

desempleo. Para responder adecuadamente a este interrogante sería

necesario contar con la evaluación del nivel de competencias de en-

trada y de salida de los beneficiarios, y prever instrumentos de eva-

luación en ese sentido. La medición de entrada debería ser útil para

distinguir la heterogeneidad entre el grupo de jóvenes focalizados y

sus distintos handicaps en competencias generales y laborales, in-

cluyendo conocimientos, habilidades y actitudes (puntualidad, res-

ponsabilidad, atención, capacidad de trabajar en grupo). También es

importante recabar la historia ocupacional previa, detectando la re-

lación con la actividad, la desocupación y la subocupación. Otro as-

pecto relevante es conocer redes sociales de pertenencia, por el pa-

pel central que éstas tienen dentro de los mecanismos informales de

acceso al empleo. Las mediciones de salida y ex post deberían detec-

tar cambios o incrementos en las mismas variables.

Un tema que conviene enfatizar en la evaluación de saberes con-

cierne al aporte de la formación brindada a la consolidación de las

competencias básicas generales y a la capacidad de transferir lo apren-

dido a la resolución de situaciones problemáticas. Esta preocupación

parte de una evidencia: la población objetivo es heterogénea, y exis-

ten dudas acerca de si todos los jóvenes atendidos poseen las compe-

tencias y habilidades en matemática aplicada, lectoescritura y aptitu-

des analíticas de resolución de problemas, hoy consideradas básicas

10 Entendiendo por competencias técnicas saberes teóricos-prácticos y su aplicación en laresolución de problemas; y por competencias sociales habilidades socio-relacionales vinculadastanto con la comprensión del mundo del trabajo, como con ciertas características interactivas yactitudinales (Lichtenberger, 1992).



76


aún en niveles de desempeño ocupacional poco calificados (SCANS,

1992). Por ello es pertinente poner en cuestión el aporte a la emplea-

bilidad que puede hacer una capacitación tan puntual a jóvenes de

bajos niveles educativos formales en un contexto donde se revalori-

za la formación general. Las competencias básicas generales son el

sustrato de la capacitación técnica; sobre su base, cobran sentido

competencias prácticas más específicas. Los jóvenes en situación de

pobreza suelen acceder a los segmentos más deteriorados del siste-

ma educativo formal, y sus logros en habilidades básicas resultan po-

bres en muchas ocasiones. Si no se tienen en cuenta estos déficits,

probablemente el aprovechamiento de la formación diferirá, desfa-

voreciendo a los jóvenes con menores niveles de competencias de

entrada. De hecho, las evaluaciones efectuadas por los programas

detectan mayores dificultades de reclutamiento y menores resulta-

dos con los jóvenes más desfavorecidos social y educativamente. ¿No

refleja ésto una desarticulación entre la estrategia de intervención,

sobre todo cuando ésta es uniforme, y las características de la pobla-

ción atendida? ¿Cómo mejorar esta adecuación? Para responden per-

tinentemente a estos interrogantes deberían conocerse con mayor

precisión los citados déficits, las dificultades del proceso pedagógico

en estos casos y las alternativas posibles11.

Como se ha señalado, también debería poder evaluarse más

precisamente el peso del efecto de intermediación o de contacto

(Fouquet, 1996). Los egresados que están insertos laboralmente,

consiguieron trabajo, ¿por la formación técnica adquirida, por las

competencias sociales e interactivas desarrolladas o por el efecto de

contacto? ¿cuál de los tres componentes tuvo más peso? Determinar

estas relaciones según las poblaciones atendidas, los tipos de

11 Evidentemente, el tema de la evaluación de competencias deberá estar relacionado con losmecanismos públicos de certificación de la formación profesional. Por el momento, los paíseslatinoamericanos donde están en marcha estos programas están entrando en un proceso derenovación del sistema de certificación a fin de darle mayor garantía de calidad y homogeneidad.



77


empresas y los sectores de actividad, y las características de las

instituciones capacitadoras, brindaría orientaciones más precisas

sobre aspectos a corregir o mejorar en las intervenciones.

Otra dimensión a evaluar es la elevación de la autoestima de los

jóvenes. Estos muchas veces como producto de sus fracasos en la edu-

cación formal y en la inserción laboral, tienen poca confianza en sí

mismos y en sus potencialidades. Si la intervención es relevante para

la población objetivo, si se tiene la sensación de contención, pero

también de que se está aprendiendo algo que vale la pena, los jóve-

nes comienzan a valorar sus logros y aumentan su confianza en sí

mismos. Ahora bien, es importante el aumento de la autoestima basa-

do en elementos reales como es el incremento de las competencias

laborales y sociales. Si el incremento de la autoestima no se termina

reflejando en un mejor posicionamiento en la vida laboral o social,

este logro puede ser rapidamente ‘perdido’ cuando finaliza la inter-

vención.

Estos programas se inscriben en general dentro del marco de ac-

ciones orientadas a la integración social de estos jóvenes. ¿Qué impli-

ca esta integración social? Se suelen considerar formas de participa-

ción social positivas de los jóvenes desde aquellas que van desde dis-

tintas manifestaciones culturales, artísticas o deportivas hasta

movimientos sociales vinculados a resistencias cuestionadoras del

orden imperante en el plano político o social, cuando éstas no se

encuadran en comportamientos violentos. Los últimos años se han

visto marcados por un aumento de los niveles de violencia juvenil en

el marco de conductas con características anómicas, al tiempo que

otras formas de manifestación juvenil son efímeras y no operan con

criterios de representatividad (por ejemplo, protestas en escuelas

secundarias). Ello se da conjuntamente con un debilitamiento y/o

cuestionamiento del rol socializador de instituciones tradicionales,

como la familia o la escuela. En este contexto, se va generando un



78


consenso sobre la necesidad de promover nuevas formas de solidari-

dad juvenil, que en algunos casos han encontrado cauce, por ejem-

plo, en los movimientos ecologistas o de derechos humanos.

¿Qué aporte a la integración social puede esperarse de un progra-

ma del tipo de los que se analizan en este documento? Sin duda, el

hecho de que el joven se haya insertado laboralmente, o haya rein-

gresado a la educación formal como resultado del programa, son evi-

dencias de su mayor participación social, pero la evaluación no debe-

ría agotarse allí. Una dimensión particularmente reveladora de la in-

tegración se refiere a la participación del joven en instituciones u

organizaciones intermedias sociales, políticas, etc. Es importante re-

gistrar entonces si el joven ha incrementado su red de relaciones so-

ciales, y sus espacios de participación. El incremento de la participa-

ción en instituciones u organizaciones donde puedan desarrollar ac-

tividades recreativas, deportivas, políticas, religiosas, etc. estará

indicando un reforzamiento de su capital social y cultural.

Otra dimensión vinculada a la integración es la ausencia o supera-

ción de problemáticas ligadas a la autodestrucción o la violencia. Algu-

nos jóvenes presentan situaciones asociadas a conductas de destructi-

vidad (alcoholismo, drogadicción) y/o de violencia (que en sus niveles

más problemáticos alcanzan las conductas delicuenciales). El impacto

de estos programas, en la medida en que posibiliten a los jóvenes en-

contrar ‘espacios de contención y aprendizaje’, debería manifestarse

en una tendencia a la disminución de esa conflictividad.

La calidad e institucionalización de la capacitación

El nuevo desarrollo de la oferta de capacitación debe ser cuidado-

samente evaluado en cuanto a su calidad y a sus posibilidades de per-

manencia en el tiempo. El énfasis en el mercado y en la demanda no

debe llevar a concebir a los centros de capacitación como ‘cajas ne-



79


gras’. Existen varias dimensiones que han sido reiteradamente seña-

ladas como deficitarias en los programas por especialistas externos,

que sin embargo no son tenidas en cuenta en las evaluaciones. Por

ejemplo, subsisten numerosos interrogantes acerca de las estrategias

pedagógicas e institucionales de las entidades que realizan la capaci-

tación.

La identificación de modalidades de formación e intervención ade-

cuadas en términos de sectores de población específicos y mercados

de trabajo locales diferenciados permitiría su sistematización y la orien-

tación de las acciones más adecuadas en cada caso. ¿Cómo varía la cali-

dad de la oferta en función de los distintos tipos de instituciones?,

¿qué tipos resultan más eficaces en cuanto a las estrategias didácticas

utilizadas en la fase de capacitación, y a la relevancia y pertinencia de

las pasantías? También deberían evaluarse los sectores y segmentos del

mercado de trabajo con los que logran articularse las entidades. ¿Cómo

se diferencian estos segmentos en cuanto al grado de formalidad, las

ramas de actividad, y en las posibilidades de permanencia y de acceso a

mercados de trabajo internos por parte de los pasantes?, son interro-

gantes relevantes en relación a la citada dimensión.

La medición de la calidad de la formación tiene al menos dos nive-

les. Un primer nivel vinculado al marco general del programa y las orien-

taciones acerca de los contenidos, especialidades, niveles de califica-

ción a los que se apunta, en los cursos y en las pasantías. Un segundo

nivel para examinar la calidad de la oferta se inscribe en el plano de las

instituciones capacitadoras. En el caso de este tipo de programa, la se-

rie de dimensiones habitualmente tenidas en cuenta para evaluar la

formación profesional presentan algunas particularidades. Estas dimen-

siones son: las características de los usuarios; las estrategias de inter-

vención, incluyendo dentro de ellas las distintas acciones formativas, y

de asistencia social realizadas; la formación profesional propiamente

dicha, y el acompañamiento posterior al egreso.



80


Desde el punto de vista de la evaluación es importante analizar el

grado en que la población efectivamente atendida responde a la po-

blación objetivo y el grado de adecuación entre las acciones de for-

mación emprendidas y los perfiles de los jóvenes.

La evaluación de la calidad de la formación impartida tendría que

incluir elementos más amplios que los habituales en la evaluación de

la formación profesional debido a que se trata de programas que fo-

calizan en población con múltiples handicaps en competencias inte-

lectuales y sociales. Por ello, es necesario relevar el conjunto de ac-

ciones que son parte de la estrategia de intervención de la institu-

ción con los jóvenes12 y no sólo la formación profesional propiamente

dicha. ¿Qué grado de centralidad ocupa el componente de capacita-

ción técnica y qué otros componentes formativos y/o asistenciales

incluye la intervención? ¿La experiencia se orienta principalmente a

capacitar para un oficio, a formar más ampliamente, a insertar labo-

ralmente, a contener o a insertar socialmente a los jóvenes? Entre

otros aspectos, es importante observar las actividades dirigidas a la

puesta en práctica de habilidades básicas de lectoescritura y matemá-

tica aplicada, el currículum oculto de transmisión de competencias

sociales (trabajo en grupo, disciplina, creatividad, comunicación, etc.),

el incremento del capital social de relaciones, las conexiones con

centros de trabajo, las actividades formativas más amplias (como de-

portes, recreación, etc.).

En cuanto a la evaluación de la formación profesional propiamente

dicha las dimensiones a evaluar son las habitualmente retenidas, a

saber: el reclutamiento y retención de los usuarios, el currículum, el

material didáctico y el equipamiento (calidad, actualización,

12 Habitualmente, se sostiene por ejemplo, que las ONGs. suelen desplegar una estrategia deintervención más amplia, abarcando el conjunto de necesidades de la población objetivo, aunquemuchas veces la calidad de la formación profesional propiamente dicha sea menor (Jacinto, 1997a).



81


amortización y reemplazo), el conjunto de las actividades de

aprendizaje, la formación y características sociales de los instruc-tores,

y la capacidad de reformular la formación de acuerdo con los cambios

de la realidad externa13.

Entre los aspectos a indagar sobre el curriculum se incluyen la

adecuación entre los contenidos y objetivos del aprendizaje y la du-

ración del curso, y la articulación entre la enseñanza teórica y la prác-

tica, y entre los conocimientos generales y los específicos. Una vez

más es preciso señalar que estos aspectos son especialmente relevan-

tes en el caso de la población focalizada por estos programas. Los

contenidos y objetivos de los que se parte deberán tener en cuenta

el perfil social y cognitivo de los jóvenes. La articulación entre teoría

y práctica debe realizarse en un adecuado balance para superar la

mera ejecución técnica y habilidad manual; dado que el aprendizaje

práctico es especialmente motivador para estos jóvenes, debe partir-

se de él y desde allí ir construyendo los conocimientos teóricos, com-

plejizando el saber empírico, formalizándolo para ir apuntando a com-

petencias más transversales, aplicables en distintos contextos de re-

solución de problemas (Gallart y Jacinto, 1997a).

Conviene relevar asimismo la existencia e implementación de un

componente de formación socio-laboral. La inserción laboral de es-

tos jóvenes requiere un espacio específico de reflexión, de aportes

de información y hasta una capacitación especial de orientación en

el mundo socio-laboral, para que no queden excluidos en las prácti-

cas de selección de personal (Lasida y otros, 1997). Este componente

incluye información sobre el mercado de empleo, la exploración de

las decisiones ocupacionales-vocacionales, el acercamiento a las pau-

13 Estas dimensiones son muy conocidas, y su evaluación no difiere demasiado de la habitualmenterealizada en formación profesional tal como se ha presentado en el capítulo uno. Se resaltarán en eltexto especialmente los aspectos diferenciales en estos programas.



82


tas y reglas del juego de una ‘cultura del trabajo formal’, conocimien-

to sobre los derechos y los deberes de los trabajadores, así como nor-

mas de higiene y seguridad laboral.

El tema del acompañamiento posterior también es relevante por

el tipo de poblaciones a las que se dirigen estos programas. A menu-

do se sostiene que las dificultades de inserción laboral de estos jóve-

nes no se relacionan sólo con la falta de capacitación sino, como ya se

ha mencionado, con la falta de una red social de donde pueda prove-

nir un empleo. Por ello el acompañamiento posterior a la capacita-

ción se torna practicamente indispensable. Esto no sólo incluye la

intermediación con un lugar de trabajo, sino que varias investigacio-

nes han demostrado la importancia de las acciones de tutoría en ese

sentido (Schneidman, 1996).

Más allá de la calidad de la formación brindada existen a nivel ins-

titucional otra serie de interrogantes que apuntan al grado de insti-

tucionalización de la oferta de capacitación que se ha renovado y crea-

do a partir de estos programas. Esto trae aparejado el interrogante

acerca de las posibilidades de permanencia en el tiempo de las insti-

tuciones y de su capacidad de realizar aprendizajes acumulativos. Se

ha visto que los programas procesan valiosa información sobre el

desempeño de las instituciones capacitadoras, que es tenida en cuenta

para su evaluación en las licitaciones; también se ha mostrado que

resulta escasa la evaluación de las relaciones entre los tipos de insti-

tuciones (y sus estrategias de participación en el programa) y los re-

sultados en relación a los beneficiarios. Por ello, es importante in-

cluir en la evaluación cualitativa un análisis del grado de institucio-

nalización de la entidad que lleva adelante la capacitación. Ello puede

medirse indirectamente por medio de variables organizacionales cla-

ves, como ser: división de roles, permanencia de las funciones más

allá de las personas actuantes, canales de comunicación interna de la



83


institución, capacidad de gerenciamiento. Interesa saber si existen

niveles en la organización a cargo de las distintas tareas: decisiones

institucionales, relación con el mundo externo, gerenciamiento de

los recursos económicos, aspectos técnicos de las actividades a reali-

zar.

Otra dimensión vinculada a la fortaleza institucional tiene que ver

con las articulaciones horizontales (con otras instituciones en el con-

texto local, con unidades productivas y de servicios) y las verticales

(con programas o sistemas públicos de acción social, de educación y/

o de capacitación laboral, y/o con fuentes de financiamiento diver-

sas). El conjunto de estas articulaciones, y su contenido brinda un

interesante panorama de las estrategias institucionales para movili-

zar recursos, consolidar legitimidades y actuar más integralmente.

Entre las articulaciones horizontales, las que se realizan con luga-

res de trabajo resultan cruciales, porque conducen a acciones perti-

nentes en relación a la demanda del mercado de trabajo; éstas son

desarrolladas en diferentes etapas: a) durante el diseño y la prepara-

ción del curso, b) en la ejecución propiamente dicha de la actividad

de capacitación y c) posteriormente, en el período de inserción labo-

ral. Las articulaciones verticales que las entidades capacitadoras sos-

tienen con otros programas o con instituciones más amplias a nivel

regional, nacional o internacional señalan el grado de aislamiento o

integración institucional, que pueden considerarse indicativas de su

mayor o menor probabilidad de permanencia en el tiempo. Son ejem-

plo de este tipo de articulaciones la relación con gobiernos naciona-

les o locales, la dependencia de iglesias, la participación en progra-

mas federales, etc.

En definitiva, la propuesta de este documento respecto a la eva-

luación de las instituciones que participan en los programas de capa-



84


citación es que debe incluirse el análisis de dimensiones pedagógi-

cas e institucionales claves más allá del foco sobre su cumplimiento

de los compromisos contraídos con el programa. La particularidad

de estos programas en cuanto a la población focalizada y a la tenden-

cia a la institucionalización hace necesario redefinir la calidad global

de las intervenciones y las probabilidades de permanencia institu-

cional. Por ello, las estrategias institucionales de articulación con

otros actores, la obtención de recursos y de financiamiento diversifi-

cado, las estrategias de legitimación institucional, entre otras dimen-

siones, resultan informaciones claves. Por ejemplo, una institución

que se muestra dinámica en sus formas de financiamiento, innovado-

ra en sus estrategias de articulación con otros actores locales (escue-

las, servicios de salud, de recreación, y deportes, de alimentación,

etc.) logra realizar una oferta más integral, que incluye múltiples ac-

ciones complementarias, tan importantes en la atención de jóvenes

desfavorecidos. Del mismo modo, sus articulaciones verticales pue-

den conferir mayor legitimidad y pertinencia a sus acciones, refleján-

dose en el valor de la certificación y en el efecto de contacto que se

produce.

La incorporación a la evaluación de las estrategias de los centros de

formación enriquece el análisis sustantivo del destino de un programa

de este tipo. La visión según la cual las políticas se diseñan, se ejecutan

y luego se evalúan los resultados, resulta estrecha si no tiene en cuen-

ta que los actores que la ejecutan, se comportan según sus expectati-

vas y estrategias (Marchand, 1995). En este caso, se ha producido una

expansión y diversificación de los centros que habitualmente realiza-

ban la formación laboral. Su participación responde a distintas estrate-

gias que están detrás de numerosas decisiones en torno a la selección

de beneficiarios, y de docentes, la complejidad y relevancia de los di-

seños pedagógicos, la negociación de las pasantías con las empresas,

los sectores productivos a los que dirigen su oferta.



85


La evaluación debería entonces indagar en torno a qué institucio-

nes, y qué estrategias resultan las más adecuadas para responder a la

diversidad del grupo social focalizado. Obviamente, este tipo de in-

terrogantes pueden ser respondidos a través de estudios cualitativos

de casos estratégicamente elegidos en función de los distintos tipos

de entidades de capacitación participantes: desde empresas hasta

ONGs, pasando por centros de formación profesional previamente

existentes y asociaciones ad hoc creadas para participar en el progra-

ma. Este tipo de estudios, poco costosos, constituyen sin embargo un

insumo importante para la toma de decisiones.



87

REFLEXIONES FINALES



89

REFLEXIONES FINALES

La evaluación de programas de capacitación e intermediación

como los aquí referidos presenta múltiples dificultades políticas,

conceptuales y metodológicas. Las políticas dependen entre otras,

de que una vez aceptada su viabilidad y potencial, se enfatice la opti-

mización en el uso de los recursos, y la necesidad de tomar decisio-

nes orientadas por los resultados de las intervenciones, decisiones

que no son independientes de por qué y quién realiza la evaluación.

Las metodológicas son más conocidas y se refieren a los límites de

los distintos tipos de medición; las estrategias puestas en juego siem-

pre serán una forma de aproximación a la realidad, que evidentemente

puede verse enriquecida por la incorporación de diferentes puntos

de vista y distintos niveles de análisis. Las conceptuales implican tal

vez un desafío mayor: en la implementación y resultados de un pro-

grama de estas características intervienen tal multiplicidad de facto-

res y estrategias, que es preciso realizar un gran esfuerzo por selec-

cionar las imprescindibles y relevantes en cada caso. Este esfuerzo

implica en el caso de la evaluación de los programas analizados tener

en cuenta sus límites y alcances posibles, pero también sus potencia-

lidades; la coherencia de los dispositivos y la imputabilidad de los

resultados. La complementación de niveles de análisis micro, macro

y de la perspectiva de los actores; la introducción complementaria

de evaluaciones formativas y sumativas, la utilización articulada de

estrategias metodológicas cuantitativas y cualitativas, y la indagación

de dimensiones claves conocidas, y la incorporación de otras eviden-

cias cuya importancia ha sido revelada por investigaciones recientes

en la temática, parece ser un camino enriquecedor.

La evaluación debe permitir medir el grado de éxito que un dis-

positivo está teniendo en función de los objetivos y metas propues-

tos; debe proveer elementos esenciales para la toma de decisiones



90


sobre la continuidad o reorientación de una política. En este senti-

do, no sólo es preciso contar con los instrumentos necesarios sino

también formularse los interrogantes adecuados.

¿Cuál es la medida del éxito de estos programas; cuál es la medida

de su calidad? Evidentemente, responder estos interrogantes no es

tarea simple.

Si se mira desde el ángulo del aumento de la eficiencia económi-

ca, evidentemente toda acción dirigida a una capacitación que se

adecúe a las transformaciones productivas, hará una contribución al

desarrollo y al mismo tiempo, aumentará la empleabilidad de los jóve-

nes. Ahora bien, por un lado, los mecanismos puestos en juego de-

ben ser evaluados para constatar esa pertinencia; por el otro lado, el

contexto socio-económico y macro-organizacional en que se desen-

vuelven los programas está estrechamente ligado a su aporte a la efi-

ciencia económica y a la empleabilidad de los jóvenes.

Si se mira desde el ángulo del aporte a la equidad, parece adecuado

focalizar un programa de capacitación en la población con mayores

dificultades para insertarse en el mercado de trabajo. Más aún, si el

programa se orienta a intermediar a jóvenes con el mercado formal de

empleo, al que probablemente no hubieran tenido acceso de otro

modo. Por ello, uno de los grandes énfasis de la evaluación es la focali-

zación, y el impacto posterior en el empleo. En conexión con ello, otro

interrogante respecto a la equidad se refiere a qué población realmente

se capta con programas de este tipo. Si bien no hay duda de que la

focalización es bastante adecuada, estos programas parecen respon-

der mejor a los jóvenes más integrados socialmente y con menores

handicaps de entrada. Poblaciones más marginales necesitarían de

políticas integrales con componentes formativos más amplios y mayor

contención social. Por ello, es preciso mirar en el más largo plazo para

asegurar el aporte a la empleabilidad y a la integración social.



91

Reflexiones finales

Justamente, el aporte a la integración social es otra dimensión

importante para evaluar los programas en su globalidad. En un con-

texto en el que millones de jóvenes latinoamericanos se enfrentan a

la posiblidad de jamás ingresar a la esfera del empleo, y por ende,

están al borde de la exclusión social, con una intervención de esta

magnitud no puede dejar de preguntarse qué contribución se realiza

a la integración social.

La preocupación por la exclusión social ha llevado a la revaloriza-

ción de la ciudadanía como dimensión de las políticas sociales. Podrá

objetarse que mirar los programas desde este punto de vista excede

a sus objetivos y alcances. Pero la relación entre eficiencia económi-

ca, la equidad y la ciudadanía aparece cada vez más estrecha, y siendo

la integración uno de los dilemas principales de las sociedades con-

temporáneas, cualquier intervención social, más aún si se dirige a

jóvenes desempleados, debería tener en cuenta ese dilema. En este

marco, el interrogante sobre el grado de éxito de estos programas se

amplía. La evaluación debe incluir también elementos que permitan

visualizar si este tipo de intervención es la mejor entre las alternati-

vas posibles.

Algunas evidencias sobre la capacidad demostrada por estos pro-

gramas para mejorar sus orientaciones en base a los resultados de

acciones evaluativas, parecen incorporar algunas de esas preocupa-

ciones. Se pone de manifiesto a través de ellas una reorientación diri-

gida a ampliar el impacto de la intervención, tanto en relación a las

necesidades de los jóvenes como a la sustentabilidad posterior de la

oferta de capacitación laboral que se está creando. La preocupación

por consolidar una nueva institucionalidad de la formación para el

trabajo, y el reconocimiento de las deficientes competencias básicas

de estos jóvenes como un obstáculo para su empleabilidad a largo

plazo, son señales en ese sentido, aunque todavía no logren confor-



92


marse estrategias consistentes de fortalecimiento institucional y pe-

dagógico en ese sentido.

Tal vez el saldo más positivo de la evaluación de estos programas

sea el reconocimiento que ha posibilitado de sus límites, llevando

incipientemente a reconocer la necesidad de construir sistemas inte-

grados de educación formal y capacitación laboral en el marco de la

educación permanente. Estos sistemas, que implican la articulación

de diversos actores públicos y privados y el fortalecimiento de nue-

vas institucionalidades, deberían posibilitar la conformación de trayec-

torias formativo-ocupacionales más acordes con las transformaciones

del trabajo y con las necesidades de integración social de los jóvenes

desempleados.



93

BIBLIOGRAFÍA

Bertaux, D. 1988. “El enfoque biográfico. Su validez metodológica,sus potencialidades”. In: Joutrad, P. y otros, Historia oral e historia devida, Costa Rica: Flacso.

Bertrand, O. 1992. Planification des ressources humaines: méthodes,expériences, pratiques, París: IIPE.

BID. 1995. Evaluación: Una herramienta de gestión para mejorar eldesempeño de los proyectos, Washington.

Briones, G. 1991. Evaluación de proyectos sociales, México: Trillas.

Caillods, F. 1994. “Rasgos convergentes en el mosaico de sistemas deformación profesional”. In: Revista Internacional del Trabajo, Ginebra:OIT, número 2, pp. 279-297.

Castro, C. de Moura. 1984. Educación vocacional y productividad:¿alguna luz en la caja negra? Brasilia: IPEA-IPLAN-CNHR.

Castro, C. de Moura. 1995. Training policies for the end of the century,París: IIPE.

Castro, C. de Moura. 1997. “Proyecto Joven: nuevas soluciones yalgunas sorpresas”. In: Boletín técnico interamericano de formaciónprofesional, número 139-140, Abril-Septiembre, pp. 24-56. Montevideo:Cinterfor/OIT.

CINTERFOR. 1997. “Jóvenes y capacitación laboral. El desafío delacceso, la calidad y la adecuación internacional”. Documentopresentado en el Encuentro Internacional sobre Juventud, Educacióny Empleo en Iberoamérica, OIJ, Río de Janeiro, 8-10 de Julio.

Chile Joven. 1997. “CHILE JOVEN: una experiencia pionera revisada”.In: Boletín técnico interamericano de formación profesional, número139-140, Abril-Septiembre, pp. 143-166. Montevideo: Cinterfor/OIT.

Demaziere, D.; Dubar, C. y otros. 1994. L’insertion professionnelle desjeunes de bas niveau scolaire, París: Cereq: Documents synthèsenúmero 91, Enero.

Denzin, K.D. 1978. The Research Act, New York: McGraw-Hill.

Fielding, N.G.; Fielding, J.L. 1986. Linking Data, California: SagePublications.



94


Flick, U 1992. “Triangulation Revised: Strategy of Validation orAlternative”. In: Journal for the Theory of Social Behavoir, número22, pp. 175-198.

Fouquet, A. 1996. Las políticas de empleo y su evaluación. Laexperiencia francesa, Buenos Aires: PIETTE, Noviembre. (mimeo)

Freyssinet, J. 1994. Las políticas de empleo y su evaluación en EuropaOccidental, Buenos Aires: PIETTE, Documento de Trabajo número 7.

Gallart, M.A.; Bertoncello, R. 1997. “Los estudios de seguimientos deegresados”. In: Gallart, M.A. y Bertoncello, R. (Coordinadores),Cuestiones actuales de la formación, Montevideo: CINTERFOR-RedLatinoamericana de Educación y Trabajo, Papeles de la oficina técnicanúmero 2, 1997, pp. 41-51.

Gallart, M. A.; Jacinto, C. 1997a. “Competencias laborales: tema claveen la articulación educación-trabajo”. In: Gallart, M.A. y Bertoncello,R. (Coordinadores), Cuestiones actuales de la formación, Montevideo:CINTERFOR-Red Latinoamericana de Educación y Trabajo, Papeles dela oficina técnica número 2, pp. 83-92.

Gallart, M. A.; Jacinto, C. 1997b. Manual de evaluación paraexperiencias de formación destinadas a jóvenes de sectores de pobreza,Buenos Aires: CENEP. (mimeo)

Glaser, B.; Strauss, A. 1967. The discovery of grounded theory. Strategiesfor qualitative research. Chicago: Aldine Publishing Company.

Grubb, W. 1995. Evaluating training programs in the United States:evidence and explanations. Ginebra: OIT, Training Policy and ProgramDevelopment Branch.

Hunting, G.; Zymelman, Y.; Godfrey, M. 1986. Evaluating vocationaltraining programs. Practical Guide. Washington: Banco Mundial.

Jacinto, C. 1997a. “Las experiencias de formación para el trabajo conjóvenes de sectores de pobreza. Entre las nuevas estrategias y lapasividad”. In: Jacinto, C.; Gallart, M.A. (coord.), Por una segundaoportunidad. La formación para el trabajo de jóvenes excluidos de laeducación formal, Buenos Aires, Red Latinoamerica de Educación yTrabajo. (en prensa)

Jacinto, C. 1997b. “Políticas públicas de capacitación laboral de jóvenes.Un análisis desde las expectativas y las estrategias de los actores.” In:Boletín técnico interamericano de formación profesional, número 139-140, Abril-Septiembre, pp. 57-88. Montevideo: Cinterfor/OIT.



95

BibliografÍa

Jick, T.D. 1979. “Mixing Qualitative and Quantitative Methods:Triangulation in Action.” In: Administrative Science Quarterly, Vol. 24,December.

Kanawaty, G.; de Moura Castro, C. 1991. “Nuevas orientaciones enmateria de formación: un programa de acción”, In: Revista Interna-cional del Trabajo. Ginebra: OIT, número 1, pp. 23-47.

Lamoure, J. 1995. Les études d’insertion professionelle, París: UNESCO/IIPE Instituto Internacional de Planeamiento de la Educacón.

Lasida J.; Pereira, J. 1997. “Projoven: encuentro y negociación entre lacapacitación y el mercado en Uruguay”. In: Boletín técnicointeramericano de formación profesional, número 139-140, Abril-Septiembre, pp.183-217, Montevideo: Cinterfor/OIT.

Lasida, J.; Ruétalo, J.; Berrutti, E. 1997. “Análisis socio-pedagógico yorganizacional de experiencias de formación para el trabajo dejóvenes de hogares pobres”. In: Jacinto y Gallart (coord.) Por unasegunda oportunidad. La formación para el trabajo de jóvenesexcluidos de la educación formal. Buenos Aires: Red Latinoamericade Educación y Trabajo. (en prensa)

Lichtenberger, Y. 1992. “La calificación: apuesta social, desafíoproductivo”. In: Formación profesional: calificaciones y clasificacionesprofesionales, Buenos Aires: PRONATTE-SECYT-PIETTE-Humanitas,Buenos Aires, pp. 27-42.

Marchand, O. 1995. El desempleo, políticas de empleo y su evaluación.La experiencia francesa, Buenos Aires: PIETTE. (mimeo)

Middleton, J.; Ziderman, A.; Van Adams, A. 1993. Skills for productivity.Vocational education and training in developing countries, New York:Oxford University Press.

Mitnik, F. 1997. “Proyecto Joven: la capacitación laboral comoherramienta de equidad social”. In: Boletín técnico interamericano deformación profesional, número 139-140, Abril-Septiembre, pp.103-141.Montevideo: Cinterfor/OIT.

Murriello. A. 1995. La controvertida articulación entre educación ytrabajo. Algunas reflexiones a partir de Proyecto Joven, Buenos Aires:Flacso, Octubre. (mimeo)

Paredes, R.; Figueroa, R.; Campero, G.; del Campo, G. 1996. EvaluaciónPrograma Chile Joven, Santiago de Chile: Ministerio de Hacienda,Chile. (mimeo).



96


PROAME. 1997. Evaluación y monitoreo. Aspectos metodológicos yconceptuales, Buenos Aires: Secretaría de Desarrollo Social.

Ramírez, J. 1997. “Los programas de capacitación laboral del modeloChile Joven en América Latina. Una agenda pendiente para elseguimiento”. In: Jacinto, C. y Gallart, M.A. (coord.) Por una segundaoportunidad. La formación para el trabajo de jóvenes excluidos de laeducación formal, Buenos Aires: Red Latinoamericana de Educacióny Trabajo. (en prensa)

Robins, T. 1996. Propuesta de la Evaluación: opción joven del INJU,Montevideo, Uruguay. (mimeo).

SCANS. 1992. Lo que el trabajo requiere de las escuelas. Informe de laComisión SCANS para América 2000, Washington: Departamento deTrabajo de los Estados Unidos.

Schneidman, M. 1996. Targeting at risk youth. Rational, approaches toservice delivery and monitoring and evaluating issues, Washington:Banco Mundial, Paper series LASCH número 2.

Strauss, A.; Corbin, J. 1990. Basics of qualitative research. Groundedtheory procedures and techniques, California: Sage Publications.

Tokman, V. 1997. “El trabajo de los jóvenes en el post-ajustelatinoamericano”. In: Boletín técnico interamericano de formaciónprofesional, número 139-140, Abril-Septiembre, pp. 7-23. Montevideo:Cinterfor/OIT.



Publicaciones y documentos del IIPE

El Instituto Internacional de Planeamiento de la Educación ha publi-

cado más de 1.200 obras sobre los diferentes aspectos de la planifica-

ción de la educación. Dichas obras figuran en un catálogo completo

que comprende informes de investigación, estudios de caso, docu-

mentos de seminarios, material didáctico, cuadernos del IIPE y obras

de referencia que tratan los siguientes temas:

Economía de la Educación, Costos y Financiamiento.

Mano de Obra y Empleo.

Estudios Demográficos.

Mapa Escolar y Planificación a nivel Subnacional.

Administración y Gestión.

Desarrollo y Evaluación del Currículo.

Tecnología Educacional.

Educación Primaria, Secundaria y Superior.

Educación Vocacional y Técnica.

Educación No Formal, Extra-escolar, de Adultos y Rural.

Grupos desfavorecidos.

Para obtener el catálogo diríjase a la Difusón de Publicaciones del IIPE.




El Instituto Internacional de Planeamiento de la Educación (IIPE) es un centrointernacional de formación e investigación avanzada en el campo de la planificaciónde la educación. Fue creado por la UNESCO en 1963 y es financiado por la UNESCO ymediante contribuciones voluntarias de los Estados Miembros. Durante los últimosaños, los Estados Miembros que han brindado contribuciones voluntarias al Institutoson los siguientes: Alemania, Dinamarca, India, Irlanda, Islandia, Noruega, Suecia, Sui-za y Venezuela.

El objetivo del Instituto es contribuir al desarrollo de la educación en el mundomediante la difusión del conocimiento y la oferta de profesionales competentes en elcampo de la planificación de la educación. En esta perspectiva, el Instituto cooperacon las organizaciones de formación e investigación interesadas de los Estados Miem-bros. El Consejo de Administración del IIPE, que aprueba su programa y presupuesto,se compone de un máximo de ocho miembros elegidos y cuatro miembros designa-dos por la Organización de las Naciones Unidas, así como por algunos de sus organis-mos especializados e institutos.

Presidente:Lennart Wohlgemuth (Suecia)

Director, Instituto Nórdico de Africa, Uppsala.

Miembros designados:David de Ferranti

Director, Departamento de Desarollo Humano (DDH), Banco Mundial, Washington,Estados Unidos de América.

Carlos FortínDirector General Adjunto, Conferencia de las Naciones Unidas sobre Comercio yDesarrollo (CNUCED), Ginebra, Suiza.

Miriam J. Hirschfeld,Directora, División de Desarrollo de Recursos Humanos y Fortalecimiento de laCapacidad Institucional, Organización Mundial de la Salud (OMS), Ginebra, Suiza.

Jeggan C. Senghor,Director, Instituto Africano de Desarrollo Económico y Planificación de lasNaciones Unidas (IDEP), Dakar, Senegal.

Miembros elegidos:Dato’Asiah bt. Abu Samah (Malasia)

Asesor de empresas, Lang Education, Land and General Berhad, Kuala Lumpur,Malasia.

Klaus Hüfner (Alemania)Profesor, Universidad Libre de Berlín, Berlín, Alemania.

Faïza Kefi (Túnez)Presidenta, Unión Nacional de la Mujer Tunecina, Túnez.

Tamas Kozma (Hungría)Director General, Instituto Húngaro de Investigación Educacional, Budapest,Hungría.

Teboho Moja (Sudáfrica)Consejera Especial del Ministro de Educación, Pretoria, Sudáfrica.

Yolanda M. Rojas (Costa Rica)Profesora, Universidad de Costa Rica, San José, Costa Rica.

Michel Vernières (Francia)Profesor, Universidad de París I, Panteón-Sorbona, París, Francia.

Las consultas sobre el Instituto deben dirigirse al:Secretariado del Director, Instituto Internacional de Planeamiento de la Educación

7-9, rue Eugène Delacroix, 75116, París, Francia.


La evaluación de programas de capacitación de jóvenes … · 2005-03-09 · CapítuloII. Los...

Documents

Transcript of La evaluación de programas de capacitación de jóvenes … · 2005-03-09 · CapítuloII. Los...