Post on 02-Apr-2015
Haga clic en el icono para agregar una imagenCURSO E
DUC 6995
PREPA
RACIÓN D
E PROPU
ESTAS PA
RA
PROYE
CTOS E
DUCATIV
OS, DE IN
VESTIGACIÓ
N
Y SERVIC
IO
Sandra
Mac
ksoud L
opez
. Ph.D
., Dep
arta
men
to d
e Es
tudio
s Gra
duados
Facu
ltad d
e Ed
ucaci
on ,
Iniv
ersi
dad d
e Puer
to R
ico,
Rec
into
de
Rio
Piedra
s
19 de
octubre
de
2011
El Componente de Evaluación de las Propuestas
¿Qué es evaluar?
DEFINICIÓN DE EVALUAREvaluar es la acción de valorar , de dar valor a algo,
juzgar, enjuiciar, apreciar, y avaluar
La evaluación es un proceso sistematico de juzgar la calidad o mérito de algo a partir de cierta información (cuantitativa y cualitativa) que se compara contra ciertos criterios. Ocurre a lo largo del tiempo, en un contexto particular, y siguiendo una secuencia establecida (Verdejo y Medina , 2007)
¿Por qué se incluye un componente de evaluación en las propuestas?
a) Para determinar el logro de los objetivos (Accountability)
b) Para conocer la efectividad de la estrategia implantada
c) Para tomar decisiones d) Para aprender y mejorar
Por que:Justificación
Que: Objetivos
Como:Plan de Trabajo
Con que:Recursos
Resultados:
Evaluación PROPUEST
A
Importancia de construir objetivos medibles, realistas, claros
La evaluación ayuda en el proceso de planificar cómo se van a lograr los objetivos , y a mejorar la implantación misma del proyecto
ESTRECHA INTERRELACIÓN CON LOS OBJETIVOS
EL DESARROLLO DEL CAMPO DE LA EVALUACIÓN
La evaluación es una de tres formas de inquirir disciplinado, junto con la investigación y el análisis de política (Lincoln y Guba , 2001)
Curso EDUC 8030Patton (2003), Scriven (2011),
Stufflebeam (2007), Yuen (2009)Diferencia evaluación de programas
versus proyectos
LA EVALUACIÓN ES REQUISITO DE TODAS LAS PROPUESTASEs necesario estudiar los parámetros que establece cada fuente
de fondos. Ejemplo- del Programa GEAR-UP
6. QUALITY OF THE PROJECT EVALUATION (20 POINTS):
In determining the quality of the project evaluation, the Secretary considers the following factors:
•The extent to which the methods of evaluation are thorough, feasible, and appropriate to the goals, objectives, and outcomes of the proposed project.
•The extent to which the methods of evaluation include the use of objective performance measures that are clearly related to the intended outcomes of the project and will produce quantitative and qualitative data to the extent possible; and
EJEMPLO (CONT.)
•The extent to which the methods of evaluation will provide performance feedback and permit periodic assessment of progress toward achieving intended outcomes.
•The extent to which the evaluation will provide guidance about effective strategies suitable for replication or testing in other settings.
INCLUIR EN EL PLAN DE EVALUACIÓN DATOS QUE REQUIERE LA FUENTE DE FONDOSMuchas veces se requiere que los proyectos formen
parte de las evaluaciones de los programas a nivel nacional
Government Performance and Results Act (GPRA) requires federal agencies to report annually on the accomplishments of their funded efforts. This requirement includes establishing broad goals or strategic outcomes, performance outcomes, and performance indicators against which progress will be assessed.
Ejemplo- Base de datos longitudinal GEAR UP
DEFINICIÓN BÁSICA DE EVALUACIÓN DE PROYECTOS
Busca medir cambios en actitudes, conocimientos, destrezas, conductas , condiciones en los participantes.
Impacto en las necesidades identificadas
No es auditoria, es para mejorar No es recopilación de datos de
indicadores
ELEMENTOS DEL PLAN DE EVALUACIÓN Foco en los objetivos medibles
Preguntas de evaluación
Establecer indicadores de logros por
cada objetivo
Tipo de evaluación
Actividades e instrumentos que utilizará para evidenciar el logro de cada objetivo que permitan recopilar datos
Quiénes van a ser responsables de qué y cuando
Preparación y divulgación de los informes
OUTCOMES BASED EVALUATION
Outcome-based evaluation (OBE) se refiere a la medición de los resultados para evidenciar el grado en que el proyecto logró los objetivos. Identifica datos cuantificables que demuestran de forma creíble el cambio logrado o las condiciones deseadas.
Los outcomes pueden ser a corto plazo, intermedios, largo plazo y relacionados a la sustentabilidad
Se deben establecer milestones /benchmarks
MODELO LÓGICO
Es una herramienta conceptual desarrollado para ayudar en la planificacion y evaluacion de los proyectos, originalmente desarrollado por Weiss (1970)
Consiste en diagramar las relaciones causales entre los elementos de un proyecto y los resultados
Controversia con causalidad
MODELO LÓGICO
15
The amount of impact desired
When data is collected
The population to be measured
Sources of information about conditions being measured
Observable and measurable behaviors or conditions
Targets (Goals)
Data Interval(When)
Applied to (Who)
Data SourcesIndicators
Mission + Influencers PROGRAM PURPOSE
Output
s
Activities
Services
Input
s
Outcom
es
Outcomes Logic Model
The amount of impact desired
When data is collected
The population to be measured
Sources of information about conditions being measured
Observable and measurable behaviors or conditions
Targets (Goals)
Data Interval(When)
Applied to (Who)
Data SourcesIndicators
PREGUNTAS PARA EVALUACIÓN SUMATIVAEl foco son los logros al final del proyecto, o periodo
determinado
¿ Se han alcanzado los objetivos y resultados esperados?
¿ Cuáles son los hallazgos clave?
¿ Qué impacto ha tenido el proyecto? Esperados e inesperados
¿ Qué beneficios hay para los partidos interesados?
¿ Fue efectiva la estrategia de implantación?
¿ Qué hemos aprendido?
¿ Qué haríamos diferente?
CIPP Stufflebeam context, input, process, and product evaluation.
EVALUACIÓN FORMATIVAEs un proceso continuo de recopilación de datos durante el
proyecto para determinar cuán adecuada es la implantación y si se está progresando hacia el logro de los objetivos.
Busca generar retrocomunicación para que el personal del proyecto pueda mejorar la implantación.
¿ Se han logrado los milestones a tiempo?
¿ Qué dificultades se han identificado ?
¿ Qué se debe hacer para corregir ?
¿Es efectiva la gerencia del proyecto?
¿Están involucrados los participantes y partidos interesados?
¿ Qué lecciones estamos aprendiendo?
¿ Es necesario revisar el plan?
EVALUACIÓN DE PROCESOS
METODOLOGÍA: CUALITATIVA, CUANTITATIVA O MIXTAEl diseño de la evaluación debe estar basada en un enfoque
adecuado para contestar las preguntas de evaluación
Diseños en la evaluación cuantitativa
Experimental con grupos aleatorios o pareados
Medidas de pre prueba o línea base y post prueba
Encuestas
Diseños en la evaluación cualitativa
Estudios de caso únicos y múltiples
Grupos focales
Entrevistas profundas
Observaciones
Análisis de documentos
FORMAS DE RECOPILAR DATOS
• Medidas directas• Encuestas • Entrevistas individuales y grupales• Observaciones • Calidad de Productos• Paneles de Expertos Externos
QUIÉN HACE LA EVALUACIÓN
Es el director del proyecto quien es responsable por que se haga una buena evaluación, pero se debe designar a un personal especializado para encargarse de llevar a cabo todo el proceso
Debe ser una persona que llene las cualificaciones y se involucre desde el inicio en el desarrollo de la propuesta
Puede ser interno o externo, o idealmente ambos que se complementan
Debe ser participativo, involucrar a los participantes, distintos sectores
MODELOS PARTICIPATIVOS
Culturally responsive evaluation
Empowerment Evaluation (Yuen 2009)
Deliberative democratic perspective Ernest R. House and Kenneth R. Howe October 2000
COSTO DE LA EVALUACIÓN
Desde 5% a 10% para evaluación sencilla- documentar satisfacción de participantes, percepciones, recomendaciones, autoinforme de resultados
Más de 10% moderado,- documentar impacto de forma directa
Avanzado- línea de base, diseño científico, seguimiento a participantes, triangulación
PROMOVER EL USO DE LOS RESULTADOS
El plan de evaluación debe contener una descripción clara de los informes que se van a generar, con un calendario.
Se incluyen los resultados de la evaluación en los informes a la fuente de fondos
Se presentan los informes internamente al personal del proyecto y a los participantes
Diseminación en diversos foros para ampliar el impacto
PREPARACIÓN DE LOS INFORMES Y COMUNICACIÓN DE RESULTADOS
Resumen ejecutivo
Presentación de métodos
Resultados e interpretación
Hallazgos mas importantes
Implicaciones
Recomendaciones para mejorar la evaluación
EJEMPLOS
Matemáticas para Todos
MATH FOR ALL
Pre y post pruebas para los participantes en cada sesion de desarrollo profesional
Evaluación de la transferencia de lo aprendido mediante analisis de las lecciones desarrolladas con unas rubricas
Impacto en el aprendizaje de los estudiantes
Entrevistas con personal de las escuelas participantes
REFERENCIASArce, J. , Bravo, M., Del llano, A. Wayland, K. (2010). Sharing
our journey to improve science and mathematics education.
http://alacima.uprrp.edu/sharing_our_journey/index.php/book/chapter/9
Grun, R. (2006 ) Monitoring and Evaluating Projects: A step-by-step Primer on Monitoring, Benchmarking, and Impact Evaluation. The International Bank for Reconstruction and Development: Washington DC
Guba , R. & Lincoln, Y. (2001) .Guidelines and Checklists for constructivist (A.K.A. 4th generation) Evaluation ht.tp://www.nsf.gov/pubs/2002/nsf02057/nsf02057.pdf
Miro, A. (2009). Informe del Proyecto Math for All. Facultad de Educación, Universidad de Puerto Rico, Rio Piedras
Patton , M.Q. (2002 ). Utilization-focused evaluation checklist http://www.wmich.edu/evalctr/archive_checklists/ufe.pdf
REFERENCIAS (CONT.)Patton, M. Q. (2003). QUALITATIVE EVALUATION CHECKLIST
National Science Foundation. (2002). User Friendly Handbook for Project Evaluation. http://www.nsf.gov/pubs/2002/nsf02057/nsf02057.pdf
Scriven, M. (2011). Evaluating Evaluations: A meta-evaluation checklist. http://michaelscriven.info/images/EVALUATING_EVALUATIONS_8.16.11.pdf
Stufflebeam, D. (2007). CIPP Evaluation Model Checklist (2nd. Edition) http://www.wmich.edu/evalctr/archive_checklists/cippchecklist_mar07.pdf
US. Department of Energy. (2006). EERE Guide for Managing General Program Evaluation Studies . Washington D. C. http://www1.eere.energy.gov/ba/pba/pdfs/evl_mg_app.pdf
REFERENCIAS (CONT.)
Verdejo-Carrión, A. & Medina-Díaz, M.R. (2007). Evaluación del aprendizaje estudiantil, (5ta ed.). ExPERT Consultants, Inc. San Juan, Puerto Rico.
W. K. Kellogg Foundation (2004). Evaluation Handbook. http://www.wkkf.org/knowledge-center/resources/2010/W-K-Kellogg-Foundation-Evaluation-Handbook.aspx
Yuen, F. K. O., Terao, K. L., & Schmidt, A. M. (2009). Effective grant writing and program evaluation for human service professionals (3rd ed.). Hoboken, NJ: John Wiley & Sons.