MANUAL PARA LA EVALUACIÓN XTERNA INSTRUMENTOS Y GUÍAS

MANUAL PARA LA EVALUACIÓN EXTERNA INSTRUMENTOS Y GUÍAS

Aprobado en

CCA-CT-006-13???

2

TABLA DE CONTENIDO MANUAL PARA LA EVALUACIÓN EXTERNA INSTRUMENTOS Y GUÍAS ...........................1

Tabla de Contenido............................................................................................................. 2 Índice de tablas .................................................................................................................... 5 Índice de Esquemas.............................................................................................................. 6 Antecedentes del Manual de Instrumentos y Guía para la Evaluación Externa ..................... 7 Introducción........................................................................................................................ 8

CAPÍTULO 1 EL CONSEJO CENTROAMERICANO DE ACREDITACIÓN DE LA EDUCACIÓN SUPERIOR ..............................................................................................10

Marco General................................................................................................................... 11 1. Misión ..................................................................................................................... 11 2. Valores..................................................................................................................... 11

2.1 Valores organizacionales ............................................................................................................ 11 2.2 Valores personales...................................................................................................................... 12

3. Objetivos estratégicos............................................................................................... 12 4. Competencias del CCA............................................................................................ 12 5. Políticas de acreditación........................................................................................... 12 6. Competencias de las personas evaluadoras vinculadas al proceso .............................. 13

6.1 Persona evaluadora para la fase de adminisibilidad (etapa de admisibilidad):................................... 13

CAPÍTULO 2 MARCO DE REFERENCIA PARA LOS PROCESOS DE ACREDITACIÓN ........18 Aseguramiento de la calidad de las agencias y organismos de acreditación nacional y regional.............................................................................................................................. 19

1. Conceptos generales................................................................................................... 19 2. Autoevaluación ......................................................................................................... 19 3. Aseguramiento de la calidad...................................................................................... 21 4. Requerimientos generales......................................................................................... 28

4.1 Información general................................................................................................................... 28 4.2 Dimensiones y pautas ................................................................................................................... 29

Componentes de evaluación y acreditación ........................................................................ 36 ¿Qué espera el CCA de la autoevaluación? ............................................................................................ 37 Etapas del proceso de autoevaluación.................................................................................................... 38

Guia para la presentación del Plan de Mejoramiento: Compromiso con la calidad......... 46 Objetivos y propósitos: .................................................................................................. 46 Guía para el Informe de seguimiento del Plan de Mejoramiento .............................. 49

Objetivos:............................................................................................................................................. 49

CAPÍTULO 3 ETAPAS Y PROCEDIMIENTOS PARA LA EVALUACIÓN EXTERNA..............51 Condiciones para el otorgamiento de la Acreditación......................................................... 52

ETAPAS Y PROCEDIMIENTOS.............................................................................................................. 53 Nota a las agencias u organismos de acreditación nacionales y regionales .............................................. 53 Etapa 1: Solicitud de Acreditación........................................................................................................ 53 Etapa 2: Admisibilidad de la Solicitud de Acreditación......................................................................... 53 Etapa 3: Evaluación del Organismo o Agencia de Acreditación ............................................................ 54

Elementos metodológicos del Proceso de evaluación externa ........................................ 58

MANUAL PARA LA EVALUACIÓN EXTERNA. INSTRUMENTOS Y GUÍAS

3

1. Estrategias de abordaje...................................................................................................................... 58 2) Estrategias de abordaje: .................................................................................................................. 59

CAPÍTULO 4 INSTRUMENTOS PARA LA EVALUACIÓN EXTERNA .................................63 Instrumentos para la Evaluación Externa .................................................................... 64

1. Guía para la elaboración del Informe de admisibilidad................................................... 66 Objetivos.............................................................................................................................................. 66 Etapa.................................................................................................................................................... 66 Responsable.......................................................................................................................................... 66

Guía para la elaboración del informe de admisibilidad ................................................... 67 Instrucciones generales ......................................................................................................................... 67 I. Documentación general: ................................................................................................................... 67 II. Dimensiones ............................................................................................................................... 68 III. Plan de mejora........................................................................................................................... 74 IV. Síntesis de la lectura................................................................................................................... 75

2. Instrumentos para la preparación de la Evaluación in situ ........................................... 77 Objetivos:............................................................................................................................................. 77 Etapa: ................................................................................................................................................... 77 Responsable:......................................................................................................................................... 77

2.1. Instrumento Estudio Documental........................................................................... 78 Instrucciones generales ......................................................................................................................... 78 a. Análisis de la documentación general: ............................................................................................... 79 b. Aspectos contemplados en el informe de autoevaluación de la agencia u organismo de acreditación 80

2.2. Instrumento: Síntesis de la preparación de la visita.................................................. 95 3. Instrumento para realizar la evaluación In situ ........................................................... 96

Objetivo: .............................................................................................................................................. 96 Etapa: ................................................................................................................................................... 96 Responsable:......................................................................................................................................... 96

Instrumento para realizar la evaluación in situ................................................................ 97 Instrucciones generales ......................................................................................................................... 97 1. Recomendaciones durante la visita ................................................................................................... 97 2. Informe de autoevaluación del organismo o agencia de acreditación solicitante ................................ 99 3. Componentes de evaluación y acreditación.................................................................................. 108

4. Instrumento: Síntesis de la vista in situ ........................................................................ 110 5. Estructura Informe Oral .............................................................................................. 113 6. Instrumento: Guía para la elaboración del informe escrito ........................................... 114

Objetivo:............................................................................................................................................ 114 Etapa:................................................................................................................................................. 114 Responsable: ...................................................................................................................................... 114

Guía para la elaboración del informe escrito................................................................. 116 Instrucciones generales ....................................................................................................................... 116 Consideraciones generales en la preparación del informe .................................................................... 116 Presentación del informe de evaluación .............................................................................................. 117 1. Introducción: ................................................................................................................................ 117 2. Contenido del informe: ................................................................................................................. 117 3. Conclusiones de la evaluación....................................................................................................... 120 4. Recomendaciones ......................................................................................................................... 121 5. Anexos Informativos ..................................................................................................................... 121

7. Guía para la elaboración del Informe de Relatoría........................................................ 122 Objetivo ............................................................................................................................................. 122 Etapa.................................................................................................................................................. 122

4

Responsable:....................................................................................................................................... 122 Guía para la elaboración del informe de Relatoría ........................................................ 123

Instrucciones generales ....................................................................................................................... 123 I. Presentación de la agencia ............................................................................................................... 123 II. Análisis de la evaluación................................................................................................................. 123

8. Instrumento: Tablas Resumen del cumplimiento de las pautas obligatorias y complementarias .............................................................................................................. 126

Objetivo ............................................................................................................................................. 126 Etapas................................................................................................................................................. 126 Responsable........................................................................................................................................ 126

Tabla Resumen del cumplimiento de las pautas obligatorias y complementarias .......... 127 Instrucciones generales: ...................................................................................................................... 127

Fuentes bibliográficas.................................................................................................. 134


5

ÍNDICE DE TABLAS Tabla 1. Distribución relativa de los componentes y pautas ................................................... 23 Tabla 2. Distribución por requisitos generales y pautas según los enfoques evaluativos........... 26 Tabla 3. Título ...................................................................................................................... 30 Tabla 4. Estado general de la agencia u organismo de acreditación en cuanto a las dimensiones

establecidas por el CCA ................................................................................................. 41 Tabla 5: Tabla de presentación del plan de mejoramiento...................................................... 48 Tabla 6. Título ...................................................................................................................... 67 Tabla 7. Título ...................................................................................................................... 68 Tabla 8. Título ...................................................................................................................... 69 Tabla 9. Título ...................................................................................................................... 71 Tabla 10. Título .................................................................................................................... 72 Tabla 11. Título .................................................................................................................... 72 Tabla 12. Título .................................................................................................................... 73 Tabla 13. Título .................................................................................................................... 73 Tabla 14. Título .................................................................................................................... 73 Tabla 15. Título .................................................................................................................... 74 Tabla 16. Título .................................................................................................................... 74 Tabla 17. ............................................................................................................................... 79 Tabla 18. ............................................................................................................................... 80 Tabla 19. ............................................................................................................................... 82 Tabla 20 ................................................................................................................................ 94 Tabla 21. Título .................................................................................................................... 99 Tabla 22. Título .................................................................................................................. 101 Tabla 23. Título .................................................................................................................. 102 Tabla 24. Título .................................................................................................................. 103 Tabla 25. Título .................................................................................................................. 105 Tabla 26. Título .................................................................................................................. 106 Tabla 27. Título .................................................................................................................. 106 Tabla 28. Título .................................................................................................................. 107 Tabla 29. Título .................................................................................................................. 108 Tabla 30. Título .................................................................................................................. 110 Tabla 31. Título .................................................................................................................. 117 Tabla 32. Título .................................................................................................................. 118 Tabla 33. Título .................................................................................................................. 118 Tabla 34. Título .................................................................................................................. 119 Tabla 35. Título .................................................................................................................. 119 Tabla 36. Título .................................................................................................................. 119 Tabla 37. Título .................................................................................................................. 120 Tabla 38. Tabla resumen sobre el cumplimiento de las pautas obligatorias y complementarias

por parte de los organismos y agencias de acreditación nacional o internacional........... 128

6

ÍNDICE DE ESQUEMAS ESQUEMA 1. ELEMENTOS QUE VALORA EL PROCESO DE AUTOEVALUACIÓN DE UNA AGENCIA DE ACREDITACIÓN ......................................................................................20

ESQUEMA 2. EL MODELO DE ACREDITACIÓN DEL CCA .............................................28

ESQUEMA 3. SOLICITUD DE ACREDITACIÓN ..............................................................53

ESQUEMA 4. TÍTULO ..................................................................................................54

ESQUEMA 5. TÍTULO ..................................................................................................54

ESQUEMA 6. TÍTULO ..................................................................................................56

ESQUEMA 7. TÍTULO?.................................................................................................56

ESQUEMA 8. TÍTULO ..................................................................................................57


7

ANTECEDENTES DEL MANUAL DE INSTRUMENTOS Y GUÍA PARA LA EVALUACIÓN EXTERNA Este documento se desarrolla en el marco de trabajo de la Comisión Técnica del Consejo Centroamericano de Acreditación de la Educación Superior, integrado por Maribel Duriez, coordinadora; Etilvia Arjona, Mario Fredy Hernández, Argelis Campos de Vargas, Juan Alberto Martínez y Elba Rubí Morán; participó además Marianela Aguilar, directora ejecutiva. El Manual tiene como propósito fundamental apoyar a los organismos y agencias de acreditación y a los (as) evaluadores (as), con una serie de instrumentos y guías que faciliten la evaluación externa (antes, durante y después de la visita), así como en cuanto respecta a la decisión de otorgamiento de la acreditación. En el proceso de elaboración se contó, además, con el aporte de especialistas en evaluación y de expertos (as) internacionales.

El Manual de instrumentos y guías se deriva del documento Guía de evaluación del CCA publicado en 2006 y es el producto del trabajo de los miembros de la Comisión Técnica del Consejo Centroamericano de Acreditación y la Directora Ejecutiva. Se contó con la colaboración inicial de la especialista en evaluación, MSc. Karla Salguero, ex integrante del equipo de evaluadores y evaluadoras del CCA, quien elaboró los documentos base que sirvieron como insumo para el trabajo de esta comisión, y la asesoría de la experta internacional María José Lemaitre, presidenta de la Red Iberoamericana para la Acreditación de la Calidad de la Educación Superior (RIACES), en la reunión celebrada en enero en Costa Rica.

Para el documento final se contó con el apoyo de la especialista en evaluación, la MSc. Rocío Arce, integrante del equipo de evaluadores y evaluadoras del CCA, quien presentó ante la Comisión Técnica del CCA, en reunión celebrada del 30 de junio al 2 de julio de 2007, el análisis del modelo evaluativo del CCA y el ordenamiento respectivo para la presentación de los instrumentos y guías para la evaluación externa.

El Manual, en su versión última, incorpora elementos claves para los evaluadores externos en relación con los siguientes aspectos:

1. Modelo evaluativo del CCA y su marco de referencia

2. Condiciones para el otorgamiento de la acreditación: pautas obligatorias y complementarias.

3. Instrumentos y guías para la evaluación externa

4. Guía para la elaboración de planes de mejora e instrumentos para su seguimiento.

Tras la discusión y análisis del modelo de acreditación del CCA, la Comisión Técnica del Consejo Centroamericano de Acreditación acordó, en la reunión antes señalada, celebrada en Managua, Nicaragua, recomendar al pleno del CCA que el este documento sustituya la “Guía para la evaluación de los organismos y agencias de acreditación de la Educación Superior en el marco del CCA”, siendo la primera más abarcadora en cuanto al modelo e instrumentos y guías de apoyo.

Con la primera experiencia de acreditación durante el año 2008, ha sido posible realizar algunos ajustes y mejorar la eficiencia y efectividad del proceso, tomando en cuenta las lecciones aprendidas y las

8

observaciones directas del mismo. El cometido estuvo a cargo de la Licda. Elsiana Guido y la MSc. Rocío Arce, personal técnico del área de evaluación y acreditación del CCA, contando con el apoyo brindado por la experta internacional Dra. María José Lemaitre, presidenta de la Red Iberoamericana para la Acreditación de la Calidad de la Educación Superior (RIACES). Así como MSc. Karla Salguero, quien en la primera etapa colaboró con el documento base, y la MSc. Rocío Arce, quien participó en el análisis y estructura del documento en su versión final.

Este Manual es un documento borrador de la Comisión Técnica, el cual está sujeto a revisiones de sus miembros y a la aprobación del Consejo.

INTRODUCCIÓN El Consejo Centroamericano de Acreditación (CCA) se constituye como una instancia orientada a “promover el mejoramiento continuo de la calidad, pertinencia y armonización de la educación superior, mediante la creación de un sistema de evaluación y acreditación que fomente el fortalecimiento y la acreditación de organismos o agencias que acrediten instituciones, programas o carreras existentes en Centroamérica y El Caribe, en un compromiso con el desarrollo de la región” (Artículo 1 Estatuto del CCA).

El objetivo del presente Manual de instrumentos para la evaluación externa es reunir y poner a disposición de las personas evaluadoras y las agencias y organismos de acreditación, un documento integral que facilite el desarrollo de los procesos vinculados con la evaluación externa, y coadyuve a los esfuerzos realizados antes, durante y después de la visitas in situ.

La evaluación externa se entiende como un “proceso fundamental para la validación de una evaluación”1, lo cual implica la mayor rigurosidad, transparencia y atención de parte de los equipos evaluadores que participan en ella. Los siguientes instrumentos evaluativos deben ser vistos como herramientas de trabajo que les permitan a los evaluadores externos un mayor aprovechamiento del tiempo y sistematización de la información que constituirá el principal insumo para elaborar el informe de evaluación final2.

El Manual de instrumentos para la evaluación externa incorpora un elemento de vital importancia para los actores involucrados en estos procesos, que consiste en la identificación de pautas obligatorias y complementarias, como condición para el otorgamiento o no de la acreditación. Coherente con el modelo evaluativo del CCA, de garantizar la calidad de las agencias y organismos, se establecen pautas de corte obligatorio que toda agencia u organismo de acreditación debe cumplir para ser acreditable por el CCA.

Igualmente, se debe tener presente que las guías e instrumentos son herramientas que apoyan en el proceso, y permiten a los evaluadores externos triangular toda la información que reciben antes, durante y después de la visita, para la elaboración del informe final

En virtud de considerar indispensable valorar los esfuerzos y experiencias de distintos organismos internacionales, para la elaboración de este Manual de instrumentos para la evaluación externa se tomaron como otros referentes, el “Manual de acreditación de pregrado” (CNAP), en Chile, y los

1 Ídem., 1. 2 Consejo Centroamericano de Acreditación (2007). Instrumentos para la evaluación externa. San José, CCA.


9

documentos para la evaluación externa del Sistema Nacional de Acreditación de la Educación Superior (SINAES)3.

Este Manual está dirigido a los (as) evaluadores (as) externos (as), en calidad de herramienta que coadyuve al ordenamiento, sistematización y análisis de la información recopilada tanto documentalmente como in situ. Se recomienda que sea de consulta obligatoria para las agencias y organismos que se encuentran desarrollando sus procesos de autoevaluación y, posteriormente, de acreditación con el CCA.

Es importante tener en cuenta que este Manual responde a un nivel técnico y conceptual. y parte del principio que las agencias cuentan con vasta experiencia en los temas de evaluación y aseguramiento de la calidad.

El Manual contiene elementos técnico-conceptuales básicos para analizar, sistematizar el proceso de evaluación externa y elaborar el informe de evaluación final por parte de los pares evaluadores externos.

De esta manera, el Manual tiene como propósitos, los siguientes:

1. Proporcionar los lineamientos básicos del proceso de evaluación externa de la agencia u organismo de acreditación, incluyendo los criterios evaluativos, componentes, requisitos generales, pautas y requerimientos de información.

2. Proveer al evaluador lector (en la fase de admisibilidad), equipo evaluador (en la visita in situ) y evaluador de planes de mejoramiento, guías de trabajo y herramientas que permitan el análisis, revisión y un mayor aprovechamiento del tiempo en cada una de las etapas de acreditación a las que se someterán las agencias. También permitirá la sistematización de los datos que garantice transparencia y consistencia en la decisión de acreditación que tome el Consejo.

Los siguientes apartados del Manual de instrumentos establecen los lineamientos básicos del modelo evaluativo del CCA para el proceso de evaluación externa, así como los instrumentos elaborados:

1. Guía metodológica para la autoevaluación de las agencias y organismos de acreditación: preparación del informe y el plan de mejoramiento. Se incluye igualmente una guía de presentación del informe de seguimiento del Plan de mejora.

2. Guía para la elaboración del informe de admisibilidad (informe de autoevaluación y plan de mejoramiento)

3. Instrumento para la preparación de la evaluación in situ

4. Instrumentos para realizar la evaluación in situ.

5. Tablas resumen de la evaluación de las pautas obligatorias y complementarias

6. Guía para la elaboración del informe de la relatoría.

7. Guía para el seguimiento de los compromisos de calidad de las agencias (plan de mejoramiento).

3 Ídem., 1.

10

CAPÍTULO 1

EL CONSEJO CENTROAMERICANO DE ACREDITACIÓN DE LA EDUCACIÓN SUPERIOR


11

MARCO GENERAL El Consejo Centroamericano de Acreditación de la Educación Superior es:

“un organismo regional centroamericano sin fines de lucro, constituido por los sectores académico público y privado, gubernamental y profesional de América Central, como la instancia que concede la acreditación y el reconocimiento regional a los organismos o agencias de acreditación nacionales y regionales. Este reconocimiento se otorgará según los lineamientos, características y marcos de referencia que el Consejo defina para la acreditación”4.

El CCA pretende “contribuir con su labor de reconocimiento de organismos y agencias de acreditación nacionales y regionales, al mejoramiento de la calidad de las instituciones, programas y carreras de educación superior centroamericanas”5, así como garantizar que tales agencias y organismos trabajen con los criterios de suficiencia, congruencia y pertinencia en sus procesos de acreditación de la calidad, según lo establece el modelo evaluativo del CCA.

El Manual de acreditación señala: “La evaluación y acreditación de la calidad de la educación superior es un elemento clave de los procesos de transformación universitaria y forma parte del llamado `nuevo ethos académico´…”6, lo que significa una especial atención a la calidad, la gestión, la pertinencia, la internacionalización y la autonomía universitaria, lo que implica que la evaluación y la acreditación sean los ejes de las políticas de educación superior.

1. MISIÓN “Promover el mejoramiento continuo de la calidad, pertinencia y armonización de la educación superior, mediante la creación de un sistema de evaluación y acreditación que fomente el fortalecimiento y la acreditación de organismos o agencias que acrediten instituciones, programas o carreras existentes en Centroamérica y El Caribe, en un compromiso con el desarrollo de la región.”7.

2. VALORES El CCA asume y promueve los valores siguientes:

2.1 Valores organizacionales “Independenc ia : actuación con libertad y autonomía, sin admitir intervención externa en la toma de decisiones.

Responsabi l idad : cumplimiento de la obligación contraída ante la sociedad, de garantizar la calidad de los procesos para la acreditación de la educación superior.

Transparenc ia : acción de operar con claridad presentando evidencias públicas de sus métodos, procesos y resultados.

Conf idenc ia l idad : confianza en el tratamiento de la información y documentación presentado por la agencia u organismo que se va a acreditar.

4 Op. cit., 3 5 Op. cit., ix. 6 Op. cit., ix. 7 Artículo 1 Estatuto del CCA

12

2.2 Valores personales Equidad : dar a cada uno lo que se merece según los criterios, requisitos y estándares de calidad establecidos. Incluye la igualdad de oportunidades y el debido proceso. Honestidad: actuar con justeza, rectitud y honradez. Así como a la decisión razonable y proba.

Obje t iv idad : ajustarse a una línea definida, apartado de los intereses de las partes involucradas en los procesos de acreditación.

Respe to : considerar a la autoridad, al desarrollo institucional, a la diversidad cultural, étnica, social ideológica, de género y de identidad”8.

3. OBJETIVOS ESTRATÉGICOS El CCA tiene como objetivos estratégicos:

• Consolidar el proceso de legitimación jurídica del CCA.

• Fomentar una cultura de calidad y el mejoramiento de la Educación Superior Centroamericana, mediante la acreditación de segundo orden.

• Promover el reconocimiento y equiparación de estudios, grados y títulos universitarios, entre las instituciones universitarias de Centroamérica y El Caribe.

• Consolidar los procesos de desarrollo organizativo del CCA.

• Fortalecer el posicionamiento institucional y la comunicación del CCA con los grupos de interés y legitimar su labor9.

4. COMPETENCIAS DEL CCA • ºSu universo de trabajo está conformado por todos los organismos y agencias nacionales,

regionales o extrarregionales que acreditan instituciones, programas o carreras universitarias.

• Su ámbito de trabajo es la educación superior en América Central.

• Su alcance es de carácter regional y sus facultades se extienden a otorgar la acreditación y el reconocimiento regional, con base en criterios y requisitos previamente establecidos.

• Sus niveles son grado y postgrado”10.

5. POLÍTICAS DE ACREDITACIÓN Las cuatro políticas del CCA son:

8 Para mayor referencia “Glosario para la evaluación y acreditación de organismos acreditadores, CCA-CT-003- 9 Plan Estratégico CCA, 2008. 10 Op. Cit., 7.


13

• Mejoramiento de la calidad de la educación superior

• Observancia de las buenas prácticas

• Promoción de la acreditación

• Impulso a la vinculación e integración regional”11

6. COMPETENCIAS DE LAS PERSONAS EVALUADORAS VINCULADAS AL PROCESO En las diferentes etapas del proceso de acreditación llevado a cabo por el CCA, participan personas evaluadoras con diferentes perfiles y compromisos.

Los y las evaluadores son seleccionados según las distintas etapas, de acuerdo con su experiencia profesional, participación en evaluaciones para la acreditación de programas, carreras, instituciones o agencias de acreditación. Este constituye el punto en común en cuando a los y las evaluadores que participan en el proceso.

A continuación se detallan las características que deben cumplir las personas evaluadoras que participan en las diferentes etapas del proceso de acreditación:

6.1 Persona evaluadora para la fase de adminisibilidad (etapa de admisibilidad): en esta etapa se determina la suficiencia, pertinencia y corrección de la información presentada12, ello permitirá continuar con las siguientes etapas:

• Características generales:

o experiencia disciplinaria,

o experiencia en procesos investigativos o evaluativos (contar con bases académicas y profesionales)

o manejo del idioma según el país que evalúe,

o experiencia y prestigio en las Instancias de Educación Superior, centroamericanas.

o Experiencia en gestión universitaria

• Características específicas en el tema de la autoevaluación y acreditación:

o Contar con conocimientos en torno a los sistemas de educación superior con que trabajan las agencias.

o Amplia experiencia en aseguramiento de la calidad, haber participado en acreditaciones de carreras, programas.

Dadas las características de la etapa de admisibilidad, el evaluador lector tiene como compromisos:

11 Para mayor referencia “Manual de Acreditación CCA-CT-001-05”, p. 6 y Plan Estratégico (2008), p.29 12 CCA (2005). Reglamento de acreditación., p.13.

14

1. Estudio documental y diagnóstico de la información y evidencias del informe y plan de mejoramiento (cumplimiento de las pautas y disposición de las evidencias).

2. Firmar un compromiso ético con el CCA en el que se establezcan sus responsabilidades y comportamientos en el proceso.

3. Mantener una Comunicación permanente con el CCA.

4. Presentar de el informe de admisibilidad de manera rigurosa, según los lineamientos del CCA.

5. Disposición para capacitarse permanentemente en procesos de acreditación, por parte del CCA.

6. Compromiso de los tiempos establecidos por el CCA y fortalecer el proceso al cual es responsable.

6.2 Evaluador y equipo evaluador (etapa de visita in situ): en esta fase del proceso de acreditación, el equipo de evaluadores analiza “in situ” el informe de autoevaluación y plan de mejoramiento presentado por la agencia. En este fase se incluyen tres momentos: antes de la visita (análisis del informe de la agencia), durante la visita (coordinación como equipo de los puntos clave) y posterior a la visita (presentación del informe ante el Consejo).

Perfil del evaluador o evaluadora

Los requisitos que debe cumplir una persona o el Equipo Evaluador, para llevar a cabo actividades de evaluación con fines de acreditación (Artículo 29, del Reglamento de acreditación CCA).

Características generales: • Poseer un grado académico mayor al de la licenciatura y tener como mínimo una experiencia

acumulada de 5 años de trabajo académico o académico-administrativo. Preferiblemente, con una categoría de académico titular, deberá gozar de reconocimiento y prestigio en el medio académico, a partir de investigaciones, publicaciones y otras actividades.

• Ser un (a) profesional experimentado (a) en el campo de la educación superior y en su respectiva área profesional, según lo indica el primer punto.

• Tener reconocida competencia en los ámbitos de la docencia, la investigación, la administración universitaria y en su ejercicio profesional13.

• Compromiso ético,

• “Capacidad de análisis y síntesis,

• Habilidad para el manejo de relaciones personales,

• Amplio sentido de la observación,

• Objetividad en la emisión de juicios,

• Disposición para capacitarse permanentemente en procesos de acreditación, y compromiso para cumplir con los tiempos establecidos por el CCA”14.

13 Consejo Centroamericano de Acreditación (2005) Reglamento de acreditación. San José, CCA-CT-05. 14 Tomado de la experiencia del Consejo de Acreditación de la Enseñanza de la ingeniería (CACEI).


15

Características específicas: • Poseer conocimiento y experiencia en sistemas de evaluación y acreditación tanto

centroamericanas como latinoamericanas.

• Tener una amplia experiencia en aseguramiento de la calidad y gestión universitaria.

• Ser especialistas en el tema o con experiencia en los aspectos técnicos o de gestión de las agencias de acreditación.

• Tener conocimiento de los sistemas de educación superior y de gestión universitaria con que trabajan las agencias.

Equipo evaluador

Si bien, se cuenta con una etapa individual de análisis, el evaluador debe contar con la capacidad de conformar un equipo de trabajo, el cual incluye los siguientes compromisos relacionados con las siguientes capacidades (Artículo 30, del Reglamento de acreditación CCA):

1. “Estudio normativo,

2. Compromiso ético,

3. Estudio documental, recopilación de información, triangulación de la información,

4. Valoración de la información en función de lo observable,

5. Elaboración de informes,

6. Presentación de informe valorativo al Consejo y

7. Seguimiento a los planes de mejoramiento”15.

De acuerdo con el artículo 31 del Reglamento de acreditación:

“La Junta Directiva designará al equipo de evaluadores con apego a la diversidad de nacionalidad y profesión y tomará en cuenta la especialidad y alcance del organismo o agencia solicitante. El equipo de evaluadores constará de un número de miembros adecuado al tamaño y complejidad del organismo o agencia, y uno de sus integrantes estará designado como coordinador /a. La cantidad mínima será de tres, uno de los cuales será del país del organismo o agencia solicitante”16.

El equipo presentará un informe que consistirá en la descripción y análisis valorativo del estado de la agencia, en función del informe de autoevaluación, la visita in situ y el plan de mejoramiento. Este informe se basará en la evaluación preliminar y lo obtenido en la visita in situ.

Coordinación del Equipo Evaluador: sus funciones se especifican en el artículo 32 del Reglamento de acreditación del CCA, y son:

1. “Participar con la Dirección Ejecutiva en la organización de la visita y dar seguimiento al trabajo previo del equipo.

2. Favorecer una buena relación de trabajo con los directivos y ejecutivos del organismo o agencia.

15 Op.Cit., 16-17. 16 Op. Cit., 17.

16

3. Coordinar el trabajo en equipo.

4. Organizar y presentar el informe oral de la visita a los directivos del organismo o agencia.

5. Preparar in situ el informe de evaluación de la visita, en los plazos establecidos por la Dirección Ejecutiva” 17.

6.3 Evaluador de planes de mejoramiento (etapa de garantía de la calidad): esta constituye el seguimiento que el CCA dará a la agencia con la finalidad de garantizar el cumplimiento de los compromisos de calidad asumidos por esta. Se entiende como Plan de Mejora “el documento donde se consignan las medidas…para mejorar los aspectos puestos de manifiesto en el proceso de evaluación por parte de la agencia u organismo de acreditación.

Perfil del evaluador de planes de mejoramiento:

• Conocimiento acerca de las tendencias de la evaluación y la acreditación en la Educación Superior.

• Experiencia en evaluación y acreditación de carreras o de instituciones.

• Experiencia en gestión, evaluación y seguimiento de proyectos.

• Experiencia en planificación institucional.

• Experiencia en formulación y evaluación en planeación estratégica y planes operativos.

Entre sus compromisos están:

• Dar seguimiento, y evaluar, el plan de mejoramiento de la agencia por medio de los informes de avance que esta suministre.

• Emitir un informe con sus valoraciones y recomendaciones que considere:

o Los avances logrados por la agencia.

o Coherencia de las acciones llevadas a cabo con el plan estratégico, sus planes operativos anuales y los recursos disponibles en relación con el compromiso con la calidad que adquiere mediante los planes de mejora.

o Valoración acerca de las acciones desarrolladas por la agencia en el fortalecimiento de una cultura de evaluación.

o Valoración acerca de las acciones desarrolladas por la agencia a favor de la construcción de una cultura de calidad.

o Coherencia entre los posibles cambios o modificaciones anotados en el o los Informes de Seguimiento al Plan de Mejora con el Plan de mejora propuesto inicialmente por la agencia.

o Recomendaciones acerca del proceso de mejora y de la gestión del plan propuesto inicialmente y posibles cambios.

17 Op. Cit., 17.


17

18

CAPÍTULO 2

MARCO DE REFERENCIA PARA LOS PROCESOS DE ACREDITACIÓN


19

ASEGURAMIENTO DE LA CALIDAD DE LAS AGENCIAS Y ORGANISMOS DE ACREDITACIÓN NACIONAL Y REGIONAL 1. CONCEPTOS GENERALES La autoevaluación y la acreditación son actualmente uno de los pilares más importantes en el desarrollo de las políticas en Educación Superior, y se orientan hacia el aseguramiento de la calidad.

Para efectos del Manual de instrumentos, se procede al señalamiento conceptual que el evaluador o la evaluadora externos debe tener presente durante la evaluación externa: revisión documental, visita y elaboración del informe final.

1.1 Acreditación: se define como “el reconocimiento público de un organismo o agencia de acreditación que cumple con un conjunto de principios, criterios, requisitos, pautas (obligatorias y complementarias) de calidad definidos por el CCA, los cuales deberán someterse a revisión periódica y actualización permanente” 18.

Tipos de agencias de acreditación

La acreditación que otorga el CCA comprende diversos tipos de organismos o agencias de acreditación:

• “Entidades centradas en la calidad del funcionamiento básico global que requiere una institución académica universitaria en sus diversas modalidades19 y niveles20.

• Programas o carreras de educación superior centrados en la calidad de los insumos, procesos y resultados curriculares, como parte de la labor de los programas que otorgan grados académicos de formación en distintas modalidades y niveles.

• Instituciones, programas y carreras de educación superior” 21.

2. AUTOEVALUACIÓN “Es el estudio crítico y reflexivo a lo interno de la agencia u organismo de acreditación solicitante, orientada esencialmente al mejoramiento de la calidad, para lo cual, se debe reunir y analizar la información sustantiva sobre la base de los propósitos declarados y a la luz de los Criterios de Calidad y los Requisitos Generales de Evaluación establecidos por el CCA y aceptados por la agencia”22. La autoevaluación da lugar a un informe escrito sobre la estructura, procesos y resultados obtenidos por la agencia de acreditación (véase esquema 1).

18 Op. Cit., 14. 19 Modalidades presenciales, semipresenciales, a distancia, virtuales, etc. 20 Niveles de grado, postgrado y doctorado. 21 Op. Cit., 14. 22 Op. Cit., p., 20.

20

AGEN

CIA

DE

ACR

EDIT

ACIÓ

N

CRITERIOS DE CALIDAD

ESQUEMA 1. ELEMENTOS QUE VALORA EL PROCESO DE AUTOEVALUACIÓN DE UNA AGENCIA DE ACREDITACIÓN

Fuente: Esquema elaborado a partir del documento “Manual de Instrumentos para la evaluación externa CCA”.

Los criterios de calidad se aplican a los requisitos generales y pautas que deben cumplir los organismos y agencias de acreditación definidos en el punto 2.3 del Manual de acreditación (CCT-CT-001-05).

Como requisitos de autoevaluación de las agencias y organismos de acreditación nacional y regional, se consideran los siguientes:

1. Que el proceso sea desarrollado por la propia agencia, esta es la responsable de la calidad de sus procesos y de las mejoras.

2. Que cuente con la definición de un protocolo o diseño de evaluación, el cual contemple, como mínimo, la evaluación de sus propósitos y los criterios y lineamientos internos de la agencia.

3. Que incluya un examen exhaustivo de su marco jurídico o reglamentario y el contexto de educación superior al que responde.

4. Que genere información sobre el cumplimiento de sus propósitos y lineamientos a través de la consulta de los diferentes actores involucrados directa e indirectamente en el funcionamiento de la agencia.

5. Que plantee las fortalezas y debilidades de la agencia, así como su congruencia con las acciones de mejoramiento continuo que implemente.

6. Que evalúe el impacto y efectividad de las funciones que realiza, así como las acciones a corto, mediano y largo plazos23.

23 Red Iberoamericana para la acreditación de la calidad de la Educación Superior (2007). Proyecto: Manual de autoevaluación para agencias de acreditación de la calidad de la Educación Superior. Documento de trabajo, CNAP. P. 10.


21

3. ASEGURAMIENTO DE LA CALIDAD 3.1 Calidad: Propiedad o conjunto de propiedades de una agencia y organismo de acreditación nacional y regional que permiten juzgar su valor a partir del cumplimiento de estándares previamente establecidos por el CCA. Para ubicar el tipo de calidad se requiere un adjetivo calificativo.

3.2 Aseguramiento de la calidad: Mecanismos de control y seguimiento al desempeño que realizan las agencias de acreditación en la búsqueda del mejoramiento continuo de su calidad, o de las acciones específicas que llevan a cabo las instituciones o programas académicos con el fin de garantizar la eficaz gestión de esta, es decir, todas aquellas acciones, políticas o normativas, que:

• Fomenten o resguarden la calidad, y

• Ofrezcan a la sociedad una garantía razonable de esta24.

3.3 Criterio evaluativo: Referente para juzgar, estimar o conocer, implica discernimiento. Para obtener la acreditación todo organismo o agencia de acreditación nacional, regional o extrarregional debe demostrar que cumple con los criterios de calidad definidos por el CCA. Se evalúa el cumplimiento de los siguientes criterios:

3.3.1 Aseguramiento de la calidad: Mecanismos de control y seguimiento al desempeño que realizan las agencias de acreditación en la búsqueda del mejoramiento continúo de su calidad, o a las acciones específicas que llevan a cabo las instituciones o programas académicos con el fin de garantizar la eficaz gestión de calidad.

3.3.2 Cientificidad: Criterio de calidad referido a la aplicación del rigor científico en los diversos enfoques, teorías métodos y procedimientos para el diseño y ejecución de los procesos de evaluación y acreditación.

3.3.3 Congruencia: Correspondencia entre la misión y la labor que realizan las agencias u organismos; coherencia organizativa y técnica para llevar a cabo los procesos de evaluación y acreditación.

3.3.4 Eficiencia: Uso racional y óptimo de los recursos para el funcionamiento operativo y para el desarrollo de los procesos de evaluación y acreditación que realiza la agencia con el fin de garantizar el logro de los objetivos propuestos.

3.3.5 Equidad: Disposición de dar a cada uno lo que se merece, según los criterios y estándares de calidad establecidos; incluye la igualdad de oportunidades y el debido proceso. Sentido de justicia con que se opera en el contexto social.

3.3.6 Imparcialidad: Actuación equilibrada de los miembros de una agencia con probidad e independencia en el plano individual y en la toma de decisiones colegiada.

3.3.7 Independencia: Actuar con libertad y autonomía, sin admitir intervención externa en la toma de decisiones.

3.3.8 Participación y pluralidad: Inclusión o representatividad de los sectores interesados en la educación superior en los procesos de elección y constitución de las agencias, así como en los procesos de evaluación, acreditación y toma de decisiones que se realizan.

24 Silva, M., Reich, R. y Vásquez, C. (2003). Autoevaluación universitaria: principios y mecanismos operativos desde la experiencia. Francia, Columbus. P. 19.

22

3.3.9 Rendición de cuentas: Acción de proveer información pública, confiable, transparente y oportuna de su estructura, quehacer y resultados.

3.3.10 Responsabilidad: Cumplimiento de la obligación contraída ante la sociedad de garantizar la calidad de los procesos para la acreditación de la educación superior.

3.3.11 Suficiencia: Juicio que se emite en relación con capacidad de competencia del organismo o de la agencia para garantizar una buena calidad de los procesos que realiza.

3.3.12 Impacto: Efectos de los resultados del trabajo de los organismos o agencias de acreditación al promover el mejoramiento continuo de la calidad de las instituciones y programas de educación superior, a través de los procesos de acreditación.

3.3.13 Pertinencia: correspondencia entre la misión, fines y principios que se propone un organismo de acreditación o institución educativa respecto a los requerimientos de calidad que hace la sociedad y el entorno a la educación superior 25.

3.4 Dimensión y pautas: Aquellos cuya satisfacción es necesaria y suficiente para garantizar el cumplimiento de los criterios de calidad, representan las dimensiones en los cuales será analizada la agencia u organismo de acreditación.

• Marco constitutivo

• Marco conceptual y metodológico

• Marco organizativo

• Recursos (humanos, materiales e infraestructura y financieros)

• Resultados” 26.

Para cada uno de las dimensiones se han establecido pautas de cumplimiento en correspondencia con los criterios de calidad del CCA. El proceso de acreditación se realiza considerando la relación entre criterio de calidad, dimensión y pautas de cumplimiento.

3.5 Pautas: En el entendido que son un conjunto de requisitos específicos de cumplimiento, según lo establecido por el Manual del CCA; se dividen en:

3.5.1 Obligatorias: “son aquellas cuyo cumplimiento es obligatorio y estricto para que la agencia o el organismo obtenga la acreditación”. (Debe cumplir con la totalidad de estas.)

3.5.2 Complementarias: “son aquellas que constituyen elementos importantes de la calidad de la agencia u organismo, pero no la condicionan en su totalidad. (Debe cumplir, como mínimo, con 11 de estas.)

25 Para mayor referencia “Manual de Acreditación CCA-CT-001-05” P. 15-16 y “”Glosario para la evaluación y acreditación de organismo acreditadores CCA-CT- 003-05” . 26 Para mayor referencia “Manual de Acreditación CCA-CT-001-05” P. 16-22 y “Glosario para la evaluación y acreditación de organismo acreditadores CCA-CT- 003-05”


23

La agencia u organismo de acreditación deben cumplir con todas las pautas obligatorias y un mínimo de 11 pautas complementarias, lo que significa que deberá constatar el 77% del cumplimiento de las pautas contenidas en el Manual.

Las tablas resumen en este Manual indican las pautas obligatorias y complementarias, cuyo cumplimiento las agencias u organismos de acreditación deben garantizar, y aportar las evidencias respectivas ante el evaluador externo.

Se debe tener presente que estas son quienes apoyan el dictamen de acreditación a partir del cumplimiento de un porcentaje específico y por supuesto de la totalidad de las obligatorias.

La identificación de las mismas, se estableció a partir un análisis cuantitativo de los criterios de calidad del modelo evaluativo y de su importancia.

De esta forma, se cuantificó para cada componente el criterio evaluativo de mayor peso y por ende, la orientación en la selección de las pautas obligatorias por requisito. De este análisis, como se aprecia en la tabla 2 se desprendieron los siguientes resultados:

• Como se observa en la tabla 2, el modelo evaluativo del CCA se centra fundamentalmente en cuatro principales criterios de evaluación: congruencia, pertinencia, responsabilidad y suficiencia, siendo esté último, el más significativo.

• Para el modelo del CCA, la suficiencia deberá entenderse como "La capacidad y competencia para garantizar la calidad de los proceso que realiza" (Manual de Acreditación CCA). Esto implica no solo que la agencia y organismo de acreditación cuente con la estructura organizativa y su marco metodológico y conceptual sino también que lo ejecute efectiva y eficientemente. Lo cual es coherente con el enfoque de la garantía de la calidad.

TABLA 1. DISTRIBUCIÓN RELATIVA DE LOS COMPONENTES Y PAUTAS

Distribución relativa de los componentes y pautas Criterios Marco

normativo Marco organizativo

Marco conceptual y metodológico

Recursos humanos

Recursos materiales e infraestructura

Recursos financieros

Resultados Totales

Congruencia 5 2 7 7 4 25

Pertinencia 3 7 5 3 6 24

Responsabilidad 7 5 1 3 1 4 21

Suficiencia 4 5 3 7 4 2 4 29

Imparcialidad 5 1 1 7

Independencia 1 1 2

Equidad 1 2 1 1 5

Eficiencia 1 1 3 4 9

Cientificidad 1 6 1 8

Aseguramiento 5 2 4 11

24

de la calidad

Rendición de cuentas

2 1 2 5

Participación y

pluralidad

2 1 3

Impacto 4 4

La selección de cada pauta obligatoria obedeció a la revisión exhaustiva de los criterios y por tanto de los siguientes aspectos:

• En el marco normativa, el criterio de calidad predominante es la responsabilidad: el cual implica a como este "cumple con la obligación que contrae el organismos o agencia ante las instituciones y carreras para el aseguramiento de la calidad en la ES”.

• En el marco organizativo, el criterio predominante es la pertinencia: la misión, fines y principios que se propone el organismo o agencia responde a los requerimientos de calidad -sociedad y sociedad- sistema educativo superior", capacidad de lectura de su entorno y mejoramiento permanente de su quehacer organizativo y evaluativo.

• El marco conceptual y metodológico, considera como ejes valorativos la congruencia y cientificidad. De manera que el modelo y sus procedimientos deben ser coherentes con la misión y propósitos de la agencia y garantizar que se apliquen con rigor científico.

• En el componente "recursos humanos" los criterios predominantes son congruencia y suficiencia, entendiendo estos como la garantía de seleccionar el personal (técnico, profesional, evaluadores) idóneo para garantizar el cumplimiento de la misión y propósitos de la agencia, esto implica no solo garantizar procedimientos de selección sino también el desempeño de los mismos.

• En los recursos materiales e infraestructura, los criterios son la congruencia y suficiencia, por lo que sugiere que no solo se cuente con oficinas y equipo sino también, se haga un uso racional del mismo.

• En el recurso financiero, el criterio predominante es la responsabilidad, enfocada principalmente en la solvencia financiera que garantice la sostenibilidad de la agencia y su control respectivo.

• En el requisito de resultados, el criterio predominante es la pertinencia. Dos líneas:

o los cambios o impactos que la agencia u organismo han generado en la calidad de la educación superior (seguimiento a graduados, cambios internos de los programas, instituciones y carreras).

o las acciones de mejoramiento permanente de la agencia y organismo de acreditación (en lo organizativo y en su modelo evaluativo).

Coherentes con el enfoque de aseguramiento y garantía de la calidad, así como de la identificación de los puntos medulares del modelo evaluativo a partir de sus criterios de evaluación, se formulan las pautas obligatorias y complementarias, las cuales finalmente para el evaluador (a) externo (a) deberán ser de consulta y revisión permanente durante el proceso de evaluación externa, siendo así


25

determinantes en su valoración y particularmente en el dictamen de acreditación por parte del Consejo Centroamericano de Acreditación.

3.6 Evaluación externa: La evaluación externa se plantea desde la óptica de una evaluación transformadora orientada a mejorar la calidad y la pertinencia de las agencias y organismos de acreditación, brindando información que aporte en el desarrollo de políticas y el fortalecimiento de las agencias y sus modelos evaluativos. De manera que se caracterice por:

• Proceso analítico y de reflexión de la agencia como un todo.

• Cuenta con la participación de los y las evaluadores académicos y expertos profesionales independientes y externos a la agencia u organismo, quienes en equipo emitirán un criterio que aporte una orientación e insumos al Consejo en cuanto a la decisión del mismo en torno al otorgamiento de la acreditación y sus condiciones.

• Constituye un proceso de realimentación y mejora, un espacio de reflexión entre pares en torno al fortalecimiento y mejora del quehacer de la agencia.

3.7 Modelo de acreditación del CCA: Comprender el enfoque evaluativo es responder al qué y porqué de los procesos de acreditación que llevamos a cabo, representa el marco de acción que se traducirá posteriormente en los requisitos y pautas así como las herramientas que completen el modelo de acreditación del CCA.

La discusión del modelo obliga a comprender la lógica de estos procesos, considerando tres etapas necesarias y complementarias entre sí:

1. Control de la calidad: el modelo se orienta hacia el cumplimiento y verificación de una serie de elementos y condiciones para la calidad.

2. Garantía de la calidad: relacionada con la autoevaluación y acreditación conlleva la valoración exhaustiva de una serie de componentes y elementos por evaluadores (as) externos (as) que den fe de la calidad de la agencia u organismo de acreditación.

3. Promoción de la calidad: involucra los dos conceptos anteriores, pero los esfuerzos se orientan hacia el desarrollo de acciones tendientes a promover la calidad de la Educación Superior.

El predominio de una sobre otra, representa el enfoque central de un modelo así como su desarrollo evolutivo de la agencia. Esto significa que, un modelo orientado hacia el control establecerá criterios y pautas dirigidas al cumplimiento de uno u otra dimensión, en el caso de la garantía de la calidad, el modelo contendrá elementos de control pero que estarán orientados hacia el cómo los desarrolla y finalmente como un estado ideal, la promoción de la calidad centrada ya no tanto en la eficiencia y eficacia del modelo sino en el impacto para la calidad y por ende la sociedad.

Del análisis cuantitativo de los principios, valores, componentes y pautas que se presenta a continuación, se deriva que el enfoque evaluativo predominante en el CCA es la “garantía de la calidad” el cual no excluye elementos de control pero sobre todo, de promoción de la calidad.

El modelo evaluativo del CCA se orienta hacia un equilibrio de criterios y pautas evaluativas de control pero también de consistencia en cuanto a la ejecución, característico de un enfoque de la garantía de la calidad. Lo que significa, basar la calidad en la consistencia interna y externa (lo que se declara y lo que

26

se ejecuta) de la estructura organizativa y normativa de la agencia, en procesos evaluativos rigurosos y confiables y en criterios que garanticen la calidad de las instituciones, programas y carreras.

A continuación se detalla el análisis cuantitativo de los criterios evaluativos y pautas del modelo evaluativo del CCA a la luz de los tres enfoques señalados anteriormente, con el fin de establecer los pesos y prevalencia de un enfoque sobre el otro (veáse tabla 1), según lo descrito anteriormente.

TABLA 2. DISTRIBUCIÓN POR REQUISITOS GENERALES Y PAUTAS SEGÚN LOS ENFOQUES EVALUATIVOS

Propósitos evaluativos Requisitos

generales / componentes Control de

calidad % Garantía de

calidad % Promoción

de la calidad % Total

1. Marco constitutivo 1.1/1.2/1.5/1.6/1.8 45,4 1.3/1.4/1.7/1.9/1.10/1.11 54,4 100

2. Marco conceptual y metodológico

2.1/2.2/2.4/2.10 36,3 2.3/2.5/2.7/2.8/2.9/2.11 54,5 2.6 9 100

3. Marco organizativo y operacional

3.4/3.5/3.6/3.7 30,7 3.1/3.2/3.3/3.8/3.10/3.12/3.13

53,8 3.9/3.11 15,3 100

4. Recursos humanos 4.1/4.2 25 4.3/4.4/4.5/4.6/4.7/4.8 75 100

5. Recursos materiales e infraestructur a

5.1/5.2/5.3/5.4/ 80 5.5 20 100

6. Recursos financieros 6.1/ 25 6.2/6.3/6.4 75 100

7. Resultados 7.1/7.2/7.4/ 30 7.5/7.6/7.7/7.8/7.9 50 7.3

7.10

20 100

Nota: Enumeración de las pautas fue establecida por la autora, considerando la numeración de los requisitos del documento de “Instrumentos para la evaluación externa”.

El 37% del modelo está compuesto por pautas orientadas hacia el control, concentrados principalmente en las dimensiones de “recursos” (80%), “marco constitutivo” (45.4%) y “marco conceptual y metodológico (36.3%). Lo cual es necesario si lo que se espera del modelo evaluativo es emitir una valoración sobre la congruencia entre lo que planifica y lo que se ejecuta especialmente en los requisitos de recursos humanos y físicos, así como la normativa, procedimientos y por supuesto, de un modelo evaluativo consistente y riguroso.

En este caso, las pautas ubicadas como de control de la calidad, constituyen el soporte para aquellas pautas orientadas hacia la garantía de la calidad, dado que estas evalúan la consistencia interna de las mismas ya desde una perspectiva externa.

Las pautas y criterios evaluativos orientados hacia la garantía de la calidad representan un 55% del modelo del CCA. Las dimensiones que más cuentan con esta característica, son el marco organizativo, conceptual-metodológico y el constitutivo, ya no solo se establece lo que se tiene sino también como se llevan a cabo, es decir se ejecuta. Desde esta perspectiva, la garantía de la calidad permite valorar la coherencia y consistencia entre lo formulado y la acción. Así como la rigurosidad y transparencia. Vale decir criterios evaluativos centrales del modelo evaluativo del CCA.


27

Desde esta perspectiva el evaluador externo debe tener claridad de que el modelo evaluativo del CCA considera dos aspectos:

• “...la organización y gestión que lleva a cabo el organismo o agencia en su función de acreditación de instituciones, carreras y programas.

• (si...) contempla en sus documentos técnicos y procedimientos para la acreditación, los principios de buenas prácticas reconocidos internacionalmente, así como estándares, criterios y requisitos que certifiquen la calidad académica de las instituciones, carreras y programas”27.

3.7.1 Propósito de la acreditación: el aseguramiento de la calidad a través de modelos de acreditación orientados hacia la autoevaluación periódica y, por lo tanto, de procesos sostenibles que se orienten hacia el aseguramiento de la calidad de las agencias. El modelo cuenta con criterios evaluativos orientados hacia el control y hacia la garantía de la calidad mediante la validación interna y externa de los procesos de acreditación de las agencias y organismos nacionales y regionales.

3.7.2 Objeto evaluativo: la agencia u organismo de acreditación regional o nacional considerando que cuente:

• Diseño evaluativo adecuado.

• Opere de modo apropiado velando por la calidad de la educación superior en su propio contexto.

Esto significa, el cumplimiento de los propósitos de la agencia y en las evidencias de que esta funciona de acuerdo con los criterios y lineamientos de buenas prácticas, garantizando la calidad (lo declarado y lo ejecutado).

3.7.3 Universo y ámbito:

• “Organismos o agencias nacionales de acreditación: acreditan la calidad de un programa o institución en el ámbito geográfico del país.

• Organismos o agencias regionales de acreditación de origen centroamericano: acreditan la calidad de un programa o institución en el ámbito de la región centroamericana.

• Organismos o agencias extrarregionales de acreditación, que acreditan en la región centroamericana en el ámbito del país: operan en el ámbito geográfico centroamericano para acreditar la calidad de una institución, programa o carrera.

• Organismos o agencias nacionales que evolucionan a las acreditaciones transfronterizas en la región centroamericana”28.

3.7.4 Características y fases del modelo evaluativo del CCA: para describir y valorar la calidad de una agencia u organismo de acreditación es fundamental considerar sus múltiples componentes y su desarrollo. Con el propósito de organizar los diferentes aspectos que conviene evaluar y teniendo en cuenta el carácter dinámico, particular y práctico de los organismos o agencias de acreditación, el modelo evaluativo del CCA parte de un enfoque sistémico, integral y holístico. El modelo evaluativo

27 Op. Cit., xv. 28 Op. Cit., 14-15.

28

GA

RA

NT

ÍA D

E C

ALI

DA

D

PRO

MO

CIÓ

N D

E LA

CA

LID

AD

del CCA organiza los aspectos que requiere evaluar de las agencias u organismos de acreditación, en tres momentos: planificación, procesos y resultados, los cuales interactúan en un contexto determinado. Estos momentos se evaluarán con base en una serie de criterios de calidad, requisitos y pautas obligatorias y complementarias, que contemplan las relaciones entre cada uno de estos componentes.

Así, el modelo de acreditación sugiere que toda agencia y organismo presenta un proyecto de acreditación que especifica su misión, visión, objetivos, normativas, estructura organizativa y recursos suficientes, los cuales giran en torno a su modelo evaluativo y permiten llevar a cabo este proyecto.

Importante: no es suficiente juzgar la calidad de lo que se declara como modelo evaluativo, como marco constitutivo o estructura organizativa de la agencia; es imprescindible juzgar lo que se hace para lograrlo, así como la certeza de los resultados e impactos que permiten visualizar el logro de los objetivos y metas.

ESQUEMA 2. EL MODELO DE ACREDITACIÓN DEL CCA

Nota: Las agencias u organismos de acreditación se comprenden de tres momentos: Planificación: todos aquellos aspectos que constituyen la esencia de la agencia y establecen su marco de acción: por un lado, la declaración de sus metas y objetivos y su modelo evaluativo, y por el otro, su marco normativo, organizativo y recursos; Procesos: se analiza si la estrategia o los procesos operativos definidos por el servicio se están aplicando y se identifican sus fortalezas y debilidades. Resultados: logros referidos a la productividad de una entidad de Educación Superior.

Fuente: Consejo Centroamericano de Acreditación (2005).Manual de acreditación. San José, CCA.

4. REQUERIMIENTOS GENERALES

4.1 Información general La agencia de acreditación solicitante debe reunir toda la información que requiere el CCA para realizar la solicitud de acreditación, para lo cual se adjuntará la documentación necesaria para este


29

procedimiento, como se establece en el Reglamento de acreditación (Sesión Primera: Inicio del procedimiento,(CCCA-CT-0002-05) y Manual de acreditación (CCCA-CT-0001-05).

4.2 Dimensiones y pautas Se encuentran establecidos en el Manual de acreditación; son los aspectos cuya satisfacción es necesaria y suficiente para garantizar el cumplimiento de los criterios de calidad. Por lo tanto, tienen carácter de esencial en el proceso de acreditación ante el CCA (Pág.16-222, CA-CCT-0001-05).

El análisis de las dimensiones y sus pautas proveerá a la agencia un estado general en el cumplimiento de lo definido por el CCA y por tanto, un insumo para la toma de decisiones en cuanto al momento para la acreditación.

Por otra parte, la integralidad del estado de las pautas deberá ser valorado en función de los criterios evaluativos presentes en cada una de las dimensiones, lo que sugiere por tanto, el análisis no solo de las pautas sino una síntesis valorativa en función de los criterios predomintantes

30

TABLA 3. TÍTULO

CRITERIOS DE CALIDAD PAUTAS GRADO DE IMPORTANCIA

1. Marco constitutivo: l

1.1. La agencia tiene una declaración explícita de su filosofía instituciona

Obligatoria

1.2 La agencia posee un código de ética que satisface lo declarado en su misión Obligatoria

1.3 La agencia aplica su código de ética sobre la base de los principios de buenas prácticas.

Complementaria

1.4 El ámbito del trabajo y los niveles en que opera la agencia están delimitados con base en Obligatoria su misión.

1.5 La agencia posee un fundamento legal de operación y procedimientos definidos

Obligatoria

1.6 La agencia tiene procesos, debidamente reglamentados, que garantizan la resolución de conflictos entre sus miembros y entre ella y sus usuarios. Obligatoria

1.7 La agencia aplica procedimientos de resolución de conflicto, según lo establecido en su reglamentación

Complementaria

1.8 La agencia cuenta con procedimientos de audiencia y revisión de las decisiones de acreditación. Obligatoria

1.9 Los procedimientos de audiencia y revisión de las decisiones de acreditación se aplican de acuerdo con lo establecido en el respectivo reglamento de la agencia.

Complementaria

1.10 La agencia ejecuta acciones planificadas. Complementaria

Responsabilidad: “cumple con la obligación que contrae el organismos o agencia ante las instituciones y carreras para el aseguramiento de la calidad en la ES

Congruencia: coherencia de su actuar en función de su marco filosófico”

1.11 Las acciones planificadas por la agencia son acordes con su filosofía institucional.

Complementaria


31


2.1 La agencia tiene definida su estructura organizativa, cargos y funciones Obligatoria

2.2 Los procedimientos que establece la agencia son transparentes y funcionalmente definidos. Obligatoria 2.3 La agencia desarrolla procesos de planificación que incluyen políticas, objetivos, metas y planes operativos.

Obligatoria

2.4 La agencia tiene definidos procedimientos de autoevaluación, seguimiento, control y evaluación de su quehacer Obligatoria

2.5 La agencia tiene definidos procedimientos de control, seguimiento, y acompañamiento a las instituciones, carreras y programas que acredita.

Complementaria

2.6 La agencia cuenta con mecanismos de comunicación y divulgación interna y externa. Complementaria

2.7 La agencia establece relaciones con otras agencias u organismos con intereses comunes. Complementaria

2.8 La toma de decisión que realizan los órganos de la agencia responde a las normas Obligatoria establecidas y respeta el debido proceso.

2.9 La agencia realiza procesos de autoevaluación, control, seguimiento y evaluación externa, con miras al mejoramiento de los servicios que ofrece y al reconocimiento y acreditación de su calidad.

Obligatoria

2.10 La agencia desarrolla estrategias para el seguimiento y acompañamiento de los procesos de acreditación que realiza. Obligatoria

2.11 La agencia cuenta con mecanismos y procesos de información que sea de soporte para la toma de decisiones y conduzcan a un sistema de información.

Obligatoria

2.12 La agencia implementa mecanismos de comunicación y de divulgación interna y externa. Complementaria

Pertinencia: “como la misión, fines y principios que se propone el organismo o agencia responde a los requerimientos de calidad -sociedad y sociedad - sistema educativo superior”, capacidad de lectura de su entorno y mejoramiento permanente de su quehacer organizativo y evaluativo.

2.13 La agencia mantiene relaciones de cooperación con otras agencias acreditadoras. Complementaria

32


3.1 La agencia cuenta con un modelo de acreditación que promueva en aseguramiento de la calidad de la educación superior.

Complementaria

3.2 El modelo de evaluación y acreditación de la agencia contiene enfoque, conceptos, criterios y estándares de calidad. Obligatoria

3.3 La agencia implementa el modelo de evaluación y acreditación en los procesos que realiza, según criterios acordados.

Obligatoria

3.4 La metodología del proceso de evaluación y de acreditación de la agencia contiene métodos, técnicas, instrumentos y procedimientos acordes con el modelo adoptado. Obligatoria

3.5 La agencia aplica la metodología general de evaluación y acreditación, en correspondencia al modelo adoptado.

Obligatoria

3.6 La agencia posee mecanismos de actualización continua de los criterios, estándares, Complementaria instrumentos y procedimientos de evaluación y acreditación.

3.7 La agencia ejecuta la actualización de los criterios, estándares, instrumentos y procedimientos de valuación y acreditación.

Obligatoria

3.8 La agencia aplica procedimientos que aseguran la consistencia entre todas las evaluaciones realizadas. Complementaria

3.9 La agencia aplica procedimientos que garantizan un trato equitativo en la evaluación y acreditación que realiza a las instituciones y carreras y programas.

Obligatoria

3.10 La agencia utiliza estándares aceptados en el nivel internacional Complementaria

La congruencia y cientificidad “como la manera en que el modelo y sus procedimientos deben ser coherentes con la misión y propósitos de la agencia y garantizar que se apliquen con rigor científico”.

3.11 La agencia aplica un modelo de evaluación y acreditación contextualizado a la realidad educativa y al marco jurídico institucional, en el país o región donde se acredite.

Obligatoria


33

4. Recursos humanos 4.1 La agencia tiene programas y procedimientos de selección, desarrollo, capacitación continua y evaluación de sus RH

Obligatoria

4.2 La agencia cuenta con un programa de selección de académicos y profesionales de la evaluación y acreditación con base en los requerimientos del CCA.

Obligatoria

4.3 La agencia desarrolla acciones de capacitación continua de sus recursos humanos, de conformidad con los criterios establecidos.

Complementaria

4.4 La agencia realiza procesos de evaluación del desempeño de sus recursos humanos, de conformidad con los criterios establecidos.

Complementaria

4.5 Los miembros del órgano de decisión de la agencia cumplen con los requisitos establecidos por el manual del CCA

Obligatoria

4.6 El personal profesional de la agencia cumplen con los requisitos establecidos por el manual del CCA.

Obligatoria Complementaria instrumentos y procedimientos de evaluación y acreditación.

4.7 El personal de apoyo de la agencia cumplen con los requisitos establecidos por el manual del CCA.

Complementaria

Congruencia y suficiencia “como la garantía de seleccionar el personal (técnico, profesional, evaluadores) idóneo para garantizar el cumplimiento de la misión y propósitos de la agencia, esto implica no solo garantizar procedimientos de selección sino también el desempeño de los mismos”.

4.8 Los evaluadores externos cumplen con los requisitos establecidos por el manual del CCA.

Obligatoria Complementaria

5. Recursos materiales e infraestructura 5.1 La agencia dispone de instalaciones físicas

Obligatoria

5.2 La agencia cuenta con equipamiento tecnológico Obligatoria

Congruencia y suficiencia: “entendida como que no solo se cuente con oficinas y equipo sino también, se haga un uso racional del mismo.

5.3 La agencia cuenta con mobiliarios y materiales Obligatoria

34

5.4 La agencia dispone de recursos informáticos Obligatoria 5.5 La agencia hace uso racional de los recursos conforme a las regulaciones establecidas. Complementaria

6. Recursos financieros 6.1 La agencia posee recursos financieros que asegura su sostenibilidad.

Obligatoria

6.2 La agencia aplica procedimientos de auditoría interna y externa. Obligatoria

6.3 La agencia dispone de un sistema de actualización de los estados financieros Complementaria

Responsabilidad: “enfocada principalmente en la solvencia financiera que garantice la sostenibilidad de la agencia y su control respectivo”.

6.4 Los informes de estados financieros de la agencia cumplen con las regulaciones vigentes. Complementaria

7. Resultados

7.1 La agencia ha realizado acreditaciones acorde con su tiempo de existencia Complementaria

7.2 La agencia ha realizado reacreditaciones acorde con su tiempo de existencia Complementaria

7.3 La agencia ha demostrado una mejora sustancial en los procedimientos empleados en el proceso de acreditación, acorde con su tiempo de existencia.

Obligatoria

Pertinencia: •“los cambios o impactos que la agencia u organismo han generado en la calidad de la educación superior (seguimiento a graduados, cambios internos de los programas, instituciones y carreras). • las acciones de mejoramiento permanente de la agencia y

7.4 La agencia posee una cantidad de solicitudes de acreditación acorde con su tiempo de operación

Complementaria


35

7.5 La agencia realiza acreditaciones en el ámbito de acción establecido. Obligatoria

7.6 Las instituciones, programas y carreras acreditadas por la agencia desarrollan de forma periódica su reacreditación

Complementaria

7.7 Las instituciones, programas y carreras acreditadas por la agencia desarrollan de forma periódica sus procesos de autoevaluación y mejoramiento continuo.

Obligatoria

7.8 Las instituciones, programas y carreras acreditadas por la agencia ejecutan acciones o programas de seguimiento a graduados.

Complementaria

7.9 Las instituciones, programas y carreras acreditadas evidencian la atención de los cambios sugeridos por la agencia acreditadora.

Complementaria

organismo de acreditación (en lo organizativo y en su modelo evaluativo)”.

7.10 La agencia ejecuta procesos de retroalimentación con los usuarios de sus servicios de acreditación.

Complementaria

36

COMPONENTES DE EVALUACIÓN Y ACREDITACIÓN El modelo evaluativo de la agencia, plasmado en su manual de acreditación, debe contar con las siguientes componentes, que son las unidades de análisis dentro del modelo evaluativo de la agencia, que le permiten valorar la calidad de una institución, carrera o programa (entendidos estos últimos como carreras técnicas, licenciaturas, maestrías, doctorados y postgrados de especialización). Por lo tanto, la agencia solicitante debe cumplir satisfactoriamente con los factores en su filosofía, marco metodológico y referencial, para realizar sus procesos de acreditación de acuerdo con el Manual de acreditación (CCA-CT-001-05).

Es importante tener presente que esto no implica que deba contener los mismos nombres o estructura, pero sí que su modelo considere los factores indicados, lo que significa que la agencia u organismo debe justificar sus factores, dimensiones o categorías según su modelo y los objetivos propuestos en él.

1. Componentes de evaluación y acreditación que deben considerar las agencias que acreditan instituciones en el ámbito nacional o regional

• Proyecto institucional

• Gestión y gobierno

• Docencia

• Investigación

• Extensión

• Recursos físicos y materiales

• Recursos financieros

• Recursos de información y comunicación

• Infraestructura

• Recursos humanos

• Estudiantes

• Servicios estudiantiles

• Graduados

Es importante que el (la) evaluador (a) externo (a) valore exhaustivamente si el modelo evaluativo incluye criterios y estándares para cada uno de los factores.

2. Componentes de evaluación de carreras o programas (carreras técnicas, licenciaturas, maestrías, doctorados y postgrados de especialización) nacionales o regionales:

• Currículo

• Procesos de enseñanza-aprendizaje

• Investigación

• Extensión

• Recursos humanos


37

• Estudiantes

• Servicios estudiantiles

• Gestión académica

• Infraestructura

• Recursos de apoyo

• Graduados

3. Componentes de evaluación que deben emplear los organismos o agencias que acreditan instituciones, carreras y programas en el ámbito nacional o regional:

Deben considerar los factores propuestos en los numerales 3.1 y 3.2 del Manual de acreditación del CCA (CCA-CT-001-05).

4. Componentes de evaluación y acreditación que deben utilizar los organismos o agencias extrarregionales que acreditan instituciones, carreras y programas en los países centroamericanos:

Deben considerar los factores propuestos en los numerales 3.1 y 3.2 del Manual de acreditación del CCA (CCA-CT-001).

5. Guía de apoyo en la autovaloración de la agencia u organismo de acreditación nacional y regional con base en las dimensiones, pautas obligatorias y complementarias y criterios evaluativos.

Objetivo:

• Proporcionar a las agencias u organismos de acreditación nacional y regional una herramienta diagnóstica que identifique las condiciones requeridas por el CCA para optar por la acreditación.

• Proporcionar a las agencias u organismos de acreditación nacional y regional, la guía para la presentación del plan de mejoramiento, como carta de compromiso de la calidad ante el CCA.

La guía representa una herramienta de apoyo a las agencias u organismos, para que establezcan un estado general del cumplimiento de los requerimientos de acreditación del CCA, así como la identificación de las fortalezas y acciones de mejora por parte de la agencia.

Por otra parte, de tomarse la decisión de acreditarse, el informe de autoevaluación deberá cumplir con los requerimientos establecidos por el CCA (ver fase de admisibilidad), es decir que el informe cuente con el análisis de las dimensiones y pautas, así como una valoración integral de la agencia y la identificación de fortalezas y acciones de mejora plasmadas en un Plan de Mejora que es parte integral del Informe de Autoevaluación.

¿Qué espera el CCA de la autoevaluación? Para el CCA, el proceso de autoevaluación debe contener una valoración integral de la agencia, considerando su gestión interna como su modelo evaluativo. Dicha valoración comprende, desde una perspectiva integral los siguientes aspectos: Planificación, procesos y resultados.

38

• En la Planificación. Valorar si la disponibilidad del espacio físico, equipo, normativa y talentos humanos, son suficientes para el desempeño de la agencia.

• En los Procesos. Valorar si los procesos de evaluación y acreditación que realiza la agencia son científicos, confiables, imparciales y conducentes al mejoramiento de la calidad de la educación superior.

• En los Resultados. Valorar el impacto de los procesos de acreditación de la agencia y su contribución al mejoramiento de la calidad de la educación superior del país o región.

Así como que, el informe tome en consideración las pautas y los criterios de calidad para la acreditación contemplados en el punto 2.2 del Manual de acreditación (Pág. 15, CCA-CT-001-05). Presentando una valoración integral por dimensión y la identificación de las fortalezas y debilidades.

Igualmente, que el informe de autoevaluación determine a partir de los resultados de la autoevaluación, su compromiso a la calidad a través de un plan de mejoramiento viable y sostenible por parte de la agencia u organismo.

Para la evaluación del cumplimiento de las dimensiones y sus pautas, criterios de calidad y pautas en el proceso de autoevaluación, se recomienda a las agencias utilizar los cuadros del A2 al A8 definidos en el Anexo No. 2 del Manual de acreditación. (Pág. 50-55, CCA-CT-001-05).

Para determinar la presencia de los componentes de evaluación y acreditación establecidos por el CCA en los documentos de la agencia solicitante, se recomienda revisar el capítulo 3 del Manual de acreditación (Pág. 23-32, CCA-CT-001-05).

Etapas del proceso de autoevaluación Las etapas del proceso de autoevaluación propuestas por el CCA para el desarrollo son las siguientes:

1. Proceso de autoevaluación de la agencia: implica la constitución de una comisión o equipo de trabajo, rigurosidad metodológica del proceso y la preparación de la agencia en torno a los resultados a través de su plan de mejoramiento.

2. Elaboración del informe de autoevaluación y plan de mejoramiento. Este último visto como un compromiso de calidad, y por tanto, la garantía de una estrategia para su desarrollo y la visión de ser un proceso permanente.

1. Proceso de autoevaluación de la agencia

El proceso de autoevaluación debe comprenderse como un proceso de reflexión y análisis en torno al quehacer de la agencia y en particular de su modelo evaluativo. Debe promover en la agencia la identificación de sus fortalezas y oportunidades así como de las acciones a mejorar. En esta deberá contemplar el contexto en el cual está inmersa la agencia, la valoración exhaustiva y la identificación rigurosa de las acciones que permitirán fortalecer su compromiso con la calidad de la Educación Superior.

El proceso de autoevaluación que desarrolla la agencia de acreditación solicitante debe identificar los aspectos que se evaluarán de acuerdo con lo establecido por el CCA, destacando elementos tales como: fuentes de información, técnicas para recolectar la información y técnicas utilizadas para el análisis de la información.

La rigurosidad metodológica debe reflejarse en la recolección, generación, procesamiento y análisis de la información desarrollada en el proceso de autoevaluación para garantizar la validez, confiabilidad de los juicios de valor e identificación de las fortalezas y debilidades en las diversas


39

áreas de desarrollo de la agencia consignadas en el informe de autoevaluación y el plan de mejoramiento.

2. Informe de autoevaluación: Guía de Presentación del Informe de autoevaluación

El informe de autoevaluación contempla los siguientes elementos:

a. Presentación general:

1. Información sobre el ámbito del Sistema de Educación Superior en el que se desarrolla la agencia u organismo. Este debe considerar una breve descripción de la situación actual y su evolución en el tiempo, así como la consideración de variables relevantes tales como:

• Marco político educativo del país o región, según sea el ámbito de acción de la agencia.

• Políticas de calidad de la educación superior en el país o región según sea el ámbito de acción de la agencia.

• Instancias educativas de Educación Superior del país o la región, según sea el ámbito de acción de la misma. Así como de titulación y personas matriculadas.

• Grupos de interés de la acreditación que lleva a cabo la agencia u organismo.

• Áreas en la que actúa la agencia en la promoción de la calidad.

b. Información sobre la agencia:

• Presentación de la agencia:

Nombre de la agencia

Dirección

Teléfonos

Año de inicio de las actividades

Nombre de la persona de contacto

Teléfono y correo electrónico de la persona de contacto

Nombre de la persona que ocupa la Dirección Ejecutiva

Correo electrónico de la persona que ocupa la Dirección Ejecutiva

• Resumen de la historia de la agencia.

• Reconocimiento oficial.

• Misión y objetivos de la agencia.

• Organización y recursos

1. Metodología del proceso de autoevaluación: resumen de la propuesta metodológica del proceso llevado a cabo.

40

• Objetivos y propósitos de la evaluación.

• Equipo responsable del proceso de autoevaluación.

• Procedimiento metodológico (fuentes de información, instrumentos y procesamiento de la información).

2. Resultados de la autoevaluación, que deben incluir:

1. Valoración por dimensión y sus pautas:

a. Descripción general de la dimensión.

b. Análisis por pautas:

i. Descripción del hacer.

ii.Valoración en función del modelo del CCA.

iii. Evidencias del cumplimiento de la pauta.

c. Valoración integral por dimensión según los criterios evaluativos d. Identificación de las fortalezas y debilidades por dimensión.

3. Presentación del plan de mejoramiento (ver guía de presentación del Plan de Mejoramiento): Este plan de mejoramiento debe contener además de los aspectos señalados en la guía:

• Identificación de acciones de mejora por fortalezas y debilidades encontradas. Esto para cada uno de las dimensiones establecidas por el CCA.

• Objetivos generales, acciones e indicadores de seguimiento, así como el respaldo de la evidencia del mismo.

• Contar con una estrategia de seguimiento y monitoreo que de sostenibilidad al plan. Así como la asignación de una comisión de gestión responsable del plan de mejora.

4. Apéndice (evidencias fundamentales que deben adjuntarse al informe de autoevaluación)

5. Anexos (información complementaria que no es indispensable adjuntar al informe de autoevaluación).

Responsable: Agencia u organismo de acreditación nacional y regional.


41

TABLA 4. ESTADO GENERAL DE LA AGENCIA U ORGANISMO DE ACREDITACIÓN EN CUANTO A LAS DIMENSIONES ESTABLECIDAS POR EL CCA

PAUTA

NIVEL DE CUMPLIMIENTO Obligatoria Complementarios

Dimensiones

CT NC CT CP NC

ESTADO GENERAL

1. Marco constitutivo

1.1. La agencia tiene una declaración explícita de su filosofía institucional

1.2 La agencia posee un código de ética que satisface lo declarado en su misión


1.4 El ámbito del trabajo y los niveles en que opera la agencia están delimitados con base en su misión.


1.6 La agencia tiene procesos, debidamente reglamentados, que garantizan la resolución de conflictos entre sus miembros y entre ella y sus usuarios.


1.8 La agencia cuenta con procedimientos de audiencia y revisión de las decisiones de acreditación.


1.10 La agencia ejecuta acciones planificadas.



2.1 La agencia tiene definida su estructura organizativa, cargos y funciones

2.2 Los procedimientos que establece la agencia son transparentes y funcionalmente definidos.

2.3 La agencia desarrolla procesos de planificación que incluyen políticas, objetivos, metas y planes operativos.

2.4 La agencia tiene definidos procedimientos de autoevaluación, seguimiento, control y evaluación de

42

PAUTA


Dimensiones

CT NC CT CP NC

ESTADO GENERAL

su quehacer


2.6 La agencia cuenta con mecanismos de comunicación y divulgación interna y externa.

2.7 La agencia establece relaciones con otras agencias u organismos con intereses comunes.

2.8 La toma de decisión que realizan los órganos de la agencia responde a las normas establecidas y respeta el debido proceso.


2.10 La agencia desarrolla estrategias para el seguimiento y acompañamiento de los procesos de acreditación que realiza.


2.12 La agencia implementa mecanismos de comunicación y de divulgación interna y externa.

2.13 La agencia mantiene relaciones de cooperación con otras agencias acreditadoras.



3.2 El modelo de evaluación y acreditación de la agencia contiene enfoque, conceptos, criterios y estándares de calidad.


3.4 La metodología del proceso de evaluación y de acreditación de la agencia contiene métodos, técnicas, instrumentos y procedimientos acordes con el modelo adoptado.



43

PAUTA


Dimensiones

CT NC CT CP NC

ESTADO GENERAL

3.6 La agencia posee mecanismos de actualización continua de los criterios, estándares, instrumentos y procedimientos de evaluación y acreditación.

3.7 La agencia ejecuta la actualiza los criterios, estándares, instrumentos y procedimientos de valuación y acreditación.

3.8 La agencia aplica procedimientos que aseguran la consistencia entre todas las evaluaciones realizadas.


3.10 La agencia utiliza estándares aceptados en el nivel internacional


4. Recursos humanos

4.1 La agencia tiene programas y procedimientos de selección, desarrollo, capacitación continua y evaluación de sus RH




4.5 Los miembros del órgano de decisión de la agencia cumplen con los requisitos establecidos por el manual del CCA.




5. Recursos materiales e infraestructura

44

PAUTA


Dimensiones

CT NC CT CP NC

ESTADO GENERAL

5.1 La agencia dispone de instalaciones físicas

5.2 La agencia cuenta con equipamiento tecnológico

5.3 La agencia cuenta con mobiliarios y materiales

5.4 La agencia dispone de recursos informáticos

5.5 La agencia hace uso racional de los recursos conforme a las regulaciones establecidas.

6. Recursos financieros

6.1 La agencia posee recursos financieros que asegura su sostenibilidad.

6.2 La agencia aplica procedimientos de auditoría interna y externa.

6.3 La agencia dispone de un sistema de actualización de los estados financieros

6.4 Los informes de estados financieros de la agencia cumplen con las regulaciones vigentes.

7. Resultados

7.1 La agencia ha realizado acreditaciones acorde con su tiempo de existencia

7.2 La agencia ha realizado reacreditaciones acorde con su tiempo de existencia



7.5 La agencia realiza acreditaciones en el ámbito de acción establecido.

7.6 Las instituciones, programas y carreras acreditadas por la agencia desarrollan de forma periódica su reacreditación




45

PAUTA


Dimensiones

CT NC CT CP NC

ESTADO GENERAL



PAUTAS

Pautas obligatorias Pautas complementarias

CT-Cumple totalmente

NC-No cumple

CT-Cumplimiento total

CP-Cumplimiento parcial

NC-No cumple

46

GUIA PARA LA PRESENTACIÓN DEL PLAN DE MEJORAMIENTO: COMPROMISO CON LA CALIDAD OBJETIVOS Y PROPÓSITOS: El Plan de mejora debe comprenderse como aquel “documento centrado en la garantía del aseguramiento de la calidad, promoviendo en las agencias la mejora continua y por tanto la identificación de acciones de mejora producto de sus procesos de autoevaluación y acreditación”. Ello implica:

a) El compromiso de la agencia u organismos por la calidad, siendo una herramienta estratégica centrada en la capacidad de las agencias u organismos de establecer acciones de mejoras continuas.

b) Las acciones de mejora se derivan del proceso reflexivo de la agencia desarrollado por la agencia en la autoevaluación.

c) Debe asegurar que la agencia u organismo genere políticas y estrategias de mejoramiento continuo de su calidad, así como un compromiso con el CCA, de fortalecer sus procesos.

d) Coherencia entre las políticas estratégicas de la agencia y sus planes operativos.

e) Identificación de indicadores de seguimiento y cumplimiento que permitan apreciar los avances e impacto del plan para la agencia lo que implica contar con una estrategia de seguimiento del plan.

f) Delimitar los tiempos y las personas responsables del seguimiento y ejecución del plan de mejora, considerando los recursos de la agencia u organismo. Ello refiere a la sostenibilidad y viabilidad de las mejoras.

g) Determinar los costos asociados a las acciones de mejora para la agencia, como un elemento que garantice el desarrollo real de las acciones.

El plan se deriva del modelo de acreditación del CCA, lo cual conlleva la identificación de las acciones de mejora por dimensión:




4. Recursos humanos



7. Resultados

Para la presentación del plan de mejora, la agencia deberá desarrollar los contenidos básicos de la tabla “Plan de mejora” sugerida por el CCA, esta deberá aplicarse considerando las particularidades de cada agencia.

La agencia deberá presentar el Plan de mejora junto con el informe de autoevaluación, según el esquema anterior. Este será valorado integralmente en diversos momentos a lo largo del proceso de


47

acreditación: en la primera etapa del proceso de acreditación que corresponde a la “Admisibilidad”; valorado en la etapa de evaluación externa y en la etapa de seguimiento de los compromisos de calidad.

Considerando el nivel de avance del desarrollo de la agencia en torno a las acciones planteadas, evidencias y acciones de aseguramiento de la calidad a los procesos que lleva a cabo.

Etapa: Informe de autoevaluación

Responsable:

La agencia u organismo de acreditación.

Tabla de presentación del plan de mejoramiento

El plan de mejora deberá contener los siguientes aspectos:

Plan de mejoramiento

1. Nombre de la agencia u organismo:

2. Periodo comprendido del plan de mejoramiento:

3. Equipo responsable del seguimiento:

4. Metodología empleada para el seguimiento del plan: en este apartado la agencia u organismo deberá especificar como llevará a cabo el seguimiento de su plan, las acciones a desarrollar y el personal a cargo.

48

TABLA 5: TABLA DE PRESENTACIÓN DEL PLAN DE MEJORAMIENTO Dimensión Recursos humanos

Objetivo de mejora Desarrollar un plan de capacitación continua del recurso humano con el fin de fortalecer la gestión de la agencia XXX

Productos esperados • Plan permanente de capacitación y formación en función de los objetivos estratégicos de la agencia.

• Personal capacitado para el desempeño de sus funciones y de los objetivos estratégicos de la agencia.

Aspecto a mejorar Actividad

Tareas Indicadores de cumplimiento (en

porcentaje)

Evidencias

Responsable Fecha de inicio Fecha de terminación

Implementación de un plan de capacitación para el personal

Formulación de un plan de capacitación integral dirigido al personal

1. Definición de los ejes estratégicos de la agencia

2.Identificación de las necesidades de capacitación.

100%Necesisdes de capacitación identificadas.

100% en la formulación del plan

Plan Dirección Ejecutiva Marzo 2009 Noviembre 2009

Ejecución del plan de capacitación

1. Organización de los talleres o módulos de capacitación.

2. Contratación externa de las personas capacitadoras

3. Logística relacionada a las capacitaciones.

100% del personal capacitado

Programas de capacitación.

Listados de participación.

Dirección Ejecutiva Enero 2010 Permanente

Observaciones:


49

GUÍA PARA EL INFORME DE SEGUIMIENTO DEL PLAN DE MEJORAMIENTO

Objetivos: El informe de seguimiento al plan de mejora contiene el estado de avance de los compromisos de calidad asumidos por la agencia u organismo, ello conlleva que la agencia debe:

a) Proporcionar el estado de las acciones y compromisos adquiridos en función de su plan de mejora.

b) Garantizar procesos de mejora permanente, en función de los compromisos adquiridos ante el CCA.

c) Brindar insumos al evaluador o evaluadora designado (a) por el CCA, quien valorará el avance en el cumplimiento del plan en función del informe presentado por la agencia

Según el dictamen de Acreditación emitido por el Consejo, se definirán las fechas de presentación del informe o de los informes de seguimiento, con la documentación respectiva que le respalde por parte de la agencia u organismo.

El informe de seguimiento deberá demostrar los siguientes aspectos:

1. Nivel de avance del desarrollo de la agencia respecto a las acciones planeadas.

2. Desarrollo y continuidad de acciones que demuestre que la agencia se encuentra trabajando a favor del aseguramiento de su calidad.

3. Evidencias de que la agencia está desarrollando una cultura de evaluación para la calidad.

4. Identificación de dificultades encontradas para la ejecución del Plan de mejora y acciones que ayuden a superarlas.

5. Medidas que se pretender tomar para replantear acciones.

Dicho informe será valorado por un evaluador asignado por el CCA, según perfil indicado en apartados anteriores.

Etapa:

Etapa de Seguimiento de los compromisos de calidad de la agencia u organismo.

Responsable:

La agencia u organismo de acreditación nacional y regional

El informe debe contener los siguientes elementos:

1. Información general:

1. Agencia:

2. Características de la agencia:

3. Periodo de acreditación:

4. Corte de seguimiento:

5. Equipo responsable del seguimiento:

50

2. Valoración general: en este apartado la agencia deberá indicar el estado general de su plan por objetivo de mejora, considerando en la valoración la siguiente escala:

1. Objetivo logrado 2. Objetivo logrado parcialmente

3. Objetivo en desarrollo

4. Objetivo sin alcanzar

5. Ninguno

Objetivo de mejora Nivel de cumplimiento

3. Seguimiento por requisito: este apartado incluye los aspectos puntuales para cada requisito y objetivo de mejora. En este seguimiento, la agencia puede incorporar modificaciones a sus acciones, así como cambios en las fechas de inicio y terminación. Todas deberán estar debidamente justificadas.

Requisito

Objetivo de mejora

Actividad Estado del proyecto (porcentaje de logro)

Estado de avance actividades y tareas

Evidencias

Observaciones (explicaciones, aclaraciones, medidas alternativas)

Acciones propuestas

Acciones pendientes

Valoración general del avance

El Informe de seguimiento debe responder al Plan de mejora de la agencia presentado ante el CCA, por lo que para el evaluador “revisor” tendrá a su disposición tanto el Plan de mejora como los informes de avance.


51

CAPÍTULO 3

ETAPAS Y PROCEDIMIENTOS PARA LA EVALUACIÓN EXTERNA

52

CONDICIONES PARA EL OTORGAMIENTO DE LA ACREDITACIÓN Los mecanismos y condiciones para el otorgamiento deben tener en cuenta los siguientes elementos:

La Dirección Ejecutiva: recibe, verifica el cumplimiento de los requisitos indicados en el Reglamento del CCA y declara la admisibilidad o no para la solicitud de acreditación. El Equipo Evaluador: se pronuncia sobre el informe de autoevaluación y los hallazgos durante la visita y presenta un informe a la Dirección Ejecutiva del CCA, que lo mantiene en custodia y confiabilidad.

El Consejo Centroamericano de Acreditación: dictamina y otorga la acreditación.

El dictamen de la acreditación indicará entre otros aspectos, la temporalidad del seguimiento del plan de mejora presentado por la agencia u organismo, siendo responsabilidad de la agencia, la presentación de informes de seguimiento y la notificación al Consejo en caso de que se realicen cambios o modificaciones en torno a los compromisos adquiridos en el Plan de Mejora presentado originalmente al CCA.

La decisión del Consejo con base en la relatoría del Equipo Evaluador, considera dos escenarios:

1. Agencia u Organismo Nacional o Regional acreditado: La agencia u organismo de acreditación cumple el 77% de las pautas o requisitos específicos, que comprende la totalidad de las pautas obligatorias y, como mínimo, 11 pautas complementarias.

La acreditación de cada organismo o agencia “tendrá validez por cinco años, salvo que se especifique un tiempo menor, con arreglo a lo prescrito en este reglamento y lapso durante el cual deberán cumplirse las condiciones señaladas. Los organismos y agencias que deseen continuar como organismos o agencias acreditados, deberán solicitar la renovación al menos seis meses antes de la finalización del período para el cual fueron acreditados, cumpliendo con los requisitos establecidos en el Reglamento para el proceso de reacreditación”. (Art. 51 del Reglamento de acreditación, CCA).

2. Agencia u Organismo No acreditado: La agencia u organismo de acreditación no cumple el 77% establecido para el otorgamiento de la acreditación, es decir, no cumple con las pautas obligatorias, o bien, con el mínimo de las pautas complementarias establecidas (11 requeridas) para alcanzar el porcentaje señalado anteriormente.

De ser la decisión del Consejo otorgar la acreditación, la agencia u organismo deberá acatar del Reglamento de Acreditación, los artículos 43, 44. Así como el artículo 48 que indica:

“ Si la agencia acreditadora por el CCA no cumple con lo establecido en el Plan de Mejora, con la presentación de Informes de Seguimiento, o con la notificación inmediata al Consejo de modificaciones al Plan de Mejora, el Consejo puede solicitarle a la agencia una aclaración, escrita y detallada, sobre el incumplimiento de las disposiciones o bien el retiro de la acreditación a la agencia”


53

ETAPAS Y PROCEDIMIENTOS29 Este apartado detalla las etapas y procedimientos para la acreditación con el fin de establecer una visión general que, sirva tanto para la agencias u organismos de acreditación como también, de guía para los evaluadores involucrados en las diferentes etapas, por lo que se enfatizará en los procedimientos para cada una de estas.

Nota a las agencias u organismos de acreditación nacionales y regionales El Manual de Instrumentos para la evaluación externa ha incluido en el apartado de “Requisitos generales de acreditación” la especificación de las pautas obligatorias y complementarias que serán valoradas por el CCA para el otorgamiento de la acreditación de la agencia u organismo y la guía para la presentación del plan de mejoras.

Asimismo, se incluye una tabla resumen, que constituye una herramienta de apoyo para la autovaloración de la agencia u organismo en el cumplimiento de los requerimientos de acreditación del CCA.

Etapa 1: Solicitud de Acreditación

ESQUEMA 3. SOLICITUD DE ACREDITACIÓN

Etapa 2: Admisibilidad de la Solicitud de Acreditación Lectura y revisión exhaustiva del cumplimiento de todos los requisitos solicitados por el Manual y Reglamento de acreditación contendidos en el informe de autoevaluación de la agencia; la Dirección Ejecutiva designa a un (a) evaluador lector (a).

29 Consejo Centroamericano de Acreditación (2005).Manual de acreditación. San José, CCA.

54

ESQUEMA 4. TÍTULO

En esta etapa, el (la) lector (a), cuenta con la Guía para la elaboración del Informe de admisibilidad y la Guía para la elaboración del Plan de mejora incluida en este documento.

Etapa 3: Evaluación del Organismo o Agencia de Acreditación ESQUEMA 5. TÍTULO

Para esto, el Equipo Evaluador cuenta con el Instrumento para la preparación de la guía in situ y Guía para la revisión del Plan de mejora, que permite:

• Identificar las áreas donde deberá concentrarse durante la visita.

• Analizar la suficiencia y calidad de la información disponible, en particular su compromiso de calidad (Plan de Mejora).

• Planificar adecuadamente la visita.


55

Etapa 4: Visita in situ: Durante tres días, el Equipo Evaluador realiza la visita respectiva al organismo o agencia acreditadora; es importante tener presente que la organización y visita se realiza según lo establecido por el Reglamento de acreditación y en el programa correspondiente. Durante la visita, el equipo de evaluadores tendrá como documentos referentes su guía de preparación para la visita in situ, informe de autoevaluación y el plan de mejoramiento.

Para esta etapa cada evaluador externo cuenta con el Instrumento para realizar la evaluación in situ.

El “Instrumento para realizar la evaluación in situ” permite sintetizar las opiniones de los miembros del Equipo Evaluador, de manera que se faciliten el consenso respecto al cumplimiento de los requisitos de acreditación, la evaluación de las evidencias documentales y lo consignado en el informe de autoevaluación y plan de mejora.

En esta etapa, el Equipo Evaluador debe hacer uso del Instrumento para la preparación de la guía in situ y del Instrumento para realizar la evaluación in situ, Guía para analizar el plan de mejora, así como debe efectuar la revisión a la luz del Instrumento resumen de las pautas (obligatorias y complementarias).

Por otra parte, se recomienda que el Equipo Evaluador vaya identificando de forma integral el cumplimiento de las pautas indispensables y complementarios en el Instrumento resumen de las pautas (Véase apartado de pautas obligatorias y complementarias).

Concluido el análisis in situ, el (la) coordinador (a) resume verbalmente los hallazgos ante los miembros del organismo o agencia y da oportunidad de que estos expresen los argumentos que consideren pertinentes (Art. 38 del Reglamento de acreditación del CCA.). Igualmente deberán completar el instrumento Resumen de las pautas obligatorias y complementarias. En esta etapa el equipo evaluador por medio de su coordinador (a) emitirá un informe oral valorativo sobre el estado de la agencia y organismo, ofreciendo recomendaciones y acciones de mejora que fortalezcan el proceso de reflexión de la agencia. La presentación oral será consistente e implícita dentro del Informe de evaluación que presente el equipo evaluador ante el Consejo en pleno.

El informe oral incluirá un análisis valorativo del estado de la agencia u organismo en función de la visita in situ, el informe de autoevaluación y el plan de mejora.

Se sugiere una estructura de presentación oral, que incluya:

1. Presentación general.

2. Descripción general de lo observado en la visita in situ, y el informe de autoevaluación y plan de mejoras.

3. Análisis por componente, se incluyen las recomendaciones por componente.

4. Análisis del plan de mejoramiento en función de los resultados de la visita in situ y documentos.

5. Valoración integral del estado de la agencia (pautas obligatorias y complementarias) y recomendaciones.

6. Cierre.

Etapa 5: Elaboración y presentación del Informe de Evaluación consistirá en una descripción y un análisis valorativo del estado del solicitante en lo que respecta a las

56

categorías de análisis, y se basará en los productos de la autoevaluación, el plan de mejora y lo obtenido en la visita in situ.

ESQUEMA 6. TÍTULO

El Equipo Evaluador cuenta con la Guía para la elaboración del Informe escrito y el Resumen de las pautas obligatorias y complementarias. La Comisión Técnica, en su informe de relatoría, dispone de la Guía para la elaboración del Informe de relatoría.

Etapa 6: Decisión sobre la acreditación: Analizados los respectivos informes, los miembros titulares del Consejo inician el proceso de deliberación en torno a la decisión o no de acreditación de la agencia u organismo, el cual se compone cinco fases:

ESQUEMA 7. TÍTULO?


57

Etapa 7: Seguimiento al Plan de mejora: compromiso con la calidad. El CCA dará seguimiento al plan de mejora de la agencia u organismo, según el art. 43 del Reglamento de Acreditación: “La agencia debe presentar los Informes de Seguimiento al Plan de Mejora, y las evidencias que lo respalden, en la fecha que le indique el Consejo, y según los requisitos y componentes señalados por este órgano. La agencia deberá incorporar al informe de Seguimiento del Plan de Mejora, las observaciones señaladas por el equipo”.

ESQUEMA 8. TÍTULO

La agencia u organismo deberá tener presente el art. 48 “Si la agencia acreditada por el CCA no cumple con lo establecido en el Plan de Mejora, con la presentación del Informe de Seguimiento al Plan de Mejora, o con la notificación inmediata al Consejo de modificaciones al Plan de Mejora, el

58

Consejo puede solicitarle a la agencia una aclaración, escrita y detallada, sobre el incumplimiento de las disposiciones o bien el retiro de la acreditación a la agencia”.

En esta etapa, el evaluador revisor del Plan de Mejora, cuenta para la preparación del informe de seguimiento, Guía de seguimiento del Plan de mejora.

ELEMENTOS METODOLÓGICOS DEL PROCESO DE EVALUACIÓN EXTERNA 1. Estrategias de abordaje El Manual de instrumentos para la evaluación externa cuenta con una serie de guías, instrumentos y tablas de trabajo que la persona evaluadora debe completar individual o grupalmente. Tales instrumentos tienen como objetivo colaborar con la valoración integral de la calidad de la agencia u organismo de acreditación nacional o regional, así como en la sostenibilidad de los compromisos adquiridos en torno a esta, proporcionando evidencias que aporten en la decisión de otorgar la acreditación o no.

A continuación se señalan una serie de pasos por considerar de parte de la persona evaluadora, en el abordaje instrumental, en la evaluación externa de la agencia u organismo de acreditación. Es importante considerar, que si bien el énfasis de este apartado se orienta hacia la etapa de la evaluación externa, las recomendaciones y pasos que aquí se sugieren son igualmente validas para la persona lectora o quien dará seguimiento al plan de mejoramiento. De ahí, que se consideren igualmente las guías e instrumentos para la etapa de admisibilidad como la de seguimiento del plan de mejora.

Es importante tener presente que por “guía” se entenderán las orientaciones generales y metodológicas para la elaboración de los informes requeridos por el CCA (admisibilidad, informe de la evaluación externa y de relatoría). Se establecen los elementos básicos que deben contener, de manera que incluyan de forma rigurosa la información necesaria para emitir el otorgamiento o no de la acreditación por parte del Consejo Centroamericano de Acreditación.

Los “instrumentos” constituyen las herramientas que facilitan la recolección y el análisis de la información en el trabajo de campo de los (as) evaluadores (as) externos (as); en ellos se definen las fuentes de información, los actores y las estrategias de abordaje.

La persona evaluadora debe considerar, al iniciar el proceso, las siguientes etapas:

1) Lectura exhaustiva de la documentación: Comprende dos estadios:

a. Lectura de la documentación respectiva del CCA: debe realizar una lectura exhaustiva del Reglamento del Consejo Centroamericano, Manual de acreditación, Glosario.

Es preciso que se identifiquen las inquietudes en cuanto al proceso y estrategias de trabajo individual para la evaluación externa y las manifieste ante las instancias responsables del CCA.

Para ello, el CCA pondrá a disposición de las personas evaluadoras cursos de capacitación y foros permanentes para la discusión y consulta.

b. Lectura del Manual de instrumentos para la evaluación externa: las personas evaluadoras (lectores, evaluadores externos, evaluadores de plan de mejora) debe conocer y comprender el proceso que conlleva la acreditación y, por lo tanto, el


59

proceso de evaluación externa, identificando el instrumento y tablas respectivas para cada una de las etapas de este, y estableciendo las necesidades de información y las estrategias para obtenerla.

c. Comunicación con el equipo responsable en el CCA del proceso: la persona evaluadora, así como el equipo debe mantener una comunicación permanente con la instancia responsable del CCA del proceso, ello constituye desde consultas normativas, metodológicas, de consideración ética y logísticas. Al finalizar cada participación, la persona evaluadora deberá disponer de un momento para completar la evaluación de la etapa, la cual será suministrada por el CCA, esta tiene como objetivo, fortalecer el proceso de acreditación.

d. En el caso de la evaluación externa, la comunicación con el Equipo Evaluador: se considera pertinente que una vez determinado el Equipo Evaluador, este pueda mantener una comunicación abierta en torno al proceso de evaluación externa y sus instrumentos, lo que implica inquietudes generales, identificación de estrategias comunes y espacios de reflexión metodológica. El CCA proveerá los mecanismos de interacción a distancia para el equipo evaluador.

La persona evaluadora debe tener en cuenta, durante la revisión documental y presentación de los informes respectivos:

• Identificar, del Manual de instrumentos, los que deben completarse individual y grupalmente (en el caso de la evaluación externa); en ambos casos es preciso proporcionar las evidencias que sustenten sus observaciones; las guías e instrumentos indicarán tales necesidades en cada una de las etapas.

• Identificar las fuentes de información, evidencias y estrategias de abordaje (entrevistas, visitas, observación participativa, etc).

2) Estrategias de abordaje: La acreditación cuenta con tres momentos evaluativos, cada uno con diferentes necesidades, pero que comparten como características la rigurosidad y exhaustividad de las personas evaluadoras.

Momento de la admisibilidad: siendo un proceso de lectura y revisión en relación con la estructura y contenido del informe de autoevaluación y plan de mejora, así como la verificación de que el mismo cumple con los requerimiento exigidos por el CCA, la persona evaluadora debe considerar los siguientes aspectos:

a. Lectura del informe de autoevaluación y plan de mejora de la agencia u organismo en función de los requerimientos establecidos por el CCA.

b. Revisión de la estructura y contenido del informe y plan de mejora así como las evidencias que sustentan dichos documentos. La persona evaluadora, durante la lectura podrá solicitar a la agencia mediante la Dirección Ejecutiva necesidades de información y evidencias.

Momento de la evaluación externa: en el proceso de evaluación externa, el evaluador se enfrenta a dos dimensiones que, de acuerdo con el informe de autoevaluación y plan de mejora de la agencia u organismo de acreditación, deben ser coherentes, por lo que es importante tener en cuenta tres etapas:

60

a. Etapa de lectura del informe de autoevaluación y plan de mejora de la agencia u organismo de acreditación, para establecer los puntos críticos que deben ser identificados durante la visita.

b. Etapa de la visita, para aplicar los instrumentos y tablas del Manual.

c. Etapa de presentación de resultados, la elaboración de un informe desarrolle un análisis valorativo del estado de la agencia solicitante, esta valoración estará en función de los criterios evaluativos del CCA.

El evaluador externo deberá establecer una estrategia de abordaje (individual y grupal), que permita identificar, para cada instrumento:

• Fuentes de información: relacionadas con el tipo de datos requeridos para cada instrumento, lo que implica considerar aquella información documental que aporte a la valoración y comprobación de las evidencias y las fuentes de consulta directa, lo que se relaciona con el siguiente punto.

• Actores involucrados: cada instrumento sugiere la participación de diferentes informantes, por lo que se requiere tener claridad de su aporte en cada instrumento. Entre estos están: comisión evaluadora, estudiantes, docentes, graduados (as), empleadores (as), etc. Es fundamental identificar su papel en el proceso evaluativo para determinar el tipo de información requerida. Determinar el tipo de información y fuente permitirá la persona evaluadora no perderse entre la gran cantidad de datos a los que estará expuesto (a) antes, durante y después de la visita.

• Abordaje: aunque dependerá de la experticia del Equipo Evaluador, los instrumentos sugieren diferentes opciones de acercamiento, por lo que igualmente debe establecerse ese acercamiento en cada instrumento. Para ello, el evaluador o evaluadora externos o el Equipo Evaluador podrán emplear diferentes técnicas; a continuación se presentan las más comunes:

- Entrevistas individuales o grupales: Conversación intencional en la que se realiza una serie de preguntas previamente establecidas, que permitan obtener datos más extensos y profundos.

- Observación Conjunto de técnicas que posibilitan la percepción de objetos, sucesos y procesos; es dirigida y controlada de manera sistemática.

- Análisis de documentos: Conjunto de técnicas y modelos interdisciplinarios que tratan de extraer, analizar e interpretar la información existente en un documento, de forma objetiva, exhaustiva y sistemática.

Se recomienda que, independientemente de la técnica, el evaluador o la evaluadora, o el Equipo Evaluador establezcan guías de preguntas semiestructuradas que identifiquen directamente la información necesaria; para ello, se sugiere que utilicen como material de base los instrumentos y tablas del Manual.

• Evidencias: comprendidas como las pruebas determinantes que sustenten la emisión de un juicio valorativo, el evaluador o evaluadora externos o el Equipo Evaluador deberá identificar y adjuntar las diferentes evidencias que sustenten las valoraciones emitidas en los distintos instrumentos y tablas.


61

• Análisis de la información: dado que los instrumentos facilitan la organización y sistematización de la información. El Equipo Evaluador / evaluador (a) externo (a) deberá considerar las estrategias de análisis de la información que se plasmará en el instrumento, inclusive porque algunos requieren la intervención de diferentes actores o fuentes documentales; para ello, se recomienda, que los instrumentos consideren el análisis triangulado definido como una forma práctica de evaluación, la cual consiste en el análisis interpretativo comparado, con base en las valoraciones hechas por diversos actores o fuentes, cuyo propósito es “evaluar la consistencia, tanto de los datos como de la coherencia o incoherencia de los procesos y resultados, garantizando la veracidad y precisión de la valoración de un fenómeno”30.

3) Revisión de los instrumentos: aunque puede considerarse una acción más operativa, es importante que el evaluador o evaluadora externos o Equipo Evaluador, establezca el nivel de participación en el vaciado de información de los instrumentos, esto es: grupal o individual. A pesar de que no deben verse como herramientas rígidas, sí deben considerarse como medios que procuren la rigurosidad del proceso.

a. Asegurarse de que contenga la información requerida.

b. Respaldar con las evidencias respectivas.

c. Identificar las fuentes consultadas.

d. Incorporar las observaciones necesarias y pertinentes.

Momento del seguimiento al plan de mejora: el plan de mejora debe analizarse bajo el entendido de constituirse en una herramienta de trabajo en la cual se manifieste el compromiso de la agencia por el aseguramiento de la calidad de la misma. Esto conlleva a que la persona evaluadora de dicho seguimiento visualice en el plan de mejora, a partir del informe que provee la agencia, la consistencia, coherencia y sostenibilidad de las acciones de mejora en función de sus objetivos estratégicos. Este momento involucra, las siguientes etapas:

a. Lectura del informe de seguimiento del plan de mejora de la agencia y de la versión final del plan de mejora.

b. Revisión de las evidencias del seguimiento suministradas por la agencia.

c. Presentación del informe sobre el estado de las acciones de mejora de la agencia por parte del evaluador, en esta apartado el evaluador podrá realizar recomendaciones y observaciones en torno a la sostenibilidad y coherencia de las acciones de mejora. Dicho informe contendrá los siguientes aspectos:

- Los avances logrados por la agencia.

- Coherencia de las acciones llevadas a cabo con los planes operativos y los recursos disponibles.

- Valoración acerca de las acciones desarrolladas por la agencia a favor de la construcción de una cultura de calidad.

30 Castillo, S. (2003). Vocabulario de Evaluación Educativa. Madrid; PEARSON. P. 257.

62

- Coherencia entre los posibles cambios o modificaciones anotados en el o los Informes de Seguimiento al Plan de Mejora con el Plan de mejora propuesto inicialmente por la agencia.

- Recomendaciones acerca del proceso de mejora y de la gestión del plan propuesto inicialmente y posibles cambios.

La persona evaluadora que dará seguimiento al plan de mejora, deberá como estrategia de abordaje analizar mediante la guía e instrumento de seguimiento los siguientes aspectos:

1. Nivel de avance del desarrollo de la agencia respecto a las acciones planeadas.

2. Desarrollo y continuidad de acciones que demuestre que la agencia se encuentra trabajando a favor del aseguramiento de su calidad.

3. Evidencias de que la agencia está desarrollando una cultura de calidad.

4. Identificación de dificultades encontradas para la ejecución del Plan de mejora y acciones que ayuden a superarlas.

5. Coherencia de las acciones de mejora implementadas en función del plan estratégico de la agencia, sus planes operativos y presupuesto.

6. Medidas que se pretender tomar para replantear acciones.

Si bien cada evaluación externa es un proceso único y particular, el evaluador o evaluadora externos o Equipo Evaluador tiene la responsabilidad de garantizar rigurosidad y transparencia en sus valoraciones y, por lo tanto, en sus respectivos instrumentos e informes.


63

CAPÍTULO 4

INSTRUMENTOS PARA LA EVALUACIÓN EXTERNA

64

INSTRUMENTOS PARA LA EVALUACIÓN EXTERNA El Manual incluye los siguientes instrumentos y guías de elaboración de informes de evaluación y relatoría:

1. Guía para la elaboración del informe de admisibilidad: proporciona al (a la) lector (a) los elementos por considerar en el proceso de lectura y en la elaboración del informe de lectura de la solicitud de acreditación de agencias u organismos acreditadores ante el CCA. Ello incluye el informe de autoevaluación como el plan de mejora de la agencia.

2. Instrumento para la preparación de la evaluación in situ: permite al Equipo Evaluador identificar las áreas donde deberá concentrarse en la visita in situ, analiza la suficiencia y calidad de la información con la que se cuenta y planifica la visita in situ. Tomará como referentes el informe de autoevaluación, el plan de mejora y las evidencias que sustentes ambos documentos.

3. Instrumento para realizar la evaluación in situ: sintetiza las opiniones de cada miembro del Equipo Evaluador que faciliten el consenso respecto al cumplimiento de los requisitos de acreditación. Se incluye una guía para analizar el plan de mejora de la agencia.

4. Guía para la elaboración del informe oral y escrito: orienta al Equipo Evaluador en la elaboración del informe de evaluación in situ de la agencia u organismo de acreditación. Los cuales deben contener un análisis valorativo del estado de la agencia.

5. Instrumento tabla resumen de la evaluación de las pautas: orienta al Equipo Evaluador y al Consejo en la decisión de acreditación de la agencia u organismo acreditador, estableciendo una visión integral del cumplimiento de los requisitos mínimos y complementarios para garantizar la calidad de la educación superior. Se compone de dos tablas resumen: una que analiza la cantidad y calidad de la evidencias, y la otra el cumplimiento o no de las pautas obligatorias y complementarias. Igualmente, se valoran los factores contenidos en el modelo evaluativo de acreditación de las agencias, respetando sus particularidades.

6. Guía para el seguimiento del plan de mejora: orienta al evaluador que dará seguimiento en torno al avance de la agencia en su compromiso por el aseguramiento de la calidad de sus acciones.

7. Guía para la elaboración del informe de relatoría: evalúa el expediente completo con la documentación de solicitud, el informe de evaluación de la agencia de acreditación, el informe de evaluación rendido por el Equipo Evaluador y el resumen de la evaluación de las pautas mínimas y complementarias.

El manual incluye tres guías de apoyo para las agencias en su preparación en los tres momentos de la acreditación, estos son:

1. Tabla resumen sobre el estado de la agencia u organismo, considerando criterios evaluativos, dimensiones y pautas. Esta tabla deberá ser parte de la documentación anexada para la etapa de admisibilidad y evaluación externa.

2. Guía de presentación del informe de autoevaluación, se establecen los elementos básicos a incluir según los requerimientos del CCA. Es un guía que permite a la agencia, visualizar los aspectos básicos a considerar por el CCA en el proceso de acreditación.


65

3. Guía de elaboración de planes de mejora, se orienta a identificar los requerimientos solicitados por el CCA, en cuanto a los contenidos y forma de presentación del compromiso de la agencia hacia la calidad de la agencia.

4. Guía de presentación del informe de seguimiento del plan de mejora, dicha guía establece los elementos requeridos para que la persona evaluadora designada por el CCA, valore el avance de las acciones de mejora de la agencia.

66

1. GUÍA PARA LA ELABORACIÓN DEL INFORME DE ADMISIBILIDAD Objetivos

• Proporcionar los elementos por considerar en el proceso de lectura y en la elaboración del informe de lectura de la solicitud de acreditación de agencias u organismos acreditadores nacionales, regionales o extrarregionales de instituciones, programas o carreras de Educación Superior, ante el Consejo Centroamericano de Acreditación.

• Evaluar las evidencias documentales que la agencia de acreditación solicitante envía al Consejo para iniciar el proceso de acreditación. Tras la revisión documental, el lector o lectora envía su valoración a la Dirección Ejecutiva (Art. 24, CCA-CT-002-05).

Etapa Etapa 2: Admisibilidad de la solicitud de acreditación

Responsable Lector (a) del informe de autoevaluación de la agencia u organismo de acreditación.


67

GUÍA PARA LA ELABORACIÓN DEL INFORME DE ADMISIBILIDAD

Instrucciones generales El Reglamento de acreditación del CCA define la admisibilidad como “el proceso mediante el cual se determina la suficiencia, pertinencia y corrección de la información presentada, la cual deberá ser la necesaria para que tanto el Equipo Evaluador como el Consejo puedan en forma efectiva y objetiva lo solicitado” (Art. 22, CCA-CT-002-05).

Se le solicita indicar con una equis (X) la descripción que valora la condición de la información que la agencia solicitante adjunta. Al final de cada apartado se requiere elaborar una valoración general y las recomendaciones pertinentes sobre los datos suministrados por el CCA.

La guía es un documento dinámico que es susceptible a cambios, por lo tanto, se le solicita al lector que adjunte sus observaciones y recomendaciones del formato y de su contenido, como un apartado al informe.

1. Nombre del organismo o agencia de acreditación:

2. País:

3. Tipo de acreditación que solicita ante el CCA:

a. Institucional

b. Carreras

c. Programas

4. Tipo de acreditación que realiza:

a. Instituciones

b. Carreras o programas académicos

c. Instituciones y de Carreras o programas

5. Ámbito de la acreditación de la agencia u organismo:

a. Nacional

b. Regional

c. Extrarregional

I. Documentación general: La agencia de acreditación solicitante, elabora la solicitud y adjunta la documentación necesaria para iniciar el proceso de acreditación ante el CCA.

TABLA 6. TÍTULO Documentación Información

completa Información

parcial No hay

información • Carta de solicitud de acreditación que contenga

los motivos por los que pretende el reconocimiento del CCA(Art. 15, Reglamento de acreditación)

• Informe de autoevaluación

o Análisis del ámbito del sistema educativo del país y la región.

68

o Información sobre la agencia (antecedentes y resumen de actividades)

o Definición metodológica

o Resultados de la evaluación (análisis por dimensión, identificación de fortalezas y debilidades y valoración del estado de la dimensión)

• Plan de mejoras:

o Identificación de acciones de mejora por debilidades encontradas. Esto para cada uno de las dimensiones establecidas por el CCA

o Indicadores de seguimiento, así como el respaldo de la evidencia del mismo.

o Contar con una estrategia de seguimiento y monitoreo que de sostenibilidad al plan.

Valoración general:

Recomendaciones:

II. Dimensiones

a. Informe de autoevaluación: perspectiva integral

TABLA 7. TÍTULO Aspectos Valoración Observaciones

Se cumple plenamente

Se cumple aceptablem

ente

Se cumple insatisfactori

amente

Nada

Se cumple con todas las pautas obligatorias

Se cumple con el porcentaje de pautas complementarias

Se cuentan con el análisis de cada dimensión e incluye el análisis de las pautas.

Se cuenta con una valoración final por dimensión

Se identifica por dimensión las fortalezas y debilidades

Las evidencias sustentan los resultados valorativos por dimensión y pauta

Se cumple con la evidencia requerida por el CCA en cada dimensión

Observaciones

Nota: en el caso del cumplimiento de pautas obligatorias, estas deben cumplirse plenamente, al igual que las pautas complementarias en su porcentaje definido por el CCA.


69

b. Dimensiones Para el siguiente cuadro considerar las siguientes siglas.

IPI= La información sí está en el informe y es suficiente.

IIN= La información aportada es insuficiente.

NI = La información no está en el informe y la agencia no explica su ausencia.

NA= La información no está en el informe pero la agencia indica conocer de esta

ausencia.

TABLA 8. TÍTULO Dimensiones Análisis de admisibilidad Observaciones

IPI IIN NI NA 1. Marco constitutivo 1.1. La agencia tiene una declaración explícita de su filosofía institucional









1.10 La agencia ejecuta acciones planificadas. 1.11 Las acciones planificadas por la agencia son acordes con su filosofía institucional.

2. Marco organizativo y operacional 2.1 La agencia tiene definida su estructura organizativa, cargos y funciones



2.4 La agencia tiene definidos procedimientos de autoevaluación, seguimiento, control y evaluación de su quehacer





2.9 La agencia realiza procesos de autoevaluación, control, seguimiento y evaluación externa, con miras al

70

Dimensiones Análisis de admisibilidad Observaciones

IPI IIN NI NA mejoramiento de los servicios que ofrece y al reconocimiento y acreditación de su calidad. 2.10 La agencia desarrolla estrategias para el seguimiento y acompañamiento de los procesos de acreditación que realiza.




3. Marco conceptual y metodológico 3.1 La agencia cuenta con un modelo de acreditación que promueva en aseguramiento de la calidad de la educación superior.






3.7 La agencia ejecuta la actualiza los criterios, estándares, instrumentos y procedimientos de valuación y acreditación.





4. Recursos humanos 4.1 La agencia tiene programas y procedimientos de selección, desarrollo, capacitación continua y evaluación de sus RH




4.5 Los miembros del órgano de decisión de la agencia


71

Dimensiones Análisis de admisibilidad Observaciones

IPI IIN NI NA cumplen con los requisitos establecidos por el manual del CCA. 4.6 El personal profesional de la agencia cumplen con los requisitos establecidos por el manual del CCA.



5. Recursos materiales e infraestructura 5.1 La agencia dispone de instalaciones físicas 5.2 La agencia cuenta con equipamiento tecnológico 5.3 La agencia cuenta con mobiliarios y materiales 5.4 La agencia dispone de recursos informáticos 5.5 La agencia hace uso racional de los recursos conforme a las regulaciones establecidas.

6. Recursos financieros 6.1 La agencia posee recursos financieros que asegura su sostenibilidad.




7. Resultados 7.1 La agencia ha realizado acreditaciones acorde con su tiempo de existencia

7.2 La agencia ha realizado reacreditaciones acorde con su tiempo de existencia




7.6 Las instituciones, programas y carreras acreditadas por la agencia desarrollan de forma periódica su reacreditación.





c. Cumplimiento de evidencias Marco constitutivo

TABLA 9. TÍTULO Requisito: Adjunto Disponible en la Falta

72

Marco constitutivo agencia Documento que contenga la descripción del proyecto institucional; declaración de principios, misión fines, objetivos y metas

Plan estratégico : misión, visión, políticas, objetivos y estrategias

Código de ética

Estatutos

Reglamentos

Plan operativo

Observaciones:

Marco organizativo y operacional

TABLA 10. TÍTULO Requisito:

Marco organizativo y operacional Adjunto Disponible en la

agencia Falta

Organigrama Manual de cargos y funciones Convenios de cooperación Existencia de bases de datos e indicadores para la toma de decisiones

Boletín, medios de divulgación electrónicos e impresos

Manual de procedimientos organizativos de la agencia

Metodología de la planificación de la agencia Observaciones:


TABLA 11. TÍTULO Requisito:

Marco Conceptual y metodológico Adjunto Disponible en la

agencia Falta

Documento oficial que contiene n el modelo de evaluación y acreditación asumido por la agencia: enfoque, conceptos, criterios (marco de referencia)

Documento oficial de metodología que contenga: criterios, estándares, indicadores, instrumentos, guías de autoevaluación y acreditación

Manual de procedimientos para la acreditación Reglamentos de acreditación Guía para el seguimiento, control y acompañamiento a las instituciones y programas que solicitan acreditación

Observaciones:


73

Recursos humanos

TABLA 12. TÍTULO

Requisito: Recursos Humanos

Adjunto Disponible en la agencia

Falta

Plan de selección de Recursos Humanos de la agencia

Plan de capacitación Plan de capacitación a pares evaluadores Currículum Vitae del recurso humano de la agencia Currículum Vitae de los evaluadores externos de la agencia

Guía o metodología para la evaluación del desempeño del recurso humano

Observaciones:


TABLA 13. TÍTULO

Requisito: Recursos materiales e infraestructura


Falta

Disponibilidad de una planta física Lista de equipo tecnológico Lista de mobiliario y materiales Lista de recursos informáticos Indicadores que demuestren el uso racional de los recursos

Planificación de los recursos, conforme a las necesidades de la agencia u organismo

Observaciones:


TABLA 14. TÍTULO

Requisito: Recursos financieros


Falta

Presupuesto Balance general, estado de resultados, estado de situación patrimonial y flujo de efectivo

Informes de auditoría interna y externa Observaciones:

74

Resultados TABLA 15. TÍTULO

Requisito: Resultados Adjunto Disponible en la

agencia Falta

Informes de acreditación realizados

Informes de reacreditación realizados

Informe de mejoras sustanciales en los procedimientos empleados en el proceso de acreditación

Informe de solicitudes de acreditación

Informe sobre los resultados de los planes de mejoramiento de las instituciones, programas o carreras acreditadas

Informe de medidas adoptadas para promover el seguimiento de graduados por las instituciones, programas o carreras acreditadas

Informe de medidas adoptadas para promover el seguimiento al aporte social de la investigación y extensión de las carreras acreditadas

Informe de seguimiento a la gestión y procesos de cambio en las instituciones, programas y carreras acreditadas

Informe de resultados sobre los mecanismos de retroalimentación implementación con las instituciones usuarias para su propio mejoramiento

Informes sobre el cumplimiento del plan de mejoramiento del plan de mejora de la agencia

Observaciones:

III. Plan de mejora TABLA 16. TÍTULO

Aspectos Valoración Observaciones


Se cumple acepta-

blemente

Se cumple insatisfactoriamente

Nada

Se identifican las debilidades y/o acciones de mejora por dimensión.

Se definen indicadores de seguimiento al plan

Se definen claramente las evidencias de seguimiento

Se determinan los responsables por dimensión y acción de mejora

Se definen los tiempos en el cumplimiento de las mejoras

Se define claramente los recursos financieros y humanos para el


75

desarrollo del plan de mejora Se define una estrategia de seguimiento y monitoreo del plan de mejora.

Presentación de información base: • Plan estratégico. • Planes operativos. • Presupuesto asignado. • Equipo responsable.

Observaciones

IV. Síntesis de la lectura 1. Indique si el informe y la documentación presentada cuenta con la información suficiente y completa para la evaluación externa.

2. ¿Qué evidencias adicionales es preciso tener para realizar la evaluación externa?

Que sean presentados antes de la visita:

Que estén disponibles durante la visita:

3. Justifique la admisibilidad o no de la agencia u organismo acreditador. Considere los siguientes aspectos:

a. Cumplimiento de las pautas obligatorias y complementarias.

b. Suficiencia de la información y las evidencias.

c. Estructura y organización de la información.

El CCA agradece sus valiosos aportes.

Nombre del lector (a):

76

País de residencia:

Tipo de identificación:

Número de identificación:

Firma:

Fecha:

Número de solicitud o referencia:


77

2. INSTRUMENTOS PARA LA PREPARACIÓN DE LA EVALUACIÓN IN SITU Objetivos:

• Identificar las áreas en las cuales debe concentrarse la visita in situ del Equipo Evaluador.

• Analizar la suficiencia y calidad de la información disponible en el informe de autoevaluación, tabla resumen y plan de mejoramiento.

• Planificar adecuadamente la visita y aprovechar el tiempo disponible durante esta.

Etapa: Etapa 3: Evaluación del organismo o agencia de acreditación

Responsable: Equipo Evaluador y coordinador (a) designado (a) (Art. 26, CCA-CT-002-05)

78

2.1. INSTRUMENTO ESTUDIO DOCUMENTAL Nombre del evaluador o evaluadora:

Fecha de revisión:

Ciudad, país:


Instrucciones generales Cada evaluador (a) debe llenar individualmente el instrumento y discutirlo virtualmente con el equipo y coordinador o coordinadora y a la Secretaría Técnica del CCA, al menos con quince días de anticipación de la visita in situ para realizar la programación de esta (Art. 28, CCA-CT-002-05).

Se solicita indicar con una equis (X) la descripción que valora la condición de la información que la agencia solicitante adjunta. Al final de cada apartado, se requiere elaborar una valoración general y las recomendaciones pertinentes sobre los datos suministrados por la agencia solicitante.

La guía es un documento dinámico que es susceptible a cambios, por lo tanto, se le solicita al evaluador o evaluadora que sus observaciones y recomendaciones del formato y de su contenido, se adjunten como un apartado al informe.


2. País:

3. Tipo de acreditación a la que espera ser acreditado:


a. Instituciones


c. Instituciones y de carreras o programas


a. Nacional

b. Regional

c. Extrarregional


79

TABLA 17.

a. Análisis de la documentación general: Documentación general Preguntas para la visita Información adicional

Análisis de la situación del sistema educativo del país o región según corresponda el alcance:

Antes de la visita

Durante de la visita

-‐Respuesta de la agenda al ámbito educativo superior de la región.

-‐Identificación de actores sociales y educativos de la agencia

-‐Influencia de la agencia en el ámbito educativo del país o región.

Información de la agencia

-‐Objetivos y propósitos

-‐ Estructura Organizativa

-‐Equipo de trabajo: funciones, preparación, desempeño.

-‐Plan estratégico y presupuestario.

-‐Cultura de la agencia

Metodología

-‐Organización del proceso.

-‐Instrumentos empleados.

-‐Grupos consultados.

-‐Participación y divulgación.

Observaciones

80

TABLA 18.

b. Aspectos contemplados en el informe de autoevaluación de la agencia u organismo de acreditación

Información adicional Aspectos del informe de autoevaluación Sí

No

Parcial

Preguntas a considerar

Antes de la visita Durante la visita

¿El informe cuenta con información clara sobre la misión y el contexto en que se desarrolla la agencia u organismos de acreditación con base el nivel de acción y el ámbito (institucional, programa, nacional, regional o extrarregional)?

¿Permite comprender aspectos propios de la cultura institucional?

¿Cubre todas las dimensiones establecidas en las dimensiones, pautas, criterios de calidad y componentes de evaluación?

¿El informe es crítico y analítico?

¿El informe valora el estado de la agencia en función de los criterios evaluativos del CCA?

¿Se identifican debidamente las fortalezas y debilidades evidenciadas en el proceso de autoevaluación?

¿Contiene información suficiente para trabajar todos los requisitos, pautas, criterios de calidad y categorías de evaluación?

Identifica las áreas críticas de la agencia


81

Fundamente y comente las principales fortalezas y debilidades del informe de autoevaluación:

b.1. Dimensiones de acreditación

Las dimensiones de acreditación se establecen en el Manual; son los aspectos cuya satisfacción es necesaria y suficiente para garantizar el cumplimiento de los criterios de calidad. Por lo tanto, tienen carácter esencial en el proceso de acreditación ante el CCA (Pág. 16-22, CCA-CT-001-05).

Considere la siguiente escala:

Calidad de la Información

Muy Clara Clara Ambigua No presente

MC C A N

82

TABLA 19.

Información adicional antes de la visita

Preguntas ya sea específicas o en el cumplimiento de los criterios

evaluativos

Fuentes de consulta

CALIDAD Antes de

la visita Durante la visita

PAUTAS MC C A


1.1. La agencia tiene una declaración explícita de su filosofía institucional









83



evaluativos

Fuentes de consulta

CALIDAD Antes de


PAUTAS MC C A




Observaciones en función del criterio evaluativo “responsabilidad y congruencia”:

Recomendaciones:



evaluativos

Fuentes de consulta

CALIDAD Antes de


PAUTAS

MC C A


84

2.1 La agencia tiene definidas u estructura organizativa, cargos y funciones



2.4 La agencia tiene definidos procedimientos de autoevaluación, seguimiento, control y evaluación de su quehacer






85






Observaciones en función del criterio evaluativo “pertinencia”:

Recomendaciones:

86



evaluativos

Fuentes de consulta

CALIDAD Antes de


PAUTAS

MC C A








87


3.7 La agencia ejecuta la actualiza los criterios, estándares, instrumentos y procedimientos de evaluación y acreditación.





Observaciones en función del criterio evaluativo “congruencia y cientificidad”

Recomendaciones:

88



evaluativos

Fuentes de consulta

CALIDAD Antes de


PAUTAS

MC C A

4. Recursos Humanos

4.1 La agencia tiene programas y procedimientos de selección, desarrollo, capacitación continua y evaluación de sus RH




4.5 Los miembros del órgano de decisión de la agencia cumplen con los requisitos establecidos por el manual del CCA.



89



Observaciones en función del criterio evaluativo “congruencia y suficiencia”

Recomendaciones:



evaluativos

Fuentes de consulta

CALIDAD Antes de


PAUTAS

MC C A

5. Recursos materiales infraestructura

5.1 La agencia dispone de instalaciones físicas

5.2 La agencia cuenta con equipamiento tecnológico

5.3 La agencia cuenta con mobiliarios y materiales

5.4 La agencia dispone de recursos informáticos

90

5.5 La agencia hace uso racional de los recursos conforme a las regulaciones establecidas.

Observaciones en función del criterio evaluativo “congruencia y suficiencia”

Recomendaciones:



evaluativos

Fuentes de consulta

CALIDAD Antes de


PAUTAS

MC C A


6.1 La agencia posee recursos financieros que asegura su sostenibilidad.





91

Observaciones en función del criterio evaluativo “responsabilidad”

Recomendaciones:


Preguntas ya sea específicas o en el cumplimiento de los criterios evaluativos

Fuentes de consulta

CALIDAD Antes de


PAUTAS

MC C A

7. Resultados

7.1 La agencia ha realizado acreditaciones acorde con su tiempo de existencia

7.2 La agencia ha realizado re acreditaciones acorde con su tiempo de existencia




92

7.6 Las instituciones, programas y carreras acreditadas por la agencia desarrollan de forma periódica su re acreditación





Observaciones en función del criterio evaluativo “pertinencia”:

Recomendaciones:


93

c. Componentes de evaluación y acreditación Las categorías de evaluación y acreditación establecidas por el CCA son unidades de análisis que permiten a la agencia solicitante valorar la calidad de una institución, programa o carrera de educación superior. Por lo tanto, la agencia solicitante debe cumplir satisfactoriamente las categorías en su filosofía, marco metodológico y referencial, para realizar procesos de acreditación de acuerdo con el Manual (Pág. 25, CCA-CT-001-05).

Pautas

Información adicional

Preguntas para la visita Fuentes

Componentes

Contempla

No contempla

Tiene No tiene

Antes de la visita Durante de la visita

Enfoque Curricular

Procesos de enseñanza- aprendizaje

Investigación en la carrera

Extensión y vinculación de la carrera.

Recursos humanos de una carrera

Estudiantes de una carrera

Servicios estudiantiles

Gestión académica

Infraestructura de la carrera o programa

Recursos de apoyo a la carrera o programa.

Graduados

Observaciones generales en torno al modelo evaluativo de la agencia:

Recomendaciones:

94

TABLA 20 d. Plan de Mejora

Información adicional Plan de mejora

Contempla

No contempla Antes de la visita Durante de la visita

Preguntas para la visita

Fuentes

Definición de objetivos de mejora por componente

Congruencia entre la debilidad y las acciones de mejora

Definición de indicadores de seguimiento

Definición de evidencias

Definición del recurso humano que gestione el plan

Definición viable de los tiempos de respuesta al plan

Estrategia de seguimiento del plan

Sostenibilidad en recurso humano y financiero

Relación plan de mejoramiento-Planes operativos

Observaciones:


95

2.2. INSTRUMENTO: SÍNTESIS DE LA PREPARACIÓN DE LA VISITA 1. Mencione los principales temas o preguntas significativas que, a su juicio, deben ser analizados en la visita, e indique con quién o quiénes deben ser discutidos tales temas o preguntas. Según lo indicado en las tablas anteriores.

Se incluye tanto los aspectos relacionados con el informe de autoevaluación como del plan de mejoras.

Temas o preguntas Temas o preguntas Fuente de consulta

Marco constitutivo


Marco organizativo

Recursos humanos



Resultados

2. ¿Qué evidencias adicionales es preciso tener para realizar la evaluación in situ?

Relacionados con el informe de autoevaluación como con el plan de mejora.

Que sean presentados antes de la visita:

Que estén disponibles durante la visita:


96

3. INSTRUMENTO PARA REALIZAR LA EVALUACIÓN IN SITU Objetivo: Sintetizar las opiniones de cada miembro del Equipo Evaluador, de manera que faciliten el consenso respecto al cumplimiento de los requisitos de acreditación.

Proveer insumos para evaluar las evidencias documentales y lo consignado en el Informe de evaluación durante la visita in situ.

Etapa: Etapa 3: Evaluación del organismo o agencia de acreditación

Responsable: Evaluador (a) externo (a)


97

INSTRUMENTO PARA REALIZAR LA EVALUACIÓN IN SITU

Nombre del evaluador o evaluadora:

Fecha de revisión:

Ciudad, país:

Instrucciones generales La evaluación in situ la realiza el Equipo Evaluador y contarán con tres días para hacerla, de acuerdo con lo establecido por el CCA.

Cada evaluador debe llenar individualmente el instrumento y buscar el consenso con el Equipo Evaluador durante la visita para construir el informe.

Se solicita indicar con una equis (X) la descripción que valora la condición de la información que la agencia solicitante adjunta. Al final de cada apartado se requiere elaborar una valoración general y las recomendaciones pertinentes sobre la información suministrada por la agencia solicitante.

La guía es un documento dinámico que es susceptible a cambios, por lo tanto, se le solicita al (la) evaluador (a) que se adjunten sus observaciones y recomendaciones del formato y de su contenido, como un apartado al informe.


2. País:


a. Instituciones




a. Nacional

b. Regional

c. Extrarregional

1. Recomendaciones durante la visita a. Para desarrollar las entrevistas:

• Comenzar la entrevista con una breve orientación sobre el sentido de la visita y la relación de la entrevista con esta.

• Conservar las preguntas en el ámbito de competencia de los entrevistados.

• Cubrir todos los temas previstos en la preparación de la entrevista.

• Evitar que la conversación se aparte del tema, pero estar dispuestos a explorar áreas emergentes que necesiten clarificación.

98

• Ofrecer la oportunidad para que los entrevistados agreguen temas que consideran importantes.

• Durante la entrevista, no emitir juicios acerca de la información recibida ni

• comentarla con los demás integrantes del Equipo Evaluador.

• Mantener presentes los referentes de evaluación y tomar notas para el informe.

• Guardar un respaldo escrito del informe oral.

b. Estrategia para presentar el informe oral: • El coordinador (a) del equipo evaluador presentará el informe oral. Al final se someterá a

consulta algún aporte adicional por parte

• Presentar el informe de manera positiva, constructiva, de apoyo al proceso que desarrolla la agencia.

• Concentrarse en áreas o mensajes clave, sin entrar en detalles.

• Presentar las valoraciones por dimensiones y componentes, estableciendo las debilidades y las recomendaciones.

• Presentar las valoraciones en torno al plan de mejora, evidenciando: cultura de mejora, coherencia y sostenibilidad.

• Se recomienda que se prepare una presentación en power point sobre los dos puntos señalados anteriormente, se sugiere el siguiente esquema:

o Portada que incluya el nombre de la agencia, nombre del equipo evaluador y fecha de presentación del informe oral.

o Consideraciones iniciales en torno a la metodología empleada en la visita in situ por parte del equipo.

o Valoraciones por dimensiones: debilidades y recomendaciones.

o Valoraciones finales en función de recomendaciones.

• Contar con un espacio de realimentación de cada una de las partes, con el fin de fortalecer el mejoramiento de la agencia.

• Destacar que el informe que se presenta será parte de los elementos a contemplar en el informe escrito.

• Señalar que es el Consejo del CCA el que toma las decisiones de los resultados de la acreditación.

• Es importante que se incluya como anexo al informe del equipo evaluador la presentación oral ofrecida.


99

2. Informe de autoevaluación del organismo o agencia de acreditación solicitante El informe de autoevaluación debe evidenciar el proceso de evaluación preliminar realizado por la agencia solicitante en congruencia con el Manual (Art. 26, CCA-CT-002-05).

Los aspectos considerados para el análisis del proceso de autoevaluación y los documentos suministrados por la agencia de acreditación solicitante, se presentan de seguido, en concordancia con lo establecido en el Manual.

TABLA 21. TÍTULO a. Indique si el informe de autoevaluación constituye una herramienta adecuada para el proceso de evaluación; tenga como referencia los siguientes aspectos:

Informe de autoevaluación

Cumple totalmente Cumple parcialmente

No cumple

Proceso de mejora

Sin información

Cuenta con información clara de la misión institucional y el contexto (institucional, local, nacional) en que se desarrolla.

Permite comprender aspectos propios de la cultura institucional.

Visualiza el impacto de la agencia en la E.S y en la promoción de la calidad

Cubre todas las dimensiones establecidas en los requisitos, pautas, criterios de calidad y categorías de evaluación.

El informe es crítico y analítico.

Se identifica debidamente las fortalezas y debilidades evidenciadas en el proceso de autoevaluación.

Contiene información suficiente para trabajar todos los requisitos, pautas, criterios de calidad y categorías de evaluación.

Identifica las áreas críticas de la agencia y reflexiona sobre su quehacer

Evidencia un compromiso por la calidad del quehacer de la agencia

Se identifican y participan las principales partes actoras en la actividad de la agencia

Valoraciones:

100

Recomendaciones:


Cumple totalmente Cumple parcialmente

No cumple

Proceso en mejora Sin información

Identifica claramente las debilidades presentes en el informe de autoevaluación

Las acciones de mejora son coherentes con las debilidades señaladas.

Cubre todas las dimensiones del modelo evaluativo del CCA.

Las acciones de mejora cuentan con la definición clara de responsables y tiempos.

Las acciones de mejora cuentan con evidencias que brinden su seguimiento.

Contiene información suficiente fortalecer la calidad de la agencia.

Define claramente una estrategia de seguimiento, el cual incluya un equipo de trabajo y la definición de cortes de seguimiento.

Las acciones de mejora del plan de mejoramiento son suficientes para cubrir las debilidades anotadas por la agencia.

El plan de mejora forma parte de los procesos internos de planificación de la agencia: planes operativos y presupuestarios.

Se cuenta con el compromiso de las autoridades superiores de la agencia para su cumplimiento.

Valoraciones:

Recomendaciones:


101

b. Dimensiones de acreditación Los requisitos y criterios de calidad se analizan de manera individual desde el primer día de la visita; en el segundo día se comparan las valoraciones individuales con el Equipo Evaluador. El (la) coordinador (a) modera una discusión para conocer las valoraciones individuales y buscar el consenso. Cuando no se logra el consenso en el Equipo, se señala con una equis (X) en el instrumento del Equipo, en la columna “sin información”, para que ese criterio sea analizado y profundizado al día siguiente de la visita. En caso de que al final de la visita se mantenga una opinión diferente, se puede elaborar un informe de minoría.

TABLA 22. TÍTULO 1. Marco constitutivo

Criterios de calidad Pautas Cumple totalmente

Cumple parcialmente No cumple Sin

información

•Congruencia •Pertinencia

La agencia tiene una declaración explícita de su filosofía institucional: misión, visión, valores, políticas, objetivos y metas.

•Congruencia •Responsabilidad

La agencia posee un código de ética (o su equivalente) que satisface lo declarado en la misión.

•Suficiencia •Responsabilidad •Imparcialidad

La agencia aplica su código de ética (o su equivalente) sobre las bases de los principios de buenas prácticas.


El ámbito del trabajo y los niveles en que opera la agencia están delimitados con base en su misión.

•Congruencia •Responsabilidad •Pertinencia

La agencia posee un fundamento legal de operación y procedimientos de enmienda definidos.

•Independencia •Responsabilidad •Imparcialidad •Suficiencia

La agencia tiene procesos, debidamente reglamentados, que garantizan la resolución de conflictos entre sus miembros y entre ella y sus usuarios.

•Equidad •Responsabilidad •Imparcialidad

La agencia aplica procedimientos de resolución de conflictos, según lo establecido en su reglamentación.

•Responsabilidad •Imparcialidad

La agencia cuenta con procedimientos de audiencia y revisión de las decisiones de acreditación.

•Suficiencia •Responsabilidad •Imparcialidad

Los procedimientos de audiencia y revisión de las decisiones de acreditación se aplican de acuerdo con lo establecido en el respectivo reglamento de la agencia.

102



información

•Suficiencia •Eficiencia

La agencia ejecuta las acciones planificadas.

•Congruencia Las acciones planificadas por la agencia son acordes con su filosofía institucional.

Valoraciones:

Recomendaciones:

TABLA 23. TÍTULO


Criterios de calidad

Pautas Cumple

totalmente Cumple

parcialmente No cumple Sin información

•Responsabilidad •Congruencia

La agencia tiene definida su estructura organizativa, cargos y funciones.

•Responsabilidad •Pertinencia

Los procedimientos que establece la agencia son transparentes y funcionalmente definidos

•Cientificidad •Congruencia

La agencia desarrolla procesos de planificación que incluyen políticas, objetivos, metas y planes operativos.

•Aseguramiento de calidad •Pertinencia

La agencia tiene definidos procedimientos de autoevaluación, seguimiento, control y evaluación de su quehacer.


La agencia tiene definidos procedimientos de control, seguimiento y acompañamiento a las instituciones, carreras y programas que acredita.

•Rendición de cuentas La agencia cuenta con mecanismos de comunicación y de divulgación interna y externa.

•Pertinencia •Participación y pluralidad

La agencia establece relaciones con otras agencias u organismos con intereses comunes.


103


Pautas

Cumple totalmente


información

•Responsabilidad •Equidad •Imparcialidad •Independencia

La toma de decisiones que realizan los órganos de la agencia responden a las normas establecidas y respeta el debido proceso

•Aseguramiento de calidad •Suficiencia •Pertinencia

La agencia realiza procesos de autoevaluación, control, seguimiento y evaluación externa, con miras al mejoramiento de los servicios que ofrece y al reconocimiento y acreditación de su calidad.

•Aseguramiento de calidad •Suficiencia

La agencia desarrolla estrategias para el seguimiento y acompañamiento de los procesos de acreditación que realiza.

•Aseguramiento de calidad •Suficiencia •Participación y pluralidad •Pertinencia

La agencia cuenta con un sistema de información para los propósitos de acreditación y la toma de decisiones.

•Suficiencia •Responsabilidad •Equidad •Rendición de cuentas

La agencia implementa mecanismos de comunicación y de divulgación interna y externa.

•Pertinencia •Suficiencia •Responsabilidad

La agencia mantiene relaciones de cooperación con otras agencias acreditadoras.

Valoraciones:

Recomendaciones:

TABLA 24. TÍTULO 3. Marco conceptual y metodológico



información

•Congruencia •Pertinencia •Aseguramiento de la calidad

La agencia cuenta con un modelo que promueve el mejoramiento de la calidad de la educación superior.

•Congruencia •Cientificidad

El modelo de evaluación y acreditación de la agencia contiene enfoque,

104



información

conceptos, criterios y estándares de calidad.

•Suficiencia •Cientificidad •Congruencia

La agencia implementa el modelo de evaluación y acreditación en los procesos que realiza, según criterios acordados.

•Cientificidad •Congruencia

La metodología del proceso de evaluación y de acreditación de la agencia contiene métodos, técnicas, instrumentos y procedimientos acordes con el modelo adoptado.

•Suficiencia •Cientificidad •Congruencia

La agencia aplica la metodología general de evaluación y acreditación, en correspondencia al modelo adoptado.

•Cientificidad •Aseguramiento de calidad •Pertinencia

La agencia posee mecanismos de actualización continua de los criterios, estándares instrumentos y procedimientos de valuación y acreditación.

•Suficiencia •Responsabilidad •Pertinencia

La agencia ejecuta la actualización continua de criterios, estándares instrumentos y procedimientos de valuación y acreditación.

•Congruencia •Rendición de cuentas

La agencia aplica procedimientos que aseguran la consistencia entre todas las evaluaciones realizadas.

•Equidad •Imparcialidad

La agencia aplica procedimientos que garantizan un trato equitativo en la evaluación y acreditación que realiza a las instituciones y carreras o programas.

•Cientificidad •Pertinencia

La agencia utiliza estándares aceptados en el nivel internacional.


La agencia asume un modelo de evaluación y acreditación contextualizado a la realidad educativa y el marco jurídico institucional, en el país o región donde acredita


105



información

Valoraciones:

Recomendaciones:

TABLA 25. TÍTULO 4. Recursos humanos



información

•Responsabilidad •Equidad •Congruencia •Pertinencia

La agencia tiene programas y procedimientos de selección, desarrollo, capacitación continua y evaluación de sus Recursos Humanos.

•Suficiencia •Pertinencia

La agencia desarrolla acciones de capacitación continua de sus recursos humanos, de conformidad con los criterios establecidos.

•Suficiencia •Responsabilidad •Congruencia

La agencia realiza procesos de evaluación del desempeño de sus recursos humanos, de conformidad con los criterios establecidos.

•Suficiencia •Congruencia

Los miembros del órgano de decisión de la agencia cumplen con los requisitos establecidos con el Manual del CCA: grado académico, estudios de posgrado, experiencia en educación superior y conducta ética.


El personal profesional de la agencia cumple con los requisitos establecidos con el Manual del CCA: grado académico, estudios de posgrado, experiencia en educación superior y conducta ética.


El personal de apoyo de la agencia cumple con los requisitos establecidos con el Manual del CCA: grado académico, estudios de posgrado, experiencia en educación superior y conducta ética.

106



información


Los evaluadores externos cumplen con los requisitos establecidos con el Manual del CCA: grado académico, estudios de posgrado, experiencia, trayectoria profesional y conducta ética.

Valoraciones:

Recomendaciones:

TABLA 26. TÍTULO 5. Recursos materiales e infraestructura



información

•Congruencia •Suficiencia

La agencia dispone de instalaciones físicas.

•Congruencia •Suficiencia

La agencia cuenta con equipamiento tecnológico.


La agencia cuenta con mobiliarios y materiales para el desarrolla de sus funciones.


La agencia dispone de recursos informáticos.

•Eficiencia •Responsabilidad

La agencia hace uso racional de los recursos conforme a las regulaciones establecidas.

Valoraciones:

Recomendaciones:

TABLA 27. TÍTULO 6. Recursos financieros



información

•Suficiencia •Eficiencia •Responsabilidad

La agencia posee solvencia financiera que asegura su sostenibilidad.


107

•Eficiencia •Rendición de cuentas •Responsabilidad

La agencia aplica procedimientos de auditaría interna y externa.

•Suficiencia •Eficiencia •Responsabilidad

La agencia dispone de un sistema de actualización de los estados financieros.

•Rendición de cuentas •Responsabilidad

Los informes de estados financieros de la agencia cumplen con las regulaciones vigentes.

Valoraciones:

Recomendaciones:

TABLA 28. TÍTULO 7. Resultados


Pautas

Cumple

totalmente

Cumple parcialmente

No

cumple

Sin información


La agencia ha realizado acreditaciones acorde con su tiempo de existencia.


La agencia ha realizado re acreditaciones acorde con su tiempo de existencia.


La agencia ha demostrado una mejora sustancial en los procedimientos empleados en el proceso de acreditación, acorde con su tiempo de existencia.


La agencia posee una cantidad de solicitudes de acreditación acorde con su tiempo de operación.

•Pertinencia La agencia realiza acreditaciones en el ámbito de acción establecido.

•Impacto •Aseguramiento de calidad •Pertinencia

Las instituciones, programas y carreras acreditadas por la agencia desarrollan de forma periódica su re acreditación.


Las instituciones, programas y carreras acreditadas por la agencia desarrollan de forma periódica sus procesos de autoevaluación y mejoramiento continuo.

108


Las instituciones, programas y carreras acreditadas por la agencia ejecutan acciones o programas de seguimientos a graduados.

•Impacto •Pertinencia

Las instituciones, programas y carreras acreditadas evidencian la atención de los cambios sugeridos por la agencia acreditadora.


La agencia ejecuta procesos de retroalimentación con los usuarios de sus servicios de acreditación.

Valoraciones:

Recomendaciones:

3. Componentes de evaluación y acreditación Las categorías de evaluación y acreditación establecidas por el CCA son unidades de análisis que permiten a la agencia solicitante, valorar la calidad de una institución, programa o carrera de educación superior. Por lo tanto, la agencia solicitante debe cumplir satisfactoriamente las categorías en su filosofía, marco metodológico y referencial para realizar procesos de acreditación de acuerdo con el Manual. (Pág. 25, CCA-CT-001-05)

TABLA 29. TÍTULO

3.1. Categorías de evaluación y acreditación de carreras o programas nacionales o regionales

Categoría:

Se cumple Se cumple parcialmente

No cumple

Enfoque curricular

Procesos de enseñanza-aprendizaje

Investigación en la carrera

Extensión y vinculación de la carrera

Recursos humanos de la carrera

Estudiantes de una carrera o programa

Servicios estudiantiles

Gestión académica

Infraestructura de la carrera o programa

Recursos de apoyo a la carrera o programa

Graduados


109

Valoraciones:

Recomendaciones:

110

4. INSTRUMENTO: SÍNTESIS DE LA VISTA IN SITU a. En términos generales, valoren como equipo los siguientes aspectos, recordando que esta debe ser una síntesis de lo analizado en el informe de autoevaluación, plan de mejora y la visita in situ:

TABLA 30. TÍTULO

Escala Valoraciones finales


Se cumple aceptablemente

Se cumple insatisfactoriamente

Nada

Recomendaciones

Proceso de autoevaluación

Se fomentó el análisis y auto reflexión sobre el quehacer de la agencia.

Se identificó las fortalezas y debilidades de la agencia.

El proceso contó con la participación de todas las partes actoras

Se contempló la opinión y recomendaciones de todas las partes

Se evidencia las particularidades de la agencia.

Gestión

Se cuenta con un marco normativo coherente a los objetivos estratégicos de la agencia.

Se evidencia la eficiencia de la gestión de la agencia (planes estratégicos, planes operativos, personal, etc)

Se evidencia estrategias permanentes de mejora y fortalecimiento del quehacer

Se evidencia en su gestión la preocupación por responder al entorno educativo de su ámbito.

Cuenta con la infraestructura y equipo adecuados para el desarrollo de su desempeño

Se cuenta con el personal calificado para la gestión de la agencia.

Cuenta con un staff de evaluadores y evaluadoras capacitados y de experiencia

Modelo evaluativo


111





Nada

Recomendaciones

Existe coherencia de los componentes con el modelo evaluativo de la agencia.

Existen coherencia del modelo con la misión y visión de la agencia.

El modelo evaluativo está orientado a garantizar el aseguramiento de la calidad de las carreras o instituciones

Existe congruencia de los criterios evaluativos en función de los objetivos de la agencia y del modelo evaluativo.

Existen coherencia y suficiencia de las pautas por componente.

Los instrumentos y guías son coherentes al modelo evaluativo

Se evidencia el fortalecimiento permanente del modelo evaluativo.


Se evidencia mediante el plan de mejora un compromiso por la calidad

Se promueve una cultura de calidad

Las acciones de mejora son suficientes en función de las debilidades identificadas

Las acciones de mejora responden a las debilidades señaladas por el informe.

El plan de mejora es viable en función de la gestión de la agencia

El plan de mejora es sostenible en función de los recursos, personal, tiempos, etc.

El plan de mejora permite evidenciar los efectos del proceso en el quehacer y modelo evaluativo de la agencia.

El plan de mejora permite a la agencia un análisis permanente de la agencia.

Existe una interiorización del plan de mejora

112





Nada

Recomendaciones

en la gestión de la agencia: su personal, planes operativos y presupuestarios.

b. De acuerdo con los requisitos definidos en el Reglamento de Acreditación y en el manual de evaluación externa:

• Cumplimiento satisfactorio de las pautas obligatorias:

Sí No Parcialmente. Fundamente:

• Cumplimiento satisfactorio de las pautas complementarias:

Sí No Parcialmente. Fundamente:

a. Mencione las fortalezas de la agencia u organismo de acreditación, de acuerdo con lo establecido por el CCA en el Manual.

b. Señale las debilidades de la agencia u organismo de acreditación, de acuerdo con lo establecido por el CCA en el Manual.

c. Indique las principales sugerencias o recomendaciones de mejora de la calidad que usted le haría a la agencia u organismo de acreditación.

d. Indlque las prlnclpales sugerencias o recomendaciones al plan de mejora de la agencia en funci6n de su viabilidad, sostenibilidad y suficiencia.


113

5. ESTRUCTURA INFORME ORAL El informe oral incluirá un análisis valorativo del estado de la agencia u organismo en función de la visita in situ, el informe de autoevaluación y el plan de mejora.

Se sugiere una estructura de presentación oral, que incluya:

1. Presentación general.

2. Descripción general de lo observado en la visita in situ, y el informe de autoevaluación y plan de mejoras.

3. Análisis por componente, se incluyen las recomendaciones por componente.

4. Análisis del plan de mejoramiento en función de los resultados de la visita in situ y documentos.

5. Valoración integral del estado de la agencia (pautas obligatorias y complementarias) y recomendaciones.

6. Cierre.

114

6. INSTRUMENTO: GUÍA PARA LA ELABORACIÓN DEL INFORME ESCRITO Objetivo: Orientar al Equipo Evaluador en la elaboración del informe de evaluación in situ de la agencia u organismo de acreditación.

Etapa: Etapa 4: Elaboración y presentación del informe de evaluación

Responsable: Evaluador (a) externo (a)


115

116

GUÍA PARA LA ELABORACIÓN DEL INFORME ESCRITO Equipo Evaluador:

Fecha:

Ciudad, país:


Instrucciones generales Este instrumento debe ser llenado individualmente luego de alcanzar el consenso en el Equipo Evaluador; cada evaluador debe fundamentar las valoraciones de consenso, de manera que deben ser razonadas justificando las fortalezas y debilidades detectadas. Posteriormente, el coordinador o la coordinador a integrará el informe final que se enviará a la Dirección Ejecutiva del CCA.

Los (as) evaluadores (as) cuentan con esta guía, como un insumo para sistematizar la experiencia y fundamentar el informe final de evaluación.

Los (as) evaluadores (as) deben fundamentar cada uno de los aspectos que se solicitan, con los juicios obtenidos a partir de la documentación revisada, la información obtenida y las observaciones realizadas en la evaluación in situ.

La guía es un documento dinámico susceptible a cambios, por lo tanto, se le solicita al evaluador o a la evaluadora, que se adjunten como un apartado al informe sus observaciones y recomendaciones acerca del formato y su contenido.


2. País:


a. Instituciones




a. Nacional

b. Regional

c. Extrarregional

Consideraciones generales en la preparación del informe • Las valoraciones emitidas en el informe son resultado del consenso del equipo evaluador.

• El informe debe contener los elementos sugeridos por el CCA y ser presentado en el tiempo definido.

• El informe debe ser claro en el lenguaje como estructura. Se parte de que este tendrá distintos lectores (as).


117

• Las valoraciones emitidas por el informe son de responsabilidad del equipo evaluador y deben ser sustentadas en función de las etapas anteriores.

• El relator(a) como el Consejo del CCA podrá solicitar aclaraciones en relación a su contenido.

• El informe escrito debe contemplar los siguientes aspectos:

o La evaluación formal sobre el cumplimiento de las dimensiones, pautas, criterios de calidad y categorías de evaluación propuestos por el CCA.

o El informe se organiza en función de las dimensiones, pautas, criterios de calidad y categorías de evaluación, utilizando cada uno de ellos como un acápite para la redacción.

o El análisis del proceso de autoevaluación realizado, considerando su potencial para identificar fortalezas y debilidades y definir acciones concretas de mejoramiento.

o Las recomendaciones sobre las acciones de mejoramiento esenciales que deben ser desarrolladas por la agencia u organismo de acreditación.

Presentación del informe de evaluación

1. Introducción: Presentación de la agencia u organismo de acreditación solicitante (contexto, descripción, principales características).

Descripción de la visita (síntesis del programa, problemas, organización de la visita, colaboración de parte de la agencia, acceso a la información, otros temas relevantes).

2. Contenido del informe: Calidad del informe de autoevaluación (calidad del proceso, participación, validez y confiabilidad del informe, nivel analítico, fundamentación de las conclusiones), véase cuadro de la guía de visita in situ e informe oral.

Cumplimiento de los requisitos. Ello incluye el análisis detallado, por dimensión, pautas, criterios y categorías.

Dimensiones de acreditación Las dimensiones de acreditación se establecen en el Manual de acreditación; son los aspectos cuya satisfacción es necesaria y suficiente para garantizar el cumplimiento de los criterios de calidad. Por lo tanto, tienen un carácter esencial en el proceso de acreditación ante el CCA (Pág. 16-22, CCA-CT-001-05).

Los aspectos esenciales que contienen los requisitos son aquellos en los cuales los evaluadores tienen necesariamente que pronunciarse

TABLA 31. TÍTULO 1. Marco constitutivo

Marco constitutivo Aspectos fundamentales

118

Filosofía institucional

Código de ética

Normativa institucional

Procedimientos de audiencias y revisión de decisiones de acreditación

Observaciones generales en función del criterio evaluativo “Responsabilidad y congruencia”:

Sugerencias de mejora:

TABLA 32. TÍTULO 2. Marco organizativo y operacional

Marco organizativo y operacional Aspectos fundamentales

Estructura organizativa de la agencia

Procedimientos para la toma de decisiones

Planificación estratégica

Mecanismos de seguimiento, control y acompañamiento a las instituciones y carreras.

Mecanismos de comunicación y divulgación de la agencia de acreditación

Observaciones generales en función de los criterios evaluativos “eficiencia y pertinencia”:


TABLA 33. TÍTULO 3. Marco conceptual y metodológico

Marco conceptual y metodológico Aspectos fundamentales

Modelo y metodologías de evaluación y a acreditación

Cumplimiento de las categorías establecidas por el CCA

Actualización continua de criterios, estándares instrumentos y procedimientos.

Objetividad, rigurosidad y consistencia de las evaluaciones

Contextualización de la evaluación

Observaciones generales en función de los criterios evaluativos “Congruencia”:


119


TABLA 34. TÍTULO 4. Recursos humanos

Recursos humanos Aspectos fundamentales

Procedimientos de selección, desarrollo y evaluación del recurso humano de la agencia

Idoneidad y suficiencia del recurso humano de la agencia

Capacitación, actualización y evaluación continua del Equipo Evaluador

Observaciones generales en función de los criterios evaluativos “congruencia y suficiencia”:


TABLA 35. TÍTULO 5. Recursos materiales e infraestructura


Aspectos fundamentales

Adecuación y suficiencia de las instalaciones físicas

Adecuación y suficiencia del recurso tecnológico y equipamiento informático

Adecuación y suficiencia del mobiliario y los materiales

Observaciones generales en función de los criterios evaluativos “congruencia y suficiencia”:


TABLA 36. TÍTULO 6. Recursos financieros

Recursos financieros Aspectos fundamentales

Solvencia financiera

Auditoría interna y externa

120

Observaciones generales en función de los criterios de “responsabilidad”:


TABLA 37. TÍTULO

7. Resultados

Resultados cuantitativos y cualitativos

Aspectos fundamentales

Desarrollo de procesos de acreditación y re acreditación de la agencia

Ámbito de acción de la agencia

Promoción de la cultura de evaluación para el mejoramiento continuo

Impacto de los procesos de acreditación de la agencia en las instituciones y carreras

Mecanismos de realimentación para el mejoramiento de la agencia

Observaciones generales en función del criterio evaluativo “pertinencia”:


Componentes evaluativos Ello incluye el análisis de los componentes para la evaluación de agencias de carreras o programas e instituciones. Se recomienda elaborar una síntesis de lo hallado en la guía de preparación y durante la visita in situ, así como de preparación del informe oral.

Plan de mejora

En este aspecto se analizará la suficiencia, efectividad y sostenibilidad del plan en función de:

• Proyecto de mejora por dimensión: objetivo de mejora.

• Las acciones de mejora por dimensión.

• Incorporación de las acciones al quehacer de la agencia (planes operativos, y presupuesto).

• Estrategia de cumplimiento del plan de mejoramiento.

3. Conclusiones de la evaluación Incorporar los resultados de las tablas de la guía de la visita in situ denominadas, informe de autoevaluación, plan de mejora y síntesis.

Ello incluye la valoración general en función de aspectos tales como:

• La gestión de la agencia.

• El modelo evaluativo.


121

• Cultura y compromiso con la calidad (plan de mejora)

• Sostenibilidad de los procesos de calidad (acciones de mejora y recursos)

4. Recomendaciones a. Recomendaciones a la agencia y sus procesos de mejora Este debe indicar la recomendación del equipo evaluador sobre la decisión de acreditación de la agencia.

Debe por tanto señalar recomendaciones en torno:

• La gestión de la agencia.

• El modelo evaluativo.

• Cultura y compromiso con la calidad (plan de mejora)

• Sostenibilidad de los procesos de calidad (acciones de mejora y recursos)

La agencia presentara su plan de mejoras en el cual deberá incluirse las recomendaciones del equipo evaluador.

b. Recomendaciones al CCA

5. Anexos Informativos Si el Equipo Evaluador lo considera necesario, se incorporarán otros documentos al informe.

El informe debe cerca de 15 páginas (sin anexos), y en ningún caso exceder las 30.


122

7. GUÍA PARA LA ELABORACIÓN DEL INFORME DE RELATORÍA Objetivo

1. Proporcionar elementos que deben ser considerados en la elaboración del informe de relatoría del proceso de evaluación para la acreditación de agencias de acreditación nacional, regional o extrarregional, de instituciones, programas, o mixtas, de educación superior, ante el Consejo del CCA.

2. Evaluar el expediente completo con la documentación de solicitud, el informe de evaluación de la agencia u organismo de acreditación y el informe de evaluación rendido por el Equipo Evaluador, como se dispone en el artículo 41 del Reglamento de acreditación del CCA.

Etapa Etapa 4: Elaboración y presentación del informe de evaluación

Responsable: Miembro designado de la Comisión Técnica


123

GUÍA PARA LA ELABORACIÓN DEL INFORME DE RELATORÍA Relatora:

Fecha: Ciudad, país: Número de solicitud o referencia:

Instrucciones generales Este instrumento es un documento dinámico, que es susceptible a cambios, por lo tanto, se les solicita a los (as) evaluadores (as), que de tener observaciones y recomendaciones al formato y su contenido, las adjunten como un apartado al informe, con el objetivo de mejorar esta herramienta de trabajo.

El (la) relator (a) deberá pronunciarse sobre todas las fases de la evaluación y contrastar la información presente en el informes de autoevaluación, el informe del equipo evaluador y la propuesta preliminar del plan de mejora presentado por la agencia. Debe considerar estos documentos como base para su informe de relatoría.

I. Presentación de la agencia El (la) relator (a) realizará una descripción clara, concisa y completa de la agencia, su organización, misión y trayectoria.

II. Análisis de la evaluación 1. ¿El proceso de admisibilidad cumplió con los requerimientos establecidos por el CCA?

2. ¿El informe de admisibilidad aportó elementos que enriquecieron las etapas siguientes?

3. ¿La documentación aportada cumple con los requerimientos establecidos por el CCA?

4. ¿El marco normativo de la agencia u organismo de acreditación solicitante sustenta su existencia, naturaleza, personalidad jurídica, organización y administración?

5. ¿Se evidencia en el proceso de evaluación el proyecto institucional de la agencia de acreditación solicitante?

124

6. ¿El plan de mejoras formulado por la agencia es coherente con las debilidades señaladas en el informe de autoevaluación?

7. Sintetice las conclusiones del informe de autoevaluación y del informe del Equipo Evaluador sobre el cumplimiento de los requisitos generales de acreditación de la agencia.

a. Marco constitutivo

b. Marco organizativo y operacional

c. Marco conceptual y metodológico

d. Recursos humanos

e. Recursos materiales e infraestructura

f. Recursos financieros

g. Resultados

8. ¿Contempla los componentes de evaluación que establece el CCA en la filosofía, marco metodológico y referencial, para realizar procesos de acreditación a instituciones, programas o carreras?

9. ¿Las evidencias fueron suficientes para desarrollar adecuadamente el proceso de evaluación de la agencia de acreditación?


125

10. ¿El plan de mejora planteado por la agencia es viable, sostenible en relación con los recursos, gestión y equipo de trabajo?

11. ¿El plan de mejora garantiza la mejora sustancial de las acciones evaluativas y organizativas de la agencia?


126

8. INSTRUMENTO: TABLAS RESUMEN DEL CUMPLIMIENTO DE LAS PAUTAS OBLIGATORIAS Y COMPLEMENTARIAS Objetivo

1. Valorar integralmente el cumplimiento de las pautas obligatorias y complementarias por parte de la agencia u organismo de acreditación, considerando además la calidad y cantidad de evidencias que las respaldan.

2. Aportar una visión integral del estado general de la agencia (fortalezas y debilidades), de manera que proporcione un insumo vital a los pares evaluadores externos, relator (a) y Consejo del CCA, al decidir en cuanto a la acreditación o no de la agencia u organismo de acreditación.

Etapas Etapa 3: Evaluación de la agencia u organismo de acreditación

Etapa 4: Elaboración y presentación del informe de evaluación

Etapa 5: Decisión de la acreditación

Responsable Equipo Evaluador


127

TABLA RESUMEN DEL CUMPLIMIENTO DE LAS PAUTAS OBLIGATORIAS Y COMPLEMENTARIAS Nombre del organismo o agencia de acreditación solicitante:

País:

Integrantes del Equipo Evaluador:

Instrucciones generales: La garantía de la calidad en las agencias y organismos de acreditación parte del principio de que los organismos y agencias de acreditación son responsables directos del mejoramiento y la calidad de sus procesos. Tal postulado debe estar implícito o explícito en las propuestas evaluativas de estos.

El modelo del CCA ha optado por una metodología que incluye procesos de autoevaluación y evaluación externa sobre la base de criterios previamente definidos. Estos criterios, requisitos y pautas permiten la valoración de la calidad integralmente, distinguiendo aquellas obligatorias y complementarias, como garantía de la calidad de una agencia u organismo de acreditación.

Las pautas obligatorias, como su nombre lo indica, son de carácter obligatorio por su impacto en la calidad de la agencia, y las complementarias, si bien son necesarias, no resultan determinantes; aun así, como se explicó en los apartados anteriores, la agencia u organismo de acreditación debe cumplir como mínimo 11 de ellas.

Se recomienda la verificación estricta de las pautas obligatorias en la valoración integral de la agencia u organismo de acreditación nacional o regional, dado que es el condicionante principal para el otorgamiento de la acreditación, en el entendido de que el organismo o agencia de acreditación nacional o regional debe cumplir como mínimo el 77% de las pautas establecidas por el CCA: cumplimiento estricto de las pautas obligatorias y un mínimo de 11 pautas complementarias.

El Equipo Evaluador, en forma consensuada, debe llenar las siguientes tablas, señalando, mediante una equis (X), el cumplimiento de las pautas y las condiciones de las evidencias que las respaldan.

Es importante tener presente que la evaluación externa de las pautas obligatorias y complementarias parte de los siguientes supuestos:

1. Reconocimiento de que las agencias u organismos de acreditación deben cumplir con una serie de pautas mínimas y complementarias, que proporcionen la información necesaria para decisión de acreditación, tanto para el CCA, como para las agencias.

2. Comprensión de que siendo un proceso de aseguramiento de la calidad orientado hacia el mejoramiento continuo, la autoevaluación identificará debilidades de menor impacto en la decisión de acreditación.

3. La acreditación considera tanto la valoración integral de la agencia como el cumplimiento de una serie de pautas indispensables.

128

TABLA 38. TABLA RESUMEN SOBRE EL CUMPLIMIENTO DE LAS PAUTAS OBLIGATORIAS Y COMPLEMENTARIAS POR PARTE DE LOS ORGANISMOS Y AGENCIAS DE ACREDITACIÓN NACIONAL O

INTERNACIONAL

PAUTA


Requisitos esenciales

CT NC CT CP NC

Observaciones


1.1. La agencia tiene una declaración explícita de su filosofía institucional.

1.2 La agencia posee un código de ética que satisface lo declarado en su misión.



1.5 La agencia posee fundamento legal de operación y procedimientos definidos.


1.7 La agencia aplica procedimientos de resolución de conflictos, según lo establecido en su reglamentación.




1.11 Las acciones planificadas por la agencia están acordes con su filosofía institucional.


2.1 La agencia tiene definidos su


129

PAUTA



CT NC CT CP NC

Observaciones

estructura organizativa, cargos y funciones.



2.4 La agencia tiene definidos procedimientos de autoevaluación, seguimiento, control y evaluación de su quehacer.




2.8 La toma de decisión que realizan los órganos de la agencia responde a las normas establecidas y del respeto del debido proceso.



2.11 La agencia cuenta con mecanismos y procesos de información que sirven como soporte para la toma de decisiones y conducen a un sistema de información.


130

PAUTA



CT NC CT CP NC

Observaciones



3.1 La agencia cuenta con un modelo de acreditación que promueve el aseguramiento de la calidad de la educación superior.




3.5 La agencia aplica la metodología general de evaluación y acreditación, en correspondencia con el modelo adoptado.


3.7 La agencia actualiza los criterios, estándares, instrumentos y procedimientos de evaluación y acreditación.



3.10 La agencia utiliza estándares aceptados en el nivel internacional.

3.11 La agencia aplica un modelo de evaluación y acreditación contextualizado a la realidad


131

PAUTA



CT NC CT CP NC

Observaciones

educativa y al marco jurídico institucional, en el país o región donde acredite.

4. Recursos humanos

4.1 La agencia tiene programas y procedimientos de selección, desarrollo, capacitación continua y evaluación de sus RRHH.

4.2 La agencia cuenta con un programa de selección de académicos y profesionales de la evaluación y acreditación, con base en los requerimientos del CCA.



4.5 Los miembros del órgano de decisión de la agencia cumplen con los requisitos establecidos por el Manual del CCA.

4.6 El personal profesional de la agencia cumple con los requisitos establecidos por el Manual del CCA.

4.7 El personal de apoyo de la agencia cumple con los requisitos establecidos por el Manual del CCA.

4.8 Los evaluadores externos cumplen con los requisitos establecidos por el Manual del CCA.


5.1 La agencia dispone de instalaciones físicas.

5.2 La agencia cuenta con equipamiento tecnológico.

5.3 La agencia cuenta con mobiliario y materiales.

5.4 La agencia dispone de recursos informáticos.

132

PAUTA



CT NC CT CP NC

Observaciones

5.5 La agencia hace uso racional de los recursos conforme las regulaciones establecidas.


6.1 La agencia posee recursos financieros que aseguran su sostenibilidad.


6.3 La agencia dispone de un sistema de actualización de los estados financieros.


7. Resultados

7.1 La agencia ha realizado una cantidad de procesos de acreditación acorde con su tiempo de existencia.

7.2 La agencia ha realizado una cantidad de procesos de reacreditación acorde con su tiempo de existencia.


7.4 La agencia posee una cantidad de solicitudes de acreditación acorde con su tiempo de operación.


7.6 Las instituciones, programas y carreras acreditados por la agencia desarrollan su reacreditación de forma periódica.

7.7 Las instituciones, programas y carreras acreditados por la agencia desarrollan sus procesos de autoevaluación y mejoramiento continuo de forma periódica.

7.8 Las instituciones, programas y carreras acreditados por la agencia ejecutan acciones o


133

PAUTA



CT NC CT CP NC

Observaciones

programas de seguimiento a graduados.

7.9 Las instituciones, programas y carreras acreditados evidencian la atención de los cambios sugeridos por la agencia acreditadora.

7.10 La agencia ejecuta procesos de realimentación con los usuarios de sus servicios de acreditación.

PAUTAS

Pautas obligatorias

Pautas complementarias

CT-Cumplimiento total NC-No cumple

CT-Cumplimiento total CP-Cumplimiento parcial NC-No cumple

134

FUENTES BIBLIOGRÁFICAS Castillo, S. (2003). Vocabulario de Evaluación Educativa. Madrid; PEARSON.

Consejo Centroamericano de Acreditación (2005).Manual de acreditación. San José, CCA.

Consejo Centroamericano de Acreditación (2005).Guía para la evaluación de los organismos y agencias de acreditación de la Educación Superior en el marco del CCA. San José, CCA.

Consejo Centroamericano de Acreditación (2007). Instrumentos para la evaluación externa. San José, CCA.

Consejo Centroamericano de Acreditación (2005). Reglamento de acreditación. San José, CCA.

Consejo de Acreditación de la Enseñanza de la Ingeniería (2004). Manual 2004. México, CACEI.

Silva, M., Reich, R. y Vásquez, C. (2003). Autoevaluación Universitaria: principios y mecanismos operativos desde la experiencia. Francia, Columbus.

Sierra, V. y Álvarez, C. (2003). La universidad, su gestión y su evaluación. Bolivia, Editorial Kipus.

Red Iberoamericana para la acreditación de la calidad de la Educación Superior (2007). Proyecto: manual de autoevaluación para agencias de Acreditación de la Calidad de la Educación Superior. Documento de trabajo, CNAP.

Universidad Técnica Particular de Loja (2005). Proceso de autoevaluación de los programas de educación a distancia. Ecuador, documento introductorio (estándares, indicadores, instrumentos y validación.)

MANUAL PARA LA EVALUACIÓN XTERNA INSTRUMENTOS Y GUÍAS

Documents

Transcript of MANUAL PARA LA EVALUACIÓN XTERNA INSTRUMENTOS Y GUÍAS