Estudio Delphi como estrategia de validación de un modelo de evaluación de la calidad educativa de la universidad pública de América Latina y el Caribe.

Dr. Willebaldo Moreno MéndezDra. Carmen Lilia Sánchez González

RESUMEN

El presente trabajo pone el énfasis en la validación de las dimensiones y las categorías que conforman la propuesta de un modelo de evaluación de la calidad educativa, de modo tal que se validen y ponderen sus diferentes componentes metodológicos, de manera que sean generalizables para su empleo en propuestas de evaluación institucional universitaria y en la búsqueda efectiva de la calidad de las instituciones de educación superior. Para ello se plantearon los objetivos de estimación del nivel de validez del Modelo (aceptación, ponderación, concreción y mensurabilidad) así como su importancia en cada una de las dimensiones establecidas (respeto a los derechos humanos, equidad, relevancia, pertinencia eficacia y eficiencia), así como, la determinación de las recomendaciones para un uso adecuado de las dimensiones y categorías del modelo.

En éste sentido, para validar el modelo que permitiría evaluar la calidad educativa universitaria, se consultó la opinión de un grupo de expertos, a partir de la aplicación de un Estudio Delphi. El grupo se integró con 35 profesionales de Argentina, Brasil, Chile, México, Paraguay y Uruguay. Todos ellos reconocidos expertos en el tema en cuestión, pertenecientes a diferentes áreas de investigación como son: la política educativa, la educación comparada, la evaluación institucional, la investigación evaluativa y la gestión universitaria.

INTRODUCCIÓN

Se debe aceptar que hoy en día el trabajo de la universidad va más allá de sus funciones tradicionales de docencia, investigación, extensión y servicio. Ella puede además llegar a influir poderosamente en los modelos y en las orientaciones del desarrollo económico e industrial, social y cultural de las regiones donde está inserta (Martínez, 2002).

Atendiendo a estas consideraciones, los cambios generados en la sociedad, motivados por fenómenos como la globalización, presentan una realidad caracterizada por una altísima complejidad que amerita ser abordada con una visión holística. Las transformaciones que deberán producirse para lograr el progreso y desarrollo de la sociedad se fundamentan en el recurso organizacional más importante que es el conocimiento (Tunnermann, 2000). Las universidades tienen como misión la generación y difusión de conocimientos para de esa manera poder cumplir la función social que se les ha encomendado. En atención a ello se requiere que las instituciones de educación superior inicien un proceso de cambio institucional para estar en sintonía con los cambios que han originado esta nueva época.

Así, el contexto que identifica a cualquier institución de educación superior está caracterizado por un entorno complejo, donde el cambio ha sido lo permanente. A éste respecto, (Stoner, 1995), plantea que las organizaciones emprenden programas de cambio al menos por tres razones:

a) Los cambios en el entorno amenazan la sobrevivencia de la organización.b) Los cambios en el entorno ofrecen nuevas oportunidades para progresar.c) La estructura y forma de funcionamiento de la organización está retrasando su

adaptación a los cambios del entorno.

A su vez, (De Souza, 2002), plantea que es necesario pensar filosóficamente en el cambio y el desarrollo, ya que sin comprender por qué, ni con qué propósito se inicia un proceso de cambio, faltarán criterios para saber si se está conduciendo hacia un fin determinado, y faltarán argumentos para convencer a otros de que el esfuerzo es necesario y relevante. En éste sentido, al observar muchos de los procesos de cambio institucional en América Latina, pareciera que el cambio, que solo es un medio, se ha transformado en un fin en sí mismo. Luego entonces, cabe la pregunta, ¿por qué deben cambiar las universidades?, ¿para ser más eficientes?, ¿para ser más competitivas?, ¿para mejorar la calidad?, ¿para hacer la reingeniería de su arquitectura organizacional? o ¿para hacer la planeación estratégica? Todas estas interrogantes se refieren únicamente a los medios. Tal vez la respuesta más sencilla es: para reconstruir su relevancia en la sociedad, porque la sociedad está experimentando un cambio de época.

El cambio en cuestión en la universidad, se percibe como una búsqueda de un equilibrio entre la coherencia interna y la correspondencia con lo que demanda el contexto, es decir conocer cuánto se corresponde el discurso universitario con la acción (Fuenmayor, 1995). En vista de lo anterior, se considera de suma importancia para las universidades avocarse a investigar y a explorar sobre los aspectos relacionados con la evaluación de la calidad educativa.

En el presente trabajo se dan a conocer los resultados obtenidos a partir de un Estudio Delphi, aplicado a expertos internacionales con reconocida trayectoria y capacidad en el ámbito educativo, para a través de su opinión justificar, y validad en cierto modo, la estructuración de un modelo holístico de evaluación de la calidad educativa en instituciones de educación superior públicas latinoamericanas a partir de la identificación de las dimensiones. Las categorías y los indicadores que darán sustento y estructura al modelo de evaluación de la calidad.

DESARROLLO

Evaluación de la calidad en educación superior

Es evidente que, de igual modo que existen diferentes concepciones acerca de lo que entienden, tanto los organismos nacionales e internacionales, como las instituciones educativas, en lo referente a la calidad educativa, del mismo modo al momento de realizar la evaluación y control de dicha calidad (investigadores, instituciones y organismos), existe un abordaje que está tamizado por las diferentes concepciones de la calidad educativa.

Asimismo, aunque se habla de metodologías cuantitativas y cualitativas, las experiencias evidencian que se ha optado por realizar investigaciones acerca de la calidad educativa desde una perspectiva cuantitativa. Hechos que se demuestran incluso en las propuestas que realizan organismos internacionales que condicionan las políticas educativas.

Los enfoques actuales sitúan los paradigmas a diferente nivel, haciendo posible la convivencia y la necesidad de tener en cuenta los enfoques cuantitativos y cualitativos

en función de las necesidades de la evaluación (Toranzos L. 1996). Aunque no podemos dejar de reconocer en las prácticas la preeminencia de lo cuantitativo, por sobre lo cualitativo.

En el mismo sentido, Raquel Gamba y Adriana Ríos, afirman: que “del concepto de evaluación que tengamos dependen en gran medida los objetivos que se consigan, porque cuando se determina el objeto de la evaluación, en el fondo lo que se hace es señalar el hacia dónde queremos ir”

Por ello es importante advertir que lo que hace posible la mejora de la calidad es el conocimiento de la institución educativa a partir del análisis de las relaciones entre sus componentes, dimensiones o ámbitos; ya que son tales relaciones las que constituyen el núcleo de la escuela y no cada componente o ámbito por sí.

En éste sentido, evaluar debería ser una forma de restablecer compromisos con la sociedad; de repensar objetivos, modos de actuación y resultados; de estudiar, proponer e implementar cambios en las instituciones y en sus programas; se deberá evaluar para poder planificar, para evolucionar.

Modelos de evaluación de la calidad educativa

El conocimiento del contexto social históricamente determinado de las instituciones universitarias, facilitará en términos teóricos, la planificación y el uso de métodos y técnicas necesarias para la ejecución de planes, programas y proyectos que guíen el trabajo directivo, así como el uso de sistemas de información que permitan conocer la expresión de esa realidad social-institucional.

La calidad de la educación es de hecho el orientador de cualquier intención de transformación en dicho sistema, dado que las continuas exigencias del nuevo orden mundial con respecto a la producción y al trabajo, hacen que los sistemas educativos se vean altamente necesitados de nuevos paradigmas educativos que asuman tal reto social.

La filosofía sociopolítica que asumen estos paradigmas, determinará la formación del hombre en su concepción pedagógica y epistemológica en torno al conocimiento socialmente válido. Esta idea guiará un estilo de educación y organización escolar que responda al desarrollo productivo a través de la formación científica técnica del hombre como centro de transformación social. Dada esta realidad, la rendición de cuentas a la sociedad se hace indispensable debido a las exigencias de los sistemas sociales y la escasez de los recursos para el sector. La evaluación institucional ofrece una salida viable a esta situación debido a su carácter autorregulatorio de sus sistemas académicos al servicio de los sectores menos favorecidos de la sociedad.

CARACTERÍSTICAS BÁSICAS DEL ESTUDIO DELPHIEste trabajo pone el énfasis en la validación de una propuesta de dimensiones y categorías, que será completado con la puesta en marcha de los mecanismos necesarios que clasifiquen, validen y ponderen las diferentes categorías identificadas, de manera que sean generalizables para su empleo en propuestas de evaluación institucional universitaria y en la búsqueda efectiva de la calidad de las instituciones de educación superior.

Para ello, los objetivos planteados fueron:

Estimar el nivel de validez del Modelo (aceptación, ponderación, concreción y mensurabilidad) así como su importancia en cada una de las dimensiones establecidas (respeto a los derechos humanos, equidad, relevancia, pertinencia eficacia y eficiencia).

Determinar las recomendaciones para un uso adecuado de las dimensiones y categorías del modelo.

El diseño de investigación, seleccionado en base a las metas del proyecto, es de tipo no experimental, pudiendo ser englobado dentro de las metodologías ex post facto.

Los instrumentos para la obtención de los datos han sido, por una parte de naturaleza cuantitativa, en su mayor parte escalas de tipo Likert y, por otra, se diseñó un proceso de obtención de información a través de la aplicación de la técnica Delphi.

Validación del estudio

Para validar el modelo de categorías y dimensiones que permitirá evaluar la calidad educativa universitaria, se consultó la opinión de un grupo de expertos, a partir de la aplicación de un Estudio Delphi. El grupo se integró por un total de 35 profesionales pertenecientes a universidades de Argentina, Brasil, Chile, México, Paraguay y Uruguay. Todos ellos son reconocidos expertos en el tema en cuestión y pertenecen a diferentes áreas de investigación como son: la política educativa, la educación comparada, la evaluación institucional, la investigación evaluativa y la gestión universitaria.

Fases del Estudio

Fase I (Fase Previa)

Configuración del Grupo de ExpertosEl número de expertos para un estudio Delphi es variable, por ejemplo, la ANUIES (México, 1987) propone que no sean más de 15, otros autores, como Landeta (1999) propone que no sean más de 30. Sin embargo, se contempló incluir a un número mayor de expertos, ya que esto brindaría la posibilidad de más puntos de vista, lo cual retroalimentaría y enriquecería lo más posible el modelo.

Criterios que se determinaron para elegir a los sujetos que integrarían el estudio, a partir de lo cual recibirían el estatus de “expertos”

Cuadro 1Criterios de Elección del Grupo de Expertos

CRITERIOCUMPLIMIENTO DE ACUERDO A LA VARIABLE PERFIL

Univ. Pública

Univ. Privada

Agencia Evaluadora

Rector Universidad

FuncionarioGobierno

Funcionario ONG

Tener grado de doctor, de preferencia en educación.

XX XX XX XX XX XX

Tener por lo menos 10 años de experiencia relacionada con evaluación y acreditación de la calidad educativa en las IES.

XX XX XX XX XX XX

Tener por lo menos 5 publicaciones recientes relacionadas con la calidad educativa.

XX XX XX XX XX XX

Tener por lo menos 5 años de experiencia como consultor nacional o internacional en calidad educativa.

XX XX XX XX XX XX

Tener por lo menos 5 años de experiencia como funcionario de 1er, 2° o 3er nivel en universidad pública o privada.

XX XX XX

Tener por lo menos 5 años experiencia como funcionario de 1er, 2° o 3er nivel en una dependencia de gobierno relacionada con la educación.

XX

Tener por lo menos 5 años de experiencia como funcionario de 1er, 2° o 3er nivel en un organismo dedicado a evaluar y acreditar en calidad educativa.

XX

Tener por lo menos 5 años de experiencia como funcionario de 1er, 2° o 3er nivel en una organización no gubernamental (ONG).

XX

Una vez que se tuvo conformado el grupo de expertos, se procedió a realizar una categorización de los mismos en razón de dos variables: perfil y país de origen. La variable perfil incluyó seis categorías: expertos universidad pública, expertos universidad privada, funcionarios de agencia evaluadora, rectores de universidades, funcionarios gubernamentales, expertos ONG, Para la fase II se han agrupado todas las categorías en una sola denominada: expertos. La variable país de origen incluye seis categorías: Argentina, Brasil, Chile, México, Paraguay, Uruguay, (Cuadro 2)

Cuadro 2Variables y Categorías de Expertos

Categoría VariableUniversidad Pública

Perfil

Universidad PrivadaAgencia Evaluadora

Rector de UniversidadFuncionario Gubernamental

Funcionario ONGArgentina

País

BrasilChile

MéxicoParaguayUruguay

Fases II

Elaboración de cuestionariosUna vez conformado el grupo de expertos, se procedió a diseñar y estructurar el cuestionario en relación al tema de evaluación. Los criterios que se tuvieron en cuenta fueron el plantear cuestiones relevantes no resueltas, de futuro incierto, y problemáticas sobre las que no hay acuerdo previo en la comunidad académica internacional, en relación al objeto de estudio.

La confección de las preguntas y formas de seleccionar y representar la información son aspectos determinantes, entre otros, de los resultados del ejercicio, razón por la cual requieren de un estudio y discusión más detallados.

Para obtener la información referente a las categorías del modelo y su definición operativa se diseñó un primer cuestionario, formado por un protocolo de ítems de valoración escalar y una serie de preguntas abiertas donde el grupo tenga libertad de expresión. El instrumento está definido por las siguientes características:

Tipo de instrumento: escala de estimación (valoración de la importancia otorgada a los ítems).

Extensión del cuestionario: 70 preguntas Organización interna: estructura dimensional que combina la valoración

cuantitativa de los diferentes ítems y la valoración cualitativa de las dimensiones (5 dimensiones y 25 categorías).

Evaluación de los cuestionariosDiseñado el primero de los instrumentos a evaluar por parte del grupo de expertos, que responde al modelo objeto de evaluación, se solicitó al citado grupo la realización de dos tareas principales:

Valorar la importancia de cada ítem asignándole una puntuación del 1 (nada importante) al 5 (muy importante). No se trata de responder al cuestionario sino de establecer la importancia que el indicador de referencia de cada ítem tiene para el conjunto del modelo que tratamos de ponderar.

Reflejar en el apartado de observaciones, si fuese preciso, la necesidad de prescindir, modificar o añadir algún ítem.

Analizadas las aportaciones ofrecidas por el grupo de expertos en la segunda aplicación del cuestionario Delphi, el modelo definitivo ha quedado constituido como

un instrumento formado por un total de 5 dimensiones, 25 categorías 85 ítems que definen operativamente los indicadores del modelo de evaluación de la calidad de las IES. Todos los elementos que conforman cada una de las categorías cobran similar importancia (bajas desviaciones típicas) para todos los expertos.

Análisis de consistencia interna y comportamiento de los ítemsLa fiabilidad del modelo se ha estimado a partir del coeficiente Alfa de Cronbach (Cuadro 3), basado en la correlación ínter elementos promedio. Realizando una primera aproximación al estudio de la consistencia interna, se advirtió que los valores correspondientes a cada una de las dimensiones del modelo (valores por encima de 0.9) indican que las relaciones entre los diferentes elementos de esta escala son muy elevadas (ver tabla 1). Por su parte, el valor total de Alfa en la escala (0.944) indicó una correlación alta, un nivel elevado de estabilidad en las respuestas, por lo que el modelo presentado a los estudiantes presenta indicios de garantías de fiabilidad.

Cuadro 3Coeficiente Alfa en las Dimensiones

Dimensión Coeficiente AlfaRespeto a los Derechos

Humanos0.926

Equidad 0.937Relevancia 0.903Pertinencia 0.925

Eficacia y Eficiencia 0.908

Fase III

El modelo definitivoEl modelo de evaluación de la calidad en las IES sometido a criterios de fiabilidad y validez por medio de un grupo de expertos gracias a la técnica Delphi, se define como un sistema de dimensiones, categorías e indicadores genérico y con un grado de apertura considerable. Está formado por un total de 5 dimensiones, 22 categorías y 49 variables que definen los estándares que sirven para valorar la calidad educativa universitaria.

Modelo de Evaluación de la Calidad Educativa Universitaria

DIMENSIÓN CATEGORÍA VARIABLE

Respeto a los Derechos Humanos

GratuidadGastos Directos

Gastos IndirectosCostos de Oportunidad

No Discriminación

GeneroRaza

Preferencias PersonalesPolítico

Económico

DemocraciaParticipación

Libertad

ValoresPersonales

SocialesInstitucionales

DIMENSIÓN CATEGORÍA VARIABLE

Equidad

AccesoDisponibilidadAccesibilidad

Procesos

Contexto Institucional Proyecto Académico(diferenciar pero no

discriminar)Recursos Humanos

(equidad)Infraestructura

(recursos en general)

Resultados

Aprender a Conocer Aprender a Hacer

Aprendera Vivir Juntos

(desarrollando)Aprender

a Ser

DIMENSIÓN CATEGORÍA VARIABLE

Relevancia

Respeto a los Derechos y Libertades

Aprendizaje y Vivencia de los Derechos y

Libertades

Pleno Desarrollo de la Personalidad y

la Dignidad Humana

Aprendizaje de Competencias

Proyecto Educativo

Proyecto PolíticoProyecto Social

Proyecto Cultural

Sociedad del Conocimiento

Aprendizajes Básicos Imprescindibles y

Aprendizajes Básicos Deseables

DIMENSIÓN CATEGORÍA VARIABLE

Pertinencia

Currículos Flexibles AdaptabilidadPrácticas Educativas Prácticas

PedagógicasNormatividad Relación de los

Aprendizajes con la Vida Cotidiana

MovilidadEstudiantilAcadémica

Generación de Nuevos Campos del

Saber

ProfesionesInvestigación

DIMENSIÓN CATEGORÍA VARIABLEAcceso a la Educación

Matricula

Culminación de Estudios

Eficiencia Terminal

Eficacia y Eficiencia

Logros Académicos PermanenciaAnalfabetismo Tecnológico

TICs

Gestión Educativa

Modelo de GestiónEscuela Eficaz

Financiamiento

Disponibilidad de Recursos

Eficiencia en el manejo de los recursos

Redistribución por equidadImpacto

Autoevaluación Metaevaluación

Una descripción de cada una de las dimensiones de este modelo es la que se presenta a continuación:

Derechos Humanos. La educación como derecho humano y bien público permite a las personas ejercer los otros derechos humanos. Por esta razón, nadie puede quedar excluido de ella. El derecho a la educación se ejerce en la medida que las personas, más allá de tener acceso a la institución educativa, puedan desarrollarse plenamente y continuar aprendiendo. Esto significa que la educación ha de ser de calidad para todos y a lo largo de la vida.

En éste sentido, en ésta dimensión el modelo pretende evaluar todas las acciones que la institución educativa ha implementado, evaluado y fortalecido, en relación al respeto de los derechos humanos y las libertades fundamentales de todas las personas. Siendo el objetivo principal determinar si la institución tiene como fin último lograr la creación de una auténtica cultura universal de los derechos humanos en la sociedad (interna y externa).

Equidad.En síntesis, la «equidad» en educación tiene que ver, en general, con la igualdad de oportunidades y con el respeto por la diversidad. Pero esta «equidad» educativa, más que «igualdad aritmética», es «igualdad proporcional».

En éste sentido, en ésta dimensión el modelo pretende evaluar todas las acciones que la institución educativa ha implementado, evaluado y fortalecido, en relación a tres categorías principales: el acceso, los procesos y los resultados; priorizando acciones enfocadas al fortalecimiento del respeto, la tolerancia, la no discriminación, la inclusión, promoción y aseguramiento de la equidad, no como un discurso político, sino, como una cultura educativa que trastoque todos los ámbitos de la sociedad.

Relevancia.La UNESCO (2007) establece que, desde el punto de vista de sus finalidades, la educación ha de ser relevante, es decir, debe habilitar a las personas para un ejercicio competente de su libertad y condición ciudadana; del mismo modo, la educación sólo puede lograr este propósito si es pertinente a las condiciones concretas en las que las personas actúan. Por otra parte, el hecho de tener un carácter universal, es decir de alcance para todos, y que habilita a las personas en términos de sus capacidades para la vida, le permite responder con equidad.

La relevancia, en términos concretos responde al qué y para qué de la educación. Es necesario preguntarse cuáles son las finalidades de la educación y si éstas representan las aspiraciones del conjunto de la sociedad y no sólo de determinados grupos de poder. Una educación es de calidad si promueve las competencias necesarias para participar en las diferentes áreas de la vida humana, afrontar los desafíos de la sociedad actual y desarrollar el proyecto de vida en relación con los demás. Esta dimensión de análisis refiere a la necesidad de que las experiencias educativas estén orientadas y aseguren el desarrollo de aprendizajes que efectivamente habiliten a las personas para la vida contemporánea.En relación a lo anterior, con ésta dimensión el modelo pretende evaluar la pertinencia de la educación superior a partir de cuatro categorías interpretativas básicas: Proyecto educativo, Derechos y libertades, Desarrollo de la personalidad y dignidad humana y la Sociedad del conocimiento.

Pertinencia.La pertinencia de la educación alude a la necesidad de que ésta sea significativa para personas de distintos estratos sociales y culturas, y con diferentes capacidades e intereses, de forma que puedan apropiarse de los contenidos de la cultura, mundial y local, y constituirse como sujetos, desarrollando su autonomía, autogobierno y su propia identidad. Para que haya pertinencia, la educación tiene que ser flexible y adaptarse a las necesidades y características de los estudiantes y de los diversos contextos sociales y culturales. Esto exige transitar desde una pedagogía de la homogeneidad hacia una pedagogía de la diversidad, aprovechando ésta como una oportunidad para enriquecer los procesos de enseñanza y aprendizaje, y optimizar el desarrollo personal y social.

El desarrollo de un currículo relevante y significativo para toda la población enfrenta una serie de dilemas que debieran más bien considerarse como equilibrios a alcanzar: entre lo mundial y lo local, o entre lo universal y lo singular; es decir, convertirse en ciudadano del mundo y participar activamente en la comunidad de origen; entre las necesidades del mercado del trabajo y las del desarrollo personal; entre lo común y lo diverso; y entre lo disciplinar y la integración de contenidos.

Es por ello que el modelo pretende evaluar a través de ésta dimensión todas las acciones de la institución que conlleven el fin último de promover, fortalecer y mantener un currículo flexible, que pondere dar respuesta a las necesidades de la sociedad en su contexto, privilegiando la formación de ciudadanos íntegros, glocales (visión global y local), mediante la creación de un futuro sostenible y sustentable.

Eficacia y Eficiencia.Atributos básicos de la educación de calidad. Representan las preocupaciones centrales de la acción pública en el terreno de la educación. Es preciso identificar en qué medida se es eficaz en el logro de aspectos que traducen en términos concretos el derecho a una educación de calidad para toda la población. Es necesario analizar en qué medida la operación de la gestión universitaria es eficiente, respetando el derecho ciudadano a que su esfuerzo material sea adecuadamente reconocido y retribuido. La eficiencia no es un imperativo economicista, sino una obligación derivada del respeto a la condición y derechos ciudadanos de todas las personas.

Alcanzar objetivos centrales de la política educativa traducidos en metas específicas; es decir, en qué medida la operación de la institución educativa logra tener eficacia. Este ámbito se refiere al logro de metas concretas como, entre otras, la expansión de la atención, el acceso y la conclusión, el aseguramiento de logros de aprendizaje de los alumnos. Desarrollar las acciones con apego a la necesidad de honrar los recursos que la colectividad destina a la labor pública de la educación.

REFLEXIÓN FINALSe puede afirmar, según la clasificación de modelos de evaluación de la calidad de la educación superior realizada por Barrenetxea, Cardona y Echebarría (2006), que el modelo que aquí se presenta se conforma como una evaluación orientada a la mejora, un estudio orientado a la toma de decisiones. La finalidad del mismo es proveer conocimiento a la institución y a los integrantes de toda la comunidad universitaria para la posterior toma de decisiones para la mejora continua. Una de las ventajas más relevantes del mismo es la presencia de un tipo de evaluación hasta el momento a penas empleado en la educación superior, la evaluación continua, también denominada de seguimiento o de proceso, que se realiza durante la aplicación de un determinado programa o modelo y su objetivo se dirige a la mejora y optimización del mismo. Sin embargo, este tipo de modelo corre el riesgo de que la colaboración entre el grupo evaluador y las personas responsables de la toma de decisiones introduzca oportunidades para sesgar los resultados.

REFERENCIAS BIBLIOGRÁFICAS

Aguerrondo, I. (1993). La calidad de la Educación: Ejes para su definición y evaluación. Washington, D.C., OEA.

Albornoz, O. (1997). La cuestión de la productividad, rendimiento y competitividad académica del personal docente y de investigación en América Latina y el Caribe. Caracas, Ediciones CRESALC/UNESCO.

Aguilera, L. (1999). Universidad y Contemporalidad. Magistralis. No. 16, Enero –Junio, México. 23-38.

Aguilera, L. (2000). La articulación Universidad-Sociedad. Tesis para tratar el cambio en las universidades. Revista Cubana de educación Superior. No. 3, Vol. 20, No. 3, Cuba. 47-60.

ANUIES. (1999). Programa estratégico de desarrollo de la educación superior. México: ANUIES

ANUIES. (2001). La educación superior en el Siglo XXI. Líneas estratégicas de desarrollo. Una propuesta de la ANUIES. México: ANUIES.

ANUIES. (2003). Mercado laboral de profesionistas en México. Desagregación regional y estatal de la información. Diagnóstico 1990-2000 Tercera parte, volumen I, México: ANUIES.

ANUIES. (2003). Mercado laboral de profesionistas en México. Desagregación regional y estatal de la información. Escenarios de prospectiva 2000-2006-2020. Tercera parte, volumen II, México: ANUIES.

Aréchiga, H. (1996). La Pertinencia Social del Posgrado: Las Ciencias de La Salud. Omnia. No. 34, Vol. 12, México. 17-29.

Arrieta de Meza, B. (2002) El programa de maestría en lingüística de la Universidad del Zulia y su pertinencia. Encuentro educacional. No. 2, Vol. 9, May-Ago, Venezuela. 239-255.

Barrenetxea, M., Cardona, A., Echebarría, C. (2006) Una revisión crítica de los modelos de la calidad en la educación superior. VI Congreso Internacional Virtual de Educación. Palma de Mallorca, 6-26 febrero (CD-ROM).

Basail, A. (2000). Sociología y pedagogía. Pensar la educación desde un diálogo disciplinar. Revista cubana de educación superior. No. 1, Vol. 20, Cuba. 33-46.

Castellano, M. (2001). La trilogía equidad, pertinencia y calidad en la educación superior. Disponible en URL: http://www.uc.edu.uv/reforma/viceministra/uno

CEE-UAEM. (1991). El seguimiento de egresados: Metodología, técnica e instrumento. Colección Cuadernos No. 2, México: UAEM.

CEE-UAEM. (1993). El seguimiento de egresados y los estudios de mercado profesional (Antología), Tomo I, Colección cuadernos no. 5, México: UAEM

CEE-UAEM. (1993). El seguimiento de egresados y los estudios de mercado profesional. Varios enfoques disciplinarios. Colección de documentos no. 69, serie Estudios, México: UAEM.

CRESAL (1998). Calidad y Evaluación de la Educación Superior. CENTRO REGIONAL PARA LA EDUCACIÓN SUPERIOR EN AMÉRICA LATINA Y EL CARIBE. Caracas, CRESALC/UNESCO.

CESU-UNAM. (1990). Cinco aproximaciones al estudio de las profesiones. Cuadernos no. 2, México: CESU-UNAM.

Chávez, M. (1998). Pertinencia social de las instituciones de educación superior. Comentarios al análisis y las recomendaciones de la OCDE. Momento Económico, No. 95, Enero-Febrero, México. 5-12.

Cortes, J. (2002). Perfil de inteligencia emocional: construcción, validez y confiabilidad. Salud mental. No. 5, Vol. 25, Octubre, México. 50-60.

Cuenin, S. (1987) The Uses of Performance Indicators in Universities: an International Survey, International Journal of Institutional Managment in Higher Education, 11 (2), 149-162. Declaración de Bolonia (1999) The European Higher Education Area. Bologna Declaration. Joint declaration of the European Ministers of Education.

ttp://www.univ.mecd.es/univ/html/informes/bolonia/Declaracion_Bolonia.pdfDe La Orden, A. (1997). Desarrollo y validación de un modelo de calidad universitaria

como base para su evaluación. Revista Electrónica de Investigación y Evaluación Educativa, 1-2- http://www.uv.es/relieve/v3n1/RELIEVEv3n1_2.htm.

Del Vecchio, J. (1999). Pertinencia de La Universidad. Educación. Revista de La Universidad de Costa Rica. No. especial, Vol. 23, Costa Rica. 43-54.

Delors, J. (1996). La educación encierra un tesoro. México: Santillana- UNESCO.Didou, S. (2001). Aprender y emprender a lo largo de la vida. Educación 2001. No: 20,

Enero, México. 57-59.Didriksson, A. (2002). Editorial. Perfiles educativos. No. 96, Vol. 24, México. 2-4.Domínguez, Y. (2000). Proyecto de Cátedra de Pedagogía. Universidad Del Valle

Sede-Buga. Piedra de Panduro. Revista de la Universidad del Valle, Sede Buga. No. 2, Octubre, Colombia. 147-157.

Escotet, M. (1996). Universidad y Devenir. Argentina.Fernández, A. (1997). Posgrado y Desarrollo: La experiencia cubana.

Proposicoes, No. 1, Vol. 8, Marzo, Brasil. 16-26.Flores Crespo, P. (1997). La pertinencia de la educación superior. Apuntes para una

reflexión. Colaboraciones Libres. Volumen II, número 26. México: Observatorio Ciudadano de la Educación.

Frigerio, G. (2003) A propósito del maestro ignorante y sus lecciones. Testimonio de una relación transferencial. Revista educación y pedagogía. No. 36, Vol. 15, Mayo-Agosto, Colombia. 107-114.

Garduño, L.R. (1999). Hacia un modelo de evaluación de la calidad de instituciones de educación superior. Revista Iberoamericana de Educación, 21. http://www.rieoei.org/rie21a06.htm (Consulta: 13 de marzo de 2010).

Gibbons, A. (1998). La pertinencia de la Educación Superior.Gleen, J. (2003). Reporte sobre los futuros del mundo. Memoria los futuros del mundo.

Alternativas para México. UNESCO, World Future Society Capítulo Mexicano, A.C, The United Nations University (The Millenium Project), México. 131-135.

Global University Network for Innovation (2007). La Educación Superior en el Mundo 2007: Acreditación para la garantía de la calidad: ¿Qué está en juego? UNESCO, GUNI, Universidad Politécnica de Catalunya, Universidad de las Naciones Unidas. Barcelona.

González, I. (2003). Determinación de los elementos que condicionan la calidad de la universidad: Aplicación práctica de un análisis factorial. Relieve: Revista Electrónica de Investigación y Evaluación Educativa, 9 (1), 83-96. http://www.uv.es/RELIEVE/v9n1/RELIEVEv9n1_4.htm .

Guichot, V. (2007). La construcción de la ciudadanía europea, un desafío para la educación en el siglo XXI. Revista de Ciencias de la Educación, 203, 375-402.

Hammond, L. (1991). Creating Accountability in Big City School Systems. New York: ERIC Clearinghouse on Urban Education

Hernández, R. (1998). ¿Certificación ISO 9000 en Educación? Colección Pedagógica Universitaria. No. 30, Julio-Diciembre, México. 79-100.

Herrera, A. y A. Didriksson, (1998) La construcción curricular: innovación, flexibilidad y competencias. Enseñanza Superior y Sociedad. Vol. 10, No. 2, Instituto Internacional para la Educación Superior en América Latina y el Caribe (IIESALC-UNESCO), México. 29-52.

Herrera, A. (2002). EL cambio en la década de los noventa: Estudio comparado de diez universidades públicas de México. En Didriksson, A. A. Herrera, (Coord.), La transformación de universidad mexicana. Diez estudios de caso en la transición. México: Porrúa- UAZ. 9-48.

Herrera, A. (2003). Universidad del conocimiento y competencias académicas. En Castaños –Lomnitz, La sociedad del mañana. Universidad, ética y sustentabilidad. México: Porrúa-UNAM-ANUIES. 127-133.

INEGI, (1996). XII Censo de Población y Vivienda. México.Kelley, G. (1998). El uso de los medios en los procesos educativos. Serie foro

pedagógico. No. 18, México. 1-30.Linston, A., Turoff, M. (2002) The Delphi Method: technique and applications. New

Jersey: Institute of Technology.Llanos de La Hoz, S. (2000). Equidad y pertinencia en la educación superior.

Universitas 2000. No. 3-4, Vol. 24, Venezuela. 33-48.Magro, M. (2002). Una concepción de la mediación y el proceso de formación de

mediadores educativos. Paradigma. No. 1, Vol. 23, Junio, Venezuela. 31-58.Malagón, L. (2003). La pertinencia en la Educación Superior: elementos para su

comprensión. Revista de la Educación Superior. No. 3, Vol. 32, Julio-Septiembre, México. 115-138.

Marcano, N. (2000). Modelo Nor-Ma para el diseño y rediseño curricular en las Instituciones de Educación Superior. Encuentro Educacional. No. 1, Vol. 7, Enero-Abril, Venezuela. 127-153.

Marcano, N. (2002). Pertinencia, compromiso social y currículo en las instituciones de educación superior. Encuentro educacional. No. 2, Vol. 9, Mayo-Agosto, Venezuela. 147-161.

Martínez, L. (1995). El Docente Universitario y La Extensión. Planiuc. No. 21, Vol. 14, Enero-Junio, Venezuela. 321-351.

Martínez, X. (2000). Pensamiento social y procesos sociales. Notas sobre la novedad y la adecuación de los modelos de análisis. Ensayo y error. No. 18-19, Vol. 9, Venezuela. 25-33.

Medina, L. (1996). El mercado de trabajo y la práctica profesional del egresado de la Licenciatura en Turismo de la UAEM, México: UAEM.

Mendoza, J. (1996). La Educación Superior en los Planes Nacionales de Desarrollo: De los propósitos a los resultados. Pensamiento Universitario. no 84, Tercera Época, México. 61-102.

MECD (2003) La integración del sistema universitario español en el Espacio Europeo de enseñanza Superior. Madrid: MECD.

Ministerio de Educación, Argentina (2001). La escuela y su compromiso con la calidad educativa. Capacitación en la escuela – Talleres Institucionales CUADERNILLO Nº 3

Muñoz, C. (1996). Diferenciación institucional de la educación superior y mercados de trabajo. Seguimiento de egresados de diferentes instituciones a partir de las universidades de origen y de las empresas que trabajan. México: ANUIES.

Navarro, A. (1997). Pertinencia social de la Universidad. Una propuesta para la construcción de la imagen institucional. Educación Superior y Sociedad. No. 2, Vol. 8, Venezuela. 75-96.

Ocampo, J. (2002). La educación en la actual inflexión del desarrollo de América Latina y el Caribe. Revista iberoamericana de educación. No. 30, Septiembre-Diciembre, España. 25-37.

Piña, S. (2001). Pertinencia y rendimiento del eje de lengua en la escuela de comunicación social de la universidad del Zulia. Opción: revista de ciencias humanas y sociales. No. 34, Vol. 17, Abril, Venezuela. 86-106.

Plan de Desarrollo 1999 - 2005, (1999). Disponible en URL: http://edomexico.gob.mx/portalgem.Pontificia Universidad Católica Argentina. (2006). La Evaluación Institucional en

Iberoamerica: Aproximación a la Construcción de un Estado del Arte. Ricoy, C. (2002). Estrategias de intervención para la escuela de padres y madres.

Educación XXI: Revista de la Facultad de Educación. No. 5, España.171-197.Royero, J. (2004). Contexto mundial sobre la evaluación en las instituciones

de educación superior. Revista Iberoamericana de Educación. Num. 35. Calidad y Acreditación Universitaria. Mayo-agosto.

Schmelkes, S. (2001). La Combinación de Estrategias cuantitativas y cualitativas e en la investigación Educativa. Reflexiones a partir de tres estudios. Revista Electrónica de Investigación Educativa. 3 (2).

Swami, P. (2001). Calidad de la educación: personalización educativa y pertinencia social. Conferencia dictada en la Décima Conferencia Mundial Trianual. Madrid.

Tiana, A. (1996). La Evaluación de los Sistemas Educativos. Revista Iberoamericana de Educación. Num. 10, enero-abril. Pp. 37-61

Toranzos, L. (1996). Evaluación y Calidad. Revista Iberoamericana de Educación. Num. 10. enero-abril, pp. 63-68.

Tünnermann, C. (2000). Pertinencia social y principios básicos para orientar el diseño de políticas de Educación Superior. Educación Superior y Sociedad. No. 1-2, Vol. 11, Venezuela. 181-196.

UNESCO. (1995). Documento de política para el cambio y el desarrollo en la educación superior. París.

UNUESCO. (1998). Educación Superior en el Siglo XXI: Visión y acción. París.UNESCO. (2004). Educación para todos. El Imperativo de la Calidad.

Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura, París, Francia.

Universidad Autónoma del Estado de México. (2001). Plan Rector de Desarrollo Institucional 2001-2005. México.

Universidad Autónoma del Estado de México. (1997). Plan General de Desarrollo 1997-2009. México.

Universidad Autónoma de Yucatán. (2004). Interrelación Universidad-Sociedad. Componente de calidad en la educación superior.

Yaya de Cáceres, M. et al. (2000). Algunas reflexiones sobre la agenda de la política universitaria actual: problemáticas y enfoques que la configuran. Cuadernos IRC. No: 5, septiembre, España. 70-78.