Proyecto de Innovación y Mejora de la Calidad Docente

Convocatoria 2014

Nº de proyecto:

288

Título del proyecto:

ELABORACIÓN E IMPLANTACIÓN DE UN MÉTODO EFICAZ

DE ENCUESTAS PARA LA EVALUACIÓN DE LOS GRADOS

Y MÁSTERES EN MATEMÁTICAS

Nombre del responsable del proyecto: ANTONIO DÍAZ CANO (Decano Facultad

de Ciencias Matemáticas)

Centro: FACULTAD DE CIENCIAS MATEMÁTICAS

1. Objetivos propuestos en la presentación del proyecto

La Facultad de Ciencias Matemáticas en las memorias de verificación de los títulos

que oferta, plantea utilizar dentro del sistema de garantía de calidad los

procedimientos de evaluación y mejora de la calidad del profesorado establecidos en

el Programa Docentia de la UCM verificado por la ANECA con fecha de 31 de marzo

de 2008. Estos procedimientos inicialmente planteaban que la evaluación de la

docencia se realizara cada tres años.

Este proceso de evaluación de la docencia es muy valorado en el centro puesto que

permite detectar debilidades y fortalezas de los nuevos Grados y Posgrados con el fin

último de subsanar las primeras y potenciar las segundas.

Pero en la práctica, el método propuesto en la memoria de verificación para llevarlo a

cabo, ha resultado tener algunos problemas.

Por un lado, la evaluación es voluntaria, por lo que aunque la Facultad ha instado a

una mayor participación del profesorado en el programa y de hecho los niveles de la

misma han ido progresivamente aumentando, aún está lejos de cubrir una evaluación

real y global de la calidad de la docencia. Además, la limitación del número de

estudiantes, en algunos casos específicos (optatividad de másteres, grupos de primer

y segundo curso de los grados comunes…) también ha hecho disminuir las

evaluaciones producidas frente a las inicialmente solicitadas, pese a las

modificaciones desde el rectorado para ampliar estos márgenes. Así el número de

profesores finalmente evaluados frente a los que solicitaron evaluación, ha sido, por

ejemplo en el curso 2012-13, en algunos títulos, la mitad. En casos más preocupantes,

la diferencia es aún mayor, como Grado en Matemáticas y Estadística (el de menos

alumnos y primero y segundo común con otros dos grados, por lo que el profesor

debería solicitar tres evaluaciones para cubrir a todo el grupo, lo que genera un cierto

rechazo dado el límite de evaluaciones que pueden solicitarse) de 6,19% de

solicitudes, solo se completó la evaluación del 1,77% o en el Doble Grado de

Matemáticas y Física, de un 7,53% de solicitudes, se evaluaron 2,15%. Datos todos

ellos muy bajos en cualquier caso.

Además de este procedimiento de evaluación promovido desde la Universidad, desde

el curso académico 2003-04 existe un proceso de encuestas que se inició entre los

alumnos de las licenciaturas en Matemáticas y Ciencias y Técnicas Estadísticas,

siguiendo las directrices y acuerdos tomados en las Juntas de Facultad de 17 de junio

de 2002, 5 de noviembre de 2002, 13 de febrero de 2003 y 11 de noviembre de 2003,

con el fin de implementar el plan de mejoras recogidas en los informes resultantes

sobre determinados aspectos docentes relativos también a las propias asignaturas

además de sobre los profesores que las imparten.

El proceso de encuestas se ha venido realizando dos veces al año en el aula antes de

los exámenes, una por cuatrimestre. Se generan unos informes particulares (sobre

profesor y asignatura concretos) y se determinan unas estadísticas globales sobre la

titulación, grupos de asignaturas y sobre las asignaturas impartidas por los distintos

departamentos. Los informes globales son de acceso público y se difunden en la Web

de la Facultad. (ver anexo 1)

Pero este proceso tiene también ciertos inconvenientes: por un lado, hasta ahora ha

sido imposible incluir a los másteres en la encuesta, dado que su calendario difiere

bastante el de los grados y el tipo de preguntas incluido no responde a las

necesidades de los mismos, mientras que el interés del centro es asumir el mismo

compromiso en la calidad de la docencia sea cual fuere el nivel académico del que se

trate.

Por otro lado, dada la importancia que damos al hecho de considerar en la evaluación

de la docencia también a las asignaturas y no solo a la figura del profesor, los

programas diseñados en su momento para el proceso de las encuestas, hacían

referencia a bloques de asignaturas tal y como constaban en las antiguas

licenciaturas- troncales, obligatorias y optativas- y no se han ido actualizando de la

misma manera que evolucionaban los planes de estudio actualmente impartidos por lo

que actualmente no resultan tan eficaces para detectar desajustes de planes de

estudios que pudieran existir.

Así, en este proyecto se han querido desarrollar una herramienta de análisis de la

calidad de la docencia que complemente Docentia implantando mejoras sustanciales

en las encuestas actuales, renovación de su proceso informático acorde con los

módulos y materias de los presentes títulos impartidos y su extensión a aplicación

sistemática en estudios de posgrado. Como la encuesta resultante es de aplicación

obligatoria, a diferencia de DOCENTIA, los resultados del proceso posterior junto con

el análisis que se hace anualmente de distintos indicadores de éxito, rendimiento y

abandono, entre otros, proporcionarán una información más completa que permita

abordar mejoras en los planes de estudio de las titulaciones.

Resumiendo todo lo anterior, los objetivos propuestos en la presentación del proyecto

eran:

1. Diseño e implementación de un nuevo proceso de encuestas de calidad

docente que complementen las actualmente vigentes en el programa

DOCENTIA subsanando las limitaciones efectivas detectadas en estos

años de implantación debidas a la casuística específica de los títulos del

centro.

2. Ampliación de su aplicación a los posgrados de la Facultad de Ciencias

Matemáticas que hasta ahora no han sido sometidos a una evaluación tan

exhaustiva y sobre todo general (algunos programas pasan sus propias

encuestas) dado el poco impacto del programa Docentia en ellos y no

participar de la evaluación existente de centro.

3. Diseño de un nuevo procedimiento de proceso de la información que

proporcione una información más útil y adaptada a los actuales planes de

estudio para detectar cualquier tipo de problema y diseñar las propuestas

de mejora oportunas.

4. Facilitar el proceso de SEGUIMIENTO y VERIFICACIÓN de las titulaciones

añadiendo herramientas que faciliten detectar debilidades y fortalezas de

los títulos.

2. Objetivos alcanzados

El proyecto se concedió más tarde de lo previsto (junio de 2014) por lo que se tuvo

que modificar el cronograma del plan de trabajo y las actividades/actuaciones

asociadas. La concesión llegó cuando ya había transcurrido el tiempo que inicialmente

en el cronograma de actuaciones se había pensado dedicar a la fase de estudio,

tareas 1 y 2 (anexo 2). Es decir, hubo una reducción temporal de una tercera parte del

tiempo estimado para el desarrollo de las actividades.

Por otro lado, en la petición del proyecto se incluía una partida presupuestaria para un

estudiante de apoyo destinado a las tareas de implementación web del sistema y

análisis de resultados globales que no fue concedida, por lo que las tareas

originalmente asignadas a su figura debían repartirse entre los componentes del

equipo de trabajo o quedarse sin asignar.

Todos estos hechos han llevado a que no se hayan cumplido todos los objetivos

propuestos en la petición del proyecto, y se ha pospuesto la implementación del

sistema nuevo de encuestas en los grados al próximo curso. El motivo principal de no

hacerlo era considerar que no había habido una reflexión profunda de cómo hacer el

proceso de la información adaptada a los planes actuales de estudio, por lo que se

decidió no pasar la nueva encuesta a los estudiantes de grado si no se iba a

aprovechar después la información que podía proporcionar de la forma más eficiente.

Así, los objetivos efectivamente alcanzados han sido:

1. Diseño e implementación de un nuevo proceso de encuestas de calidad

docente que complementen las actualmente vigentes en el programa

DOCENTIA subsanando sus limitaciones efectivas detectadas en estos años

de implantación.

2. Ampliación de su aplicación a los posgrados de la Facultad de Ciencias

Matemáticas

3. Facilitar el proceso de SEGUIMIENTO y VERIFICACIÓN de las titulaciones

añadiendo herramientas que faciliten detectar debilidades y fortalezas de los

títulos de posgrado

3. Metodología empleada en el proyecto

Para alcanzar los objetivos descritos en el apartado se llevaron a cabo las siguientes

actuaciones:

PRIMERA FASE: DISEÑO Estudio de las actuales encuestas de docencia del

centro y la encuesta del programa DOCENTIA. Se quería con ello elegir un

modelo de encuesta que cubriera todos los aspectos que se pretendían

estudiar, discutiendo si estos eran los mismos según las diversas titulaciones

del centro (grado y máster). La encuesta de DOCENTIA servía como referente

al tratarse de un procedimiento verificado por la ANECA, por lo que se buscaba

cubrir los aspectos contemplados en ella. Esto además, justificaría usar los

resultados para la evaluación de la docencia en el centro, en aquellos casos

donde la participación en el programa DOCENTIA es baja.

SEGUNDA FASE: ESTUDIO DE IMPLEMENTACIÓN La idea inicial era que

se tratase de una encuesta on line. Por eso, se evaluaron formas de

implementarla (como el buzón de quejas, asociada a campus virtual, lyme

survey, cuestionario google u otras). También se hizo un estudio de diferentes

herramientas informáticas para hacerla compatible con campus virtual,

calendario de ejecución, por ejemplo vinculado a la calificación de la

asignatura,… a fin de recabar el mayor número de respuestas, aunque no se

consiguió compatibilizar esto con anonimato y no intervención del profesor con

las herramientas examinadas.

De hecho, conseguir una alta participación fue el mayor problema encontrado,

tanto en propia experiencia como en otros centros y encuestas (satisfacción de

colectivos, por ejemplo).

Así finalmente se optó por mantener la posibilidad de usar el formato papel,

incluso como prioritario frente al proceso on line.

Quedó pendiente la TERCERA FASE: DISEÑO DE LOS RESULTADOS QUE

SE QUIEREN ANALIZAR, dado que al no conseguir la financiación para un

colaborador que ayudase en las tareas de evaluación de herramientas esta

segunda fase se prolongó más de lo previsto, junto con la importante

disminución temporal para el desarrollo del proyecto, y no hubo tiempo material

de hacerlo. La puesta en marcha del nuevo sistema en grados se pospone

para el curso siguiente, no así en másteres que acogen a un número menor de

estudiantes.

Las fases referidas se han desarrollado mediante reuniones de los profesores

participantes, trabajo personal, y comparación con procesos similares en otros centros.

También ha habido reuniones con el coordinador de campus virtual del centro en

relación con la fase dos.

4. Recursos humanos

La puesta en marcha de acciones encaminadas a valorar y mejorar la calidad de la

docencia ha sido una de las preocupaciones prioritarias de la Facultad de Matemáticas

de la UCM desde hace tiempo, por lo que se consideró que en la composición del

grupo de trabajo, era necesaria la implicación institucional. Por este motivo, se incluyó

como miembros del equipo de trabajo al equipo decanal y a la coordinación de las

titulaciones.

Por otra parte, dado que en este proyecto se contaba como punto de partida con las

encuestas de centro implantadas para las licenciaturas en el curso 2003-04, se

consideró muy oportuno contar con el profesor que diseñó dicho sistema, con amplia

experiencia en este tipo de estudio, y que podría transmitir la información sobre cómo

se procedió a implantar las encuestas, cómo se decidió su diseño, y aspectos

valiosísimos sobre el tratamiento de la información que revelan.

Aparte del personal implicado como equipo de trabajo y que así constaba en la

solicitud del proyecto, se contó con la colaboración del coordinador de campus virtual

en el centro, con responsables de otras titulaciones y profesores de otros centros que

ayudaron transmitiendo su experiencia sobre distintos procedimientos empleados

enfocados a evaluación docente.

5. Desarrollo de las actividades

El trabajo comenzó con un análisis crítico de las actuales encuestas de centro para

asegurar que cubren todos los aspectos que se pretendía estudiar y proponer

variaciones si fuese necesario. Se valoraron los ítems para no tener una encuesta

demasiado larga que no resulte poco eficaz para finalizar con la propuesta de un

diseño de encuesta. Las cuestiones debatidas se resumen en:

1. Unicidad de encuesta de centro o diseñar específica para máster.

2. Mantener por separado encuesta sobre la asignatura y sobre el profesor

teniendo en cuenta que obviamente, la percepción del estudiante de la asignatura

siempre estará condicionada por el profesor que la imparte

3. Reutilizar la encuesta de Matemáticas o tal y como está, o eliminar y/o

modificar ítems.

Sobre el primer punto, se decidió elegir un modelo único, si bien es cierto que los

másteres tienen algunas problemáticas específicas que no acaban de recogerse en las

encuestas.

En cuanto al segundo, se decidió mantener dos encuestas separadas, para diferenciar

lo máximo posible los aspectos sobre asignaturas (de donde obtener información

sobre planes de estudio, percepción de los estudiantes,..) de la práctica docente en sí,

vinculada al propio desempeño del profesor.

Para el tercer punto se trabajó en varias direcciones.

En primer lugar se realizó un estudio exhaustivo de la encuesta del procedimiento

DOCENTIA en paralelo con la encuesta de partida, buscando una similitud con ella por

dos motivos: por un lado su carácter de procedimiento de evaluación acreditado y por

otro, para poder recurrir a la evaluación producto final del proyecto en las memorias de

seguimiento o donde sea oportuno. En ese estudio se diferenciaron los aspectos sobre

asignatura y sobre profesor analizando la valoración en la puntuación a cada uno de

ellos

ANÁLISIS DE DOCENTIA. ASPECTOS SOBRE ASIGNATURA:

Aparecen los aspectos sobre Información (8 puntos) y adecuación para alcanzar

objetivos (mixto profesor/asignatura 4 puntos).

Tras el debate del equipo, se concluyó que la encuesta de centro contenía preguntas

sobre asignatura que resultaban relevantes como centro en el sentido de inquirir en el

diseño de la asignatura, aspecto este que sale de las pretensiones de DOCENTIA.

Pero también, sí pareció conveniente añadir cuestiones inspiradas en la encuesta,

sobre cómo percibe el estudiante la información previa (básicamente la guía docente)

y su cumplimiento. La encuesta de partida contenía 5 ítems, por lo que se estudió si

incluir todos los aspectos de la ficha que cubre Docentia o si el resultado quedaría

descompensado en el sentido de parecer dar más peso a la impresión sobre la ficha

que el desarrollo de la asignatura. Finalmente se decidió incluir preguntas que

incidieran especialmente en conocer previamente los objetivos y actividades de la

asignatura, evaluación y utilidad de la bibliografía propuesta

ASPECTOS SOBRE PROFESOR

Se resumen en el siguiente esquema:

PLANIFICACIÓN,

INFORMACIÓN,

ORGANIZACIÓN

Y

COORDINACIÓN

Información 8 puntos 12,5% 18,75%

Organización

de la

asignatura

4 puntos 6,25%

DESARROLLO Cumplimiento

formal

16 puntos 25% 43,75%

Calidad

Docente

12 puntos 18,75%

RESULTADOS Satisfacción

del alumnado

con la

actividad

docente

20 puntos 31,25% 37,5%

Rendimiento 4 puntos 6,25%

64

De los 11 ítems que tenía la encuesta, 6 estaban recogidos en DOCENTIA lo que se

valoró muy positivamente al ser una evaluación acreditada. Las restantes se

consideraron también interesantes como para prescindir de ellas afectando a la

percepción de plan de estudios coherente y no de compartimentos estancos y a la

resolución de dudas.

La experiencia con la encuesta objeto de estudio hizo pensar en reformular algunas de

las cuestiones que en estos años de implantación, han dado lugar a interpetaciones

erróneas pro en el encuestado y/o por el profesor, como las referentes a las tutorías,

que el alumno en ocasiones contesta como utilidad de ellas, y otras como

cumplimiento formal, y competencia docente del profesor. Como se consideró

importante mantenerlas pero no se estuvo de acuerdo con la formulación actual, se

procedió a una labor de recopilación de encuestas sobre docencia de diversos centros

de la UCM así como de otras universidades, para buscar preguntas que pudieran ser

útiles para reformular las cuestiones o bien plantear otras nuevas.

Tras esto se diseñó una nueva encuesta de 10 preguntas para evitar cuestionarios

demasiado largos donde 4 fueron reutilizadas y las otras 6 incidían en aspectos de

cumplimiento formal, ayuda para la adquisición de competencias y conocimientos así

como una final de valoración positiva.

Aunque en algún momento se consideró el contar con una primera batería de

preguntas que sirviese para un estudio estadístico, finalmente se ha rechazado la idea

en aras de una mayor agilidad de respuestas y no cargar a los estudiantes con más

cuestionarios y/o más largos. No obstante, este es un punto sobre el que se puede

volver a debatir.

Por otra parte, se estudiaron formas de asegurar la respuesta de los estudiantes. No

olvidemos que la idea inicial era implementar las encuestas únicamente en formato

electrónico. Por ejemplo se habló de poder vincular la visibilidad de la nota en campus

virtual, … pero finalmente, recabando nuestra propia experiencia al respecto, así como

la de otros colegas, se vio que en general, los estudiantes muestran baja participación

en encuestas si estas no se hacen en el entorno del aula. Dado que no todas las

asignaturas se imparten en aulas de ordenadores, y que dichas aulas suelen tener una

alta ocupación sin facilidad de horario libre para desplazar a los estudiantes a realizar

la encuesta, se decidió mantener la posibilidad del “formato papel” con vistas a obtener

un mayor número de respuestas, pese a que esto añadiera unas dificultades añadidas

a su proceso, que con el procedimiento on line se pensaba iban a simplificarse.

6. Anexos

ANEXO 1

Direcciones web de SGIC de la Facultad de Ciencias Matemáticas donde aparecen los

resultados globales de las encuestas realizadas señaladas en punto 1, y de uno de los

resultados donde se ven los epígrafes que se han estado analizando (por grado, por

curso y por Departamento) que se pretendían cambiar/modificar.

http://matematicas.ucm.es/sgic

https://matematicas.ucm.es/encuestas-segundo-cuatrimestre

ANEXO 2 Cronograma de actividades previsto

ANEXO 2A: Fases y tareas

ANEXO 2B: Cronograma de actividades

ANEXO 3 Petición presupuestaria para personal de apoyo

ANEXO 3: Presupuesto