INVESTIGACIÓN INSTITUCIONAL Y EL DESARROLLO DE ...
Transcript of INVESTIGACIÓN INSTITUCIONAL Y EL DESARROLLO DE ...
Octavo Congreso Educación y Tecnología
Universidad Interamericana de Puerto Rico
Recinto de Barranquitas2 de septiembre de 2010
INVESTIGACIÓN INSTITUCIONAL Y EL DESARROLLO DE
HERRAMIENTAS ANALÍTICAS COMPUTARIZADAS PARA LA
EFECTIVIDAD INSTITUCIONAL
Prof. Nicolás Ramos Gandía ([email protected])Dra. Mérida Mercado Escobar ([email protected])Sr. Héctor Rosa ZenoUIPR - Recinto de Arecibo
Proyecto:Investigación Institucional para la Toma de Decisiones Informadas
I2TD
¿Alguna vez han escuchado?
Me parece que los estudiantes de este programa son …
Es que el proceso de matricula siempre se ha hecho …
Un estudiante me dijo que la biblioteca necesita …
Percibo que los estudiantes son cada vez más …
¿Cómo se toman muchas de las decisiones
en las instituciones educativas?
En demasiadas ocasiones la toma de decisiones sefundamenta en:
creencias, tradiciones, experiencias o intuiciones
¿Al tomar las decisiones, en realidad, conocemos elcontexto del problema a profundidad?
No
¿Qué observamos en la toma de decisiones de las
empresas y corporaciones que aprovechan las
tecnologías de la información?
Analizan las transacciones de negocio que realizan sus clientes con el fin de descubrir los patrones que exhiben en las mismas
(“Business Intelligence”)
Si compramos a través de la página Web de una de estas empresas inmediatamente nos ofrecen otros artículos asociados al seleccionado
Al registrarnos con nuestro código de usuario la página Web se configura a base de nuestro perfil de navegación previo en ésta
Ejemplos: Amazon, Ebay, Netflix, …
¿Cómo lo hacen estas empresas?
“Analytics” & “Data Crunch”
Aplicando técnicas matemáticas, estadísticas y
computacionales a las inmensas bases de datos que recopilan para analizarlas y transformarlas en información relevante para la toma de decisiones detectar patrones y reglas que no serían patentes de otra
forma (“Data Mining”)
construir modelos descriptivos, explicativos y predictivos
Diseñado estrategias, pertinentes a su realidad,realizando acciones viables y estableciendo métricas para evaluar su efectividad
¿Cómo se asocia la analítica con éxito estudiantil en la literatura de
la educación superior?
The importance of student success (commonly measured as degree completion) continues to rise, as does the demand for institutional accountability. Academic analytics can help institutions address student success and accountability while better fulfilling their academic missions. Academic systems generate a wide array of data that can predict retention and graduation. Academic analytics marries that data with statistical techniques and predictive modeling to help faculty and advisors determine which students may face academic difficulty, allowing interventions to help them succeed.
Campbell, J.P., y Oblinger, D. (2007). Academic analytics. Educause, de http://connect.educause.edu/library/abstract/AcademicAnalytics/45275
¿Qué postura pueden asumir las universidades ante esta realidad?
Las universidades tienen sistemas de información para trámites administrativos y académicos donde continuamente se están almacenando datos
¿Seguimos acumulándolos????????
o Utilizamos la base de datos como un punto estratégico para
mejorar la productividad e incrementar la competitividad de la universidad
¿Cómo? Incorporando los conceptos de “Analytics” a la investigación
institucional para integrar continuamente los resultados a al diseño de estrategias y la toma de decisiones
Investigación Institucional para la Toma de Decisiones Informadas I2TD
Nuestra Posición
• La investigación institucional en las universidades debe integrar las estrategias analíticas académicas(“Academic Analytics”) para darle un nuevo giro ala toma de decisiones
▫ La analítica académica aporta una nueva perspectiva conceptual y práctica para evidenciar la efectividad institucional y responder a los reclamos de las agencias acreditadoras
Investigación Institucional para la Toma de Decisiones Informadas I2TD
Nuestra Posición
• Los datos del sistema de información son la fuente para investigar y analizar el comportamiento histórico de la institución y sus estudiantes ▫ Éstos se pueden transformar en indicadores, índices o
modelos que permiten la evaluación de la efectividad institucional
• La analítica académica le añade valor a la base de datos de la universidad ya que la información derivada de la misma se puede convertir en un punto estratégico y de ventaja competitiva
• Tradicionalmente la investigación se concreta en un documento impreso que perdura como la fuente de información hasta que se haga una nueva investigación sobre el tema▫ La toma de decisiones no tiene datos actualizados
• Los análisis y las métricas, producto de la investigación que realizamos, se programan como opciones de aplicaciones computacionales que permiten replicar lo investigado con nuevos datos producto de las transacciones en el sistema de términos futuros▫ La toma de decisiones se hace con datos
actualizados
Investigación Institucional para la Toma de Decisiones Informadas I2TD
Nuestra Posición
¿Qué hacemos para recuperar, organizar, analizar y
presentar los datos como información para la investigación?
• Validamos los datos institucionales recuperados del sistema de la universidad (Banner en la UIPR)
▫ se diseña y se valida un “query” para cada programa de aplicación que realiza la búsqueda en la base de datos
▫ los extractos de la base de datos, generados por el “query”, se convierten en las variables de interés para la investigación
▫ se buscan patrones en las variables con diferentes estrategias
• Relacionamos los datos y patrones obtenidos en la investigación con modelos cuantitativos tomados de disciplinas como la estadística, la economía, la epidemiología y la biología de poblaciones
¿Qué hacemos para recuperar, organizar, analizar y
presentar los datos como información para la investigación?
• Programamos en Visual Basic los análisis y resultados de las investigaciones para convertirlas en opciones de los programas de aplicación computacional
• Estos programas, que operan sobre MsExcel, entregan los resultados en hojas de cálculo para que los usuarios puedan explorar y manipular los resultados desde otra óptica
utilizar tablas o gráficas para informes
exportar tablas a otros programas, por ejemplo, SPSS para un análisis estadístico avanzado
¿Qué postura asumimos ante la tecnología?
No tiene que ser un Gurú
• Las aplicaciones deben ser accesibles a cualquier usuario con conocimiento básico de la computación▫ la curva de aprendizaje en el uso de los programas no debe ser
muy escarpada ▫ el uso de interfaces conocidas permite la productividad en poco
tiempo
• Muchos, de una forma u otra, conocen las aplicaciones de productividad de Microsoft Office▫ el más experto puede manipular las tablas y gráficas para darles
nuevos significados▫ el personal de apoyo puede copiar tablas y gráficas para
integrarlos en documentos en Word o presentaciones en PowerPoint
¿Qué información relevante podemos extraer de las
bases datos transaccionales de las universidades?
Información y la gerencia académica universitaria Cantidades totales y por categorías
• ¿Qué por ciento representan los estudiantes que han declarado el BA en Justicia Criminal del total de estudiantes matriculados en el Recinto en los últimos cinco años?
Características asociadas a poblaciones• La literatura sostiene que los estudiantes cuyos padres tienen
estudios universitarios tienden a persistir en mayor por ciento
¿Nuestros estudiantes exhiben ese mismo patrón?
Características temporales• ¿Cuál es la tendencia (ascendente, descendente u oscilatoria)
temporal de la puntuación promedio en la prueba de aprovechamiento en español de los estudiantes que se han matriculado en el Recinto por los últimos 15 años?
¿Qué información relevante podemos extraer de
los datos transaccionales en las universidades?
Información para el éxito estudiantil y la retención ▫ Asociar el desempeño académico y la deserción ¿Quiénes son los estudiantes que, luego de su primer año de estudio
y a base de su desempeño académico, están en riesgo de no cumplir con la Norma de Progreso Académico Satisfactorio (NPAS) al finalizar el segundo año?
Los estudiantes identificados en riesgo de no cumplir con la NPAS pueden ser intervenidos antes de que experimenten el evento
▫ Evaluar la efectividad de proyectos que buscan el cambio en los patrones históricos de la retención ¿Cuál es el cambio (positivo o negativo) en el patrón de la retención
semestral de una cohorte después de la implantación en el Recinto de un proyecto especial para incrementar la misma?
¿Qué hemos desarrollado en I2TD?
Aplicaciones desarrolladas (2007 al presente)
▫ cITrAp versión 1.5 por Recinto: aplicación computacional para estudiar el trasfondo académico de los estudiantes de nuevo ingreso de acuerdo a la escuela tributaria y el programa de estudio seleccionado en la admisión desde el año 1995
▫ ERDU primera fase: aplicación computacional para estudiar el desempeño universitario y la retención mediante el seguimiento longitudinal semestral de los estudiantes de diferentes cohortes desde el año 1995
• Proyecto Colaborativo Recintos de la UIPR:▫ Entre la Vice Presidencia de Asuntos Académico, el recinto de
Arecibo y los Recintos de Bayamón, Fajardo, Guayama y San Germán
Prof. Nicolás Ramos y Dra. Mérida Mercado – Investigadores y DesarrolladoresSr. Héctor Rosa Zeno – Programador y Desarrollador
Ejemplos cITrApPatrones temporales para identificar tendencias
¿Qué debe hacer la facultad del programa con esta información?
458
416
507
403
459
493
454436
460
502
395
493 500
437
478
495481
489 485 486 486 484 487 483 480 483 481470
438
300
320
340
360
380
400
420
440
460
480
500
520
540
1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010
Ap
titu
d e
n M
ate
má
tic
a
Año Académico
Gráfica: Serie de Tiempo Aptitud en Matemática Programa Computación Fiscal Recinto XComparación entre la media anual y cronológica del Programa con la media de todos los Programas
y la media anual de la prueba del CEEB en Puerto Rico.
Media aritmética anual en la prueba de Apt. Mat. del Programa
Media cronológica del Programa en la prueba (458)
Media acumulada de todos los Programas (478)
Media anual del CEEB en Puerto Rico
Ejemplos cITrAp
Índices para establecer comparación entre escuelas o programas
Índice de Trasfondo Académico (ITA)
El ITA adscribe criterios de calidad a las escuelas (y programas) según el trasfondo académico de los estudiantes que matricula la universidad de las mismas
La construcción de este índice se basó en la
metodología para la calificación de la economía de
los países del mundo del proyecto Doing Business
del Grupo del Banco Mundial, y se adaptó al
propósito académico de nuestro estudio.
Tabla: Escalafón de las escuelas
tributarias a base del ITA en el Recinto X
Escuela Tributaria ITAEstudiantes
1996-2010Posición
PR 1 H.S.98.31%
352 1
PR 2 H.S. 78.04% 125 2
PR 3 H.S.75.13%
36 3
PR4 H.S. 61.41% 191 4
… … … …
PR8 H. S. 50.59% 1,239 8
PR9 H.S. 43.09% 528 9
PR10 H.S. 41.79% 971 10
¿Qué debe evaluar la universidad cuandoorganiza estrategias de reclutamiento?
(http://www.doingbusiness.org/documents/how_to_aggregate.pdf ).
Ejemplos- ERDU Fase 1
Riesgo y asociación entre no cumplir con la Norma de Progreso
Académico Satisfactorio y la no persistencia
Tabla: Relación entre la no persistencia y la persistencia a base del requisito de alcanzar el índice académico
mínimo de 2.00 en 199710 (semestre 3) de los estudiantes admitidos en la cohorte de agosto de 1995 en el
Recinto X.
Criterio de ClasificaciónNo cumple con alcanzar un índice
académico mínimo de 2.00
Cumple con alcanzar un índice académico
mínimo de 2.00Totales
No Persiste 136 89 225
Persiste 89 479 568
Totales 225 568 793
Odds Ratio Calculado = 8.22
Intervalo de Confianza del Odds Ratio al 95%
Valor Inferior Valor Superior
Odds Ratio = 5.79 Odds Ratio = 11.67
Ejemplos- ERDU Fase 2
Modelo cuantitativo para evaluar lineamientos, estrategias y
acciones encaminadas a mejorar la retención
• Los lineamientos institucionales establecidos, las estrategias derivadas de éstos y las acciones implantadas para incrementar la retención, ¿han logrado los resultados esperados?
• ¿Qué evidencia necesitamos sobre la cohorte intervenido?▫ A. un cuestionario de satisfacción
▫ B. cantidad de estudiantes que asistieron a los talleres
▫ C. relato de experiencias de los participantes de los proyectos
▫ D. cantidad de estudiantes de la cohorte que permanece matriculado
• Responder a este cuestionamiento a profundidad requiere de un referente de comparación cuantitativo validado por el comportamiento histórico de las cohortes previas
¿Cuál es la curva?
0
100
200
300
400
500
600
700
800
900
1000
0 1 2 3 4 5 6 7 8 9 10 11 12
Ago 1995
Ago 1996
Ago 1997
Ago 1998
Ago 1999
Ago 2000
Ago 2001
Ago 2002
Ago 2003
Ago 2004
Gráfica 3: Comportamiento histórico de la retención semestral de las cohortes de
agosto de 1995 al 2004 por doce semestres en el Recinto X.
¿Romper la curva?
1057
917
761
675
575
519
467
402
346
262
211
159
1057
935
792
715
634
596
547
487
440
353
305
249
0
200
400
600
800
1000
1200
0 2 4 6 8 10 12
Ago2010 Media
Ago2010 media + 1 DS
Gráfica: Predicción del comportamiento de la retención de la cohorte de agosto 2010
de 1,057 estudiantes a base del modelo media semestral de la tasa de supervivencia y
una desviación estándar por encima de esa curva.
↙Curva con una DS, se tiene que superar
Curva basada en el comportamiento histórico de la supervivencia ↗
¿Cómo se integra la analítica académica en la toma
de decisiones?
• Análizar datostransaccionales
• Identificar e interpretarpatronessignificativos
• Construirmodelosclasificatorios y predictivos
Investigación
• Organizar datos• Calcular indicadores
numéricos• Construir gráficas• Facilitar el análisis
longitudinal
Desarrollo de Aplicaciones
• Evidencia parainformes
• Acciones basadas en características y modelos predictivos
• Evaluaciones de efectividad con indicadores y modelos
Información paraDecisiones
Informe Ejecutivo:
Análisis cronológico del trasfondo académico de los
estudiantes de nuevo ingreso matriculados en el Recinto
de Arecibo, desde el año académico 1995-1996 al 2006-
2007, por programa académico y escuela tributaria.
(publicado: junio de 2008)
http://www.arecibo.inter.edu/biblioteca/pdf/resumen_ejecutivo_i2td.pdf