Programa Graduado Sistemas de Instrucción y Tecnología Educativa

Evaluación Formativa de Materiales Interactivos de Adiestramiento

Carlos Muñiz / Elvin O. Candelaria / Santia E. Velázquez Vera

Dra. Rosa Ojeda - EDU 618

Introducción

Presentación basada en el capítulo 7 del libro Formative Evaluation for Educational Technologies de Barbara N. Flagg.

Caso: Interactive Training Materials

¿Por qué SANDY Corporation?Compañía dedicada al adiestramiento de

personal y a las comunicaciones desde 1984.

Sus equipos han encontrado métodos de evaluación efectivos para llevarse a cabo durante el proceso de desarrollo.

Ha desarrollado programas interactivos para las 100 compañías de mayor prestigio según la revista FORTUNE.

Para hacer el escogido de estas compañías, la revista FORTUNE se une a “Great place to work Institute” quienes llevan a cabo la encuesta empresarial más grande e importante. Esta encuesta refleja la voz de los empleados mediante 57 preguntas.

Por ejemplo, el año pasado se contactaron 1,500 empresas y sólo 407 respondieron. De éstas, GOOGLE obtuvo el primer lugar.

Videodisco interactivoVideodisco interactivoProceso de desarrollo

Proceso de desarrolloEstudiar el proceso antes de discutir las

técnicas de evaluación.

Recuerdar que el videodisco es la integración del uso de la computadora, audio y video.

Este proceso requiere planificación, análisis, creatividad y ejecución del diseño.

Para que sea efectivo, el tiempo debe ser apropiado.

Tener muy claro el proceso de las 13 fases.

Lo que explicó el cliente

Lo que se entendió

Cómo el experto lo

diseñó

Lo que hizo el programador

Lo que describió el consultor

Cómo se documentó Lo que se creó

Lo que pagó el cliente

Lo que entendió la audiencia

Lo que se necesitaba en

realidad

¿Qué se espera?¿Qué se espera?

Definir las metas, contexto

y especificacione

s técnicas

Diseñar lo que se pideNuevo

contenido y necesidades

revisadas

Diseño e implementación

Diseño revisado

Producto efectivo y fácil

de usar

Conceptos y visualización Prototipo

Evaluación

Conozca las

necesidades

Storyboard o

prototipo

Pruebas guiadas

Lista de cotejo o flujograma

Presentación del producto final

Uso efectivo

Resumen

1

2

34

5

Las 13 fases del proceso de desarrollo

Llevar a cabo el lanzamiento del proyecto

Llevar a cabo el lanzamiento del proyecto

Llevar a cabo el análisisLlevar a cabo el análisis

Establezaca los criterios de evaluación

Establezaca los criterios de evaluación

Prepare el plan de implementaciónPrepare el plan de implementación

Diseñe la aplicaciónDiseñe la aplicación

Enlace los elementos computadorizados

Enlace los elementos computadorizados Produzca el videoProduzca el video

Mezcle y realice pruebasMezcle y realice pruebas

Valide el programa y haga revisiones finales

Valide el programa y haga revisiones finales

Manufactura y copiasManufactura y copias

Implementación y presentaciónImplementación y presentación

EvalúeEvalúe

MantenimientoMantenimiento

Todos los participantes del proyecto participan en reunión para la aprobación final de la oferta.

En ésta, se inician las metas del programas a ejecutar, discusión del proceso de desarrollo, asignación y clarificación de roles y responsabilidades, así como, el horario programado.

Exige trabajo colaborativo.

Se establecen los requisitos del programa.

Se definen y organizan las metas, estrategias, y contenido del programa.

Se conducen las entrevistas e investigaciones a determinar:- Necesidades de la audiencia- Perfiles de la audiencia- Tareas y secuencia de tarea- Investigaciones de artículos, y otras asuntos de ambientes de aprendizaje.

Se identifican las metas en su totalidad.

Los patrones de pruebas se establecen para medir la efectividad del proyecto.

Se estudia el costo por hora, eficacia y la aceptación del estudiante.

Documentación de la audiencia, las estrategias, y las herramientas a entregar.

Se dirige hacia la preparación del inicio del proyecto.

Se definen los objetivos medibles y el contenido en cada segmento.

Se establece un plan de prueba del programa.

Se utilizan elementos discretos de los medios, incluyendo el guión, video y audio, actividades computarizadas, y la estructura del programa.

Finalmente, se inicia la integración de los componentes en un “storyboard” o narrativo, lo que dará pie a la toma de decisiones.

Fase de ProducciónLuego del proceso tantoevaluativo como narrativo,los componentes de los medios computarizados semezclan para crear lasprimeras imágenes. Estasprimeras producciones seintegran para seguircualquier dato de lainformación requerida.

Producción de VideoAquí se aplica todo el

análisis y desarrollo del diseñ0

Incluye todas las fases de producción.

Planificación de la geografía del video (minimiza tiempo de búsqueda) Computadora/Video/Audio

Unión y Prueba

Los componentes de lacomputadora y del videodisco son mezclados, verificando la secuencia y ramificación.

El texto se conduce según el plan de prueba desarrollado durante la fase de diseño y también incluye corregir las imágenes. Se verifica la logística del programa.

Validación y Revisión FinalAnalista

Usuarios RepresentantesRevisiones

en Resultado

s

+- +

Manufactura y CopiasVideodiscos

Disco de programación

Materiales del usuario que se pondrán en práctica.

Preparar las guías de la documentación del programa.

Implementación y EntregaSe le presenta el programa a los usuarios de la audiencia.

Lo ponen en práctica, según desarrollado en la fase 4.

Lleve a cabo la evaluaciónSe mide el logro de las metas totales del proyecto, usando los patrones de pruebas fijadas en la evaluación de la fase 3.

Análisis de los informes generados por los componentes del mantenimiento de registros del programa.

La colección de datos de las técnicas, tales como; Exámenes Entrevistas Sesiones del grupo

Mantenimiento del Programa

Depuración, revisión.

Actualizaciones apropiadas para el lanzamiento del programa a los usuarios finales.

Evaluación formativa dentroEvaluación formativa dentrodel proceso de desarrollodel proceso de desarrollo

Fases

Avalúo de necesidades

Evaluación formativa de

la preproducción

Evaluación formativa de la

producción

Avalúo de necesidadesAquí el programa toma forma de acuerdo al

bosquejo. Se organiza por temas y subtemas.

Comprensión:

¿Qué información es extraña? ¿Qué falta?

¿Tiene secuencia?

¿Hay opciones para el usuario?

Interactividad:

¿El usuario se siente cómodo? ¿El programa ejerce control?

¿El usuario puede aumentar el nivel de dificultad?

Grupo Focal

Funciones del grupoReflejar sus

paricularidades acerca del producto.

Organizar los tópicos en orden de importancia.

Añadir tópicos si era necesario.

Resultado: Sugirieron que el material presentado se colocara completo para que la parte de adiestramento en mercadeo incorporara todos los tópicos así como casos hipotéticos; y que una demostración se colocara separada como apoyo.

Funciones del grupoInteractividad:

(sugerencias)

No solamente flexible, sino activo.

El mismo material para adiestramiento, demostraciones y audiencia general.

Debe incluir diversos audios dirigidos a cada audiencia.

El usuario debe tener la opción de encender y apagar el audio.

Evaluación formativa de la Evaluación formativa de la preproducciónpreproducción

Primer prototipoDurante la fase de diseño se hace un examen

detallado del contenido y visuales a través de un “storyboard” o narrativo.

Este narrativo debe presentar lo que el aprendiz experimentará de manera secuencial.

Puede incluir:

Texto Gráficas Audio

¿Qué se evalúa?Comprensión: ¿El método de

presentación se entiende y es consistente?

¿ El usuario es capaz de seguir la secuencia de un segmento al otro?

Interactividad: ¿Pueden

entender cómo moverse hacia dónde desean?

¿El nivel de control y movimiento, ¿es poco o demasiado?

Apariencia: ¿Es atractivo a

la audiencia?

¿Logra comprometerse la audiencia?

La mezcla de elementos tecnológicos, ¿es variada?

Metodología:Metodología: Atención individualOne-on-One walk-through

Evaluador Evaluador Evaluador Evaluador

Tono de voz

Tiene que ser evaluado.

Puede afectar la comprensión y la apariencia.

Narrativo FinalNarrativo Final

EjemplosPueden variar de acuerdo al proyecto, sistema de autor, lenguaje o programa.

Debe incluir...Texto

Visuales

Descripción del movimiento

Interactividad

Enlaces

¿Qué se evalúa?Comprensión:

¿La información y el contenido están claros y fácil de recordar?

¿ Se cumplen los objetivos?

Las instrucciones y los ejercicios están claros?

Interactividad:

¿Los participantes son capaces de moverse a través del programa?

¿Cómo responden al nivel de interactividad?

Apariencia:

¿Los usuarios disfrutan del programa?

¿Se quedan interesados?

¿Encuentran retos?

¿Qué hacer? Utilizar nuevamente la metodología 1-1.

Actividades computadorizadas más completas.

El evaluador provee los enlaces no incluídos.

Los participantes deben hacer selecciones y tomar decisiones en cada ramificación.

El evaluador describe con más detalles el lugar o ambiente y los personajes.

El usuario trabaja por una hora y pasa dos con el evaluador.

Interactividad

VS

Aunque no hubo una interactividad “real” a través de las opciones de las ramificaciones en el narrativo, pudieron presentar insumos para el diseño final.

Quejas frecuentes

Instrucciones no precisas.

Fraseo o léxico equivocado.Personajes o casos no

reales.Idioma o sincronía de voz.SecuenciaInteractividad por ser en

papel.No permite regresar a

temas previos.Falta de orejitas o “hints”.

Lo que gustó

Estructura Segmento de preguntas Retroalimentación inmediata. Valoración, sentirse parte del

proceso.

Verificación del disco Esta versión debe ser en

un disco barato. Debe pasar por dos

evaluaciones formativas: En el lugar de desarrollo En el lugar del cliente.

¿Qué se evalúa?Comprensión:

¿El programa es claro, definido así como sus ejercicios, estructura y sus niveles?

¿Les interesa salir a probar las nuevas técnicas?

Interactividad:

¿Los participantes son capaces de interactuar a través del programa?

¿Cumple con las necesidades?

¿Aprende el usuario?

Apariencia:

¿Los usuarios disfrutan del programa?

¿Mantienen el interés?

¿El tono de voz es adecuado?

Métodos de evaluación Recolección de datos

Observación Si se estancan Si omiten partes o

ejercicios.

Cuestionarios

Mapa de progreso

Anotaciones

Otros

Resultados según categorías

8 personas / 1h30 min con el programa / 30 mins con evaluador

CategoríasTiempo y Dinero

• Instrucciones más detalladas

• Diferentes formatosreferentes a las

preguntas

Interactividad de videos

Toque de pantalla

Conclusión Asuntos de comprensión, instrucciones o apariencia pueden ser evaluados en papel; pero la evaluación a la parte interactiva, cuesta.

Es importante recopilar información durante el desarrollo. Sin embargo, la retroalimentación y patrones encontrados tienen igual relevancia.

La evaluación formativa en una herramienta importantísima para obtener el potencial deseado. No obstante, las dificultades son primordiales para esa perfección.