Universidad de Guadalajara - Desde el IGCAAV · CATALDI Zulma, (2000), Metodología de diseño,...

Criterios de evaluación para

materiales educativos digitales

M. En I.S.C Irene Aguilar Juárez

Universidad de Guadalajara

Abril 2012

DOCTORADO EN SISTEMAS Y AMBIENTES EDUCATIVOS

Contenido

Conceptos

Clasificación

La necesidad de la Evaluación de Calidad

Criterios para los materiales educativos

digitales

Ejemplos

2 Irene Aguilar Juárez

La teoría de la actividad instrumentada

Vygotsky propuso que los procesos mentales

superiores se consideran funciones de la

actividad mediada, de esta manera establece

tres clases de mediadores: instrumentos

materiales, instrumentos psicológicos y

otros seres humanos

Irene Aguilar Juárez 3

Instrumentos materiales: Los instrumentos materiales solo tienen una influencia indirecta sobre los procesos psicológicos humanos, porque se dirigen a procesos de la naturaleza.

Los instrumentos psicológicos: Mientras que los instrumentos materiales se dirigen a objetos de la naturaleza, los instrumentos psicológicos median entre los propios procesos psicológicos de los seres humanos

Mediación de otra persona: Se proponen dos enfoques posibles. El nivel interpsicológico y el nivel intrapsicológico. El segundo enfoque centra el papel de la otra persona como mediadora de significados


La teoría de la actividad instrumentada


Situación de actividad instrumentada (IAS)

La línea punteada intenta explicar como el sujeto se

apodera del objeto a partir de la mediación del

instrumento.

Los materiales educativos como Instrumento psicológicos

Se trata de recursos culturales simbólicos –signos,

textos, fórmulas, fundamentalmente el lenguaje -

que nos permiten dominar funciones psicológicas

como la memoria, la percepción y la atención de

maneras que resulten adecuadas en nuestras

culturas


Si un instrumento material ayuda a controlar

procesos internos de la mente como las

funciones psicológicas superiores, entonces el

instrumento no será material, sino psicológico

Modelo de mediación ampliado


Artefacto mediador

Sujeto Objeto

Reglas Comunidad

División del

trabajo

Choque Larrauri (2009)

Los resultados de esta interacción parten de un

proceso colectivo donde no únicamente participan los

usuarios, sino que también el artefacto contribuye

Ventajas del Material didáctico

Generan interés en el alumno

Estimulan la motivación y curiosidad

Promueven trabajo colaborativo

Permiten la experimentación con modelos análogos a la realidad,

Facilitan la simbolización y abstracción de relaciones entre conceptos

Proveen medios para ejercitar o evaluar nuevos aprendizajes.


Clasificación de los materiales didácticos

Materiales

convencionales

Impresos (textos): libros, fotocopias, periódicos, documentos...

Tableros didácticos: pizarra, franelograma...

Materiales manipulativos: recortables, cartulinas...

Juegos: arquitecturas, juegos de sobremesa...

Materiales de laboratorio...

Materiales

audiovisuales

Imágenes fijas proyectables (fotos): diapositivas, fotografías...

Materiales sonoros (audio): casetes, discos, programas de radio...

-Materiales audiovisuales (vídeo): montajes audiovisuales, películas, vídeos,

programas de televisión...

Nuevas

tecnologías

Programas informáticos (CD u on-line) educativos: videojuegos, lenguajes de

autor, actividades de aprendizaje, presentaciones multimedia, enciclopedias,

animaciones y simulaciones interactivas...

Servicios telemáticos: páginas web, weblogs, tours virtuales, webquest, cazas

del tesoro, correo electrónico, chats, foros, unidades didácticas y cursos on-

line... TV y vídeo interactivos.


Clasificación de los recursos educativos (Marqués Peré , 2011)

Impresos: libros de texto, cuadernos de ejercicios, manuales

Equipos: grabadora, televisión, radio.

Material manipulable: globos terráqueos, microscopios, instrumentos de medición, maquetas y modelos físicos

Audiovisuales e Informáticos: software educativo, animaciones, simuladores, calculadoras, presentaciones, enciclopedias digitales


Clasificación de los materiales didácticos

Clasificación de los recursos educativos (López Regalado, 2011)


Clasificación de los Materiales educativos por soporte físico y nivel de agregación

La calidad en los MED

La familia de normas ISO (ISO 9000:2000) lo define como el grado en que un conjunto de características inherentes cumple con unos requisitos.

La Real academia Española define la calidad como: “Propiedad o conjunto de propiedades inherentes a una cosa que permite apreciarla como igual, peor o mejor que las restantes de su especie.”

La Sociedad Americana para el Control de Calidad (A.S.Q.C.) define la calidad como: “Conjunto de características de un producto, servicio o proceso que le confieren su aptitud para satisfacer las necesidades del usuario o cliente”.

16/05/2012 12 M en ISC Irene Aguilar Juárez

Evaluación de la calidad en materiales didácticos

digitales

Ruiz Velasco (consultado 2010) define al

contenido digital de calidad a “aquel que

satisfaga en su información, los siguientes

atributos inherentes a su producción:

accesibilidad, interactividad, seguridad,

riqueza multimedia, contextualización y

subjetividad.”


Propiedades de los materiales educativos

digitales 1. La presencia del hipertexto como un sistema

hipotético de organización de documentos no

secuenciales

2. El concepto de la multimedia que se puede definir

como un dispositivo o conjunto de dispositivos

(software y hardware) que permiten integrar

simultáneamente diversos formatos de información:

textual, gráfica, audio y video.

3. La interactividad que se puede definir como el nivel

de respuesta de la máquina que permite al alumno un

cierto grado de control sobre el proceso de

aprendizaje. (Area Moreira, 2009)



Limitaciones actuales de los REA

1. La falta de exhibición de contenidos de aprendizaje abierto a través de sitios

muchas veces desconectados

2. La falta de mecanismos adecuados y abiertos para entrega de OER o libros de

texto abiertos en paquetes de agregación para la reutilización.

3. Un desnivel en la calidad de todo el espectro de la producción de contenido de

aprendizaje;

4. Una inconsistencia en la calidad de los contenidos de aprendizaje abierto.

(Reynolds Rob, 2012)

Ejemplo sobre evaluación de la calidad sobre libros de

texto

Las características que los textos impresos deben poseer según la recomendación de Bernard (1976: 10 y ss.) citado por Méndez Garrido (2011), son:

“1) Objetivos, o lo que es igual, apoyarse en aspectos claramente observables y mensurables, que eviten peligrosos subjetivismos.

2) Flexibles, en el sentido de que puedan adaptarse a la diversidad de niveles educativos y materias.

3) Operables, o lo que es igual, expresados en normas concretas de aplicación.

Los criterios que puede proporcionar la didáctica general (actividad, funcionalidad, objetividad, etc.), aunque válidos, resultan por sí solos insuficientes.”


Relación entre características de los textos y los factores del

aprendizaje afectados (Méndez Garrido, 2011)

Características del Texto

Factores del aprendizaje afectados

Mo

tiva

ció

n

Man

ten

imie

nto

de la a

ten

ció

n

Dir

ec

ció

n d

e

la a

ten

ció

n

Ac

ce

sib

ilid

ad

Co

mp

ren

sió

n

Re

ten

ció

n

Tra

ns

fere

nc

ia

Organizadores previos

*Lecturabilidad *(legibilidad)

Estilo de lenguaje

Densidad de Información

Material accesorio

Ilustraciones

Preguntas

Feed-back

Resúmenes

Tipos de letras

Usos de colores

Características físicas


Criterios de Evaluación para software educativo

“interesan analizar cuidadosamente los siguientes:

la modalidad elegida,

el rol que desempeña el evaluador en el proceso, el comportamiento del producto,

el uso del producto para lograr los objetivos,

el enfoque pedagógico empleado,

las actividades cognitivas que persigue,

los recursos empleados y

el avance de los conocimientos por parte del alumno”,

(Gorga y cols. 2003).


“Por lo tanto, se puede afirmar que resulta

necesario que exista una valoración diferente

en la evaluación que se realiza, dependiendo

del rol que juega el evaluador en el proceso de

enseñanza/aprendizaje”, (Gorga y cols.,

2003)


Tres dimensiones básicas para evaluar software

educativo

La dimensión pedagógica

La matriz de evaluación

La dimensión de interfaz de usuario.

Reeves [1993, 1997] citado por Cataldi y cols. (2002)


Los especialistas interesados en la evaluación de estos

materiales según Olivares y cols. (1990) citado por

Cataldi y cols. (2002) pueden ser especialistas

informáticos, especialistas en comunicación, docentes y

alumnos,

Otro enfoque:

Evaluación como parte de la metodología de desarrollo

“MEMS (Metodología para Elaborar Multimedia a nivel Sistémico ) considera tres tipos de soportes electrónicos o digitales:

1- Un Sistema Multimedia Educativo (SME).

2- Un Sistema Hipermedia Educativo (SHE)

3- Un Sistema Modular Multimedia Educativo (SMME)

Esta Metodología Comprende 7 Etapas:

1- Organización

2- Planificación

3- Diseño

4- Desarrollo

5- Producción

6- Validación

7- Evaluación

(Muñoz Henríquez, 2000)



La etapa de evaluación se relaciona solo con el educando y comprende tres fases:

Evaluación del prototipo en educandos y/o integrantes del proceso, en esta etapa los criterios observados y evaluados son los siguientes: ◦ - Funcionalidad y receptividad de la interface.

◦ - Transparencia de contenidos del prototipo (perceptividad y receptividad).

◦ - Efectividad de la interactividad e interconexión del sistema.

Rectificar

Métricas de evaluación basada en el estándar

ISO 9126 (Abud Figueroa (2005)

Factores de calidad según el

estándar ISO 9126

Mayor importancia 1. Usabilidad

2. Funcionalidad

3. Eficiencia

Menor importancia 4. Confiabilidad

5. Mantenibilidad

6. Transportabilidad

Aspectos del software

educativo

Mayor importancia

Menor importancia

1. Pedagógico

2. Interfaz H-M

3. Contenido

4. Técnico


Abud Figueroa (2005) propone una

escala para criterios binarios y

multinivel en la que asigna:

• 40% para el aspecto pedagógico,

•36% para la interfaz humano-

computadora,

•12% para el contenido y

•12% para el aspecto técnico.

Por último establece una escala de

aceptabilidad que van del 0 a 3,

basada también en los rangos de

satisfacción que establece el

estándar ISO9126

Propuesta de evaluación de OA Ruiz y cols (2011)

Aspecto del OA Número de

Indicadores

Puntaje

máximo

Puntaje mínimo

para considerarse

aceptable

Pertinencia de Contenidos 14 42 25

Diseño estético 9 27 16

Diseño instruccional 7 21 13

Total 30 90 54


Tabla 3: Análisis del Formato de evaluación de Objetos de Aprendizaje propuesto por Ruiz y cols (2011)

Comparativa entre propuestas Autor (es)

Instrumento de

evaluación Evaluadores Momento de evaluación Dimensiones a evaluar

Go

rga y

co

ls

(2003)

Planillas

Instrumentos diferenciados

para:

Alumnos

Docentes

Después de usar el software

Modalidad,

seguimiento y control del alumno

Aspectos técnicos(diseño,

estructura y funcionalidad del

software

Reev

es

(1993,1

99

7)

cit

ad

o

po

r

Cata

ldi

y

co

ls. 2002

Una Lista de preguntas

por cada dimensión

Especialistas Informáticos

Especialistas en

comunicación

Docentes

Alumnos

Después de usar el software

Dimensión pedagógica

Matriz de evaluación

Dimensión de la interfaz de usuario

Mu

ño

z

Hen

ríq

uez

(2000)

No se especifica Alumnos En la producción del software

Funcionalidad y receptividad de la

interface

Transparencia de contenidos del

prototipo

Efectividad de la interactividad e

interconexión del sistema.

Ló

pez, M

estr

e y

Sán

ch

ez (

2007)

Evaluación de

reusabilidad

Lista de factores con

puntaje por categoría

Investigadores Después de la publicación del

OA

Metadatos

Independencia entre presentación y

contenidos

Granuralidad

Interacción persona-OA

Generalidad del lenguaje y

elementos de la interfaz

Organización de contenidos

Uniformidad de presentación

Ru

iz,

Mu

ño

z y

Álv

are

z

(2007)

Formato tipo lista con

división por dimensión Especialista Después de la publicación

Pertinencia de los contenidos

Diseño estético

Diseño Instruccional

Ab

ud

Fig

uero

a

(2005)

Formato con criterios y

puntajes establecidos Investigador Después de usar los OA

Pedagógico

Interfaz H-C

De contenido

Técnico


EVA EVA tipo I: entornos donde se presentan y

desarrollan contenidos de aprendizaje para alumnos y docentes en formatos multimedia e hipermedia que promueven el autoaprendizaje

EVA tipo II: entornos para presentación y desarrollo de contenidos de aprendizaje con formato multimedia e hipermedia para docentes y alumnos en situación presencial.

EVA tipo III: entornos educativos de propuesta e-learning.


Evaluación de EVA (Barbera y cols, 2004)

Tipo de usuario Aspecto

Plano

Tecnológico Pedagógico

Diseñadores Diseño

Uso

Usuarios

(docentes y

alumnos)

Diseño

Uso

Evaluadores

expertos

Diseño

Uso


Conclusiones La evaluación de calidad de materiales

didácticos permite:

identificar los beneficios de su uso en el aprendizaje,

ampliar la confianza en los modelos mediados por tecnología.

facilitar la toma de decisiones sobre el diseño instruccional, la producción de materiales didácticos y la implementación de los modelos pedagógicos


Para la evaluación de los materiales

didácticos es conveniente tomar en

cuenta varias dimensiones contextuales

como : el modelo pedagógico, el nivel

académico, el rol del usuario (docente,

alumno, evaluador), la interactividad, el

uso de la multimedia, y las tecnologías de

comunicación.


Bibliografía AREA Moreira Manuel (2009),”Manual electrónico Introducción a la Tecnología educativa”, Universidad de la Laguna, [consultado: diciembre 2011].

Disponible [On- Line] webpages.ull.es/users/manarea/ebookte.pdf

CATALDI Zulma, (2000), Metodología de diseño, desarrollo y evaluación de software educativo, Tesis de Magíster en Informática. (Versión resumida),

Facultad de Informática. UNLP, [consultado: diciembre 2011]. Disponible [Online] http://laboratorios.fi.uba.ar/lsi/cataldi-tesisdemagistereninformatica.pdf

CATALDI Zulma, Lage F, Pessac R y García Martínez R, “Ingeniería del Software Educativo”, Centro de Ingeniería del Software e Ingeniería del

Conocimiento, Universidad de Buenos Aires, [consultado: junio 2011]. [On-Line]

BARBERÀ, Elena et al. (2004). “Pautas para el análisis de la intervención en entornos de aprendizaje virtual: dimensiones relevantes e instrumentos de

evaluación” [documento de proyecto en línea]. IN3:UOC. (Discussion Paper Series: DP04-002) [Fecha de consulta:

15/11/2011]http://www.uoc.edu/in3/dt/esp/barbera0704.html

LÓPEZ Regalado (1981), “Medios y Materiales educativos”, Universidad Nacional “Pedro Ruiz Gallo”, Facultad de ciencias Histórico Sociales y Educación,

[consultado: junio 2011]. [On Line] http://writer.zoho.com/public/adrysilvav/los-medios-y-materiales-educativos-2/noband

LÓPEZ María Gertrudis, Maestre Escalante Antonio J., Sánchez-Alonso Salvador, (consultado 2011),”Reusabilidad de los Objetos de Aprendizaje

almacenados en Repositorios de Libre Acceso”, IV Simposium Pluridisciplinar sobre Diseño, evaluación y desarrollo de contenidos educativos reutilizables

(SPDECE), Bilbao 2007, [consultado: diciembre 2011]. disponible [On-Line] http://spdece07.ehu.es/actas/Lopez.pdf

ISO International Organization for Standarization (2011), Sitio official, standard ISO 25000, [consultado: enero 2012]. disponible [On -Line]

http://www.iso.org/iso/iso_catalogue/catalogue_tc/catalogue_detail.htm?csnumber=35683

MARQUÉS Pere, (2011), “Los recursos didácticos: concepto, taxonomías, funciones, evaluación y uso contextualizado”, sitio Web, [consultado: diciembre

2011]. [On-Line] http://dl.dropbox.com/u/20875810/personal/temas2/t2.html

MUÑOZ Henríquez, LedaMaría, (2000) Metodología para elaborar multimedia a nivel académico (MEMS), Universitat de Barcelona, Jornadas Multimedia

Educativo Barcelona 2000, En: Multimedia Educativo 2000. II Jornadas Multimedia Educativo Barcelona julio 2000, [consultado: diciembre 2011], disponible

[On-Line] http://biblioteca.universia.net/html_bura/ficha/params/title/metodologia-elaborar-multimedia-nivel-academico-mems/id/38111252.html

OVELAR Ramón, Monge Sergio, Azpeitia Iker. (Consultado 2011) Identificación de Buenas Prácticas en la Creación, Uso, Modificación, Distribución y

Promoción de Objetos y Diseños de Aprendizaje”, Campus Virtual de la UPV-EHU, disponible [On-Line]

http://www.sergiomonge.com/doc/ComHeziker2006.pdf

PRENDES Espinosa Mª. Paz, Martínez Sánchez Francisco, Gutiérrez Porlán Isabel, (2008), “Producción de material didáctico: Los objetos de Aprendizaje”,

Universidad de Murcia (España), I.S.S.N.: 1138-2783, disponible [On-Line] http://www.utpl.edu.ec/ried/images/pdfs/volumen11/Martinez-Prendes.pdf

RUIZ González, Muñoz Arteaga, Álvarez Rodríguez, (consultado 2001), “La calidad de los objetos de aprendizaje” disponible [On-Line]

http://ixil.izt.uam.mx/pd/lib/exe/fetch.php/art3tatoaje4to.pdf

RUIZ González Muñoz Arteaga, Álvarez Rodríguez, (2007), “Evaluación de Objetos de Aprendizaje a través del aseguramiento de competencias educativas”,

Virtualeduca Brasil 2007, [consultado: diciembre 2011]. [On- Line] http://e-spacio.uned.es/fez/eserv.php?pid=bibliuned:19233&dsID=n03ruizgonz07.pdf

RUIZ –Velasco Sánchez Enrique, (consultado 2011), “Elementos para orientar el uso y la producción de contenidos digitales con certidumbre y calidad”,

CESU-UNAM, [consultado: diciembre 2011], [On-Line] http://bibliotecadigital.conevyt.org.mx/colecciones/documentos/somece/09.pdf


http://spdece07.ehu.es/actas/Lopez.pdf

http://www.iso.org/iso/iso_catalogue/catalogue_tc/catalogue_detail.htm?csnumber=35683

http://dl.dropbox.com/u/20875810/personal/temas2/t2.html

http://www.sergiomonge.com/doc/ComHeziker2006.pdf

http://www.utpl.edu.ec/ried/images/pdfs/volumen11/Martinez-Prendes.pdf



http://e-spacio.uned.es/fez/eserv.php?pid=bibliuned:19233&dsID=n03ruizgonz07.pdf



Universidad de Guadalajara - Desde el IGCAAV · CATALDI Zulma, (2000), Metodología de diseño,...

Documents

Transcript of Universidad de Guadalajara - Desde el IGCAAV · CATALDI Zulma, (2000), Metodología de diseño,...