Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide...
Transcript of Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide...
![Page 1: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/1.jpg)
Séverin Lions ([email protected])
JIAEN 2019 en Concepción:
Construcción y resolución de
preguntas de selección múltiple:
un acercamiento desde las Neurociencias cognitivas
![Page 2: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/2.jpg)
les
¿Preguntas cerradas o abiertas?
¿Construcción? ¿Aplicación? ¿Calificación? ¿Corrección?
¿Pruebas estandardizadas o hechas por profesores?
![Page 3: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/3.jpg)
1. Las PSM: preguntas de selección múltiple
2. Construcción de PSM: guías de directrices y detección de imperfecciones
3. Resolución de PSM: lectura de textos y toma de decisión entre posiciones
4. Conclusión
PLAN
![Page 4: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/4.jpg)
1. Las PSM: preguntas de selección múltiple
2. Construcción de PSM: guías de directrices y detección de imperfecciones
3. Resolución de PSM: lectura de textos y toma de decisión entre posiciones
4. Conclusión
PLAN
![Page 5: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/5.jpg)
¿Qué son las PSM?
tallo----------------1 clave + varios distractores
![Page 6: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/6.jpg)
Formatos de PSM
en Moreno, Martinez, y Muñiz, 2004
![Page 7: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/7.jpg)
Formatos de PSM
en Moreno, Martinez, y Muñiz, 2004
![Page 8: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/8.jpg)
Formatos de PSM
en Moreno, Martinez, y Muñiz, 2004
![Page 9: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/9.jpg)
En educación, se usan PSM…
A. en el colegio
B. en la universidad
C. en matemática
D. en lenguaje
E. en historia
F. en pruebas estandardizadas como la PSU
G. en pruebas formativas
H. en pruebas sumativas
![Page 10: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/10.jpg)
Taxonomía de Bloom-Anderson, adaptado en Jovanovska, 2018
Las PSM pueden evaluar diferentes niveles cognitivos
Habilidades de pensamiento de orden superior:
Posiblemente evaluadaspor PSM
(excepto crear)
Habilidades de pensamiento de orden inferior:
Comúnmente evaluadas por PSM
![Page 11: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/11.jpg)
Verbos asociados
en Churches, 2009
![Page 12: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/12.jpg)
Palés-Argullós, 2010
… permite pasar de un ítem que mide “recordar” o “entender” a un ítem que mide “aplicar” o “analizar”
El contexto…
![Page 13: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/13.jpg)
Ventajas / Desventajas
Pueden ser usadas en todas las asignaturas
Son de rápida y fácil calificación y corrección,(y por tanto es atractivo su uso cuando uno
tiene grupos muy numerosos de estudiantes)
Se pueden responder sin conocimientos… ¡incluso de forma correcta!
Evalúan más bien “recordar” y “comprender”
Son de difícil construcción
Son OBJETIVAS
![Page 14: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/14.jpg)
EJERCICIO:ESCRITURA DE PSM
1. Redacte 1 pregunta de selección múltiple (formato tradicional)
2. Indique cuál es la respuesta correcta y califique los distractores (mejor, fuerte, débil)
(en hoja, individual, 6 min.)
![Page 15: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/15.jpg)
1. Las PSM: preguntas de selección múltiple
2. Construcción de PSM: guías de directrices y detección de imperfecciones
3. Resolución de PSM: lectura de textos y toma de decisión entre posiciones
4. Conclusión
PLAN
![Page 16: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/16.jpg)
Una PSM está bien
construida cuando:
Es Válida: mide lo que pretende medir
Es Confiable: puede cambiar el corrector,o ser respondida en otro momento,no cambia el resultado
Es Discriminante:es bien respondida solamente por los estudiantes que dominan la competencia evaluada…
No se pelean con sus estudianteso colegas durante la corrección ☺
![Page 17: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/17.jpg)
¿Las PSM que construyen
los docentes están bien
construidas?
A. La mayoría, no
B. Muchas, no
C. Nunca
D. Siempre
Downing, 2005
Breakall, Randle, y Tasker 2019
![Page 18: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/18.jpg)
BUENA NOTICIA:¡las competencias de construcción de
PSM son entrenables!
Abdulghani et al, 2015
![Page 19: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/19.jpg)
¿Cómo presentar PSM de mayor calidad a sus estudiantes?
¡Entrenarse!
Que las reviseun colega
Releerlas al día siguiente
¡Analizarlas!
![Page 20: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/20.jpg)
¿Analizar dijeron?
¿Está bien construida una PSM que…
a) Es respondida correctamente por todos mis estudiantes?
b) Es respondida correctamente por mis estudiantes menos estudiosos solamente?
¡Análisis de dificultad de ítems!
¡Análisis de discriminación!
![Page 21: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/21.jpg)
¿Y que tal usar una guía de recomendaciones?
Hederich, Bernal, y Camacho (2014)
¿Número? ¿Organización? ¿Fundamentación?
![Page 22: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/22.jpg)
Directrices para la construcción de ítems de selección múltiple
(item-writing guidelines)
Los autores con mayor influencia:
Haladyna y Downing
![Page 23: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/23.jpg)
43 reglas (1989)
• Consenso entre 46 manuales publicados entre 1935 y 1989
Haladyna y Downing, 1989Citado por 344
![Page 24: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/24.jpg)
Las 13 reglas más importantes
Haladyna y Downing, 1989
![Page 25: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/25.jpg)
Las reglas las más estudiadas
Haladyna and Downing, 1989bCitado por 344
![Page 26: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/26.jpg)
Revisión de la taxonomía (2002, 31 reglas)
Haladyna, Downing, y Rodriguez, 2002Citado por 947
• Consenso entre 27 manuales (1989-2001)
![Page 27: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/27.jpg)
Haladyna, Downing, y Rodriguez, 2013, 2018
Evolución de las reglas
Capítulo 6 Capítulo 18
![Page 28: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/28.jpg)
Traducción de la guía de 2002
Moreno, Martínez, y Muñiz, 2004
![Page 29: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/29.jpg)
Traducción
Moreno, Martínez, y Muñiz, 2004
![Page 30: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/30.jpg)
Traducción
Moreno, Martínez, y Muñiz, 2004
![Page 31: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/31.jpg)
Construir distractores es una tarea difícil
Gierl et al, 2017
![Page 32: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/32.jpg)
¿Se entienden estas reglas?
![Page 33: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/33.jpg)
Imperfecciones(Flaws)
Entrenamiento a su detección
![Page 34: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/34.jpg)
Problema de foco…
“Window dressing”
Moreno, Martínez, y Muñiz, 2004
Detección de imperfecciones
![Page 35: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/35.jpg)
Desorden de las palabras en las opciones
Detección de imperfecciones
Moreno, Martínez, y Muñiz, 2004
¡Múltiples opciones correctas!
![Page 36: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/36.jpg)
¡Distractores implausibles!
Detección de imperfecciones en común
Moreno, Martínez, y Muñiz, 2004
![Page 37: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/37.jpg)
Repeticiones que dan pistas
Detección de imperfecciones
Palés-Argullós, 2010
![Page 38: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/38.jpg)
• Window dressing• Se refiere a aspectos controversiales u opiniones
• Convergencia• Imposible responder sin leer las opciones
• Formulación negativa• Quiebre sintáctico
• Formulación no interrogativa• Tamaño de las opciones…
• ¿Varias correctas?• Disposición de las opciones horizontales.
La Educación es un proceso de formación teórica y práctica que estípicamente humano. No se encuentra en otros especies. Respecto a laEducación chilena, a ti te parece que no se puede afirmar que:
A. Es de baja calidad. B. Es de alta calidad. C. Es la mejor educación delmundo, eso dicen los expertos por lo menos.
Detección de imperfecciones múltiples
![Page 39: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/39.jpg)
Construyeron preguntas maravillosas, piloteadas anteriormente, de tal forma que
saben que están perfectamente adaptadas para evaluar los aprendizajes de sus estudiantes…
¿Qué podría salir mal?
![Page 40: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/40.jpg)
1. Las PSM: preguntas de selección múltiple
2. Construcción de PSM: guías de directrices y detección de imperfecciones
3. Resolución de PSM: lectura de textos y toma de decisión entre posiciones
4. Conclusión
PLAN
![Page 41: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/41.jpg)
Creación de diferentes formas de prueba
¡Scrambling!
![Page 42: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/42.jpg)
Cognitivamente hablando, responder a una PSM es leer…
y luego tomar una decisión
“Las tortugas son un grupo de animales tan popular comosimpáticos, paradigma de lentitud pero también de constancia.La fábula enseña cómo la tortuga pudo ganar a la liebre en unacarrera, gracias a esa constancia. Más real es la victoria que losquelonios, el grupo taxonómico en el que se integran lastortugas, han obtenido sobre otros animales en la carrera por lasupervivencia evolutiva. Las primeras tortugas probablementevieron aparecer a los dinosaurios y a otros grupos de grandesreptiles, y los vieron también extinguirse. La tortuga másantigua conocida, Proganochelys, vivió hace unos doscientosveinte millones de años, durante el triásico superior, y no eramuy diferente de las actuales”.
En el fragmento anterior, los quelonios corresponden al grupo alque pertenecen:
A) las animales.B) los liebres.C) los reptiles.D) las tortugas.E) los dinosaurios.
Opciones
Enunciado
Encabezado
Tiempo
-Atención sostenida
-Memorización
-Comprensión lectora
-Conducta orientada a meta
-Búsqueda-Toma de decisión
Lindner et al, 2014
![Page 43: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/43.jpg)
• Los equipos
Medición de la exploración visual de textos: el Eye Tracking
![Page 44: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/44.jpg)
Liversedge y Findlay, 2000
Fijaciones: localización, duración, cantidad, refijaciones.
Starr y Rayner, 2001
Sacadas: cantidad y tamaño.
Regresiones: intra o interpalabras.
Rayner, 2009
Exploración visual y lectura
VIDEO
![Page 45: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/45.jpg)
Lindner et al., 2014
Exploración visual y toma de decisión
ElecciónAtención
Atalay, Bodur, y Rasolofoarison, 2012
Orquin y Loose, 2013
![Page 46: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/46.jpg)
Destaque de color
Aparición sucesiva
¿Ayudas visuo-atencionales
pueden beneficiar la resolución de PSM?
• Señales puramente visuales,
• No agregan contenido semántico y destacan solamente parte del material: son señales de énfasis,
• Destacan la estructura de las PSM: organizadoras
![Page 47: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/47.jpg)
% d
e r
espue
sta
s c
orr
ecta
s p
rom
edio
Sin señal Con señal
Chance
*p = .020, ƞ²p = .131
Resultados del estudio de lectura 1
![Page 48: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/48.jpg)
Resultados del estudio de lectura 1
*P = .031, ƞ²p = .172
Núm
ero
de s
acadas p
rem
atu
ras p
rom
edio
Errores Respuestas
correctas
Núm
ero
de s
acadas p
rem
atu
ras p
rom
edio
*P = .010, ƞ²p = .008
Sin señal Con señal
• No encontramos otros efectos en la exploración visual
![Page 49: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/49.jpg)
Conclusión del estudio de lectura 1
• La señal de color mejora la resolución de PSM decomprensión de lectura, porque limita la distracción visualcausada por las opciones, permitiendo una lectura menosinterrumpida del encabezado…
• Pero esta señal es una ayuda solamente:– Cuando se lee en computador,– Para alumnos con bajo rendimiento en lenguaje en el colegio.
• No interrumpir la lectura del encabezado es un predictorde exitosa resolución de las PSM.
![Page 50: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/50.jpg)
➢ Controlar la aparición sucesiva de las partes de las PSM no beneficia laresolución.
➢ Sí lleva a realizar una exploración más exhaustiva del encabezado antes deexplorar las otras partes y antes de responder (en particular para losalumnos con bajo rendimiento en lenguaje).
➢ Variables que caracterizan una exploración exhaustiva del encabezadoantes de explorar las otras partes y antes de responder permiten depredecir la resolución de PSM de comprensión de lectura.
➢ Realizar una lectura exhaustiva y enfocada del encabezado es clavepara lograr la CL cuando está medida por PSM.
Estudio de lectura 2: Conclusiones finales
![Page 51: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/51.jpg)
➢ Cuando construyen 1 PSM,
¿los docentes colocan la correcta en una posición más que en otra?
➢ Las pruebas con PSM tienen más correctas en alguna posición?
➢ Cuando responden a PSM, ¿los estudiantes seleccionan una posiciónmás que otra? ¿Por qué?
➢ Y ¿exploran una posición más que otra?
Estudios de la toma de decisión: Encaminados
![Page 52: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/52.jpg)
Responder una PSM es como…
…seleccionar una posición espacial
…un juego de la escondida
…elegir un objeto en una lista¿Cuál de estos platos típicos franceses te
gustaría probar?
¿En cuál caja buscarías un tesoro escondido?
¿En cuál de estos enchufes enchufarías tu celular?
1. Blanquette de veau sauce
Basquaise
2. Ris d’agneaux
sauce Béarnaise
3. Bœuf bourguignon sauce
Nantua
![Page 53: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/53.jpg)
Y por tanto:
A) Es el bordeB) Es el centroC) Es el centroD) Es el borde
Se eligen más las opciones céntricas, por aversión por los bordes, o por un fenómeno social.
A) Es la primeraB) Es la segundaC) Es la terceraD) Es la cuarta
Se eligen más las primeras opciones, por “satisfycingeffect”, o por interferencia.
Attali y Bar-Hillel, 2003; Bar-Hillel, 2015
Kiat, Ong y Ganesan, 2018; Hohensinn y Baghaei, 2017
![Page 54: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/54.jpg)
Primeros estudios de toma de decisión
p = .008 η2 = .041 p = .048
η2 = .023p = .003
η2 = .050
p = .048; η2 = .044
• 171 escolares de 3ro medio
• 35 MCQ de comprensión de lectura
• 5 opciones, distractores en orden aleatorio
• Sin hojas de respuesta / grados de confianza
• 89 escolares de 3ro medio
• 30 MCQ de 3 opciones,
• Opciones en orden balanceado
• Sin hojas de respuesta / con grados de confianza
BALANCEO DE LAS CORRECTAS
![Page 55: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/55.jpg)
1. Las PSM: preguntas de selección múltiple
2. Construcción de PSM: guías de directrices y detección de imperfecciones
3. Resolución de PSM: lectura de textos y toma de decisión entre posiciones
4. Conclusión
PLAN
![Page 56: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/56.jpg)
Conclusión (PARTE 1)
• Construir preguntas de selección múltiple todavía no es una ciencia, es más bien un
arte
• Es necesario entrenarse para poder escribir preguntas que tengan validez
• Solamente así el formato de selección múltiple puede medir el aprendizaje y
protegerse de las críticas que suele recibir…
![Page 57: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/57.jpg)
Conclusión (PARTE 2)
• Para medir el aprendizaje con las PSM, es necesario construir preguntas de alta calidad,
pero también entender cómo se resuelven
• Para entender cómo se resuelven las PSM, hay que estudiar los procesos de lectura, pero
también de toma de decisión
• Es clave entender bien los efectos inespecíficos asociados a la resolución, para así mejorar la
validez del formato…
![Page 58: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/58.jpg)
Referencias (PARTE 1)• Abdulghani, H. M., Ahmad, F., Irshad, M., Khalil, M. S., Al-Shaikh, G. K., Syed, S., ... & Haque, S. (2015). Faculty development programs improve the quality of Multiple
Choice Questions items' writing. Scientific reports, 5, 9556.
• Breakall, J., Randles, C., & Tasker, R. (2019). Development and use of a multiple-choice item writing flaws evaluation instrument in the context of general chemistry. Chemistry Education Research and Practice, 20(2), 369-382.
• Churches, A. (2009). Taxonomía de Bloom para la era digital. Eduteka.
• Crisp, G. T., & Palmer, E. J. (2007). Engaging academics with a simplified analysis of their multiple-choice question (MCQ) assessment results. Journal of university teaching & learning practice, 4(2), 4.
• Downing, S. M. (2005). The effects of violating standard item writing principles on tests and students: the consequences of using flawed test items on achievement examinations in medical education. Advances in health sciences education, 10(2), 133-143.
• Elliott, S. N., Kettler, R. J., Beddow, P. A., & Kurz, A. (2018). Handbook of accessible instruction and testing practices. New York, NY: Springer. doi, 10, 978-3.
• Gierl, M. J., Bulut, O., Guo, Q., & Zhang, X. (2017). Developing, analyzing, and using distractors for multiple-choice tests in education: A comprehensive review. Review of Educational Research, 87(6), 1082-1116.
• Haladyna, T. M., & Downing, S. M. (1989). A taxonomy of multiple-choice item-writing rules. Applied measurement in education, 2(1), 37-50.
• Haladyna, T. M., & Downing, S. M. (1989). Validity of a taxonomy of multiple-choice item-writing rules. Applied Measurement in Education, 2(1), 51-78.
• Haladyna, T. M., Downing, S. M., & Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied measurement in education, 15(3), 309-333.
• Haladyna, T. M., & Rodriguez, M. C. (2013). Developing and validating test items. Routledge.
• Hederich, C., Bernal, J. M., & Camacho, L. R. (2014). Hacia una educación basada en la evidencia. Revista Colombiana de Educación, (66), 19-54.
• Jovanovska, J. Designing effective multiple-choice questions for assessing learning outcomes. Infotheca, 18(1), 25-42.
• Moreno, R., Martínez, R. J., & Muñiz, J. (2004). Directrices para la construcción de ítems de elección múltiple. Psicothema, 16(3), 490-497.
• Palés-Argullós, J. (2010). ¿ Cómo elaborar correctamente preguntas de elección múltiple?. Educación Médica, 13(3), 149-155.
![Page 59: Presentación de PowerPoint · Palés-Argullós, 2010 … permite pasar de un ítem que mide ^recordar o ^entender ... Errores Respuestas correctas o * P = .010, ƞ² p ... –Para](https://reader034.fdocuments.mx/reader034/viewer/2022042017/5e7503446e815c1b7f16a595/html5/thumbnails/59.jpg)
Referencias (PARTE 2)
• Atalay, A. S., Bodur, H. O., & Rasolofoarison, D. (2012). Shining in the center: Central gaze cascade effect on product choice. Journal of Consumer Research, 39(4), 848-866.
• Attali, Y., & Bar‐Hillel, M. (2003). Guess where: The position of correct answers in multiple‐choice test items as a psychometric variable. Journal of Educational Measurement, 40(2), 109-128.
• Bar-Hillel, M. (2015). Position effects in choice from simultaneous displays: A conundrum solved. Perspectives on Psychological Science, 10(4), 419-433.
• Hohensinn, C., & Baghaei, P. (2017). Does the position of response options in multiple-choice tests matter?. Psicológica, 38(1), 93-109.
• Kiat, J. E., Ong, A. R., & Ganesan, A. (2018). The influence of distractor strength and response order on MCQ responding. Educational Psychology, 38(3), 368-380.
• Lindner, M. A., Eitel, A., Thoma, G. B., Dalehefte, I. M., Ihme, J. M., & Köller, O. (2014). Tracking the decision‐making process in multiple‐choiceassessment: Evidence from eye movements. Applied Cognitive Psychology, 28(5), 738-752.
• Liversedge, S. P., & Findlay, J. M. (2000). Saccadic eye movements and cognition. Trends in cognitive sciences, 4(1), 6-14.
• Orquin, J. L., & Loose, S. M. (2013). Attention and choice: A review on eye movements in decision making. Acta psychologica, 144(1), 190-206.
• Rayner, K. (2009). Eye movements and attention in reading, scene perception, and visual search. The quarterly journal of experimental psychology, 62(8), 1457-1506.
• Starr, M. S., & Rayner, K. (2001). Eye movements during reading: Some current controversies. Trends in cognitive sciences, 5(4), 156-163.