MRT: Multiple Response Test - Pàgines de la UAB · 1.- Creación de la prueba En primer lugar...

Mercedes Lo Monaco

UAB

MRT: Multiple Response Test

Manual de uso

ESID

10/06/2015

Fecha de Modificación: 17/07/2015

Versión: 1

Contenido Introducción ............................................................................................................................................ 1

1.- Creación de la prueba ........................................................................................................................ 1

Formato de archivo ......................................................................................................................... 1

Contenido ........................................................................................................................................ 1

2.- Configuración de la prueba en MRT ................................................................................................... 3

Creación proyecto ............................................................................................................................... 3

Nuevo formulario ................................................................................................................................ 4

Creación permutaciones ..................................................................................................................... 4

Impresión permutaciones ............................................................................................................... 6

Encriptación ......................................................................................................................................... 7

3.- Realización de la prueba .................................................................................................................... 9

4.- Análisis de resultados ....................................................................................................................... 11

Recuperación de archivos de respuesta ............................................................................................ 11

Análisis ............................................................................................................................................... 12

Evaluation ...................................................................................................................................... 12

Individual results ........................................................................................................................... 13

Introducción Multiple Response Test (MRT) y Tester son

Departament de Psicologia Bàsica, Evolutiva i de l'Educació

que nos permiten crear, gestionar

pueden realizarse on-line.

• MRT: es el programa que permitirá cr

test, realizar una amplia explotación de

• TESTER: es el programa que servirá de soporte para

examen. Una vez realizado el mismo, generará un docume

ser analizados con MRT.

El programa no necesita instalación, y lo podemos tener (MRT y TESTER) tanto en una carpeta de

nuestro ordenador como en un lápiz de memoria.

El proceso completo de trabajo implica

1. Crear un archivo de texto con los datos de la prueba.

2. Crear la prueba con MRT.

3. Realización de la prueba por parte de los estudiantes.

4. Realizar la explotación de datos con TESTER.

1.- Creación de la pruebaEn primer lugar tenemos que crear un archivo de texto

el que introduciremos los datos de la prueba: número de

preguntas, texto de las preguntas y las opciones de

respuesta…

Formato de archivo

El archivo de texto tiene que crearse

ajuste de línea”. Por ejemplo, si utilizamos el programa

WordPad, En el menú Formato de la barra de herramientas hay que deseleccionar la opción de

“Ajuste” (Ilustración 1) para que t

Contenido

El archivo deberá contener la siguiente información

1. Primera línea: Nº de pregu

2. Segunda línea: Secuencia de respuestas correctas en formato ABCD, teniendo en cuenta

la cantidad de preguntas que tiene el examen (ej.

3. Tercera línea: Nº de opciones de

4. Cuarta línea: Enunciado

deseleccionar la opción de “Ajuste” mencionada más arriba)

5. Quinta línea: Enunciado de la primera opción de respuesta

1

Ilustración 1. . WordPad: Ajuste de línea

Multiple Response Test (MRT) y Tester son dos programas creados por el Dr. Antoni Castelló, del

Departament de Psicologia Bàsica, Evolutiva i de l'Educació de la Universitat Autònoma de Barcelona,

gestionar y analizar respuestas de exámenes de opción múltiple

es el programa que permitirá crear el test de opción múltiple y, una vez realizado el

test, realizar una amplia explotación de los resultados.

: es el programa que servirá de soporte para que los estudiantes puedan

examen. Una vez realizado el mismo, generará un documento con los resultados que


nuestro ordenador como en un lápiz de memoria.

El proceso completo de trabajo implica cuatro grandes etapas:

to con los datos de la prueba.

Crear la prueba con MRT.

Realización de la prueba por parte de los estudiantes.

Realizar la explotación de datos con TESTER.

Creación de la prueba tenemos que crear un archivo de texto en

el que introduciremos los datos de la prueba: número de

preguntas, texto de las preguntas y las opciones de

El archivo de texto tiene que crearse con la opción “sin

Por ejemplo, si utilizamos el programa


que todo lo que escribamos esté en una sola línea.

El archivo deberá contener la siguiente información (ver Ilustración 2):

Nº de preguntas que tendrá el examen (ej. 10)

Secuencia de respuestas correctas en formato ABCD, teniendo en cuenta

la cantidad de preguntas que tiene el examen (ej. CABCA)

: Nº de opciones de la primera pregunta 1 (ej. 4)

nunciado de la pregunta en UNA SOLA LINEA (recordar

deseleccionar la opción de “Ajuste” mencionada más arriba)

: Enunciado de la primera opción de respuesta

Mercedes Lo Monaco

WordPad: Ajuste de línea

por el Dr. Antoni Castelló, del

de la Universitat Autònoma de Barcelona,

exámenes de opción múltiple que

, una vez realizado el

que los estudiantes puedan realizar el

nto con los resultados que podrán



Secuencia de respuestas correctas en formato ABCD, teniendo en cuenta

en UNA SOLA LINEA (recordar siempre

6. Sexta línea: Enunciado de la segunda opción de respuesta

7. Séptima línea: Enunciado de la tercera opción de respuesta

8. Octava línea: Enunciado de la cuarta opción de respuesta (en el caso de que la pregunta

tenga cuatro opciones de respuesta)

Repetir los pasos 1 a 8 tantas veces como número de pre

La última línea del documento debe estar en BLANCO, por lo que tras el último enunciado de

respuesta debemos oprimir la tecla ENTER/INTRO.

Una vez finalizada la edición del documento, lo tenemos que guardar con la opción de codificación

UTF8. Si utilizamos WordPad eligiéremos la opción de menú

“codificación”, seleccionaremos la opción UTF8

carpeta en donde tengamos guardado los programas MRT y TESTER (o en cualquier otro espacio de

nuestro ordenador).

Ilustración

Ilustración

: Enunciado de la segunda opción de respuesta

: Enunciado de la tercera opción de respuesta

: Enunciado de la cuarta opción de respuesta (en el caso de que la pregunta

tenga cuatro opciones de respuesta)

tantas veces como número de preguntas se hayan definido

documento debe estar en BLANCO, por lo que tras el último enunciado de

respuesta debemos oprimir la tecla ENTER/INTRO.


eligiéremos la opción de menú Archivo > Guardar como,

“codificación”, seleccionaremos la opción UTF8 (Ilustración 3). Por último guardamos el archivo en la


Ilustración 3. WordPad: Guardar con codificación UTF8

Ilustración 2. Elementos del archivo de texto

: Enunciado de la cuarta opción de respuesta (en el caso de que la pregunta

definido

documento debe estar en BLANCO, por lo que tras el último enunciado de


Archivo > Guardar como, y en

. Por último guardamos el archivo en la


2.- Configuración de la prueba en MRT

Creación proyecto

Una vez que tenemos el archivo con las preguntas, procederemos a la configuración

de la prueba en el programa MRT.

Al ejecutar el programa, aparecerá una pantalla en cuya parte izquierda

encontraremos cinco opciones Configuration, Data gathering, Evaluation, Analysis e

Individual results.

Con el botón de configuración seleccionado (aparece a la izquierda en verde),

seleccionaremos EXISTING PROJETS (ver Ilustración 4), clicamos con el botón

derecho del ratón y elegiremos la opción New Project.

Aparecerá una nueva ventana (ver Ilustración 5) en la que habrá que rellenar los campos:

• Name: nombre de nuestro examen

• Description: breve descripción de la prueba (opcional)

• Nº ítems: número de preguntas que tiene nuestro examen

Una vez rellenada la información (no es necesario introducir nada en el campo Structure), clicar en

Save Changes.

Ilustración 4. Creación nuevo proyecto

Ilustración 5. Definición proyecto

Nuevo formulario

A medida que vamos creando proyectos (exámenes), estos aparecerán al clicar en el icono que

aparece a la izquierda de EXISTING PROJET. Al clicar con el botón derecho del ratón sobre un

proyecto existente se abrirá un desplegable con diferentes opciones (ver Ilustración 6), y

seleccionaremos New Form.

Se abrirá entonces una nueva ventana (ver Ilustración 7), en la que en primer lugar clicaremos en el

recuadro blanco de File lo que hará que aparezca una ventana de navegación para que

seleccionemos el archivo TXT que hemos creado anteriormente con las preguntas del examen. Lo

seleccionamos y clicamos Abrir.

A continuación seleccionamos, en la lista desplegable Language, el idioma en el que están

redactadas las preguntas, y clicamos en Save Changes. Podemos repetir esta operación tantas veces

como idiomas en los que tengamos redactado nuestro examen.

Creación permutaciones

El siguiente paso, consistirá en la creación de las permutaciones de la prueba. Para ello, volveremos a

la pantalla principal y clicaremos en EXISTING PROJECT > nombre del proyecto > ESP (es el idioma en

que se ha configurado el proyecto, en este caso en español). En ESP, hacemos clic con el botón

Ilustración 6. MRT: New Form

Ilustración 7. Configuración Form

derecho del ratón y se nos abrirá un desplegable en donde tendremos que seleccionar la opción New

Permutation (Ilustración 8). Esta opción tenemos que realizarla aunque nuestro examen no incluya

permutaciones.

Se abrirá una ventana (Ilustración 9), en la que a la izquierda aparecen 3 opciones para la

permutación de nuestro examen.

• Keep original form order: mantiene las preguntas en el mismo orden que están escritas

en el documento original (seleccionaremos esta opción si no deseamos permutaciones).

• Randomize ítems: mezcla aleatoriamente los ítems.

• Randomize options: mezcla aleatoriamente las opciones de respuesta.

Tras seleccionar la opción u opciones que deseamos (las ultimas 2 pueden estar seleccionadas

simultáneamente) presionamos el botón de Proceed.

En el cuadro que antes nos aparecía en blanco, ahora nos aparecen nuestras preguntas y respuestas

según la opción que hayamos decidido. Hay que tener en cuenta que si no nos agrada la

aleatorización realizada por el programa, podemos presionar el botón de Proceed hasta que haya una

combinación que nos agrade. Una vez hecho esto clicar sobre Save Changes.

Ilustración 8. MRT: Nueva permutación

Ilustración 9. Permutación A - Orden original

Este paso habrá que repetirlo tantas veces como permutaciones deseemos. Cada vez que lo hagamos

cambiará el valor que aparece en Version (A, B…). Si hemos definido diferentes idiomas, este valor

será distinto para cada uno, es decir, que si tenemos dos permutaciones para la versión ESP y dos

para la versión CAT, dispondremos de la versión A y B para ESP y la C y D para la versión CAT. En la

Ilustración 10 podemos ver la misma pantalla realizando una permutación con la opción de

aleatorización de ítems.

Impresión permutaciones

Una vez tenemos las permutaciones, si lo deseamos podemos imprimirlas de forma individualizada

(clicando con el botón derecho sobre la etiqueta de la permutación y escogiendo la opción Output) o

todas ellas (la misma operación pero sobre el nombre de la prueba).

Ilustración 11. Impresión de permutaciones

En ambos casos se nos solicitará un nombre “raíz”

para el/los archivo/s, al que se añadirá información

sobre el idioma y la etiqueta de la permutación. Si,

como en la Ilustración 12 la raíz es “Historia”, se

generarán los archivos

• Historia-ESP-A.txt

• Historia-ESP-B.txt

Ilustración 10. Permutación B - Aleatorización ítems

Ilustración 12. Definición raíz de nombre de archivo

Encriptación

El último paso consistirá en generar el archivo encriptado que utilizarán los estudiantes para realizar

la prueba.

Al clicar sobre el nombre de nuestro proyecto con el botón derecho del ratón

desplegable en el que hay que seleccionar la opción

En la nueva ventana que aparecerá

• Name: Nombre del archivo encriptado.

• Versions: Selección de

En la parte izquierda de la ventana

las que nos interesan recoger


sobre el nombre de nuestro proyecto con el botón derecho del ratón

seleccionar la opción New Encrypted File Parameters

que aparecerá hay que completar la siguiente información:

: Nombre del archivo encriptado.

lección de las versiones que se quieren generar.

de la ventana aparecen diferentes opciones, de las cuales hay que seleccionar

Ilustración 13. Encriptación archivo

Ilustración 14. Parámetros de encriptación


sobre el nombre de nuestro proyecto con el botón derecho del ratón, se abrirá un

ew Encrypted File Parameters.

aparecen diferentes opciones, de las cuales hay que seleccionar

• Self Correction: El archivo generado incluirá (al ejecutarse en TESTER) las respuestas

correctas (sólo adecuado para feedback).

• Send results: Se puede configurar una dirección de correo electrónico a la que se

enviarían automáticamente los resultados de cada test (se usa conjuntamente con las 4

opciones de la derecha de la pantalla: Mail adress, Mail server, Username y Password).

• Local results file: El usuario generará un archivo de resultados (que tendrá que enviar).

• Include keys: Se registrarán las teclas pulsadas durante la ejecución de la prueba (letra

de opción o bien adelante/atrás) durante la ejecución. Sirve para monitorizar el proceso

de respuesta.

• Include time: Registra el tiempo que se tarda en realizar cada ítem de la prueba.

• Date and time: Incluye fecha y hora en la que cada alumno hace el test.

• Machine’s name: Incluirá el nombre del ordenador desde el que se ha realizado la

prueba.

• Essays: Número de intentos realizados.

• File GUID: No tienen trascendencia en la versión actual; estaban pensadas para una

explotación distinta del programa.

• File’s root: Aquí escribiremos la raíz del nombre de cómo queremos que se guarde el

archivo del test que realiza cada uno de los alumnos (el que nos enviarán y utilizaremos

para poder generar la base de datos).

• Encryption key: Este apartado tenemos que rellenarlo con 32 caracteres (los que

queramos) hasta que el fondo se vuelva VERDE.

Para finalizar con este apartado de definición, clicaremos sobre Save Changes.

A continuación, en la pantalla principal, al clicar con sobre el icono que aparece a la izquierda del

nombre de nuestra prueba (en Existing Project) aparecerá (en cursiva) el nombre que hemos definido

en el paso anterior. Al clicar sobre él con el botón derecho del ratón se abrirá un desplegable en el

que hay que seleccionar la opción Output > Generate the Encrypted File. El resultado será un archivo

con extensión mrt que será el que se utilizará en el programa TESTER.

Ilustración 15. Generación archivo encriptado

3.- Realización de la pruebaPara realizar la prueba creada con MRT, los estudiantes utilizarán el

Al ejecutarlo, se abrirá una pantalla

• Idioma: se puede elegir entre catalán, castellano e inglés. Sirve para ver estos comandos en

dicho idioma y leer las instrucciones.

• Instrucciones: descripción de los comandos dentro del

• Cargar: Al clicar sobre este botón,

con MRT (archivos con extensión .

programa TESTER). Al seleccionar

pantalla aparecerán 2 nueva

Realización de la prueba Para realizar la prueba creada con MRT, los estudiantes utilizarán el programa TESTER.

e abrirá una pantalla en la que aparecen 3 opciones:

Idioma: se puede elegir entre catalán, castellano e inglés. Sirve para ver estos comandos en

dicho idioma y leer las instrucciones.

: descripción de los comandos dentro del TESTER.

Al clicar sobre este botón, aparecerá una lista con las diferentes pruebas generadas

con MRT (archivos con extensión .mrt que se encuentren en el mismo dir

Al seleccionar el nombre de nuestro test, en el lado izquierdo

pantalla aparecerán 2 nuevas opciones: Versión de la prueba y Hacer la prueba

Ilustración 16. TESTER: Selección idioma

Ilustración 17. TESTER: Instrucciones

Ilustración 18. TESTER: Cargar prueba

programa TESTER.

Idioma: se puede elegir entre catalán, castellano e inglés. Sirve para ver estos comandos en

una lista con las diferentes pruebas generadas

que se encuentren en el mismo directorio que el

el nombre de nuestro test, en el lado izquierdo de la

Hacer la prueba.

• Versión de la prueba: Aparecerá un desplegable con las diferentes permutaciones (sí se ha

generado alguna).

• Hacer la prueba: nos lleva directamente al test.

Una vez cargamos nuestro test, aparecerá la primera pregunta. Para responder, simplemente hay

que teclear la letra de la opción de respuesta que deseemos (A, B, C, D en este caso). Para

desplazarse por las preguntas, sólo hace falta presionar las teclas de dirección � o ↓ (para volver

hacia atrás, hay que presionar la tecla o ↑)

Estarán disponibles también dos nuevas opciones de menú:

• Resultados: Si se ha definido esta opción, podrá visualizarse información sobre el número de

respuestas correctas e incorrectas (Opción Progreso, ver Ilustración 20) y, con la opción

Revisar los ítems (Ilustración 21), para cada una de las preguntas, la respuesta dada por el

estudiante (resaltada en verde) y la respuesta correcta a dicha pregunta (subrayada).

Ilustración 19. TESTER: Visualización pregunta

Ilustración 20. TESTER: Resultados - Progreso

Ilustración 21. TESTER: Resultados – Revisar los ítems

• Cancelar la prueba: Para cancelar temporalmente la realización de la prueba y seguir

contestando en otro momento.

• Archivo de resultados: Genera el archivo de resultados a enviar. Nos aparecerá una ventana

de confirmación (Ilustración 22) y, si clicamos en sí, una nueva ventana en la que hay que

introducir el NIU de la persona que ha realizado la prueba (Ilustración 23), que será utilizado

como parte del nombre de archivo que se generará.

Finalmente, aparecerá una nueva ventana de confirmación e instrucciones para el envío del

archivo de resultados (Ilustración 24).

Cuando se ha contestado alguna pregunta, aparecerán nuevas opciones de menú, que pueden variar

en función de la configuración que hayamos realizado de la prueba:

• Guardar: Se abrirá una ventana con la leyenda “Datos guardados correctamente” y

clicaremos en aceptar.

• Recuperar: Recupera la última versión con las respuestas hechas hasta ese momento.

4.- Análisis de resultados Una vez que el docente ha recibido los archivos con las respuestas, puede realizar el análisis de los

resultados utilizando de nuevo MRT.

Recuperación de archivos de respuesta

Para ello, utilizaremos el menú Data gathering, que abrirá una ventana ()en la que introduciremos la

siguiente información:

• Project: desplegable en el que seleccionamos el test que deseamos corregir.

• Encryption parameters: por defecto tenemos que elegir en el desplegable la opción que nos

aparezca, generalmente con el mismo nombre que nuestro test

Para cargar los resultados generados, tenemos diferentes opciones:

Ilustración 22. TESTER: Confirmación guardar Ilustración 23. TESTER: Datos personales

Ilustración 24. TESTER: Instrucciones de envío

• Download from server: si clicamos aquí, descargaremos desde el servidor que hemos

configurado cuando generamos nuestro archivo encriptado

• Import encrypted files from folder: carga todos los archivos encriptados ubicados en una

carpeta determinada.

• Import encrypted text file: importamos archivos de resultados de manera individual.

Una vez elegimos y seleccionamos la opción deseada, clicamos en el botón Done.

Análisis

Por último para poder visualizar los resultados podemos utilizar las opciones de menú Evaluation e

Individual Results.

Evaluation

En el desplegable Project (Ilustración 26), seleccionamos el proyecto deseado y clicamos en el botón

Evaluate.

Aparecerá una tabla con las columnas de Identificación del participante, Modelo (permutación), R+

(respuestas correctas), R- (respuestas incorrectas), Blank (repuestas en blanco) y Mark (nota).

Estos datos pueden copiarse en una hoja Excel para poder realizar sobre ellos las modificaciones que

deseemos o para generar un archivo que podamos colgar en nuestro Campus Virtual, enviar por mail

a los alumnos, etc.

Estos datos pueden copiarse en una hoja Excel para poder realizar sobre ellos las modificaciones que

deseemos o para generar un archivo que podamos colgar en nuestro Campus Virtual, enviar por mail

a los alumnos, etc.

Ilustración 25. Recuperación de archivos de respuesta

Individual results

De nuevo, tenemos que seleccionar, en el desplegable Project (Ilustración 27), la prueba que

queremos analizar. A continuación, nos aparecerán los identificadores de las personas que han

contestado la prueba, y seleccionando cada uno de ellos podremos versus resultados individuales

(las respuestas que dieron a cada una de las preguntas, un gráfico con su nota según el resto de la

distribución del grupo, etc.).

Ilustración 26. Visualización de resultados totales

Ilustración 27. Resultados individuales

Esta opción es muy interesante ya que nos facilitará la corrección individualizada de cada uno de los

estudiantes. Si clicamos en alguna de las respuestas, en el cuadro que en la imagen aparece la

respuesta marcada por el alumno y el peso de esa pregunta en concreto (qué dificultad tiene la

pregunta con respecto a las respuestas del resto de los alumnos en la misma).

MRT: Multiple Response Test - Pàgines de la UAB · 1.- Creación de la prueba En primer lugar...

Documents

Transcript of MRT: Multiple Response Test - Pàgines de la UAB · 1.- Creación de la prueba En primer lugar...