Métodos de evaluación

Evaluación de los diseños Tipos de evaluaciones

Estrategias de campo Estudio de los sistemas con tareas y en

condiciones reales Estrategias experimentales

Experimentos desarrollados en laboratorios Estrategias de inspección

Verificación del cumplimiento de directivas, mediciones, etc.

Estrategias teóricas Evaluaciones con base teórica

Métodos de Inspección de usabilidad Inspección de la interfaz utilizando métodos

heurísticos (no experimentos)

Evaluación Heurística: Un conjunto pequeño de evaluadores examina la

interfaz, y verifica si satisface los principios reconocidos de usabilidad

Análisis de Acciones Análisis cuantitativo de las acciones, para

predecir el tiempo requerido para determinadas tareas

Evaluación heurística Chequeo sistemático del diseño contra

principios de usabilidad reconocidos (“heurísticas”)

Realizado por un conjunto pequeño de evaluadores Algunas heurísticas:

Diseño minimalista (“less is more”) Utilizar el lenguaje del usuario Reconocer, no recordar Consistencia Proveer feedback Indicar claramente las salidas Proveer aceleradores Buenos mensajes de error Prevenir los errores Ayudas y documentaciones

Evaluación heurística Realización de una evaluación heurística

El diseño puede ser una descripción textual, un bosquejo, prototipo o un sistema finalizado

Pueden proveerse evaluadores con conocimiento específico del dominio

Cada evaluador debiera trabajar individualmente La interfaz es analizada en 2 pasos

1. Centrada en el flujo general 2. Análisis de los elementos individuales del diálogo

Las evaluaciones individuales posteriormente deben ser compuestas

Evaluación heurística Cuántos problemas son identificados?

Las evaluaciones individuales encuentran relativamente pocos problemas

Nombre de la evaluación

Número de evaluadores

Problemas conocidos

Nro. Promedio de problemas hallados por cada evaluador

Teledata 37 52 51%

Mantel 77 30 38%

Savings 34 48 26%

Transport 34 34 20%

Evaluación Heurística Componer las evaluaciones individuales

La composición de las evaluaciones individuales produce mejores resultados

Composición: 1 2 3 5 10

Teledata 51% 71% 81% 90% 97%

Mantel 38% 52% 60% 70% 83%

Savings 26% 41% 50% 63% 78%

Transport 20% 33% 42% 55% 71%

Evaluación heurística

Evaluación heurística La experiencia de los evaluadores influencia la

cantidad de problemas hallados Tipos de evaluadores

Novatos (sin conocimiento de usabilidad ni del dominio)

Expertos en usabilidad, pero no del dominio Especialistas en usabilidad y con conocimiento del

dominio Hallar todos los errores requiere combinar

evaluadores de distintos tipos

Evaluación heurística Ventajas y desventajas

económico intuitivo utilizable en las primeras fases del proceso de

desarrollo halla muchos problemas halla tanto problemas mayores como menores puede ignorar problemas específicos del dominio

Análisis de las acciones Análisis cuantitativo de las acciones para

predecir el tiempo requerido por un usuario experimentado para completar las tareas

Basado en las estimaciones de tiempos para acciones típicas

Focalizado en la performance de usuarios experimentados(eficiencia)

Niveles de detalle Formal (detallado) Informal

Análisis de las acciones Análisis detallado

“Análisis a nivel de tecla”

Basado en modelo GOMS (“Goals, Operators, Methods, Selection”)

Muy detallado Predicción del tiempo de las tareas 20% Muy tedioso de calcular Subdivide las tareas jerárquicamente en subtareas Utiliza tiempos promedios (tabulados) para los

tiempos de cada acción Utilizado para optimizar la performance de

sistemas de alto uso

Análisis de las acciones

Acción Tiempo

Movimientos físicos Presión de una tecla 0.28

Apuntamiento con el mouse 1.5

Mover la mano hasta el mouse o una tecla función

0.3

Percepción Visual Respuesta a una luz breve 0.1

Reconocer una palabra de 6 letras 0.34

Mover los ojos hasta una nueva posición de la pantalla

0.23

Acciones Mentales Recuperar un item de la memoria de largo plazo

1.2

Aprender un paso de un procedimiento 25

Ejecutar un paso mental 0.075

Elegir entre métodos 1.2

Análisis de las acciones Análisis informal

Alto nivel de detalle

Lista las acciones requeridas para completar una tarea, pero con menos detalle que el método detallado

“Seleccionar ‘Save’ en el menú” “Editar el archivo ‘XXX’ “ “Confirmar presionando ‘Ok’ “

En este nivel de análisis, cada acción toma al menos 2 a 3 segundos

Permite una estimación rápida de la performance para una tarea particular

Tests de Usabilidad Tests empíricos del diseño de la interfaz con

usuarios representativos Tests con Lápiz y Papel

Se muestra a los usuarios aspectos de la interfaz “en papel”, respondiendo a determinadas preguntas

“Thinking Aloud” Los usuarios expresan sus pensamientos en voz alta,

mientras realizan tareas típicas Experimentos formales:

Experimentos controlados y análisis estadísticos Técnicas de consulta

Entrevistas y cuestionarios

Test en Lápiz y Papel Se muestra a los usuarios aspectos de la

interfaz “en papel” Los usuarios responden a determinadas cuestiones El administrador del test toma notas, las colecta y

construye tablas Ej. presentar bosquejos de una página Web, y

preguntar a los usuarios que esperan encontrar bajo iconos particulares

Rápido, efectivo y económico

Test en Lápiz y Papel Ejemplo: organización de menúes

“En forma similar a un procesador de texto actual, escriba el nombre de la opción del menú bajo la cual esperaría encontrar la tarea deseada”

File Edit View Insert Format Utilities Macro Window

1. Search for a word: __________ 2. Create a header: __________ 3. Create an index entry: __________ 4. Set up your document preferences: __________ 5. Repeat an annotation: __________ 6. Paste another file into your current file: __________ 7. Use italics: _______________ 8. Show summary information about your document: __________ 9. Switch to another document: __________ 10. Show all annotations in the document: __________ 11. Repaginate the document: __________ 12. Set up your printer: __________

“Thinking Aloud” Se les solicita a los usuarios pensar en voz alta,

mientras realizan sus tareas Se obtiene una alta cantidad de comentarios

Ventajas y desventajas Encuentra muchos problemas de usabilidad Encuentra las causas de los problemas Requiere un número pequeño de usuarios (3 - 5) Utilizable en las primeras fases del proceso de

desarrollo Requiere poca experiencia del administrador de la

evaluación El tener que pensar en voz alta puede influenciar la

forma de trabajo del usuario Puede no proveer datos acerca de la performance

Experimentos formales Experimentos controlados con usuarios

Análisis estadísticos Análisis de performance

Proveen mediciones acerca de la performance, pero requieren muchos usuarios para estadísticas precisas (16-20)

Medición de la performance Recolección de datos cuantitativos y objetivos:

Tiempo para completar algunas tareas específicas Número de tareas completadas en un tiempo dado Número de errores Tiempo de recuperación de errores Número de comandos y características utilizadas Número de características que el usuario puede

reconocer luego del test Frecuencia de uso de la ayuda del sistema Tiempo dedicado a leer la ayuda

Análisis Estadístico Existe alguna diferencia estadística

significante entre los sistemas A y B? Test de Hipótesis

Qué tamaño tiene esa diferencia? Media

Que precisión tienen los resultados? Desviación estándar, certeza

Ej. “Tenemos un 95% de certeza que el tiempo para

realizar la tarea X es 4.5 minutos”

Experimentos formales Ventajas y desventajas

Permite la comparación de diseños alternativos Recolecta datos cuantitativos y objetivos Necesita un número significativo de usuarios (16-20) Utilizable sólo en las etapas finales del proceso de

desarrollo Requiere experiencia del administrador No proveen información acerca de las razones de un

hecho

Técnicas de Consulta Preguntas a los usuarios, luego de haber

utilizado el sistema para realizar tareas representativas

Entrevistas Cuestionarios

Provee datos subjetivos acerca de la visión del usuario del sistema

Preferencias, impresiones, actitudes Simple, económico, y suplemento útil al

“thinking aloud” o experimentos formales

Entrevistas Permitir al usuario expresar primeramente sus

pensamientos Comenzar con aspectos de alto nivel, y luego con

más detallados Aceptar preguntas de cualquier otro observador Consulte cualquier aspecto que surja de las notas de

la entrevista Flexible, el administrador puede preguntar por

cualquier aspecto de interés Consume mucho tiempo Difícil de analizar y comparar

Cuestionarios Formulario escrito, estructurado, completado

por el usuario Datos cualitativos y cuantitativos Cuestionarios electrónicos (ej. GVU Web User

Survey). puede alcanzar a muchos individuos (por correo,

mail, Web) fácil de repetir consume menos tiempo que las entrevistas fácil de analizar y comparar menos flexible que las entrevistas

Técnicas de consulta Ventajas y desventajas

recolección de datos acerca de la visión subjetiva del usuario del sistema

datos cuantitativos y cualitativos información suplementaria útil simple económico los datos subjetivos pueden no ser muy confiables

Comparación de técnicas de evaluación

Evaluación heurística

Análisis de acciones

“Thinking Aloud”

Experimentos formales

Técnicas de consulta

Etapas Todas Todas Diseño Análisis competitivo, testing final

Todas

Objectivo / Subjetivo

Subjetivo Subjetivo Subjetivo Objetivo Subjetivo

Cualitativo / Cuantitativo

Cualitativo Cuantitativo Cualitativo Cuantitativo Ambos

Intrusivo No No Si Si No

Tiempo Bajo Medio / Alto Medio Alto Bajo

Equipo Bajo Bajo Bajo / Medio Medio Bajo

Experiencia Media Media / Alta Baja / Media Media / Alta Baja

Evaluadores 3-5 1-2 1-2 1-2 1-2

Usuarios 0 0 3-5 16-20 >3

Evaluaciones en cada etapa Recolección de información

Entrevistas y cuestionarios, observaciones lugar de trabajo

Diseño conceptual Entrevistas, evaluación heurística

Diseño de la funcionalidad y la interfaz Evaluación heurística, test de usabilidad, evaluaciones

teóricas Implementación del prototipo

Test de usabilidad, evaluación heurística Implementación del sistema final

Test de usabilidad Evolución y ampliación del sistema

Observaciones lugar de trabajo, entrevistas y cuestionarios, experimentos de campo