Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012)...
Transcript of Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012)...
![Page 1: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/1.jpg)
Interacción Persona-Maquina: aplicaciones en robótica y juegos
digitales
Yves Rybarczyk, PhD
![Page 2: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/2.jpg)
Índice
I. Conceptos de IHM
II. Aplicaciones en robótica
I. Teleoperación
II. Tecnologías de asistencia
III. Aplicaciones en juegos/Web
I. Educación
II. Salud
![Page 3: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/3.jpg)
CONCEPTOS DE IHM
![Page 4: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/4.jpg)
Procesos de apropiación de un artefacto
InTech (Rybarczyk et al., 2012)
![Page 5: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/5.jpg)
Esquema corporal: punto de vista psicomotor
(Piaget, 1936)
![Page 6: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/6.jpg)
Esquema corporal: punto de vista neurofisiológico
• Con artefactos simples
(Iriki et al., 1996)
![Page 7: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/7.jpg)
Esquema corporal: abordaje neurofisiológico
• Con dispositivos electrónicos
(Iriki et al., 2001)
![Page 8: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/8.jpg)
APLICACIONES EN ROBÓTICA
![Page 9: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/9.jpg)
Proyecto ARPH
![Page 10: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/10.jpg)
Proyecto ARPH
• Arquitectura
IEEE SMC (Colle, Rybarczyk & Hoppenot, 2002)
motor control
sensorial feedback
![Page 11: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/11.jpg)
Proyecto ARPH
• Abordaje antropocéntrico
Le Travail Humain (Rybarczyk et al., 2004)
![Page 12: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/12.jpg)
Proyecto ARPH
• Resultados
Sin comportamiento humano Con comportamiento humano
![Page 13: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/13.jpg)
Cyborgs
![Page 14: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/14.jpg)
Cyborgs
• Grupo del Dr. K.
Warwick
![Page 15: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/15.jpg)
Proyecto COCHISE
IEEE Roman (De Seabra, Rybarczyk, Bastista et al., 2014)
![Page 16: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/16.jpg)
Proyecto COCHISE
• Detección de la actividad
y
yy
y
t t
t
10
5
10 10
Standing Sitting
Walking Running
Front (Head) Back (Tail)
Left
Right
+X2
+Z2
+Y2
+X1
+Z1
+Y1
![Page 17: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/17.jpg)
Bioseñal para controlar una mano artificial
• Arquitectura
![Page 18: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/18.jpg)
Bioseñal para controlar una mano artificial
• Demostración
ACE (Bernardino, Rybarczyk & Barata, 2014)
![Page 19: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/19.jpg)
APLICACIONES EDUCATIVAS
![Page 20: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/20.jpg)
Juego serio para estudiantes en medicina
ICERI (Carrasco, Rybarczyk, Cardoso et al., 2013)
• Sistema interactivo
![Page 21: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/21.jpg)
Juego serio para estudiantes en medicina
• Modelación del ambiente 3D
![Page 22: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/22.jpg)
Juego serio para estudiantes en medicina
• Ej. de ejercicios
Examinación del reflejo pupilary de la óculomotricidad
Ejercitación para activar losreflejos tendinosos
![Page 23: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/23.jpg)
Juegos educativos para aprender la matemática
• Geoplano/Geoespaço
(Moraes & Machado, 2009)
![Page 24: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/24.jpg)
Juegos educativos para aprender la matemática
• Number to Number Combat
(Tremblay et al., 2010)
![Page 25: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/25.jpg)
Juegos educativos para aprender la matemática
• The Number Race
(Wilson et al., 2009)
![Page 26: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/26.jpg)
Juegos educativos para aprender a escribir
• Haptic Learning Center
(Mansour et al., 2007)
![Page 27: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/27.jpg)
Juegos educativos para aprender a escribir
• Telemaque
(Palluel-Germain et al., 2007)
![Page 28: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/28.jpg)
Juegos educativos para aprender a escribir
• IWA
(Pereira et al., 2009)
![Page 29: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/29.jpg)
Aprendizaje de la escritura a través de una interface táctil
• Image processing
For each character, an image type (or baseline) is built from a combination of images of the same character, such as images are:
• centred;
• blurred;
• multiplied;
• saved.
![Page 30: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/30.jpg)
Aprendizaje de la escritura a través de una interface táctil
• Character classification
– The image trial is:
• introduced;
• centred.
– Trial & baseline
pixels are:
• inverted (=>
ideal line is
white);
• multiplied.
![Page 31: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/31.jpg)
Aprendizaje de la escritura a través de una interface táctil
• Result
– Example:
• trial ‘c’ / baseline ‘a’
– Overall:
• more than 90% of correct classification
![Page 32: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/32.jpg)
Aprendizaje de la escritura a través de una interface táctil
• Demostración
![Page 33: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/33.jpg)
Proyecto Kinect-Sign
Springer IFIP, AICT (Gameiro, Cardoso & Rybarczyk, 2014)
![Page 34: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/34.jpg)
APLICACIONES PARA LA REHABILITACIÓN
![Page 35: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/35.jpg)
Proyecto Lisling
• Arquitecturas
AAATE (Rybarczyk, Fonseca & Martins, 2013) ACE (Rodrigues, Rybarczyk & Gonçalves, 2014)
![Page 36: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/36.jpg)
![Page 37: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/37.jpg)
![Page 38: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/38.jpg)
Interface tangible para ejercitar la comprensión en paciente afásicos
• Arquitecturas
AAATE (Rybarczyk & Fonseca, 2011)
![Page 39: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/39.jpg)
+
![Page 40: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/40.jpg)
Interface tangible para ejercitar la comprensión en paciente afásicos
• Demostración
![Page 41: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/41.jpg)
APLICACIONES WEB
![Page 42: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/42.jpg)
Proyecto e-ESPOIRS-Handi
• Problemática
AAATE (Rybarczyk et al., 2011)
![Page 43: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/43.jpg)
- Fill in questionnaires,
- Simple requests,
- Consult personal data...
- Creation and edition
of questionnaires,
- Complex requests
to the DB,
- Consult patients' data...
Data filtering and
anonymization
Patient identity DB Questionnaires' DB Questionnaires' results DB
“Medical record”
![Page 44: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/44.jpg)
Proyecto e-ESPOIRS-Handi
• Interface del paciente
![Page 45: Interacción Persona-Maquina: aplicaciones en robótica y ... · InTech (Rybarczyk et al., 2012) Esquema corporal: punto de vista psicomotor (Piaget, 1936) Esquema corporal: punto](https://reader033.fdocuments.mx/reader033/viewer/2022042809/5f91d24ce9d4732925759570/html5/thumbnails/45.jpg)
Proyecto e-ESPOIRS-Handi
• Interface del médico
Patient(not editable)
Professional(editable)
Take into account the patient's opinion