Tecnologías interactivas e inmersivas  aplicadas a la docencia

Prof. Fernando Boronat SeguíImmersive Interactive Media R&D Group

Departamento deCommunicaciones

Índice

1. Breve presentación del grupo IIM.

2. Sistemas interactivos e inmersivos. Definiciones y ejemplos.

3. Demos propias

1. Presentación del Grupo de investigación:Immersive Interactive Media (IIM) R&D group

• Integrado dentro del Departamento de Comunicaciones dela UPV, con actividad y producción científica muy intensa endiferentes áreas relacionadas con la TIC.

• Áreas de investigación: telecommunicaciones (redes),ciencia de los ordenadores y la computación, electrónica,comunicaciones A/V, arte multimedia, turismo y ciudadesinteligentes…

• Multidisciplinar: Profesores,investigadores, estudiantes dedoctorado, master y grados dediversas áreas.

Líneas de Investigación1. Sincronización multimedia (MediaSync)

• Inter-Media Sync: lip-sync, subtitles sync…• Inter-Device Sync (IDES): multi-screen scenarios…• Inter-Destination Media Sync (IDMS): e.g. Social TV.• Hybrid Broadcast Broadband Sync: multi-view cameras…

2. Media Streaming (RTP/RTCP, RTSP, HAS).3. Sistemas Distribuidos, inmersivos e interactivos.

• Quality of Service (QoS) & Quality of Experience (QoE).• TV Distribuida, Interactiva e inmersiva.• MulSeMedia: Experiencias Multi-Sensoriales.• Escenarios de RV 3D inmersivos. Cave, Head Mounted

Displays or HMD (e.g. Oculus Rift...).• Captura de Movimiento (MOCAP) e interacción y control por

gestos (IR, Kinnectv2, Leap Motion…)4. Pantallas Multi-Táctiles (p. ej., para trabajo collaborativo).

Desde el punto de vista de los sistemas inmersivos einteractivos nos interesa:

• Sistemas con diversas y nuevas formas de interactuar:

• Una persona con un sistema digital.

• Varias personas con uno o varios sistemas digitales.

• Personas con personas (a través de sistemas digitales) …

Índice

1. Breve presentación del grupo IIM.

2. Sistemas interactivos e inmersivos. Definiciones y ejemplos.

3. Demos propias

2. Sistemas interactivos e inmersivos.Definiciones y ejemplos

• Interactividad/Interacción Persona-Ordenador (HumanComputer Interaction o HCI).

• Inmersividad (efectos multi-sensoriales).

• Realidad Virtual (Virtual Reality o VR).

• Realidad Aumentada (Augmented Reality o AR).

Interacción/Interactividad• Interacción: acción recíproca que se ejerce entre varios

objetos, personas, grupos... (Influencia mutua).

A) Interactividad con dispositivos o apps: interacciónentre una persona y una máquina o dispositivosmediante herramientas de entrada/salida: teclado, ratón,touchpad, voz, sensores (tracking/control gestos)…

B) Interactividad con otras personas: herramientas detexto y/o audio/videoconferencia, herramientascolaborativas…

• Normalmente, se sobreentiende que la interactividad esen tiempo real.

2. Sistemas interactivos e inmersivos.Definiciones y ejemplos

Orígenes de los sistemas interactivos

Sistemas primitivos de interacción.• Cintas o tarjetas perforadas y

teleimpresoras.

Años 60:• Sistemas de tiempo compartido

mediante terminales en modo texto.• Interfaz de línea de comandos.

Interfaces de pantalla completa. • Gestionadas mediante menús y

cajas de diálogo. • Útiles cuando los recursos del

sistema o el tamaño de la pantalla es reducido.

• Teletexto, WAP, …

2. Sistemas interactivos e inmersivos.Definiciones y ejemplos

• Manipulación de objetos gráficos, dispositivos apuntadores, entornos basados en ventanas.

• SketchPad de Ivan Sutherland (1963).• El ratón de Douglas Engelbart (1968).

Años 70: Ordenadores manejados por personal especializado. • Primaba la eficiencia del sistema.

Orígenes de los sistemas interactivos

2. Sistemas interactivos e inmersivos.Definiciones y ejemplos

• Años 80: primeros sistemas comerciales quepermiten la manipulación de objetos gráficos

Orígenes de los sistemas interactivos

2. Sistemas interactivos e inmersivos.Definiciones y ejemplos

Años 90-20xx: El ordenador pasa a ser utilizado en el trabajodiario.• Necesidad de mecanismos que faciliten la relación con el

usuario (interacción) y mejoren la productividad.• Sistemas WIMP (Windows, Icons, Menus, Pointer), basados

en ventanas y en la metáfora del escritorio.

Orígenes de los sistemas interactivos

2. Sistemas interactivos e inmersivos.Definiciones y ejemplos

En la actualidad…

• Interfaces táctiles y gestuales. • Reconocimiento de voz e interfaces basadas en el habla.• Efectos multi-sensoriales.• Inmersividad…

Orígenes de los sistemas interactivos

2. Sistemas interactivos e inmersivos.Definiciones y ejemplos

Inmerso (R.A.E.): estar sumergido en algo.

Sistemas inmersivos multimedia: Proporcionan a losusuarios sensación de estar sumergidos/integrados en laexperiencia multimedia.

Ejemplos: Videojuegos, Sistemas de Realidad Virtual…

Inmersividad

2. Sistemas interactivos e inmersivos.Definiciones y ejemplos

Realidad Virtual

• Medio que proporciona una visualización participativaen tres dimensiones y la simulación de mundosvirtuales en tiempo real.

• Entorno generado por ordenador en el que losparticipantes pueden entrar físicamente e interactuaren él desplazándose por su interior o modificándolo.

2. Sistemas interactivos e inmersivos.Definiciones y ejemplos

• Sistemas RV inmersivos. El usuariotiene la sensación de estar explorando unmundo virtual, utilizando diferentesaccesorios como guantes, gafas, cascosy/o traje especial para poder sertransportado a diferentes mundos.

Inmersividad

2. Sistemas interactivos e inmersivos.Definiciones y ejemplos

Abrir vídeo

• Sistemas RV semi-inmersivos. Formados por diversaspantallas en forma de cubo (paredes, techo y piso) donde seproyecta el mundo virtual (CAVE: Cave Automatic VirtualEnvironment). El usuario puede utilizar gafas (3D) además demecanismos de tracking para que, al moverse, cambie laproyección de forma acorde.

Inmersividad

2. Sistemas interactivos e inmersivos.Definiciones y ejemplos

Ver vídeo 1: Cave

Video 2: Cave L

• Teclado, ratón, joystick, micrófono…

• Guantes:

Dispositivos de entrada/salida

2. Sistemas interactivos e inmersivos.Definiciones y ejemplos

Leap Motion Kinect

Mandos (Wii, Xbox…)

Dispositivos de entrada/salida

2. Sistemas interactivos e inmersivos.Definiciones y ejemplos

VídeoLeap Motion

Vídeo Kinect 1

HMD: Head Mounted DisplaysHTC vive

Samsung Gear VR

Oculus Rift/Go

Google Cardboard

Dispositivos de entrada/salida

2. Sistemas interactivos e inmersivos.Definiciones y ejemplos

Dispositivos de seguimiento (trackers)

2. Sistemas interactivos e inmersivos.Definiciones y ejemplos

Ver Video

Haptics(dispositivos de contacto/fuerza/presión)

2. Sistemas interactivos e inmersivos.Definiciones y ejemplos

Aplicaciones de la RV

• Entretenimiento: Videojuegos 3D• Simuladores (Ejército y Fuerzas de seguridad,

Educación…).• Aprendizaje (ámbito educativo y/o profesional)).• Medicina (tratamiento de fobias y traumas).• Arquitectura Virtual.• …

2. Sistemas interactivos e inmersivos.Definiciones y ejemplos

Realidad Aumentada (RA)• Consiste en combinar el mundo real con el virtual mediante

procesos informáticos, enriqueciendo la experiencia visual ymejorando la calidad de comunicación con el usuario.

• Proporciona información visual adicional a la realidad, y permitecrear todo tipo de experiencias interactivas: Catálogos deproductos en 3D, probadores de ropa virtual, videojuegos, etc.

Vídeo con def, apps y dispositivos de RA

2. Sistemas interactivos e inmersivos.Definiciones y ejemplos

Índice

1. Breve presentación del grupo IIM.

2. Sistemas interactivos e inmersivos. Definiciones y ejemplos.

3. Demos propias

3. Demostraciones.

Distributed, Interactive and Immersive TV.

• CSCW, Social TV and synchronous e-Learning Platforms.

• Tool for Computer-Supported Cooperative Work (CSCW).

• Cross-platform, cross-device support.• Online Video library.• Distributed Media Sharing,

Consumption and Synchronization.• Social Interaction Channels:

⁻ Synchronized text chat.⁻ AV conferencing tools.

• Presence Mechanisms:⁻ List of active sessions, members, and media

being consumed.⁻ Twitter (#Wersync, #session_id, #user_nick,

URL).

3. Demostraciones.

Herramientas con sincronización multimedia (MediaSync)

Subtítulos Adaptables sincronizados Aprendizaje de idiomas

Link forvideo

3. Demostraciones.

MulSeMedia: Multi-Sensorial Media experiences.• Stimulation of all senses: olfactory, haptics/touch, wind,

temperature, humidity, vibration...

Olfactory:Link forDemo Videos

Contact: Fernando Boronat

E-mail: fboronat@dcom.upv.esTwitter: @ferboron, @ImInMediaGroup

Youtube channel: Immersive Interactive Media R&D Group

(http://iim.webs.upv.es)