Realidad Virtual y Entornos Virtuales Habitados Angélica de Antonio Jiménez Universidad...

Realidad Virtual y Entornos Virtuales Habitados

Angélica de Antonio Jiménez

Universidad Politécnica de Madrid

Facultad de Informática

Universidad de Castilla la Mancha – Octubre 2005

Angélica de Antonio

Índice

Presentación Introducción a la Realidad Virtual y los Entornos

Virtuales Dispositivos de Realidad Virtual y Realidad

Aumentada Desarrollo de Entornos Virtuales Agentes Virtuales Inteligentes Algunos Proyectos de la UPM


El Laboratorio Decoroso Crespo

Laboratorio de I+D dependiente de la Facultad de Informática de la UPM

Áreas de trabajo:– Aplicación de las tecnologías de la información y las

comunicaciones a la enseñanza: Sistemas Inteligentes de Tutoría E-learning Gestión de la Formación

– Entornos Virtuales y Agentes Virtuales


Índice





Realidad Virtual

En 1989 se propone, por parte de Jaron Lanier, el término de Realidad Virtual:

– una simulación interactiva que implica a todos los sentidos, generada por un ordenador, explorable, visualizable y manipulable en tiempo real, dando la sensación de presencia en el entorno.

– La sensación –visual, auditiva, táctil...- se debe percibir como auténtica por el sujeto

El término Entornos Virtuales fue introducido por investigadores del MIT a principios del año 1990 como sinónimo de Realidad Virtual


Entornos Virtuales Habitados

Lo realmente diferente es que el usuario pasa a formar parte del entorno

Adopta algún tipo de representación que puede manipular en tiempo real: AVATAR– Representación: nombre (MUDs), visual (2D / 3D)– Necesidad de una identidad– Humanoides: mayor identificación– Evolución hacia:

Mayor realismo, mejores gráficos Comportamiento más verosímil (believability)


Habitantes de un EV

Maniquís: – Representación de un humano que no es el usuario, manipulable

totalmente por el usuario Avatares:

– Representación de un usuario. Responde a las órdenes del usuario.

Agentes autónomos: – Actúan autónomamente, son inteligentes (Agente Virtual

Inteligente) Avatares-agentes:

– Representación de un usuario pero con un cierto grado de autonomía


Avatares


Tipos de Entornos Virtuales(según la dimensionalidad)

Textuales



Textuales 2D



Textuales 2D 3D


Tipos de Entornos Virtuales(según el número de usuarios)

Mono-usuario Multi-usuario – Entorno Virtual Distribuido (DVE)

– La historia de los DVE´s se remonta a la década de los 70 y arranca por dos caminos en paralelo:

el mundo de Internet, orientado a los juegos en red en el campo militar orientado a la simulación para el

entrenamiento(DIS – Distributed Interactive Simulation)

– Plataformas para el desarrollo de DVEs: SPLINE, DIVE, MASSIVE, etc.

– Problemas de escalabilidad, sincronización


Tipos de Entornos Virtuales(según el grado de inmersión)

La inmersión o no-inmersión en un entorno virtual da lugar a dos experiencias fundamentalmente diferentes:

– Los sistemas no inmersivos soportan la sensación de “mirar al” EV

– los sistemas inmersivos soportan la sensación de “estar en” el EV

Dispositivos:– Sistemas no inmersivos (RV de escritorio)

Monitor, teclado, ratón y joystick– Inmersivos

Dispositivos de RV


Tipos de Entornos Virtuales(según su objetivo)

Existen múltiples aplicaciones posibles, que imponen diferentes requisitos

– Industria del Ocio (películas, juegos, entornos sociales)– Comercio electrónico– Diseño– Tratamiento de fobias. Aplicaciones médicas– Simulación y estudio de sistemas complejos– Entornos de Trabajo Colaborativo– Formación y Aprendizaje


Tipos de Entornos Virtuales(según el grado de realismo)

Realistas Adaptación de la realidad

– Tamaño– Transparencia– Escala de tiempo

Fantásticos


Tipos de Entornos Virtuales(según el grado de virtualidad)

Realidad Virtual Realidad Aumentada

Según Milgram


Tipos de Entornos Virtuales(según el grado de interactividad)

Pasivos: – son entornos inmersivos no interactivos. Entornos en los que

podemos ver, oír, y quizás sentir lo que sucede, pero no es posible controlar lo que ocurre. Corresponde a las llamadas películas dinámicas habituales en parques de atracciones.

Exploratorios: – permiten al usuario desplazarse por el entorno virtual para

explorarlo. Es el estadio correspondiente a los paseos arquitectónicos y las obras de arte virtuales

Interactivos: – permiten al usuario explorar y experimentar con el entorno,

modificándolo.


Índice





Enfoque multidisciplinar

Gráficos por computadora Física, química Interacción Persona-Ordenador Psicología cognitiva Inteligencia Artificial - Agentes Lingüística – Procesamiento de Lenguaje Natural Ingeniería del Software


Desarrollo de Entornos Virtuales

Modelado 3D– A modelar:

Escenario y objetos Habitantes

– Cómo modelar: Láser, Fotogrametría CAD: problemas de conversión de formatos Herramientas de modelado: 3DStudio (PC), Maya (PC/Silicon

Graphics), Poser, PeopleShop, VirtualFriend, NuGraf, Caligari Truespace Creator, ...

– Otros elementos: Luces Texturas



Modelado 3D Animación 3D


Animaciones 3D

Tipos:– Traslaciones + rotaciones– Giros de articulaciones – animación esquelética– Deformaciones (morphing)

Forma de generación:– Definición manual de key-frames + interpolación– Cinemática directa– Cinemática inversa

Tiempo de generación:– Precalculadas– En tiempo real



Modelado 3D Animación 3D Visualización:

– Motores gráficos: rendering, animaciones, detección de colisiones, luces, texturas, …

– Técnicas de detección de colisiones: Bounding boxes Ray tracing

– Problemas: Realismo Precisión Requisitos de cómputo



Modelado 3D Animación 3D Visualización Comunicación con dispositivos de salida



Modelado 3D Animación 3D Visualización Comunicación con dispositivos de salida

Hasta aquí es suficiente para desarrollar EVs pasivos, entornos en los que podemos ver, oír, y quizás sentir lo que sucede, pero no es posible controlar lo que ocurre.



Modelado 3D Animación 3D Visualización Comunicación con dispositivos de salida Interacción:

– A través de los dispositivos de entrada y/o interfaz de usuario– Control del punto de vista (cámaras virtuales)– Navegación

Hasta aquí es suficiente para el desarrollo de EVs exploratorios, que permiten al usuario desplazarse por el entorno virtual para explorarlo



Modelado 3D Animación 3D Visualización Comunicación con dispositivos de salida Interacción

– Generación de eventos sobre el entorno Programación de los comportamientos del EV

(simulación) y sus habitantes

Esto es necesario si queremos desarrollar EVs interactivos


Situación Actual del Desarrollo de EVs

La mayor parte de los EV desarrollados son prototipos de laboratorio

Hay relativamente poca experiencia en el desarrollo de este tipo de sistemas

El énfasis se pone en la fase de “codificación” Se debe prestar más atención a las necesidades y

requisitos de los usuarios No se adopta una actitud ingenieril


Nuestro Objetivo

Proponer un marco metodológico para el desarrollo de EVs bajo el prisma de la IS, para mejorar una serie de parámetros de calidad del software obtenido:

– Caracterización de los elementos que pueden aparecen en un EVH, así como sus comportamientos.

– Una arquitectura genérica para EVHs. – El conjunto de procesos necesarios para desarrollar EVHs, así

como las tareas de que se compone cada proceso y las relaciones entre éstas.

– La estrategia de desarrollo que se debe seguir.

Tesis doctoral finalizada en 2001 (Mª Isabel Sánchez)


Caracterización de Elementos de un EV

Clasificación según interacción externa

Clasificación según su funcionamiento

No Perceptibles

Reactivos

Proactivos

Proactivos&Reactivos

Perceptibles

Pasivos

Reactivos

Proactivos

Proactivos&Reactivos

Comportamiento Componente Perceptible-Reactivo

¿El componente tiene que comunicar algo al resto de componentes

del EVH?

Percepción Razonamiento Actuación

Actúa

Realiza Interacción externa (suena, se anima, se visualiza, etc

Realiza Interacción Interna (comunica)

Nodetecta activación por parte del usuario o dentro del EVH?

¿El componente tiene que hacer algún cálculo, comprobación, etc.? ¿El componente tiene que hacerse perceptible

al usuario?

Si

Si

No

No

Si

Si

No

Percibe

Razona¿El componente


Nuestro Objetivo







Modelo de Proceso Propuesto

Implementación

Diseño

PROCESOS DEGESTIÓN

PROCESOS DE DESARROLLO

Análisis

Diseño 3D

Implementación de Componentes de Soporte PROCESOS

INTEGRALES

Verificación yValidaciónPlanificación

Estimación

Diseño de ElementosMultimedia

Diseño de la Arquitectura Interna de los Componentes

Diseño del Sistema

Implementación delMódulo Principal

Todas las tareasy técnicas

propuestas son nuevas

Algunas de las tareasy técnicas


Se propone el uso de tareas y técnicas de otrasdisciplinas

Implementación

Diseño

PROCESOS DEGESTIÓN


Análisis

Diseño 3D


INTEGRALES


Estimación



Diseño del Sistema







El Proceso de Análisis

Tareas Acrónimo

Proceso de Anális

is

Estereotipado del EVH A-EE

Definición de Requisitos Específicos

A-RE

Conceptualización A-C

Modelado Estático A-ME

Modelado Dinámico A-MD

A-EE

Estereotipado del EVH

A-C

Conceptualización

A-REDefinición de Requisitos

Específicos

A-ME Modelado Estático

A-MD Modelado Dinámico

D3D-AR,D3D-DE, D3D-DA, DEM-DM,

DEM-AR

A-EE


A-C

Conceptualización


Específicos




DEM-AR



Descripción:– Se tratará de estereotipar el tipo de EVH a construir a través de entrevistas con

el cliente. Cada estereotipo de EVH vendrá descrito por una serie de características y, como consecuencia de ello, habrá un conjunto de tareas asociadas, necesarias para llevar a cabo el desarrollo del EVH de la forma más

eficiente.

Productos

Entrada Acuerdo con el cliente para iniciar el proyectoSalida Estereotipo de EVH a construir

Mapa de Tareas

Técnicas Entrevistas con el/los clientes

Cuestionarios de tipificación

Participantes Analista de Sistemas

Clientes


Cuestionario de Tipificación

cuestionarioTipificacion.doc


Tareas Acrónimo

Proceso de Anális

is



A-RE




A-EE


A-C

Conceptualización


Específicos




DEM-AR

A-EE


A-C

Conceptualización


Específicos




DEM-AR

Tarea de Conceptualización

Un Concepto de Uso se redacta en una o dos frases y representa una de las posibles funcionalidades del sistema, no siendo estas funcionalidades demandadas directamente por el usuario sino delegadas

en algún elemento del EVH

Usuarios

Cliente

Analista de Sistemas

Participantes

Casos de Uso

Conceptos de UsoTécnicas

Documento de Conceptualización, con casos de uso y conceptos de uso clasificados.

Lista inicial de requisitos funcionales del sistema

Definiciones, Acrónimos y Abreviaturas

Definición del Problema

Salida

Estereotipo de EVHEntrada

Productos


Tareas Acrónimo

Proceso de Anális

is



A-RE




A-EE


A-C

Conceptualización


Específicos




DEM-AR

A-EE


A-C

Conceptualización


Específicos




DEM-AR


Modelado Estático (modelo de clases básico)

Puerta

LuzColorTipo

Objeto de Decorado

FronteraTipo

Punto de Vista

Dispositivo de ConexiónTipo

UsuarioAvatar_Seleccionado

EdadNombreSexoRol

Id_conexión

1

1..*

+Utiliza

1

1..*

1..*

1

1..*

+Usa1

CuerpoOrientaciónPosición

MemoriaLista_de_amigos

AvatarNombreAcciónEstado 11 1

+ tiene

1

1

1

+Tiene

1

1

EVH Sub-EVHComponente

PosiciónOrientación


Implementación

Diseño

PROCESOS DEGESTIÓN


Análisis

Diseño 3D


INTEGRALES


Estimación



Diseño del Sistema







Implementación

Diseño

PROCESOS DEGESTIÓN


Análisis

Diseño 3D


INTEGRALES


Estimación



Diseño del Sistema








El Proceso de Diseño 3D

Tareas Acrónimo

Proceso de Diseño 3D

Selección de Diseños 3D Existentes D3D-SD

Adaptaciones y Retoques de Diseños 3D Existentes D3D-AR

Diseño 3D del EVH D3D-DE

Diseño 3D de los Avatares D3D-DA

D3D-DE

Diseño 3D del EVH

D3D-DA

Diseño 3D de los Avatares

A-C, A-RE D3D-SD

Selección de Diseños 3D Existentes

D3D-AR

Adaptaciones y Retoques de Diseños 3D Existentes

A-C, A-RE D3D-DE

Diseño 3D del EVH

D3D-DA


A-C, A-RE D3D-SD


D3D-AR


A-C, A-RE


El Diseño 3D del EVH

Productos

EntradaTodos los productos de salida del proceso de Análisis, que puedan aportar detalles concretos sobre el aspecto gráfico de alguno de los elementos que deben aparecer, o sobre la estructura del EVH, decorado, etc.

Salida

Formularios de Modelado del EVH

Mapas de Vistas

Tabla de Comportamiento

Tabla de Navegación

Modelo de Estructura Jerárquica de Elementos

Tabla de Estructura Jerárquica de Elementos

Tabla de Descripción de Articulaciones de Elementos

Técnicas

Formularios de Modelado 3D del EVH

Mapas de Vistas

Tabla de Navegación

Tabla de Comportamiento

Estructuración de Elementos

ParticipantesDiseñador Gráfico

Diseñador del Sistema

Cliente (para proporcionar detalles relevantes del aspecto del EVH)

Mapas de Vistas

Vista Superior de Elementos

Vista Superior de Zonas

SÍMBOLO

SIGNIFICADO

Zona sin restricciones

Zona libre de elementos

Elementos optativos o decorativos

Elementos obligatorios

Punto de vista

1

IIII

IV

II

1

IIII

IV

1

2

3

4


Mapas de Vistas

Vista Lateral

IIVista Lateral

I

Vista Lateral

I VVista Lateral

I I I

Vistas Laterales

Vista 3D (caballera)


Formulario de modelado 3D del EVH

FormModelado3DSubEVH.doc


Implementación

Diseño

PROCESOS DEGESTIÓN


Análisis

Diseño 3D


INTEGRALES


Estimación



Diseño del Sistema







Implementación

Diseño

PROCESOS DEGESTIÓN


Análisis

Diseño 3D


INTEGRALES


Estimación



Diseño del Sistema








El Proceso de Diseño de la Arquitectura Interna de los Componentes

DAI-SMCI

Seleccióny Modeladode las Características Internasde los

Componentes

DAI-MP

DAI-DFA

Diseño Físico de las Animaciones

DAI-DMR

Diseñodel Modelode Razonamientoy Decisión

A-C, A-ME, A-MD

D3D-DE, D3D-DA

Modeladode la Percepción

A-C DAI-SMCI

Seleccióny Modeladode las Características Internasde los

Componentes

DAI-MP

DAI-DFA


DAI-DMR

Diseñodel Modelode Razonamientoy Decisión

A-C, A-ME, A-MD

D3D-DE, D3D-DA

Modeladode la Percepción

A-C

PROCESOS DE

DESARROLLO

Análisis

A-EE


A-C

Conceptualización

A-REDefinición de Requisitos Específicos



PROCESOS INTEGRALES

Ver

ifica

ción

y V

alid

ació

nV

&V

-RC

V&

V-C

ME

MD

V&

V-D

EC

V&

V-A

V&

V-D

AIA

3D

V&

V-D

EIE

VH

Rev

isió

nde

Con

cept

ualiz

ació

n

Rev

isió

nde

Con

cept

ualiz

ació

n/

Mod

elad

o E

stát

ico/

Mod

elad

o D

inám

ico

Rev

isió

nde

Diseñ

o 3D

del

EV

H /

C

once

ptua

lizac

ión

Rev

isió

nde

los A

vata

res

Rev

isió

nD

iseñ

ode

losA

vata

res /

Impl

emen

taci

ón d

e lo

s A

vata

res 3D

Diseño 3D

PROCESOS DEGESTIÓN

Plan

ifica

ción

Plan

ifica

ción

del

Proy

ecto

P -PP

D3D-DE

Diseño 3D del EVH

D3D-DA


D3D-SD


D3D-AR


Diseño de Elementos Multimedia

DEM-DM

Diseño Multimedia

DEM-SD

Selección de Diseños Multimedia Existentes

DEM-AR

Adaptaciones y Retoques de Diseños Multimedia Existentes


DAI-SMCI

Seleccióny Modelado de las Características Internasde los

Componentes

DAI-MP

DAI-DFA


DAI-DMR

Diseño del Modelo de Razonamiento y Decisión

Modelado de la Percepción

DS-MEA Modelado Estático Ampliado

DS-MDA

Modelado Dinámico Ampliado

DS-DDM

Diseño de la Arquitecturadel Sistema

Descripción Detalladade los Métodos

DS-DAS

DS-DPD

Diseño de la Persistenciade los Datos

DS-DI

Diseño de la Interfaz

Diseño del SistemaDiseño

ICS-SDRV Implementacióndel Software de Dispositivo de RealidadVirtual

ICS-IMCI Implementacióndel Modelo de Representaciónde las Características Internas

ICS-IMP Implementacióndel Modelo de Percepción

Adaptacionesy Retoquesde Modelos3D ExistentesImplementaciónde los Avatares3D

ICS-IA3D

Implementacióndel EVH 3DICS-IEVH

ICS-S3D ICS-AR3D

Selecciónde Modelos3D Existentes

Adaptacionesy Retoquesde ElementosMultimedia Existentes

ICS-IEM Implementaciónde ElementosMultimedia

ICS-SEM ICS-AREM

Selecciónde ElementosMultimedia Existentes

Implementación de Componentes de Soporte

Implementación del Módulo Principal

Construcciónde un EVH vacíoIMP-EVHV

Incorporacióndel Software de RealidadVirtual

IMP-ISRV

IMP-IO3D Incorporaciónde Objetos3D Individualmente, y Elementos Multimedia

IMP-PA

IMP-ISRE

Programaciónde Acciones

IMP-IMCIIncorporaciónde los modelosde representaciónde las características internasde percepcióny de reacción

Incorporaciónde los Serviciosde Red especificados

Implementación

Est

imac

ión

Est

imac

ión

del P

roye

cto

E-E

P

Rev

isio

n D

iseñ

o3D

del

EV

H /

Im

plem

enta

ción

del

E

VH

3D

Todas las tareas y técnicas propuestas son nuevas

Algunas de las tareas y técnicas propuestas son nuevas

Se propone el uso de tareas y técnicas de otras disciplinas

PROCESOS DE

DESARROLLO

Análisis

A-EE


A-C

Conceptualización




PROCESOS INTEGRALES

Ver

ifica

ción

y V

alid

ació

nV

&V

-RC

V&

V-C

ME

MD

V&

V-D

EC

V&

V-A

V&

V-D

AIA

3D

V&

V-D

EIE

VH

Rev

isió

nde

Con

cept

ualiz

ació

n

Rev

isió

nde

Con

cept

ualiz

ació

n/

Mod

elad

o E

stát

ico/

Mod

elad

o D

inám

ico

Rev

isió

nde

Diseñ

o 3D

del

EV

H /

C

once

ptua

lizac

ión

Rev

isió

nde

los A

vata

res

Rev

isió

nD

iseñ

ode

losA

vata

res /

Impl

emen

taci

ón d

e lo

s A

vata

res 3D

Diseño 3D

PROCESOS DEGESTIÓN

Plan

ifica

ción

Plan

ifica

ción

del

Proy

ecto

P -PP

D3D-DE

Diseño 3D del EVH

D3D-DA


D3D-SD


D3D-AR



DEM-DM

Diseño Multimedia

DEM-SD


DEM-AR



DAI-SMCI


Componentes

DAI-MP

DAI-DFA


DAI-DMR




DS-MDA


DS-DDM



DS-DAS

DS-DPD


DS-DI







ICS-IA3D


ICS-S3D ICS-AR3D




ICS-SEM ICS-AREM






IMP-ISRV


IMP-PA

IMP-ISRE




Implementación

Est

imac

ión

Est

imac

ión

del P

roye

cto

E-E

P

Rev

isio

n D

iseñ

o3D

del

EV

H /

Im

plem

enta

ción

del

E

VH

3D

PROCESOS DE

DESARROLLO

Análisis

A-EE


A-C

Conceptualización




Análisis

A-EE


A-C

Conceptualización




A-EE


A-C

Conceptualización




PROCESOS INTEGRALES

Ver

ifica

ción

y V

alid

ació

nV

&V

-RC

V&

V-C

ME

MD

V&

V-D

EC

V&

V-A

V&

V-D

AIA

3D

V&

V-D

EIE

VH

Rev

isió

nde

Con

cept

ualiz

ació

n

Rev

isió

nde

Con

cept

ualiz

ació

n/

Mod

elad

o E

stát

ico/

Mod

elad

o D

inám

ico

Rev

isió

nde

Diseñ

o 3D

del

EV

H /

C

once

ptua

lizac

ión

Rev

isió

nde

los A

vata

res

Rev

isió

nD

iseñ

ode

losA

vata

res /

Impl

emen

taci

ón d

e lo

s A

vata

res 3D

Diseño 3D

PROCESOS DEGESTIÓN

Plan

ifica

ción

Plan

ifica

ción

del

Proy

ecto

P -PP

Plan

ifica

ción

Plan

ifica

ción

del

Proy

ecto

P -PP

D3D-DE

Diseño 3D del EVH

D3D-DA


D3D-SD


D3D-AR


D3D-DE

Diseño 3D del EVH

D3D-DA


D3D-SD


D3D-AR



DEM-DM

Diseño Multimedia

DEM-SD


DEM-AR



DEM-DM

Diseño Multimedia

DEM-SD


DEM-AR


DEM-DM

Diseño Multimedia

DEM-SD


DEM-AR



DAI-SMCI


Componentes

DAI-MP

DAI-DFA


DAI-DMR




DAI-SMCI


Componentes

DAI-MP

DAI-DFA


DAI-DMR



DAI-SMCI


Componentes

DAI-MP

DAI-DFA


DAI-DMR




DS-MDA


DS-DDM



DS-DAS

DS-DPD


DS-DI


Diseño del Sistema


DS-MDA


DS-DDM



DS-DAS

DS-DPD


DS-DI



DS-MDA


DS-DDM



DS-DAS

DS-DPD


DS-DI







ICS-IA3D


ICS-S3D ICS-AR3D




ICS-SEM ICS-AREM






ICS-IA3D


ICS-S3D ICS-AR3D




ICS-SEM ICS-AREM




ICS-SEM ICS-AREM






IMP-ISRV


IMP-PA

IMP-ISRE






IMP-ISRV


IMP-PA

IMP-ISRE




Implementación

Est

imac

ión

Est

imac

ión

del P

roye

cto

E-E

P

Est

imac

ión

Est

imac

ión

del P

roye

cto

E-E

P

Rev

isio

n D

iseñ

o3D

del

EV

H /

Im

plem

enta

ción

del

E

VH

3D

Todas las tareas y técnicas propuestas son nuevas

Algunas de las tareas y técnicas propuestas son nuevas

Se propone el uso de tareas y técnicas de otras disciplinas


Nuestro Objetivo







Desarrollo IterativoProcesos en Iteraciones

Iteración 1 Iteración 2

DS


A

D3D

ICS

IMP

DAI

60%40%

25%75%

16,7%33,3%

50%

25%75%

10% 10%20%

70%

100%DEM

16,7%16,7%

16,7%50%

15,5%50%

33,3%V&V

100%E

100%P


DS


A

D3D

ICS

IMP

DAI

60%40%

25%75%

16,7%33,3%

50%

25%75%

10% 10%20%

70%

100%DEM

16,7%16,7%

16,7%50%

15,5%50%

33,3%V&V

100%E

100%P

A-EE

A-C

A-RE A-ME

A-MD

D3D-DE

D3D-DA

D3D-SD D3D-AR

DEM-DM

DEM-SD

DEM-AR

DAI-SMCI

DAI-MP

DAI-DFA

DAI-DMR

DS-MEA

DS-MDA

DS-DDM

DS-DAS

DS-DPD

DS-DI

ICS-IA3D

ICS-IEVH

ICS-IEM

ICS-SEMICS-AREM

ICS-S3D

ICS-AR3D

ICS-SDRV

ICS-IMCI

ICS-IMP

IMP-EVHV

IMP-ISRV

IMP-IO3D

IMP-PA

IMP-ISRE

IMP-IMCI

V&V-RC

V&V-A

V&V-CMEMD

V&V-DEC

V&V-DAIA3D

V&V-DEIEVH

E-EP

P-PP

A-EE

A-C

A-RE A-ME

A-MD

D3D-DE

D3D-DA

D3D-SD D3D-AR

DEM-DM

DEM-SD

DEM-AR

DAI-SMCI

DAI-MP

DAI-DFA

DAI-DMR

DS-MEA

DS-MDA

DS-DDM

DS-DAS

DS-DPD

DS-DI

ICS-IA3D

ICS-IEVH

ICS-IEM

ICS-SEMICS-AREM

ICS-S3D

ICS-AR3D

ICS-SDRV

ICS-IMCI

ICS-IMP

IMP-EVHV

IMP-ISRV

IMP-IO3D

IMP-PA

IMP-ISRE

IMP-IMCI

V&V-RC

V&V-A

V&V-CMEMD

V&V-DEC

V&V-DAIA3D

V&V-DEIEVH

E-EP

P-PP


Índice





Habitantes de un Entorno Virtual

AVATARES AGENTES VIRTUALES

– Es un agente– Es más o menos inteligente– Está encarnado

Adopta una representación corpórea (generalmente con forma humana) (embodiment)

– Habita un entorno virtual: No sólo percibe observaciones de un entorno externo, sino que

forma parte del mismo entorno, y debe ser capaz de desenvolverse, percibir e interactuar en él

Modelo de Organismo

Procesamientocentral

Percepción Acción


Percepción en un AVI

Un AVI debe percibir y ser consciente de los objetos y seres que le rodean.

Sentidos y Procesos sensoriales: captura de estímulos del entorno

imágenes, sonidos, sensaciones táctiles, olores, sabores

Procesos perceptivos: clasificación de las experiencias sensoriales en categorías conocidas

objetos, situaciones, sonidos, voz

En los seres humanos las capacidades perceptivas están limitadas


Percepción en un AVI

Tesis doctoral de Pilar Herrero (2003) – modelo de percepción para AVIs

– Conceptos tomados de un modelo de Consciencia (Awareness) en CSCW:

Focus, Nimbus, Fronteras,…

– Adaptación para ser utilizados por un agente inteligente– Adición de aspectos de percepción humana:

Visual: agudeza visual, visión lateral Auditiva: agudeza auditiva, localización de fuentes

Modelo de Organismo

Percepción AcciónProcesamientocentral


Procesamiento Central

Razonamiento Selección de comportamientos Aprendizaje Atención Motivación Sentimientos


Nuestro ModeloArquitectura General

Tesis doctoral de Ricardo Imbert (2005) – Arquitectura Cognitiva Emocional para AVIs


Creencias del AVI


Tipos de Creencias

Características definitorias Estados transitorios Actitudes

Modelo Interno– Personalidad– Emoción– Actitudes


Arquitectura del Nivel Reactivo


Arquitectura del Nivel Deliberativo

Modelo de Organismo

Percepción AcciónProcesamientocentral


Subsistema de Acción

Categorías de acciones:– Comunicación Verbal:

El lenguaje natural es una barrera

– Comunicación No-verbal

– Movimientos

– Interacciones con el entorno

Mecanismos de acción:– Síntesis/reproducción de voz

– Animaciones

– Expresiones faciales


Índice





Algunos Proyectos de la UPM

Prvir Simu2 Vrimor Maevif


PRVIR

Realizado para DTN-Central Nuclear de Vandellós (1999-2000)

Sistema de Formación en Protección Radiológica

Combinación de Multimedia y EVs Herramientas y lenguajes:

– 3D Studio, DirectX, Visual C++, MFC


PRVIR

Los escenarios virtuales se usan para aprendizaje de procedimientos:

– Entrada en zona controlada– Salida de zona controlada– Paso por zona de tránsito

En tres pasos:– Visualizar trayectoria en el escenario (vista de pájaro)– Visualizar procedimiento a realizar (vídeo pregrabado)– Entrenarse


PrVir


PRVIR

En modo Entrenamiento hay un tutor inteligente (no personificado) que supervisa la actuación del estudiante

Sigue la arquitectura de un Sistema Inteligente de Tutoría (SIT)

Student M. Expert M.

Tutoring M.

Communication M.

Student


Simu2

Realizado para Tecnatom-Central Nuclear de Almaraz (2000-2002)

Sistema de Planificación de Intervenciones en Entornos Radiológicos

El objetivo es encontrar la forma de realizar la operación con la menor dosis acumulada para los operarios que intervienen en ella

Herramientas y lenguajes:– 3D Studio, DirectX, Visual C++, MFC


Simu2

El reto es proporcionar un maniquí fácilmente manipulable por un usuario no informático

Se proporciona un conjunto de animaciones predefinidas

Se van registrando las órdenes del diseñador y se calcula la dosis recibida por el operario


Simu2


Vrimor

Proyecto subvencionado por la UE (2001-2003) Objetivos similares a los de Simu2 Exploración de nuevos tipos de interfaz:

– Sistema de reconocimiento de voz– Ratón 3D (space mouse)– Gafas estereoscópicas

Captura del escenario con escáner láser


Componentes del Sistema

Escáner Laser

Información Radiológica

Entorno Geométrico-Radiológico

(VRML)

HePSI Trayectorias VISIPLAN


Terminología

Planificar una Operación es decidir:– Qué operarios intervienen– Qué subtareas realizará cada operario– En qué momento se inicia cada subtarea y cuánto dura– Es como definir el guión de una obra de teatro– Se va dando órdenes a los operarios virtuales y ellos obedecenEl sistema va registrando las decisiones tomadas

Simular una Operación es:– Hacer que los operarios virtuales ejecuten las subtareas

planificadas dentro del escenario– Observar si el comportamiento es el deseado– Es como ver la obra de teatroSe puede intercalar la planificación con la simulación


Diseño de Subtareas

Las órdenes a los operarios se pueden dar:– Usando el ratón– Por voz, usando el micrófono

Se elige el tipo de subtarea y se concreta cómo realizarla (parametrización)


Tipos de Subtareas

De Movimiento De Vestuario De Interacción con Objetos

Vrimor


Proyecto MAEVIF

Modelo para la Aplicación de Entornos Virtuales Inteligentes a la Formación

Subvencionado por el MCYT


Entornos Virtuales Inteligentes para Entrenamiento (EVIEs)

Combinación de:– Un Entorno Virtual – Un Sistema Inteligente de Tutoría

Una opción prometedora para actividades educativas, especialmente cuando la educación tradicional puede ser costosa, peligrosa o imposible de realizar.


Nuestra aproximación

Una arquitectura abierta y flexible que permita:– Fácil integración de componentes y subsistemas nuevos– Fácil mantenibilidad

Basada en Agentes Software

Una plataforma que incorpore un conjunto de componentes (agentes) adaptables y configurables

Una herramienta de autor que permita añadir los contenidos de un curso fácilmente


Esquema Global

Autor

Autor

Herramientade Autoría

EVIEs

Motor de

Ejecución

Estudiante

Estudiante

Modelo de los Estudiantes


Características de un EVIE

Entorno virtual 3D Para el entrenamiento en procedimientos en equipo Estudiante representado con un avatar Varios estudiantes conectados simultáneamente Una simulación subyacente del entorno real modelado Actuar sobre los objetos del entorno virtual tiene efectos sobre

la simulación El estado de la simulación se refleja automáticamente en el

entorno virtual Cada estudiante debe aprender cómo actuar

colaborativamente sobre el entorno para conseguir ciertos objetivos


Tipos de conocimiento a aprender

Estructura estática del entorno (objetos, sub-entornos, conexiones entre sub-entornos)

Ejecución de procedimientos compuestos de pasos para conseguir ciertas metas:

Ir a un cierto lugar Hacer un cierto movimiento Interactuar de alguna forma con un objeto/agente del entorno…

Funcionamiento del sistema simulado: Interpretar el estado del entorno (un indicador rojo indica que la

presión del agua es demasiado alta) Anticipar el efecto que provocará sobre el sistema una acción en el

entorno (si abro la válvula de desagüe, la presión disminuirá)


AVIs en un EVIF

AVIs que jueguen papeles específicos dentro del entorno (ej. recepcionista)

AVI que actúa como Tutor y Supervisor del estudiante: – Desempeñar cualquier papel en el procedimiento a aprender– Explicar lo que hace o hay que hacer, y por qué– Contestar a preguntas del estudiante:

¿Qué debo hacer ahora? ¿Por qué? ¿Qué ocurriría si hiciese esto?

– Observar el comportamiento del estudiante durante su proceso de aprendizaje (seguir al estudiante a través del entorno, y mirarlo)

– Indicar los errores cometidos por el estudiante (según el grado de control)

– Dar pistas


Retos en el Diseño del Motor de Ejecución

Arquitectural:– Arquitectura clásica

de un SIT

– Nuevos retos: Multi-estudiante: entrenamiento de equipos Arquitectura basada en agentes co-operativos Basada en Realidad Virtual, posiblemente muy inmersivo (HMD, guante,

reconocimiento de voz)

M.Estudiante M.Experto

M.Tutoría

M.Comunicación

Estudiante


Arquitectura MAEVIF

Voice Recognition 1

Graphical and Interaction Subsystem (GIS) 1 Voice

Recognition N

Graphical and Interaction Subsystem (GIS) N

ORB

Direct Communication

Multi-agent Tutoring System (MATS)

Name Server


Graphics and Interaction Subsystem (GIS)

Una instancia para cada estudiante

Visión en primera persona

Válido para cualquier combinación lógica de dispositivos de interacción


Avatar Reutilizable

Modelo 3D predefinido Librerías para el control del comportamiento del avatar

por parte del usuario o del agente Conjunto predefinido y configurable de animaciones

(andar, agacharse, levantarse, inclinarse, coger un objeto, pulsar un botón…)

Simulation Agent

Planning Agent

Tutoring Agent

Individual Communication Agent 1

Graphical and Interaction Ss,

Graphical and Interaction Ss,

Interaction Devices

Interaction Devices

Action Agent

Trajectory Agent

Learner 1 Learner N

Virtual Tutor Agent 1

Virtual Tutor Agent N

Perception Agent

Expert Agent

World Agent

Global Communication Agent

Student Agent 1

Student Agent N

Student Agent

Individual Communication Agent N


Tecnologías Utilizadas

Desarrollo de los agentes:– Metodología GAIA– Plataforma JADE– Java

Desarrollo del entorno virtual y los avatares:

– 3DStudio– OpenGL– Visual C++

Distribución y comunicación entre procesos:

– Corba

Entorno multi-usuario:– Microsoft Direct Play

Sonidos:– Microsoft Direct Sound

Dispositivos:– Microsoft Direct Input– Virtual Hand– HMD

Reconocimiento de voz: – IBM Via Voice


El Futuro de los EV

Dispositivos portables (wearable) Acceso a aplicaciones software en cualquier lugar y en

cualquier momento Los agentes adquieren una presencia virtual cuando es

necesario, posiblemente en una realidad aumentada Los usuarios interactúan con los agentes como lo harían

con otros humanos


El Futuro de los EV

Un mundo paralelo de agentes móviles trabajando constantemente para nosotros, comunicándose y cooperando entre ellos para satisfacer nuestras necesidades

– Tesis doctoral de Pedro Pérez – Arquitectura mixta de agentes móviles y agentes virtuales como representantes del usuario de Entornos Virtuales


Conclusiones

Área muy prometedora

Todavía mucho trabajo por hacer…

Realidad Virtual y Entornos Virtuales Habitados Angélica de Antonio Jiménez Universidad...

Documents

Transcript of Realidad Virtual y Entornos Virtuales Habitados Angélica de Antonio Jiménez Universidad...