Máster en Desarrollo de Software - Universidad de Granada

Máster en Desarrollo de Software

Prof. Ramón López-Cózar Delgado

Sistemas de Diálogo Hablado y Multimodal

Procesamiento

del Habla

en Call Centers

Automáticos

Interacción

Multimodal

en Entornos

de Inteligencia

Ambiental

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal2

Puntos a tratar

1. Investigación

2. Cursos del Máster

3. Trabajos de Fin de Máster

4. Profesorado


http://sisdial.ugr.es


1. Investigación

1.1 Procesamiento del habla

1.2 Interacción multimodal

1.3 Inteligencia Ambiental (AmI)

1.4 Computación afectiva

1.5 Desarrollo de Voice apps en Android

1.6 Interacción humano-robot



� Reconocimiento automático del habla

� Comprensión del habla

� Gestión del diálogo hablado persona-ordenador

� Generación del habla


1.1 Procesamiento del habla: Sistemas de diálogo



RAH

RAH

Comprensión

Comprensión

Gestor diálogo

Gestor diálogo

GLN

GLN

Sintetizador

Sintetizador

Vocabulario,

modelos acústicos

y de lenguaje

Vocabulario,

modelos acústicos

y de lenguaje

MemoriaMemoria

Voz

Usuario

Voz

Usuario

Voz

sistema

Voz

sistema

Palabras y

reglas de

gramática

Palabras y

reglas de

gramática

Patrones y

reglas

Patrones y

reglas

Interfaz de EntradaInterfaz de Entrada Interfaz de SalidaInterfaz de Salida

Palabras

reconocidas

Palabras

reconocidas

Representación

semántica

Representación

semántica

Información

a generar

Información

a generar

Expectativas

Expectativas

Frases en

formato texto

Frases en

formato texto

Modelo de

diálogo,

estrategias

Modelo de

diálogo,

estrategias

Base datos localBase datos local Base datos remotaBase datos remota


1. Investigación





1.5 Desarrollo de aplicaciones en Android




Aut. speechrecognition

Handwritingrecognition

Gesturerecognition

Lipreadingrecognition

Faceloc. & track.

Nat. lang.generation

Graphicgeneration

Speechsynthesis

Multimodaldata storage

Gazetracking

Nat. lang.processing

DatabaseTask

Multimodaldata fusion

Dialoguemanager

Responsegenerator

Input interface

Output interface

Multimodal processing


1. Investigación









Home.cfg

ROOMS

APPLIANCES

Home.cfg

ROOMS

APPLIANCES

Light.xml(SRGS Grammar)

ACTIONS

Light.xml(SRGS Grammar)

ACTIONS

Light.cfg

ATTRIBUTES

VALUES

(range)

Light.cfg

ATTRIBUTES

VALUES

(range)

SPEECH

INTERFACE

GUI

INTERFACE


1. Investigación





1.5 Desarrollo de aplicaciones en Android




� Objetivo

– Lograr interfaces más naturales

� Aproximaciones

– Detección de estados emocionales de usuarios

– Generación de estados emocionales en usuarios

� Tarea muy dificultosa

– No se comprende totalmente como ser humano “procesa” las emociones

– Subjetividad de las emociones

– Conocimiento disperso en varias disciplinas

– Número limitado de emociones para tener éxito


ASR

NLP

Dialog Manag.

NLG

Synthesiser

Memory

User

voice

System

voice

Input Interface

Output

Interface

Recognised

words

Semantic

representation

Response

to generate

Response in

text form

at

Emotion

Detection

� Detección de estados emocionales de usuarios


1. Investigación









Objetivo: comunicarnos con nuestros smarphones y smart devices de forma más natural y flexible•Desarrollo de asistentes personales•Desarrollo de interfaces para nuevos dispositivos


1. Investigación









Objetivo: dotar a los robots de capacidades conversacionales:• Modelos del usuario• Modelos del diálogo humano-robot

• Modelos de personalidad para el robot


Bibliografía


Puntos a tratar

1. Investigación



4. Profesorado



� Procesamiento del Habla en Call-Centers

Automáticos (PHCCA)

�2 ETCS

�Profesorado:

– Zoraida Callejas Carrión (UGR)

–Ramón López-Cózar Delgado (UGR)



� Interacción Multimodal en Entornos de

Inteligencia Ambiental (IMEIA)

�2 ECTS

�Profesorado

– Zoraida Callejas Carrión (UGR)

–Ramón López-Cózar Delgado (UGR)

–Germán Montoro Manrique (Univ. Autónoma de Madrid)


Puntos a tratar

1. Investigación



4. Profesorado


3. Oferta de Trabajos de Fin de Máster

� Cualquier trabajo relacionado con los temas de investigación comentados

� Ejemplo de TFM sobre “Procesamiento del habla”

– “Centralita Avanzada: Integración y Desarrollo

de una Centralita VoIP con un Sistema de

Procesamiento del habla”

�Autor: Jesús Gumiel Ramírez



� Ejemplo de TFM sobre “Sistemas de diálogo”

– “Técnicas de Evaluación de Sistemas de

Diálogo: Aplicación al Sistema Mayordomo”

�Autora: Nieves Ábalos Serrano



� Ejemplo de TFM sobre “Interacción Multimodal”

– “ORIENTA: Un Asistente Multimodal para la

Educación Universitaria”

�Autora: Ana María Gutiérrez Castillo



� Ejemplo de TFM sobre “Inteligencia Ambiental”

– “Diseño y Desarrollo de una Habitación

Inteligente con Interfaz del Habla y Localización

de Usuarios”

�Autor: Gonzalo Espejo Pérez



� Ejemplos de TFM sobre “Computación afectiva”

– “Análisis de requisitos y diseño de una

aplicación para el desarrollo y evaluación de la

capacidad de reconocimiento de emociones de

los niños con trastorno del espectro autista”

�Autora: Mª Isabel Molina Caballero

– “Emotional Space: The Soul of Emotions – A

representation system of emotions for affective

computing”

�Autor: Fernando J. Porcel Sánchez



� Ejemplo de TFM sobre “Desarrollo de apps en Adroid”

– “Desarrollo de una app Android para el control

remoto de una TV-Box”

�Autor: José Alfonso Albarral Camino



� Ejemplo de TFM sobre “Interacción humano-robot”

– “Desarrollo de un agente cuentacuentos infantil

expresivo con modelo afectivo y de

personalidad”

�Autor: Ángel Ariza Osuna


Puntos a tratar

1. Investigación



4. Profesorado


4. Profesorado

� Zoraida Callejas Carrión

Dpto. LSI, UGR, Telf. 958240580

[email protected]

� Ramón López-Cózar Delgado

Dpto. LSI, UGR, Telf. 958240579

[email protected]

� Germán Montoro Manrique

Dpto. Ingeniería Informática

Universidad Autónoma de Madrid, Telf. 914972210

[email protected]


¿Preguntas?

Gracias por la

atención

Máster en Desarrollo de Software - Universidad de Granada

Documents

Transcript of Máster en Desarrollo de Software - Universidad de Granada