Estimación de Ruido Acústico Mediante Filtros de Partículas para Reconocimiento Robusto de Voz
description
Transcript of Estimación de Ruido Acústico Mediante Filtros de Partículas para Reconocimiento Robusto de Voz
Estimación de Ruido Acústico Mediante Filtros de Partículas para Reconocimiento Robusto de VozI v á n L ó p e z E s p e j o
PROYECTO FIN DE MÁSTER
Introducción y Motivación Fundamentos Teóricos del Sistema Diseño del Filtro Bayesiano
Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado
Test y Resultados Conclusiones Trabajo Futuro
SUMARIO
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
Introducción y Motivación Fundamentos Teóricos del Sistema Diseño del Filtro Bayesiano
Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado
Test y Resultados Conclusiones Trabajo Futuro
1. INTRODUCCIÓN Y MOTIVACIÓN
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
Acto de hablar: Usualmente en entornos acústicos ruidosos Alta capacidad de reconocimiento en el ser
humano Necesidad de adaptación de los sistemas ASR
1. INTRODUCCIÓN Y MOTIVACIÓN
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
Acto de hablar: Usualmente en entornos acústicos ruidosos Alta capacidad de reconocimiento en el ser
humano Necesidad de adaptación de los sistemas ASR
Algunas técnicas para mejorar el matching: Adaptación de los modelos Descomposición de HMMs Realce de las características de voz
1. INTRODUCCIÓN Y MOTIVACIÓN
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
Filtro de Partículas
1. INTRODUCCIÓN Y MOTIVACIÓN
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
Motivaciones Mejora del rendimiento de un sistema ASR Ventajas de la metodología de realce Aplicaciones:
Búsqueda de información Ejecución de transacciones Control de sistemas (entornos industriales) …
1. INTRODUCCIÓN Y MOTIVACIÓN
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
Introducción y Motivación Fundamentos Teóricos del Sistema Diseño del Filtro Bayesiano
Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado
Test y Resultados Conclusiones Trabajo Futuro
2. FUNDAMENTOS TEÓRICOS DEL SISTEMA
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
Seguimiento: Estimación de la secuencia de estados de un sistema a partir de sus observaciones
Modelo compuesto de dos procesos Proceso de estados Proceso observado
Solución MMSE
2. FUNDAMENTOS TEÓRICOS DEL SISTEMA
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
SeguimientoBayesiano
Justificación del filtro de partículas Evaluación compleja: Solución: modelado markoviano
Aproximación numérica: (muestreo y remuestreo de importancia + integración de Monte Carlo)
2. FUNDAMENTOS TEÓRICOS DEL SISTEMA
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
Introducción y Motivación Fundamentos Teóricos del Sistema Diseño del Filtro Bayesiano
Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado
Test y Resultados Conclusiones Trabajo Futuro
3. DISEÑO DEL FILTRO BAYESIANO
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
Seguimiento de ruido en el domino log MelRuido (estado del sistema)Voz limpia (ruido que contamina la observación)Voz ruidosa (observación)
Definición del espacio de estados dinámico Proceso de ruido, Proceso observado,
3. DISEÑO DEL FILTRO BAYESIANO
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
Introducción y Motivación Fundamentos Teóricos del Sistema Diseño del Filtro Bayesiano
Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado
Test y Resultados Conclusiones Trabajo Futuro
3.1 Modelado del proceso de ruido
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
Codificación de la previsibilidad del ruido: proceso AR en el dominio log Mel
3.1 Modelado del proceso de ruido
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
Minimizar
Definición implícita de una distribución gaussiana para el ruido:
Selección de orden unidad para el modelo AR
Distribución a priori modelada como una gaussiana:
3.1 Modelado del proceso de ruido
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
Introducción y Motivación Fundamentos Teóricos del Sistema Diseño del Filtro Bayesiano
Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado
Test y Resultados Conclusiones Trabajo Futuro
3.2 Relación entre estados y observaciones
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
Se parte de la aproximación:
¿Cuál es la relación entre las observaciones y el ruido?
3.2 Relación entre estados y observaciones
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
¿Cuál es la relación entre las observaciones y el ruido?
3.2 Relación entre estados y observaciones
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
¿Cuál es la relación entre las observaciones y el ruido?
Distribución para la voz limpia:
3.2 Relación entre estados y observaciones
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
Imponemos Se aplica la ley fundamental de
transformación de probabilidades
De esta forma,
3.2 Relación entre estados y observaciones
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
Introducción y Motivación Fundamentos Teóricos del Sistema Diseño del Filtro Bayesiano
Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado
Test y Resultados Conclusiones Trabajo Futuro
3.3 Filtro SIR aplicado
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
1. Generación de N partículas
2. Cálculo de pesos normalizados
3. Remuestreo sobre las partículas
3.3 Filtro SIR aplicado
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
Existencia de problemas en la práctica
Si no se cumple para ningún j DROPOUT SOLUCIÓN:
Evolución independiente de la observación Pérdida de la trayectoria de seguimiento
SOLUCIÓN: Procedimiento de reinicialización del filtro
3.3 Filtro SIR aplicado
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
¡NUEVO PROBLEMA!
Existencia de problemas en la práctica Modos de reinicialización
Generación de nuevas hipótesis sobre la distribución a priori de ruido
Inferir partículas de ruido a partir de muestrear un GMM
3.3 Filtro SIR aplicado
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
Existencia de problemas en la práctica Pobre modelado de ruido
Subestimación de hipótesis SOLUCIÓN: Se incentiva una futura
reinicialización si
3.3 Filtro SIR aplicado
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
Existencia de problemas en la práctica Mitigación de dropouts TEST DE
ACEPTACIÓN RÁPIDA
3.3 Filtro SIR aplicado
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
Modos de inicialización Uso de las l primeras tramas Empleo de la distribución a priori de
ruido
3.3 Filtro SIR aplicado
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
Introducción y Motivación Fundamentos Teóricos del Sistema Diseño del Filtro Bayesiano
Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado
Test y Resultados Conclusiones Trabajo Futuro
4. TEST Y RESULTADOS
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
Uso de la base de datos Aurora-2 Empleo del conjunto de test A:
1001 grabaciones con secuencias de dígitos Ruidos: metro, multitud conversando, coche y sala de
exposiciones SNRs: -5dB, 0dB, 5dB, 10dB, 15dB, 20dB y caso limpio
Las estimaciones de ruido son usadas en una etapa de VTS para la compensación de las características de voz ruidosa
4. TEST Y RESULTADOS
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
Ajuste de parámetros Estudio del MSE
Más bien basado en la observación, razonamiento y bibliografía
4. TEST Y RESULTADOS
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
Test de reconocimiento del habla Aparente independencia del número de partículas
4. TEST Y RESULTADOS
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
-5 0 5 10 15 20 Limpio0.00
20.00
40.00
60.00
80.00
100.00
120.00
Acc. vs. SNR
Base-LineFP (300)Interpolación
SNR (dB)
Acc.
(%)
Test de reconocimiento del habla Aparente independencia del número de partículas
4. TEST Y RESULTADOS
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
Base-Line FP (300) Interpolación0
10
20
30
40
50
60
70
80
90
Acc. vs. Técnica empleada
Técnica
Acc.
(%)
Test de reconocimiento del habla Aparente independencia del número de partículas
WAcc = 1 - WER
4. TEST Y RESULTADOS
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
11.28% 24.02% 11.14%
Introducción y Motivación Fundamentos Teóricos del Sistema Diseño del Filtro Bayesiano
Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado
Test y Resultados Conclusiones Trabajo Futuro
5. CONCLUSIONES
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
Verificación experimental de la utilidad de una técnica de realce
Preferible, por el momento, uso de ruido estimado mediante interpolación espectral: Mayor rendimiento del sistema ASR Menor coste computacional
Necesidad de mejorar la calidad de las estimaciones resultantes del filtro de partículas
5. CONCLUSIONES
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
Introducción y Motivación Fundamentos Teóricos del Sistema Diseño del Filtro Bayesiano
Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado
Test y Resultados Conclusiones Trabajo Futuro
6. TRABAJO FUTURO
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo
Solventar usuales pérdidas del seguimiento Nuevo modelo de ruido a priori Inclusión del término de fase relativa (FAT
innecesario) Optimización de la implementación Experimentación con otros conjuntos de
test Actualización del modelo AR de ruido y de
la distribución a priori Uso de un detector de actividad de voz
Experimentar con un filtro RPF
6. TRABAJO FUTURO
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo