Universidad Nacional de Educación a Distancia

Máster en Matemáticas Avanzadas

Trabajo Fin de Máster

Aprendizaje Estadístico con Funciones Kernel

Tutor: Prof. Hilario Navarro VeguillasAutor: Juan José Gibaja Martíns

Madrid, 5 de octubre de 2010

● Datos● Patrones en datos● Aprendizaje estadístico● Patrones lineales y no lineales● La solución kernel● Fundamentos matemáticos● Perspectiva histórica● Support Vector Machines● Ejemplo: elipses entrelazadas● Ejemplo: base de datos IRIS● Kernel PCA● Ejemplo: parábola● Conclusión

Índice

Datos

Patrones en datos

Perspectiva histórica

Patrones en datos

Ventaja competitiva

Nuevo paradigmacientífico

Aprendizaje estadístico

Perspectiva histórica

Aprendizaje estadístico

Aprendizajesupervisado

Aprendizajeno supervisado

Patrones lineales y no lineales

Perspectiva histórica

Patrones lineales y no lineales

Algoritmos eficientesPatrones simples

Algoritmos no eficientesPatrones complejos

La solución kernel

Perspectiva histórica

La solución kernel

Cambiar la representación(vídeo)

Perspectiva histórica

La solución kernel

Perspectiva histórica

La solución kernel

INEFICIENCIA

Perspectiva histórica

La solución kernel

k(x,y)= φ(x),φ(y)⟨ ⟩

Perspectiva histórica

La solución kernel

¿Y si razonamos al revés?

La solución kernel

φ y ,⟨ ⟩ k

...pero...

La solución kernel

k φ y ,⟨ ⟩ ?¿

SÍ. Si k es FINITAMENTESEMIDEFINIDA POSITIVA

Fundamentos matemáticos

Perspectiva histórica

Fundamentos matemáticos

● Espacio vectorial● Producto interno● Espacio con producto interno● Espacio de Hilbert● Espacio de Hilbert separable e isomorfía● Matriz de Gram y matriz kernel● Funciones finitamente semidefinidas positivas● Caracterización de las funciones kernel● Reproducing Kernel Hilbert Space

Perspectiva histórica

Perspectiva histórica

Perspectiva histórica (kernels)

D. HilbertMercer (1909)

Aronszajn (1950)Aizerman et al. (1964)Poggio y Girosi (1990)

Perspectiva histórica

Perspectiva histórica(clasificadores)

Fisher (1936)Vapnik y Lerner (1963)

Vapnik y Chervonenkis (1964)Cover (1965)

Mangasarian (1965)Smith (1968)

Duda y Hart (1973)Bennett y Mangasarian (1992)

Perspectiva histórica

Perspectiva histórica (SVM)

Vapnik y Chervonenkis (1974)Vapnik (1979, 1982)

Boser, Guyon y Vapnik (1992)Cortes y Vapnik (1995)

Vapnik (1995)Shawe-Taylor (1998)

Shawe-Taylor y Cristianini (2000)

V. Vapnik

Perspectiva histórica

Perspectiva histórica (otros algoritmos)

Baudat y Anouar (2000)Schölkopf, Smola y Müller (1998)

Van Gestel et al. (2001)Burges (2005)

Girolami (2001)

B. Schölkopf

Support vector machines

Perspectiva histórica

Support vector machines

Clases separables vs.no separables

Perspectiva histórica

Support vector machines

Enfoque primal vs. dual

Perspectiva histórica

Support vector machines

Incorporación del kernel

Ejemplo: espirales entrelazadas

Perspectiva histórica

Ejemplo: espirales entrelazadas

Perspectiva histórica

Ejemplo: espirales entrelazadas

Ejemplo: Base de datos IRIS

Perspectiva histórica

Ejemplo: Base de datos IRIS

Perspectiva histórica

Ejemplo: Base de datos IRIS

Perspectiva histórica

Ejemplo: Base de datos IRIS

Perspectiva histórica

Ejemplo: Base de datos IRIS

Perspectiva histórica

Ejemplo: Base de datos IRIS

Kernel PCA

Perspectiva histórica

Kernel PCA

PCA a partir de covarianzas

PCA a partir de productos escalares

Ejemplo: parábola

Perspectiva histórica

Ejemplo: parábola

Perspectiva histórica

Ejemplo: parábola

Perspectiva histórica

Ejemplo: parábola

Perspectiva histórica

Ejemplo: parábola

Perspectiva histórica

Ejemplo: parábola

Perspectiva histórica

Ejemplo: parábola

Conclusión

Perspectiva histórica

Conclusión

El Aprendizaje Estadístico basado en Funciones Kernel es una vía prometedorapara conjugar las ventajas de losalgoritmos lineales y no lineales dedetección de patrones en bases de datos.