Dra. María del Pilar Gómez Gil Coordinación de Computación...
Transcript of Dra. María del Pilar Gómez Gil Coordinación de Computación...
![Page 1: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/1.jpg)
Dra. María del Pilar Gómez Gil Coordinación de Computación Instituto Nacional de Astrofísica, Óptica y Electrónica Tonantzintla, Puebla. [email protected]
PREDICCIÓN A LARGO PLAZO DE SERIES
DE TIEMPO ALTAMENTE NO LINEALES
USANDO INTELIGENCIA COMPUTACIONAL
Departamento de Computación CIMAT 29 de Mayo 2015 Esta presentación está disponible en:
http://ccc.inaoep.mx/~pgomez/conferences/PggCIM15.pdf
1 (C) P. GÓMEZ-GIL, INAOE 2015
![Page 2: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/2.jpg)
CONTENIDO
Introducción
Retos de la predicción de series de tiempo no lineales
Herramientas basadas en Redes Neuronales Artificiales
Nuestros modelos
Perspectivas
2
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 3: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/3.jpg)
EL INAOE, MI CENTRO DE
TRABAJO
Imagen tomada de: http://www.conacyt.gob.mx/index.php/el-conacyt/centros-de-investigacion-conacyt
3
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 4: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/4.jpg)
EL CIMAT, HERMANO DE MI
CENTRO DE TRABAJO
Imagen tomada de: http://www.conacyt.gob.mx/index.php/el-conacyt/centros-de-investigacion-conacyt
4
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 5: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/5.jpg)
CARACTERÍSTICAS DE MI
INVESTIGACIÓN
OBJETO DE ESTUDIO AREAS DEL CONOCIMIENTO
AREAS DE APLICACIÓN
DATOS: • ruidosos • con clases sobre-puestas • muy pocos • difíciles de caracterizar • se requieren fusionar • etcétera…
• Clasificación estática • Clasificación temporal • Predicción • Teoría y diseño de Redes Neuronales Artificiales
•Reconocimiento de escritura • Interfaces Humano – Computadora (BCI) • Biométrica • Diagnóstico médico • Economía y Finanzas • Astrofísica • Mobile Phone sensing • etcétera…
5
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 6: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/6.jpg)
SOBRE ESTA PLATICA…
El proyecto esbozado aquí, gira alrededor de la construcción de sistemas basados en redes neuronales artificiales, capaces de aproximar el modelado de sistemas dinámicos.
Con esta aproximación, se estiman varios valores futuros de series de tiempo altamente no lineales.
6
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 7: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/7.jpg)
SERIE DE TIEMPO
Conjunto de valores escalares, obtenidos del sensado de un fenómeno continuo en periodos de tiempo regulares, u obtenido de un fenómeno inherentemente discreto.
Una serie de tiempo comúnmente se representa como:
Ó
Llamamos “series de tiempo no lineales” a aquellas que suponemos provienen de sistemas dinámicos no lineales
...,, 321 sss
)...3(),2(),1( sss
7
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 8: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/8.jpg)
EJEMPLOS DE SERIES DE
TIEMPO NO LINEALES (1/2)
Electro- encefalograma de una persona sana, tomado de la base de datos De la universidad de Bonn; razón de muestreo: 173 Hz (Bonn, 2003)
8
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 9: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/9.jpg)
EJEMPLOS DE SERIES DE
TIEMPO NO LINEALES (2/2)
Serie NN5-101, representando retiros diarios de cajeros automáticos en diferentes ciudades de Inglaterra, tomada de (Crone, 2008)
9
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 10: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/10.jpg)
LA PREDICCIÓN DE SERIES DE
TIEMPO
El pronóstico de series de tiempo ha sido de fuerte interés en los últimos años, debido a la gran variedad de aplicaciones en que se necesita.
Este un problema complejo cuando se intenta aplicar sobre sistemas altamente no lineales o caóticos.
Algunas estrategias de predicción buscan aproximar un modelo a un sistema dinámico analizando solamente la información contenida en una serie de tiempo, suponiendo que ésta es suficientemente detallada para contener toda la información requerida.
10
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 11: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/11.jpg)
TIPOS DE PREDICCIÓN DE
SERIES DE TIEMPO (1/3)
Hay 2 tipos fundamentales: predicción a un paso (o a corto plazo) y predicción a largo plazo.
Si no se consideran variables exógenas , la predicción a corto plazo se puede definir como:
)...,(ˆ 21 pnnnn ssss φ
11
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 12: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/12.jpg)
TIPOS DE PREDICCIÓN DE
SERIES DE TIEMPO (2/3)
La predicción a largo plazo puede obtenerse de diferentes maneras.
La manera “inmediata”, la predicción a largo plazo puede definirse como:
h se conoce como el horizonte de predicción.
La predicción a largo plazo también puede obtenerse aplicando recursivamente predicción a un paso, alimentando al sistema de predicción con valores previamente calculados por él mismo.
)...,(~,~...~211 pnnnnnhn ssssss φ
12
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 13: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/13.jpg)
TIPOS DE PREDICCIÓN DE
SERIES DE TIEMPO (3/3)
Predicción de un paso, o de
“siguiente valor” (a corto
plazo)
Predicción recursiva de largo plazo
PREDICTOR
s(n-p)
s(n-2)
s(n-1)
)(~ ns
PREDICTOR
s(n-p)
s(n-2)
s(n-1)
)(~ ns
1z
13
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 14: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/14.jpg)
SISTEMAS DINÁMICOS NO
LINEALES
Pueden ser representados como:
El campo vectorial F es no lineal; d es la dimensión del sistema
Esta ecuación describe el movimiento de un punto en un espacio de estado d-dimensional, conocido como espacio de fase
. (0)
)],( ... ),(),([=)( , ))(()(
21
0yy
yyFy
tytytyttdt
tdd
14
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 15: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/15.jpg)
SISTEMAS EMBEBIDOS (1/2)
El estado de un sistema dinámico que produce una señal, está formado por variables desconocidas, que pueden representarse en un vector de estado x(n) donde:
x(n+1) = F(x(n))
Existe una regla desconocida que establece una relación entre las observaciones y las variables de estado:
s(n) = h(x(n))
(Gómez-Gil et al, 2011)
15
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 16: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/16.jpg)
SISTEMAS EMBEBIDOS (2/2)
Para predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere crear un espacio de estados d–dimensional, de vectores que son un “proxy” del espacio desconocido x(n)
De acuerdo con Takens (1981) este puede definirse como:
donde se conoce como “retraso de tiempo”, y permite que los componentes de z(n) sean independientes; d se conoce como la “dimensión embebida
)])1((),...2(),(),([)( LLL TdnsTnsTnsnsn z
LT
16
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 17: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/17.jpg)
INTELIGENCIA COMPUTACIONAL
Cubre una gran cantidad de modelos, los mas comunes incluyen:
1) Sistemas inspirados en la naturaleza. Ejemplos de estos son las redes neuronales artificiales y los algoritmos evolutivos
2) Sistemas que representan conocimiento incierto, vago o incompleto. Ejemplos de éstos son los sistemas difusos y las redes bayesianas
Es muy común combinar las soluciones, creando sistemas híbridos, ejemplo sistemas neuro-difusos.
La inteligencia computacional (IC) permite trabajar con sistemas imprecisos y encontrar soluciones en tiempos razonables, aunque no exactas
17
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 18: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/18.jpg)
LAS REDES NEURONALES
ARTIFICIALES
Son modelos matemáticos capaces de adaptar su comportamiento en respuesta a ejemplos presentados por el medio ambiente de manera supervisada o no supervisada (aprendizaje automático, basado en ejemplos)
Están inspiradas en la construcción del cerebro y las neuronas biológicas.
Una red neuronal artificial es un procesador paralelo y distribuido, hecho de varios procesadores simples, que puede almacenar y utilizar conocimiento adquirido de la experiencia (Haykin 2009).
18
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 19: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/19.jpg)
EL CONTEXTO DE REDES
NEURONALES
RNA
Ejemplos (medio
ambiente) conocimiento
Entradas
Salidas
19
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 20: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/20.jpg)
EL COMPONENTE
FUNDAMENTAL: NEURONA
x0
xi
xn-1
w0
wi
wn
)(
1
0
i
n
i
ii wxFo
Las variables wi son valores reales que contienen el conocimiento de la red neuronal
20
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 21: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/21.jpg)
TOPOLOGÍAS PRINCIPALES DE REDES
NEURONALES ARTIFICIALES
Redes de un nivel
Redes de varios niveles
Redes recurrentes
21
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 22: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/22.jpg)
REDES DE UN NIVEL:
MODELAN SISTEMAS LINEALES
E0
E1
En-1
. . .
S0
S1
Sm-1
w00
w02 w10
wm0
w01
wm1
w11
w21
wmn
w0n
w1n
w2n
Entradas
Salidas
22
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 23: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/23.jpg)
REDES DE VARIOS NIVELES:
MODELAN SISTEMAS NO
LINEALES
Entradas
Salidas
E0
E1
En-1
S0
23
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 24: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/24.jpg)
REDES RECURRENTES:
MODELAN SISTEMAS
DINÁMICOS
E1 w02
w10
w21
w1
w20
w11
w22
w12
w01 w00
E2
Eo
Ei son las entradas al sistema; las salidas pueden tomarse de cualquier neurona
S0
S2
24
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 25: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/25.jpg)
LAS REDES NEURONALES
RECURRENTES
Son sistemas dinámicos en sí mismas,
Pueden oscilar de manera acotada,
Tienen algoritmos de entrenamiento muy difíciles de ajustar y controlar,
… pero tienen un potencial importante en la investigación sobre predicción a largo plazo y sobre caos
25
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 26: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/26.jpg)
CAOS
Según Kaplan y Cohen (1990), algunas características distintivas de caos son:
Las trayectorias caóticas son aperiódicas y determinísticas,
Los sistemas caóticos son extremadamente dependientes de las condiciones iniciales. Por lo tanto, pequeñas variaciones en las condiciones iniciales del sistema, harán que cambie de forma exponencial después de un determinado avance en la trayectoria,
El comportamiento caótico está acotado por atractores extraños. Un atractor es el conjunto de puntos hacia los que se dirige una trayectoria cuando el estado transitorio del sistema termina.
26
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 27: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/27.jpg)
EJEMPLO DE UN SISTEMA
CAÓTICO
Hay sistemas caóticos cuyo comportamiento es conocido y está claramente definido a través de ecuaciones. Por ejemplo, la ecuación Mackey-Glass (Glass 1987) que se usa para modelar el comportamiento de algunos sistemas biológicos
)()(1
)()(10
tbxtx
tax
dt
tdx
27
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 28: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/28.jpg)
SERIE MACKEY-GLASS
0 100 200 300 400 500 600 0.4
0.6
0.8
1
1.2
1.4 Mackey-Glass data for A=0.2, B=0.1, tao=17 h=0.9. 550 points of good2.dat
28
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 29: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/29.jpg)
MAPA DE RETORNO DE LA SERIE
MACKEY-GLASS
0 0.5
1 1.5
0 0.5
1 1.5 0.4
0.6
0.8
1
1.2
1.4
Return map of good2.dat
x(i) x(i+ 5)
x(i+
10)
Injection
regions
29
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 30: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/30.jpg)
SERIES DE TIEMPO CAÓTICAS
Muchos sistemas físicos, biológicos y sociales presentan un comportamiento caótico, pero desconocemos las ecuaciones que los describen. Algunos ejemplos son: la presión sanguínea, los latidos del corazón, el clima o el comportamiento de la bolsa de valores.
Sería de gran utilidad en varios campos del conocimiento el poder predecir el comportamiento de señales caóticas a largo plazo.
RNA Recurrente
s(n-p)
s(n-2)
s(n-1)
)(ˆ ns
1z
30
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 32: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/32.jpg)
LA RED NEURONAL HIBRIDA
COMPLEJA
Conocida como HCNN (Hybrid Complex Neural Network) y propuesta originalmente en (Gómez, 1999)
Está basada en pequeñas redes de 3 nodos, totalmente conectadas y recurrentes, llamadas generadores armónicos, capaces de aprender y generar funciones seno indefinidamente y de manera autónoma.
Los generadores armónicos se conectan a otros neurones, a través de conexiones hacia adelante y recurrentes (de allí el nombre de híbrida)
El modelo incluye un mecanismo para obtener cierta información relacionada con la dinámica caótica de la señal de entrenamiento
32
(C) P. GÓMEZ-GIL, INAOE 2015
[email protected] (Gómez-Gil et al. 2011)
![Page 33: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/33.jpg)
DINÁMICA DE CADA NEURÓN
dy
dty x I
ii i i ( )
x w yi ji j
j
)())(()()1()1( nInxnyny iiii
Aproximada como:
m
j
jiji wnynx1
)()(
33
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 34: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/34.jpg)
TOPOLOGÍA DE UNA HCNN
Sine function
3-node fully
connected NN
1 10 19 28 37 46 55 64 73 82 91 100 109 118 127 136 145 154 163 172 181 190 199 208 217 226 235 244
Initial
condition
Los generadores
armónicos son
autónomos, esto es,
una vez entrenados
no requieren ninguna
entrada externa
s(n-5) s(n-4) s(n-3) s(n-2) s(n-1)
)(ˆ ns
Recurrent layer
34
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 35: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/35.jpg)
SEÑAL ORIGINAL Y PREDICHA
Case K.2
-0.4
-0.2
0
0.2
0.4
0.6
0.8
1
1 90 179 268 357 446 535 624 713 802 891 980 1069 1158 1247 1336 1425 1514 1603 1692 1781 1870 1959 2048
n
expected
prediction
35
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 36: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/36.jpg)
CLOSE-UP DE LA SEÑAL
PREDICHA
-0 .2
-0.1
0
0.1
0.2
0.3
0.4
1 121 241 361 481 601 721 841 961 1081 1201 1321 1441 1561 1681 1801 1921 2041
n
36
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 37: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/37.jpg)
COMPARACIÓN DE MAPAS DE
RETORNO
-0.2
0
0.2
0.4
-0.2
0
0.2
0.4-0.2
0
0.2
0.4
Return map of 2,048 points predicted in case K.2.A
x(i)x(i+ 10)
x(i+
20
)
Señal predicha
-1
0
1
2
-1
0
1
2
-1
-0.5
0
0.5
1
1.5
2
x(i)
Embedding of the ECG Amplitude with lag = 10
x(i+10)
x(i+
20)
Injection
Region
Señal Original
37
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 38: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/38.jpg)
FORTALEZAS Y DEBILIDADES DE LA
HCNN
Las redes HCNN con capaces de oscilar de manera estable, y de generar señales caóticas (con exponentes de Lyapunov positivos) que semejan a un ECG “sin picos”
Las redes entrenadas no pudieron aprender completamente la magnitud de la señal ni la fase de manera exacta.
38
(C) P. GÓMEZ-GIL, INAOE 2015
(Gómez & Ramírez 2006)
![Page 39: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/39.jpg)
LA RED HWRN
Propuesta originalmente en (García-Pedrero 2009)
Es una red de conexiones híbridas basada en señales reconstruidas a través de funciones wavelets, de ahí su nombre HWRN (Hybrid and based-on-Wavelet-Reconstructions Network)
Contiene 3 fases de entrenamiento;
1. Pre-procesamiento de la señal de entrenamiento y generación de señales reconstruídas
2. Entrenamiento de subredes totalmente recurrentes
3. Entrenamiento del modelo completo
39
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 40: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/40.jpg)
DESCRIPCIÓN GENERAL DEL
MODELO
1. La señal de entrenamiento se descompone utilizando el método de multi-escala de la transformada discreta Wavelet (DWT) basado en filtros
2. Los coeficientes wavelet resultantes se utilizan para generar cuatro señales, una de aproximación y 3 de detalle , de éstas se seleccionan las 3 mas representativas
3. Estas señales se utilizan para que sean autónomamente reproducidas por pequeñas redes recurrentes totalmente conectadas (SRNN)
4. Una vez entrenadas, las SRNN son insertadas en la arquitectura completa, y todo el sistema se entrena usando la señal original
40
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 41: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/41.jpg)
ARQUITECTURA DE LA
HWRN (GARCÍA-PEDRERO 2009) 41
(C) P. GÓMEZ-GIL, INAOE 2015
(Gómez et al. 2010)
![Page 42: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/42.jpg)
EJEMPLO DE UNA SERIE
FINANCIERA: NN5-001 42
(C) P. GÓMEZ-GIL, INAOE 2015
(Crone , 2008)
![Page 43: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/43.jpg)
EJEMPLO DE SEÑALES
RECONSTRUIDAS USANDO
WAVELETS (SERIE NN5-001)
Señal de Aproximación mas general
Señal de detalle a nivel 2 Señal de detalle a nivel 3
Señal de detalle mas general
43
(C) P. GÓMEZ-GIL, INAOE 2015
[email protected] (Gómez et al. 2010)
![Page 44: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/44.jpg)
MEJOR CASO DE PREDICCIÓN
DE LA HWRN SOBRE
BENCHMARK SERIES NN5
(NN5-109)
44
(C) P. GÓMEZ-GIL, INAOE 2015
(Gómez et al. 2010)
![Page 45: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/45.jpg)
MODELO DE PREDICCIÓN BASADO EN
META-CARACTERÍSTICAS Y ENSAMBLES
Sistema basado en el uso de meta-aprendizaje y ensambles
La selección de los ensambles adecuados, se basa en un sistema de agrupamiento construido con una red SOM
Se definen varias heurísticas para la selección de modelos. Se entrenan varios modelos de predicción con la serie de entrenamiento.
Se utilizan como meta-características el desempeño de modelos y se genera un vector de errores, llamado “error representativo”
45
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 46: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/46.jpg)
MODELO DE PREDICCIÓN BASADO EN
META-CARACTERÍSTICAS Y ENSAMBLES
(Fonseca-Delgado & Gomez-Gil, 2014)
MCCV = Monte Carlo Cross Validation SOM = Self Organizing Map
46
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 47: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/47.jpg)
EJEMPLO DEL AGRUPAMIENTO
DE MODELOS 47
(C) P. GÓMEZ-GIL, INAOE 2015
(Fonseca-Delgado & Gomez-Gil, 2014)
![Page 48: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/48.jpg)
DESEMPEÑO DE DIFERENTES
HEURÍSTICAS DE SELECCIÓN 48
(C) P. GÓMEZ-GIL, INAOE 2015
(Fonseca-Delgado & Gomez-Gil, 2014)
![Page 49: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/49.jpg)
PERSPECTIVAS
Según Smith (2000), hay 3 factores importantes que actualmente limitan nuestra capacidad de predecir
Modelado del error
Observaciones inciertas de las condiciones iniciales
Poder computacional (aún!)
De éstos, el modelado del error parece ser el problema principal
Los sistemas basados en redes recurrentes pueden ofrecer una manera de “aprender de errores” y ajustar los modelos
Se requiere investigar sobre mejores algoritmos de entrenamiento y topologías mas eficientes
49
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 50: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/50.jpg)
inaoe.gob.mx
Página personal ->Publicaciones -> Conferencias
50
(C) P. GÓMEZ-GIL, INAOE 2015
Esta presentación está disponible en: http://ccc.inaoep.mx/~pgomez/conferences/PggCIM15.pdf
![Page 51: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/51.jpg)
REFERENCIAS
Universitat Bonn, Kinik für Epiteptologie. EEG time series download page. URL: http://epileptologie-bonn.de/cms/front_content.php?idcat=193, Last accessed at Dec. 12, 2013.
Crone S.F.: NN5 forecasting competition for artificial neural networks & computational Intelligence.” Available at http://www.neural-forecasting-competition.com/NN5/datasets.htm Last consulted at May 27, 2015 (2008)
Fonseca-Delgado, R, Gomez-Gil, P. “Selecting and Combining Models with Self-Organizing Maps for Long-Term Forecasting of Chaotic Time Series.” Proceedings of the 2014 International Joint Conference on Neural Network (IJCNN), part of the 2014 IEEE World Congress on Computational Intelligence, July 6-11, Beijing China
García-Pedrero, A. Arquitectura Neuronal Apoyada en Señales Reconstruidas con Wavelets para predicción de Series de Tiempo Caóticas (A neural architecture supported by wavelet’s reconstructed signals for chaotic time series prediction). Master Thesis (in Spanish), Computational Department, National Institute of Astrophysics, Optics and Electronics (2009)
51
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 52: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/52.jpg)
REFERENCIAS
Glass, Leon. “Complex Cardiac Rhythms,” Nature, Vol. 330, No. 24/31, pp. 695-696, December 1987.
Gomez-Gil. P, Ramírez-Cortés M. “Experiments with a Hybrid-Complex Neural Networks for Long Term Prediction of Electrocardiograms.” IEEE Proc. of the 2006 International Word Congress of Computational Intellligence, IJCNN 2006.
Gómez-Gil P, García-Pedrero A and Ramírez-Cortes JM. “Composite Recurrent Neural Networks for Long-Term Prediction of Highly-Dynamic Time Series Supported by Wavelet Decomposition”, Soft Computing for Intelligent Control and Mobile Robotics, Vol. 318/2011, pp.253-268, Castillo O, Janusz K and Pedrycz W. Editors, Springer-Verlag. DOI:10.1007/978-3-642-15534-5_16. , 2010 (Preliminary PDF)
52
(C) P. GÓMEZ-GIL, INAOE 2015
![Page 53: Dra. María del Pilar Gómez Gil Coordinación de Computación ...pgomez/conferences/PggCIM15.pdfPara predecir los valores futuros de s, se tiene que estimar F(.). Para esto, se requiere](https://reader030.fdocuments.mx/reader030/viewer/2022040821/5e6b3cc4604f5a18af1aa4ec/html5/thumbnails/53.jpg)
REFERENCIAS
Gómez-Gil P, Ramírez-Cortés JM, Pomares Hernández SE, Alarcón-
Aquino V. “A Neural Network Scheme for Long-term Forecasting of
Chaotic Time Series” Neural Proceesing Letters. Vol.33, No. 3, June
2011. pp 215-233. Published online: March 8, 2011.
DOI: 10.1007/s11063-011-9174-0 (cited at JCR Science Edition—
2009). (preliminary PDF)
Haykin, Simon. Neural Networks and Learning Machines. Pearson,
Upper Saddle River, 2009.
Kaplan, Daniel T. and Richard J. Cohen. “Is Fibrillation Chaos?”
Circulation Research, Vol. 67, No. 4, October 1990
Takens, F. Detecting Strange Attractors in Turbulence (1981), 366—
381. Springer Berlin Heidelberg.
53
(C) P. GÓMEZ-GIL, INAOE 2015