Tipos de redes neuronalesTipos de redes neuronales

• Perceptrón multicapa• Redes de respuesta radial• Competitivas

•Clasificación•Mapa topológico

ObjetivosObjetivos

• Para cada uno de los tipos de red:• Idea básica de estructura•Cómo calcular su respuesta• Ideas básicas de diseño de la arquitectura•Proceso de aprendizaje o ajuste de pesos•Tipo de respuesta que ofrece

Tipos de redes neuronalesTipos de redes neuronales

• Perceptrón multicapa• Redes de respuesta radial• Competitivas

Perceptrón multicapa - Idea

Perceptrón multicapa - Idea

Perceptrón multicapa - Idea

Perceptrón multicapa - Idea

Perceptrón multicapa - Idea

Perceptrón multicapa - Idea

Procesadores

Capa de salida

Capa oculta

Perceptrón multicapa - Idea

Perceptrón multicapa - Idea

Conexiones

Perceptrón multicapa - Cálculo

Perceptrón multicapa - Cálculo

Cada procesador recibe una serie de entradas

j

jijii yppe 0

j

i

pij

procesador

a procesador de

conexión la de peso :

Puede considerarse asociado a y01

y calcula su salida

)tanh( ii ey

-1

-0.5

0

0.5

1

-2 -1 0 1 2Afín a la logística

Perceptrón multicapa - Cálculo

Perceptrón multicapa - Cálculo

-0.793 0.521 -0.055

0.5

0.7

-0.4

793.008.1tanh

08.19.07.01.05.04.0

y

e

-0.1 -0.9

Perceptrón multicapa - Cálculo

Perceptrón multicapa - Cálculo

-0.793 0.521 -0.055

092.0092.0tanh

092.0055.06.0521.06.0793.03.02.0

y

e

-0.1 -0.9

0.3 0.6

-0.2

-0.6

-0.092

Perceptrón multicapa - Diseño

Perceptrón multicapa - Diseño

Diseño:

•Genérico: nº de grados de libertad, búsqueda y selección

•Constructivo: procesador a procesador, añadir y comparar

•Destructivo: grande y eliminar

Perceptrón multicapa - Respuesta

Perceptrón multicapa - Respuesta

-1

1

-1

-0.5

0

0.5

1

-2 -1 0 1 2

22110 xpxppe

Perceptrón multicapa - Respuesta

Perceptrón multicapa - Respuesta

-1

0

1

-1 0 1

1,1

1,-1

-1,-1

-1,1

1

-1

Perceptrón multicapa - Respuesta

Perceptrón multicapa - Respuesta

-1

0

1

-1 0 1

1

-1

-1 -1 -1 1 -1 -2.4-1 -1 1 -1 -1 -2.8-1 -1 1 1 -1 -1.3-1 1 -1 -1 -1 -2.8-1 1 -1 1 -1 -1.3-1 1 1 -1 -1 -1.7-1 1 1 1 -1 -0.21 -1 -1 -1 -1 -2.41 -1 -1 1 -1 -0.91 -1 1 -1 -1 -1.31 -1 1 1 1 0.21 1 -1 -1 -1 -1.31 1 -1 1 1 0.21 1 1 -1 -1 -0.21 1 1 1 1 1.3

0.8 0.6 0.6 0.8 -1.3

-1

-1

-1

-11

1

1

1 -1 -1 -1 -1 -2.5-1 -1 1 -1 -1.5-1 1 -1 -1 -1.5-1 1 1 -1 -0.51 -1 -1 -1 -1.51 -1 1 -1 -0.51 1 -1 -1 -0.51 1 1 1 0.5

0.5 0.5 0.5 -1

-1

1

-1

-1

1

1

Perceptrón multicapa - Respuesta

Perceptrón multicapa - Respuesta

Perceptrón multicapa - Aprendizaje

Perceptrón multicapa - Aprendizaje

Con ciertos pesos la red da una salida.

Esa salida tiene un errorBuscamos los pesos que nos dan el

error más pequeño

Perceptrón multicapa - Aprendizaje

Perceptrón multicapa - Aprendizaje

Ajuste de pesos: optimización basada en gradiente

ij

i

i

i

k i

s

s

s

sij p

e

e

y

y

e

e

y

y

E

p

Ek

k

k

k

Con error cuadrático y activación tangente hiperbólica

jij

i

isi

s

ii

is

s

s

kss

ype

py

e

yey

ye

y

cyyE

k

k

k

k

k

k

k

22 11

2 Métodos:•Descenso gradiente•Gradiente conjugado•Levenberg-Marquardt•Métrica variable•...etc...

ii

ii

ii

ii

ypE

ype

pyE

pye

eE

yey

cyyE

801.1

801.1

801.1992.0816.1992.0092.011

816.11092.022

22

Perceptrón multicapa - Aprendizaje

Perceptrón multicapa - Aprendizaje

-0.092

-1.0

ii

ii

s

xpE

xpe

eE

yey

yE

yE

k

528.0

528.0371.0422.1371.0793.011

422.1

22

Perceptrón multicapa - Aprendizaje

Perceptrón multicapa - Aprendizaje

-0.793

Tipos de redes neuronalesTipos de redes neuronales

• Perceptrón multicapa• Redes de respuesta radial• Competitivas

Base radial - IdeaBase radial - Idea

Base radial - CálculoBase radial - Cálculo

Cada procesador oculto recibe una serie de entradas

j

jiji xpe 2

y calcula su salida

ieiy e

Es una expresión de una gaussiana con varianza unitaria. Podría haber una matriz de varianzas diagonal (ancho de respuesta) o incluso una matriz completa

El procesador de salida da una combinación lineal de los ocultos

Base radial - CálculoBase radial - Cálculo

00947.0e

66.449.004.021.156.236.07.02.01.16.16.0

6.01.05.03.07.04.09.07.01.05.022222

222222

e

jj

y

xpe

0.009

0.5 0

.7-0.4

-0.1 -0.9 0.7 -0.5 0.6

-0.3

-0.1

Base radial - CálculoBase radial - Cálculo

685.2878.09.2225.03.1011.07.1009.05.01.00 jj yppy

0.009

-0.51.7

-1.3

-0.1 -0.9 0.7 -0.5 0.6

-2.9

0.1

0.011 0.225 0.878

-2.685

Base radial - DiseñoBase radial - Diseño

Diseño:

•Constructivo: procesador a procesador cuando la respuesta baja de un umbral

Base radial - AprendizajeBase radial - Aprendizaje

Ajuste de pesos: normalmente dos fases1. Entrada-oculta2. Oculta-salida

Los pesos de entrada a capa oculta se ajustan buscando agrupamiento de entradas, sin tener en cuenta la salida

1. Valores iniciales: puntos de la muestra2. Nuevo valor de pesos: media de las entradas para las que

este procesador ha sido el de respuesta mayor

Los pesos de salida son lineales: regresión

Base radial - AprendizajeBase radial - Aprendizaje

0.5 0

.7-0.4

-0.3

-0.1

-0.065-0.292-0.3150.6650.5-0.15-0.25-0.450.80.5-0.2-0.5-0.30.750.55

0-0.35-0.50.650.5-0.05-0.25-0.30.750.6-0.1-0.3-0.40.70.5-0.1-0.25-0.40.550.6

-0.05-0.27-0.10.650.3-0.05-0.3-0.10.550.50.05-0.2-0.350.650.4

0-0.25-0.250.60.55

Puntos para los que ha sido el máximo

Nuevos

Base radial - RespuestaBase radial - Respuesta

Base radial - RespuestaBase radial - Respuesta

Base radial - RespuestaBase radial - Respuesta

Tipos de redes neuronalesTipos de redes neuronales

• Perceptrón multicapa• Redes de respuesta radial• Competitivas

Competitivas - IdeaCompetitivas - Idea

Los procesadores pueden estar ordenados en retícula (mapa topológico autoorganizativo: MA), con coordenadas ii YX ,

Competitivas - CálculoCompetitivas - Cálculo

Cada procesador recibe una serie de entradas

y calcula su salida

caso otro en 0

max si 1 jj

ii

eey

Los pesos definen un centroide de un grupo de entradas

j

jiji xpeEn MA es más usual

jijji pxe 2

Competitivas - CálculoCompetitivas - Cálculo

-0.072-0.65 0.505 -0.361 0.433

0.5 0.7

-0.4

-0.3

-0.1

628.0433.01.0361.03.0505.04.065.07.0072.05.0 jj xpe

Competitivas - CálculoCompetitivas - Cálculo

-0.628

-0.072-0.65 0.505 -0.361 0.433

0.5 0.7

-0.4

-0.3

-0.1

628.0433.01.0361.03.0505.04.065.07.0072.05.0 jj xpe

Competitivas - CálculoCompetitivas - Cálculo

-0.628 0.052 0.331 0.677

-0.072-0.65 0.505 -0.361 0.433

Competitivas - CálculoCompetitivas - Cálculo

0 0 0 1

-0.072-0.65 0.505 -0.361 0.433

Competitivas - DiseñoCompetitivas - Diseño

Diseño:

•Constructivo: procesador a procesador cuando la respuesta baja de un umbral

•Destructivo: eliminación de procesadores que no dan respuesta

Competitivas - AprendizajeCompetitivas - Aprendizaje

Ajuste de pesos normalmente no supervisado

ijjiij pxTp

En MA:

1 siendo

iteraciónla en e22

2

22

jjijiij

nd

i

yYYXXd

nTij

En competitivas a secas:

ii yT

Competitivas - AprendizajeCompetitivas - Aprendizaje

0 0 0 1

-0.072-0.65 0.505 -0.361 0.433

(0,0) (0,1) (1,0) (1,1)

10.0110.0110.0001T(n=3)

0111.414Dist

51075.0072.00001.0 pxTp

0.5 0.7

-0.4

-0.3

-0.1

Competitivas - RespuestaCompetitivas - Respuesta

Mapas topológicos autoorganizativos -

Respuesta

Mapas topológicos autoorganizativos -

Respuesta