redes kohonen

Aula: Redes Competitivas y

Mapas de Kohonen

Antecedentes

� Los trabajos de Von der Malsburg (1973) trazan laauto organización de las células nerviosas.

� En 1975, Fukushima propuso el cognitron que esuna red competitiva multicapa y auto organizada.una red competitiva multicapa y auto organizada.

� Willshaw y von der Malsburg (1976) trabajaronsobre la formación de las conexiones neuronalesmediante Autoorganización.

� Grossberg (1972, 1976) sobre la clasificaciónadaptativa de patrones.

2

Aprendizaje supervisado� Se le suministra a la red un conjunto de datos de entrada y la

respuesta esperada.

� Se comparan los datos obtenidos por el sistema con los datos de entrada aportados, con la respuesta esperada y se modifican los pesos en función del error obtenido.

� El conjunto de datos utilizados en el proceso de aprendizaje se denomina conjunto de entrenamiento (training set).

� Si los vectores de entrada utilizados no contienen la información idónea la red puede llegar a no aprender.

Mecanismos de aprendizaje

Aprendizaje no supervisado

� Sólo se aplica a la red neuronal los datos de entrada, sin indicarle la salida esperada.

� La red neuronal es capaz de reconocer algún tipo de estructura en el conjunto de datos de entrada (normalmente redundancia de datos) y de esta forma se produce auto-aprendizaje.

� Durante el proceso de aprendizaje la red autoorganizada debe descubrir por sí misma rasgos comunes, regularidades, correlaciones o categorías en los datos de entrada, incorporarlos a su estructura interna de conexiones.

� Se dice, por tanto, que las neuronas deben auto-organizarse en función de los estímulos (datos) procedentes del exterior.

Mecanismos de aprendizaje

Neurociencias Conceptos

La inspiración biológica

Humunculus, el hombrecito dentro del cerebro


Cartas retinotópicas

Hubel & Wiesel


Cartas retinotópicas

Informaciones Multidimensionales


Sinestesia


Proceso biológico

Si algunas regiones del espacio de entrada son mas usadas que otras y

reciben una rica variedad de estímulos estas se mapearan mejor.

(ej. Las manos de un pianista o un cirujano)

Autoorganización

Cada nodo de la red tiene

conexiones exicitatorias laterales

con su vecinos mas próximos pero

conexiones laterales inhibitorias con

sus vecinos mas distantes.

En el mapa topográfico cortical estas

regiones crecerán , mientras que las

regiones que no son usadas se

harán mas pequeñas.


El “sombrero mejicano”

Respuesta Positiva(Excitación)

Respuesta Negativa

+

- Respuesta Negativa(Inhibición)

-


El “sombrero mejicano”


Tomando la inspiración biológicaB

ioló

gic

o

Red de Neuronas

Proceso de aprendizaje

por competición

Bio

ins

pir

ad

o

Ejemplos

Estímulos del espacio

de entrada


Mapas Autoorganizados

Al final del aprendizaje

neuronas con

características

similares se ubican cerca

unas

de otras.

Redes No Supervisadas

� Redes Competitivas.

� Mapas de Kohonen-Self Organizing Maps (SOM).

“Generación de una taxonomía de datos sin conocimientos previos”

Redes Neuronales Competitivas

� La competición entre neuronas hará que una sola de ellas (ó

algunas en ciertos casos) sean las que aprendan.

� De esta forma lograremos que cada unidad aprenda información

diferente, es decir se especialice.

Red neuronal competitiva

� Una red competitiva está constituida por N sensores de

entrada, M unidades de proceso (neuronas artificiales), y

conexiones entre cada sensor y cada unidad de proceso,

de manera que la conexión entre el sensor j y la unidad

de proceso i tiene asociado un valor wij.

Regla de aprendizaje

� Por lo tanto la regla de aprendizaje es la

siguiente:

� Donde r es la unidad ganadora, del mayor

potencial sinaptico:

Interpretación Geométrica

� Para entender mejor dicha regla de aprendizaje vamos a

realizar la siguiente interpretación geométrica.

Aplicaciones de sistemas

organizados

� “Clustering” ó agrupamiento.

� Reducción de la dimensionalidad.� Reducción de la dimensionalidad.

� Detección de familiaridad (similitud entre un valor nuevo y valores ya presentados).

Agrupamiento

� Conjunto de datos representados en dos dimensiones.

Creando el modelo bioinspirado

Inspirándose en estos comportamientos biológicos se

desarrollaron los mapas autoorganizados.

Los Mapas Autoorganizados o SOM (Self-Organizing

Maps) fueron creados por Teuvo Kohonen entre los

años 1982 y 1990

La idea se basa en un funcionamiento biológico de

aprendizaje por competición, de forma que cuando un

conjunto de datos de entrada se presenta a la red, los

pesos de las neuronas se adaptan de forma que la

clasificación presente en el espacio de entrada se

preserva en la salida.

Red SOFM

� Capa de entrada.

� Capa de Competitiva.

� Conexión entre cada entrada con todas las neuronas.

SOFM (Self-organizing Feature Map)

� También llamados Mapas Autorganizado de

Kohonen.

Aprendizaje de la red Kohonen

� Calculamos la mínima distancia entre los pesos

y las entradas de nuestro sistema.

� Por lo tanto:

Aprendizaje con vecindario

� Adicionamos la capacidad de relación con las

neuronas vecinas tenemos:

:valor entero que marca el

limite del vecindario de

aprendizaje

Tipos de Vecindarios: Bidimensionales

Arquitectura SOM

Capa de entrada Una por cada variable de entrada

Capa de salida y competiciónNo existe capa oculta

…n

…

…

n

m

Un ejemplo de la arquitectura SOM

Capa de entrada de tres dimensiones (x,y,z)

Capa de salida y competición de 9 neuronas

Capa de entrada

Tabla con ejemplos

Estímulos del espacio de entrada.de entrada.

Una neurona por cada dimensión, en este ejemplo 3.

x y z

R3

Cada neurona de la capa de entrada esta conectada a todas las neuronas de la capa de salida.

Capa de entrada

x y z

R3

capa de salida.

Mapas autoorganizados/ Un ejemplo de la arquitectura SOM

Capa de entrada

18.91 22.13 27.40

Cada ejemplo es presentado a las neuronas de la capa de salida.

x y z

R3

Así se buscan las neuronas mas parecidas al vector de entrada mediante un proceso de competición.

Finalmente se crean grupos con características similares.


Capa de salida y competición

Entre las neuronas de la capa de salida, puede decirse que existen conexiones laterales de excitación e inhibición implícitas, pues aunque no estén conectadas, cada una de estas neuronas va a tener cierta influencia sobre sus vecinas.


Capa de salida y competición

0

1

2

La influencia sobre vecinos se consigue a través de un proceso de competición entre las neuronas y de la aplicación de una función denominada de vecindad.

Cuadrada

01

2


Hexagonal

1.Determinar la topología del mapa

2. Determinar el tamaño del mapa

3. Escoger el tipo de vecindario

0

1

2

0

1

2

4. Inicializar los pesos de las neuronas

x y

R2

Concepto de peso

w2

w1

w

w1w2

wDos

Dimensiones

Capa de Salida

Dos

Dimensiones

(x,y)

Capa de Entrada

w1

w2w1

w3

w

w1w2w3

w

w1w2w3…wn

w

Dos

Dimensiones

Dos

Dimensiones

Tres

Dimensiones

(x,y,z)

n

Dimensiones

(x,y,z, …, n)

Inicializar los pesos de las neuronas

x y

R2

t = 0


x y

R2

t = 00.2 0.3


0.2 0.3 0.4 0.8 0.9 0.3 0.5 0.7 0.7 0.3 0.6 0.1

0.6 0.7 0.2 0.7 0.9 0.4 0.6 0.7 0.5 0.3 0.2 0.3

0.4 0.7 0.9 0.2 0.1 0.3 0.8 0.3 0.5 0.8 0.3 0.3

t = 0

0.4 0.7 0.9 0.2 0.1 0.3 0.8 0.3 0.5 0.8 0.3 0.3

0.2 0.6 0.6 0.6 0.7 0.4 0.5 0.5 0.5 0.6 0.6 0.3

0.2 0.7 0.7 0.8 0.7 0.8 0.8 0.6 0.6 0.7 0.2 0.3

0.2 0.7 0.2 0.3 0.9 0.3 0.9 0.7 0.2 0.3 0.7 0.8


x y

R2

t = 0

0.20.3

0.40.8

0.90.3

0.50.7

0.70.3

0.60.1

0.60.7

0.20.7

0.90.4

0.60.7

0.50.3

0.20.3

0.40.7

0.90.2

0.10.3

0.80.3

0.50.8

0.30.3

0.20.6

0.60.6

0.70.4

0.50.5

0.50.6

0.60.3

0.20.7

0.70.8

0.70.8

0.80.6

0.60.7

0.20.3

0.20.7

0.20.3

0.90.3

0.90.7

0.20.3

0.70.8


x y

R2

0.20.3

0.40.8

0.90.3

0.50.7

0.70.3

0.60.1

0.60.7

0.20.7

0.90.4

0.60.7

0.50.3

0.20.3

0.40.7

0.90.2

0.10.3

0.80.3

0.50.8

0.30.3

0.20.6

0.60.6

0.70.4

0.50.5

0.50.6

0.60.3

0.20.7

0.70.8

0.70.8

0.80.6

0.60.7

0.20.3

0.20.7

0.20.3

0.90.3

0.90.7

0.20.3

0.70.8

Mapas autoorganizados/ Algoritmo de aprendizaje


x y

R2

0.20.3

0.40.8

0.90.3

0.50.7

0.70.3

0.60.1

0.60.7

0.20.7

0.90.4

0.60.7

0.50.3

0.20.3

0.40.7

0.90.2

0.10.3

0.80.3

0.50.8

0.30.3

0.20.6

0.60.6

0.70.4

0.50.5

0.50.6

0.60.3

0.20.7

0.70.8

0.70.8

0.80.6

0.60.7

0.20.3

0.20.7

0.20.3

0.90.3

0.90.7

0.20.3

0.70.8

1

w2

w10 1

5. Presentar una entrada a la red

0.14 0.77

x y

R2

0.20.3

0.40.8

0.90.3

0.50.7

0.70.3

0.60.1

0.60.7

0.20.7

0.90.4

0.60.7

0.50.3

0.20.3

0.40.7

0.90.2

0.10.3

0.80.3

0.50.8

0.30.3

0.20.6

0.60.6

0.70.4

0.50.5

0.50.6

0.60.3

0.20.7

0.70.8

0.70.8

0.80.6

0.60.7

0.20.3

0.20.7

0.20.3

0.90.3

0.90.7

0.20.3

0.70.81

1

w2

w10


Presentar una entrada a la red

0.14 0.77

1

1

w2

w10x y

R2

0.20.3

0.40.8

0.90.3

0.50.7

0.70.3

0.60.1

0.60.7

0.20.7

0.90.4

0.60.7

0.50.3

0.20.3

0.40.7

0.90.2

0.10.3

0.80.3

0.50.8

0.30.3

0.20.6

0.60.6

0.70.4

0.50.5

0.50.6

0.60.3

0.20.7

0.70.8

0.70.8

0.80.6

0.60.7

0.20.3

0.20.7

0.20.3

0.90.3

0.90.7

0.20.3

0.70.8


6. Encontrar la neurona ganadora

0.14 0.77

x y

R2

0.20.3

0.40.8

0.90.3

0.50.7

0.70.3

0.60.1

0.60.7

0.20.7

0.90.4

0.60.7

0.50.3

0.20.3

0.40.7

0.90.2

0.10.3

0.80.3

0.50.8

0.30.3

0.20.6

0.60.6

0.70.4

0.50.5

0.50.6

0.60.3

0.20.7

0.70.8

0.70.8

0.80.6

0.60.7

0.20.3

0.20.7

0.20.3

0.90.3

0.90.7

0.20.3

0.70.8


Ajustar los pesos de la neurona ganadora

Ajustar los pesos de la neurona ganadora en la dirección del punto presente en la entrada.

∆W = α(t) (X – W) , también los pesos de las neuronas de la vecindad de la neurona ganadora.

Pero con una tasa de aprendizaje reducida (Sombrero Mejicano) de manera que se especialice menos que la neurona ganadora.que se especialice menos que la neurona ganadora.


7. Presentar otro ejemplo

0.09 0.71

x y

R2

0.20.3

0.40.8

0.90.3

0.50.7

0.70.3

0.60.1

0.60.7

0.20.7

0.90.4

0.60.7

0.50.3

0.20.3

0.40.7

0.90.2

0.10.3

0.80.3

0.50.8

0.30.3

0.20.6

0.60.6

0.70.4

0.50.5

0.50.6

0.60.3

0.20.7

0.70.8

0.70.8

0.80.6

0.60.7

0.20.3

0.20.7

0.20.3

0.90.3

0.90.7

0.20.3

0.70.8


Presentar otro ejemplo

0.09 0.71

x y

R2

0.20.3

0.40.8

0.90.3

0.50.7

0.70.3

0.60.1

0.60.7

0.20.7

0.90.4

0.60.7

0.50.3

0.20.3

0.40.7

0.90.2

0.10.3

0.80.3

0.50.8

0.30.3

0.20.6

0.60.6

0.70.4

0.50.5

0.50.6

0.60.3

0.20.7

0.70.8

0.70.8

0.80.6

0.60.7

0.20.3

0.20.7

0.20.3

0.90.3

0.90.7

0.20.3

0.70.8


BMU (Best match unit)


Repetir

Reducir la vecindad de las neuronas y repetir 2 a 4 veces para todos los puntos por un cierto numero de iteraciones


Visualización y funcionamiento del mapa

x y

R2

0.20.3

0.40.8

0.90.3

0.50.7

0.70.3

0.60.1

0.60.7

0.20.7

0.90.4

0.60.7

0.50.3

0.20.3

0.40.7

0.90.2

0.10.3

0.80.3

0.50.8

0.30.3

0.20.6

0.60.6

0.70.4

0.50.5

0.50.6

0.60.3

0.20.7

0.70.8

0.70.8

0.80.6

0.60.7

0.20.3

0.20.7

0.20.3

0.90.3

0.90.7

0.20.3

0.70.8


Ejemplo

� función de vecindad

Visualización y funcionamiento del mapa•Una vez seleccionado el mapa óptimo, podemos pasar a la

fase de visualización observando en qué coordenadas del

mapa se encuentra la neurona asociada a cada patrón de

entrenamiento.

•Esto nos permite proyectar el espacio multidimensional de

entrada en un mapa bidimensional.entrada en un mapa bidimensional.

•Además de analizar la similitud entre los clusters o

agrupaciones de datos organizados por la propia red.

•Por este motivo, el modelo de mapa autoorganizado es

especialmente útil para establecer relaciones, desconocidas

previamente, entre conjuntos de datos.

Bondades de los mapas autoorganizados

� Clustering: Actuar como clasificadores, encontrando patrones en los datos

de entrada y clasificándolos en grupos según estos patrones.

� Reducción de dimensión: Representar datos multidimensionales en espacios de mucha menor dimensión, normalmente una o dos dimensiones, preservando la topología de la entrada.

Esto es muy útil cuando se trabaja con espacios multidimensionales (más Esto es muy útil cuando se trabaja con espacios multidimensionales (más de tres dimensiones) que el ser humano no es capaz de representar, como por ejemplo en problemas agro-ecológicos en los que intervienen numerosas variables como temperatura, precipitación, humedad relativa, etc.

� Pre-tratamiento de datos: SOM trabaja con ausencia de datos

� Análisis y comprensión de datos: SOM permite una presentación visual sobre las relaciones entre variables

Visualización y funcionamiento del mapa

x y

R2


Aplicacion

redes kohonen

Technology

Transcript of redes kohonen