REDES NEURONALES Mapas con Características Autoorganizativas Som

FEBRERO 2003 M en C. José Luis Calderón O. 1

IntroducciónIntroducción


La corteza cerebralLa corteza cerebral

La corteza es, en esencia, una capa extensa (de 1m2 aprox., en humanos adultos) y fina (entre 2 y 4 mm de grosor) que consta de seis capas de neuronas de distintos tipos y densidades.


Nuestro CerebroNuestro Cerebro


Mapas en Mapas en NeurobiologiaNeurobiologia

– Mapa Retinóptico: visión, colliculus superior

– Mapa Fonotópico: auditivo, corteza auditiva.

– Mapa Somatotópico: Tacto, corteza somatosensoria.

Mapa de las funciones neuronales relacionadas con las regiones identificables del cerebro.


““El Homunculus”El Homunculus”

Es una representación distorsionada de la relación entre las partes del cuerpo y las regiones del cerebro que controlan a ellas


Professor of Computer Science, Computer Science Department, Biology Department, Department for Physics and Astronomy.

Director, Laboratory of Computational and Biological VisionDirector, Institut für Neuroinformatik, Ruhr-Universität Bochum, Germany

Ph D. Christoph von der Malsburg(1970´s)


His research areas are the theory of self-organization, associative memories, neural networks, and pattern recognition, in which he has published over 300 research papers and four monography books. His fifth book is on digital computers. His more recent work is expounded in the tercera edicion extendida (2001)

Teuvo Kohonen

Dr. Eng., Emeritus Professor of the Academy of Finland; Academician

of his book Self-Organizing Maps.

(1980´s)


Información generalInformación general

Para la emulación de un sistema biológico sin conexiones de tipo no lineal centro-encendido/contorno-apagado, Kohonen diseño un método simple.

Creó los Self-organizing Feature Map (SOFM) que significa “Red de Mapas Auto-organizativos”.


AUTOORGANIZACIÓNAUTOORGANIZACIÓN

• Consiste en la modificación de la red completa para llevar a cabo un objetivo específico.

• Generalización es la facultad de las redes de responder adecuadamente cuando se les presentan datos o situaciones a las que nunca había sido expuesta anteriormente.

ArquitecturaArquitectura


ARQUITECTURAARQUITECTURAArquitectura no-supervisada.Consiste de un número de neuronas organizadas en

una red n-dimensional.Cada neurona es conectada a todas las otras

neuronas, pero es localmente conectada solo a sus vecinas.

Cada neurona tiene un vector de pesos W de entrada asociado y la neurona con el vector de peso más cercano a la entrada P se activará.

CaracterísticasCaracterísticas


Aprendizaje competitivoAprendizaje competitivo

• Las neuronas compiten unas con otras para llevar a cabo una tarea dada.

• Tienen conexiones recurrentes de autoexitación y de inhibición por parte de neuronas vecinas.

• La competición entre neuronas se realiza en todas las capas de la red.


• Este aprendizaje, categoriza (cluster) los datos introducidos en la red.

• Las clases o categorías deben ser creadas por la propia red.

• Estas neuronas tiene asignado un peso total, que es la suma de todos los pesos que tiene a su entrada.


SOMSOMEs una red no supervisada, se entrena solo con

patrones de entradaLas entradas se conectan a una única capa de

neuronas donde cada nodo se conecta a su vecino y solo puede haber una neurona activa

La conexión puede ser lineal, cuadrada, hexagonal, irregular, etc.

La red detecta grupos similares o “clusters” en los datos de entrada


EspecificacionesEspecificaciones

Se pueden usar arreglos unidimensionales, bidimensionales, tridimensionales, n-dimensionales, etc.

Kohonen sugirió vecindarios rectangulares y hexagonales para una implementación eficiente.

El desempeño de la red es insensible a la forma que tome el vecindario.


VecindadesVecindadesN 13 1 8 12 13 14 18 =

N 13 2 3 7 8 9 11 12 13 14 15 17 18 19 23 =


Redes Redes Autoorganizativas Autoorganizativas

•Aprenden a detectar regularidades y

correlaciones en sus entradas.

•Adaptan sus respuestas futuras

conforme a sus entradas.


El mapa consiste de una cuadricula regular de unidades de procesamiento, “neuronas”.

Un modelo de algunas observaciones multidimensionales, eventualmente un vector, de caracteristicas es asociado con cada unidad.


Ejemplo de Ejemplo de funcionamiento:funcionamiento:


ConvergenciaConvergencia

-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 1-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 1-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 1-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 1-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1


Función sombrero Función sombrero mexicano (Mexican-Hat)mexicano (Mexican-Hat)


VentajasVentajasEntrenamiento no supervisadoNo precisa de pares entrada/salida

tan solo patrones de entrada.Simplemente se autoorganiza de

forma autónoma para adaptarse lo mejor posible a los datos usados en el entrenamiento


LimitacionesLimitacionesSolo proporciona información de que

zona del espacio de entrada pertenece un cierto patrón.

Es preciso interpretar esa informaciónEl proceso de interpretación necesita

datos para los que se conoce su clasificación


DesventajasDesventajasLos mapas pueden fallar al ajustarse la

topología desde su espacio de entrada. Ocurre cuando dos partes de la red cortan la

topología separando en partes el espacio de entrada, en este caso la red forma un nudo entre las partes.

Esta división es difícil de remover porque las dos partes de la red son clasificaciones estables en regiones diferentes.

Algoritmo deAlgoritmo deAprendizajeAprendizaje


Entrenamiento Entrenamiento de SOM’sde SOM’s

Los Mapas Autoorganizativos difieren del aprendizaje competitivo convencional en la manera en que las neuronas actualizan sus pesos.

En los SOM’s, no solo se actualiza los pesos de la neurona que resulta ganadora en el aprendizaje, sino que se actualizan también los de la vecindad.


Entrenamiento Entrenamiento de SOM’sde SOM’s

La propiedad anterior, da como resultado que las neuronas vecinas producen vectores de pesos similares para vectores de entrada similares.

En forma concreta, la diferencia entre los SOM’s y las redes competitivas, es que los primeros producen varias salidas activadas


ProcedimientoProcedimientoPrimero determina a la neurona ganadora

i* usando algún procedimiento de acuerdo al nivel competitivo.

Despues el peso de los vectores para todas las neuronas dentro de cierto vecindario de la neurona ganadora son actualizados usando la regla de Kohonen.


Regla de AprendizajeRegla de Aprendizajede los SOMde los SOM

i Ni d

Actualización de los vectores de pesos en una vecindad de la neurona ganadora.

N i d j di j d =

)1()()1()( *** qWqpqWqW iT

ii

)()1(1)( ** qpqWqW Tii

REGLA DE

KOHONEN


Donde:Donde:

Ni* (d) es la vecindad que contiene el indice para todas las neuronas que radican dentro del radio d

d es el radio alrededor de la neurona ganadora

i* es la neurona ganadora


De esta forma:De esta forma:

Ni* (d) ={ j, dij d}

Conforme p se este presentando, los pesos de la neurona ganadora y de su vecindad se acercarán cada vez más a p


ALGORITMOALGORITMO

En cada vector se presenta la siguiente secuencia de pasos:

–Encontrar el nodo k cuyo vector de peso esté más próximo al vector de entrada actual.

–Entrenar el nodo k y todos los nodos más próximos a este.


ALGORITMOALGORITMO

–Decrementar suavemente la razón de aprendizaje.

–Después de M ciclos, decrementarel tamaño de la vecindad.


EntrenamientoEntrenamientoSe inicializan los pesos de forma

aleatoria.Se presenta un vector de entrenamiento.La neurona mas cercana al vector es la

única que se activaSolo se modifican los pesos de la

neurona activa y de sus vecinas


Modificación de pesosModificación de pesos

Se modifican los pesos de la neurona activa y de sus vecinas

Los pesos se mueven hacia el vector de entrada

oldi

Toldi

newi WpWW ***


Modificación de los Modificación de los parámetrosparámetros

La tasa de aprendizaje se reduce con el numero de iteraciones

001 1

Tt

Donde: T0 es el numero total de iteraciones0 es la razón inicial de aprendizaje


Modificación de los Modificación de los parámetrosparámetros

La vecindad se modifica de igual forma

001 1

Tt

Donde: 0 es el numero total de iteraciones0 =1/2 # neuronas en la capa


Variaciones al Variaciones al algoritmo Básicoalgoritmo Básico

Modificar las neuronas vecinas en función de su lejanía

Utilizar un factor de conciencia que hace que una neurona que se activa con frecuencia, tienda ano activarse.

Diferentes patrones de vecindadModificación de las vecindades con el

tiempo

AplicacionesAplicaciones


AplicacionesAplicacionesEs el algoritmo de RNA más

popular dentro de la arquitectura no-supervisada.

En muchos proyectos industriales son utilizadas como una herramienta que resuelve problema del mundo real.


AplicacionesAplicacionesMuchos campos de la ciencia han

adoptado los SOM como una herramienta analítica estándar en: estadística, procesamiento de señales, teoría de control, análisis financiero, experimentos físicos, químicos y médicos.



El SOM es un algoritmo para visualizar e interpretar conjuntos de datos multidimensionales.

Tiene aplicaciones practicas (tipica) en el proceso de visualizacion de procesos de estados o resultados financieros financieros a traves de la representacion de dependencias centrales dentro de los datos en el mapa.


Los SOM resuelven problemas difíciles no lineales y de alta-dimensión, así como, extracción de características y clasificación de imágenes y patrones acústicos, control adaptativo de robots, ecualización, demodulación y transmisión de tolerancia de error de señales en telecomunicaciones.

Aplicaciones


La máquina de escribir

neuronal fonética.



"Self Organizing Maps" Help Analyze Thousands Of Genes.

Usando este algoritmo sofisticado , un equipo de científicos en el instituto de Whitehead ha diseñado una nueva técnica para analizar las cantidades masivas de datos generados por los micro arreglos de DNA

EjerciciosEjercicios


Ejemplo 1:Ejemplo 1:Entrene un SOM para: Una vecindad de radio

d=1, = 0.1

a)Efectue 3 iteraciones

b)Redibuje el diagrama

89.0

0.0

45.0

2W

89.0

45.0

0.0

6W

82.0

41.0

41.0

3W

82.0

41.0

41.0

7W

89.0

45.0

0.0

1W

89.0

0.0

45.0

8W

0.1

0.0

0.0

5W

82.0

41.0

41.0

9W

82.0

41.0

41.0

1W

T

n

T

T

ij

W

W

W

W

2

1

74.0

07.0

67.0

P


Antes Después

Código en MatlabCódigo en MatlabNNTNNT


ARQUITECTURA SOMARQUITECTURA SOM


Inicio Final

Mapa Bidimensional

Simulación enSimulación en

Matlab / NNT Matlab / NNT


Initsm:

Esta funcion inicializa los pesos Wij de una capa S de un mapa autoorganizado.

La funcion toma la matriz de los vectores de entrada ejemplo P y un numero de neuronas S, y regresa los pesos para un SOM con S neuronas.

Los mapas autoorganizados no requieren de umbrales B.


Recuerde que cada i-esima fila de P debe contener valores maximos y minimos para cada entrada i-esima

W= initsm(P,S)Ejemplo

W= initsm(P,3)


trainsm

Se usa para entrenar redes autoorganizadas con la regla de Kohonen. La funcion anterior regresa una nueva matriz de pesos W despues de ser entrenados los pesos iniciales con los vectores de entrada P con los parametros tp.

Semantica, W = trainsm (W,b,P,tp)tp = [disp-freq max-epoch lr]


Valores por omisióndisp-freq =25 max-epoch =100 lr= 1


simusmSimula un mapa autoorganizado. La funcion toma una matriz de vectores

de entrada P, la matriz de pesos W, y la matriz de vecindad M, de un SOM, regresando la salidas de la capa.

Cada vector de salida tiene un uno para la neurona i con la entrada mas grnade de la red, y 0.5 para las neuronas j con una distancia de 1 (Mij <=1) de la neurona gandora


EjemploW= initsm([.2 2;0 5],6)M= nbman(2,3)a= simusm ([1;2],W,M)Existen tres funciones para

crear la matriz de vecindades. Cada una calcula las distancias de forma diferente

nbgrid, nbman, nbdist


nbgridCrea una matriz de vecindades usando

una distancia en cuadricula.Sintaxis:nbgrid(d1) nbgrid(d1,d2) nbgrid(d1,d2,..d5) La distancia de la cuadricula entre las dos

neuronas es la magnitud del elemento maximo y el vector obtenido de la resta de las neuronas coordinadas


nbgrid(d1): Regresa una matriz de vecindades d1xd1 para una capa con con d1 neuronas arregladas en una dimension. Cada elemento ij de la matriz de vecindades es la distancia entre la cuadricula entre la neurona i y j.

nbgrid(d1, d2): Regresa una matriz de vecindades (d1*d2)x (d1*d2) para una capa con d1*d2 neuronas arregladas en dos dimensiones. Cada elemento ij de la matriz de vecindades es la distancia vectorial entre las neuronas i y j.


Ejemplo M= nbgrid(2,2)

M= 0 1 1 1 1 0 1 1 1 1 0 1 1 1 1 0


nbmanCalcula la matriz de vecindades usando

la distancia Manhattan.Sintaxisnbman(d1) nbman(d1,d2) nbman(d1,d2,..d5)La distancia Manhattan entre dos

neuronas es la suma de los elementos absolutos en el vector obtenido de la resta de las neuronas coordinadas.


nbman(d1): Regresa una matriz de vecindades d1xd1 para una capa con d1 neuronas arregladas en una dimension. Cada elemento ij de la matriz de vecindades es la distancia vectorial entre la neurona i y j.

nbman(d1, d2): Regresa una matriz de vecindades (d1*d2)x (d1*d2) para una capa con d1*d2 neuronas arregladas en dos dimensiones. Cada elemento ij de la matriz de vecindades es la distancia vectorial entre las neuronas i y j.


Ejemplo M= nbman(2,2) M= 0 1 1 2 1 0 2 1 1 2 0 1 2 1 1 0


nbdist Calcula la matriz de vecindades usando la

distancia vectorial.Sintaxisnbdist(d1) nbdist(d1,d2) nbdist(d1,d2,..d5)Las neuronas en un SOM pueden ser

artregladas de cualquier forma. Estos arreglos son representadso por matrices de vecindades que mantienen las distancias entre cada una de las neuronasen la capa.


nbdist(d1): Regresa una matriz de vecindades d1xd1 para una capa con con d1 neuronas arregladas en una dimension. Cada elemento ij de la matriz de vecindades es la distancia vectorial entre la neurona i y j.

nbdist(d1, d2): Regresa una matriz de vecindades (d1*d2)x (d1*d2) para una capa con d1*d2 neuronas arregladas en dos dimensiones. Cada elemento ij de la matriz de vecindades es la distancia vectorial entre las neuronas i y j.


Ejemplo M= nbdist(2,2) M= 0 1.0000 1.0000 1.4142 1.0000 0 1.4142 1.0000 1.0000 1.4142 0 1.0000 1.4142 1.0000 1.0000 0


Ejemplo 1:Ejemplo 1:clear;echo on;clc;nntwarn off;P= rands(3, 10);S=9;W= initsm(P,S)M= nbdist(9,1);tp= [50 800 1];[W]= trainsm(W,M,P,tp)echo off


Ejemplo de Codificación 2:Ejemplo de Codificación 2:clear;echo on;clc;nntwarn off;P= rands(2, 100);W= initsm(P,9);M= nbman(3,3);tp= [10 500];[W]= trainsm(W,M,P,tp)echo off


Inicio Final

Mapa Lineal

BibliografíaBibliografía


Articulos OriginalesArticulos Originales

Von der Malsburg, C. 1973. “Self-organization of orientation sensitive cells in the striate cortex”, Kibernetik, vol 14,pp. 85-100.

Willshaw, D. J. And C. Von der Malsburg, 1976, “how patterned neural connections can be set up by self-organization”, Proceedings of the Royal Society of London series B, vol. 194. pp. 431-445.


Articulos OriginalesArticulos Originales

Kohonen T., 1982, “Self-Organized formation of topologically correct feature maps”, Biological Cybernetics, vol 43, pp.59-69.


Dudas ???Dudas ???


Hasta la próxima !!!Hasta la próxima !!!

REDES NEURONALES Mapas con Características Autoorganizativas Som

Education

Transcript of REDES NEURONALES Mapas con Características Autoorganizativas Som