Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield

Universidad de Santiago de Chile Programa

Magíster en Ingeniería Informática

Enero 2005

Dr. Gonzalo Acuña L.

Universidad de Santiago de Chile Departamento de Ingeniería Informática

Ingeniería Neuronal Magíster en Ingeniería Informática 2

Temario

•  Introducción •  Descripción de las Redes de Hopfield •  Características de las Redes de Hopfield •  Función de Energía •  Estados Espurios •  Memorias Fundamentales

Introducción

Ingeniería Neuronal Magíster en Ingeniería Informática

Redes de Hopfield

•  Fueron desarrolladas por una serie de investigadores y presentadas en forma clara y sistemática a la comunidad por Hopfield en 1982.

•  Memoria asociativa o memoria accesible por contenido (Content addressable Memory)

Redes de Hopfield

•  Sistema dinámico cuyo espacio de estado contiene un conjunto de puntos fijos (estables) representando las memorias fundamentales del sistema.

Redes de Hopfield

•  Se usa Representación de McCulloch & Pitts.

•  Estado de la red neuronal esta compuesto por N neuronas:

[ ]1 2 3, , , ; 1tN iS s s s s s= = ±K

j ji i ii

V w s θ=

= ⋅ −∑

1 01 0

si v+ >⎧

= ⎨− >⎩si 0j jv s= ⇒ se conserva

j jS Sgn v⎡ ⎤⇒ = ⎣ ⎦

Redes de Hopfield

1.  Fase de Almacenamiento •  Memorias Fundamentales = P Vectores

N-dimensional

•  : Elemento i de •  Regla de aprendizaje de Hebb:

{ }/ 1,2, ,Pµξ µ = Kiµξ µξ

, ,1 P

ji j iWN µ µ

ξ ξ= ⋅ ⋅∑ 0iiW i= ∀

Redes de Hopfield

•  En forma matricial:

•  La salida de cada neurona en la red es alimentada hacia todas las otras neuronas

•  No hay auto-retroalimentación •  La Matriz de Pesos es simétrica

1 Pt PW I

N Nµ µµ

ξ ξ= ⋅ ⋅ − ⋅∑

ij jiw w=

Redes de Hopfield

2.  Fase de Búsqueda (Recuperación) –  Un vector N-dimensional se impone a la red.

Como su estado, con elementos +-1. Versión ruidosa o incompleta de memoria fundamental.

–  En forma aleatoria: Cada neurona j, a intervalos fijos examina su activación . jv

0 10 1

0 se mantiene

v sv sSív s

> ⇒ = +⎡ ⎤⎢ ⎥< ⇒ = −⎢ ⎥⎢ ⎥= ⇒⎣ ⎦

Redes de Hopfield

– Partiendo de un vector X, se llega a un vector Y, cuyos elementos satisfacen la siguiente Condición de Estabilidad:

– o en forma matricial: 11,2, ,

j ji i ji

y Sgn w y j Nθ=

⎛ ⎞= ⋅ − =⎜ ⎟

⎝ ⎠∑ K

( )Y Sgn W Y θ= ⋅ −

Redes de Hopfield

•  Paso1: Almacenamiento

•  Paso2: Inicialización

1 2, , , Pξ ξ ξK , ,1

µ µµ

ξ ξ=

⎧⋅ ⋅ ≠⎪

= ⎨⎪ =⎩

( )0 , 1,2, ,j js X j N= = K

Redes de Hopfield

•  Paso3: Iteración hasta convergencia – Actualizar elementos de en forma

aleatoria y asíncrona.

•  Paso4: Salida

( )S n

( ) ( )1

j ji ii

S n Sgn w S n=

⎛ ⎞+ = ⋅⎜ ⎟

⎝ ⎠∑

3fijo fijoY S dondeS es la salida del paso=

Redes de Hopfield

•  Ejemplo:

0 2 21 2 0 23

2 2 0W

−⎡ ⎤⎢ ⎥= ⋅ − −⎢ ⎥⎢ ⎥−⎣ ⎦

Redes de Hopfield

•  Condición de Alineamiento

[ ] [ ]1 1 1 0 0

1 1 21 1 1 1 1 1 1 1 0 1 03 3 3

1 1 0 0 1

0 2 21 2 1 23

−⎡ ⎤ ⎡ ⎤ ⎡ ⎤⎢ ⎥ ⎢ ⎥ ⎢ ⎥= ⋅ − ⋅ − + ⋅ ⋅ − − − ⋅⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥ ⎢ ⎥−⎣ ⎦ ⎣ ⎦ ⎣ ⎦

−⎡ ⎤⎢ ⎥= ⋅ − −⎢ ⎥⎢ ⎥−⎣ ⎦

Redes de Hopfield

•  è8 estados posibles •  èSólo 2 de ellos son estables

•  ¿Por qué son estables?

( ) ( )1, 1,0 1,1, 1y− − −

0 2 2 1 41 12 0 2 1 43 3

2 2 0 1 4yW

−⎡ ⎤ ⎡ ⎤ ⎡ ⎤⎢ ⎥ ⎢ ⎥ ⎢ ⎥= ⋅ − − ⋅ − = ⋅ −⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥ ⎢ ⎥−⎣ ⎦ ⎣ ⎦ ⎣ ⎦

Redes de Hopfield

ySgn W y⎡ ⎤⎢ ⎥⎡ ⎤ = − =⎣ ⎦ ⎢ ⎥⎢ ⎥⎣ ⎦

0 2 2 1 41 12 0 2 1 43 3

2 2 0 1 4yW

− − −⎡ ⎤ ⎡ ⎤ ⎡ ⎤⎢ ⎥ ⎢ ⎥ ⎢ ⎥= ⋅ − − ⋅ = ⋅⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥ ⎢ ⎥− − −⎣ ⎦ ⎣ ⎦ ⎣ ⎦

ySgn W y−⎡ ⎤⎢ ⎥⎡ ⎤ = =⎣ ⎦ ⎢ ⎥⎢ ⎥−⎣ ⎦

Redes de Hopfield

Función de Energía (Cambio de energía debido a un cambio de estado de neurona j)

ji i ji j

E ω δ δ= =

= − ∑∑

0ij ji

j jω ω

à Propiedad central de una función de energía es que siempre decae o se mantiene constante durante la evolución del sistema {

( )ij i j

ijiiE C ω δ δ= −∑

i ij j ij

ij i j ij i jj i j i

i ij jj i

i ij j iij

Sea S Sgm nuevo valor para

Si S S E no cambiaSi S S E E

ω δ δ

ω δ δ ω δ δ

δ ω δ

δ ω δ ω

≠ ≠

= − ⇒ −

= − +

∑ ∑

∑1 4 2 43

En el ejemplo anterior: 1 2 2 3 1 32 ( )3

E δ δ δ δ δ δ= − +

-1 -1 -1 2/3

1 -1 -1 2/3 0 -1 1 -1 -2 -8/3 1 1 -1 2/3 8/3 -1 -1 1 2/3 0 1 -1 1 -2 -8/3 -1 1 1 2/3 8/3 1 1 1 2/3 0

1δ 2δ 3δ EV

Estados Espurios à Representan estados estables diferentes de las

memorias fundamentales almacenadas à E no cambia si se invierten todos los estados de

las neuronas è Un estado estable corresponde naturalmente al

inverso de otro

à Pueden aparecer estados estables para cada mezcla de estados almacenados èCombinación lineal de un número impar de patrones

à Mientras mayor el número de estados

fundamentales almacenados è Mayor cantidad de mínimos locales que no

están correlacionados con los anteriores è Spin-Glass Status

(Ausencia de auto retroalimentación beneficia la no-aparición de estos)

1, 2, 3,: ( )i i i iEj Sgmδ ξ ξ ξ= + +

Capacidad de Almacenamiento de memorias fundamentales

à No siempre todas las memorias fundamentales son estables

à La capacidad de almacenar patrones que resulten atractores es limitada

à Estabilidad de un patrón particular

(entrada neta a unidad i del patrón v)

v vi i

v v vi ij j i j j

sgm h i

con hN

ω ξ ξ ξ ξ

= =∑ ∑∑

à Si se separa la suma en en el término

è Esto ocurre cuando el número de parámetros almacenados, p, es pequeño.

µv restoµ = +

1v v vi i i j j

estabilidad ssi este término=0o suficientemente pequeño

ξ ξ ξ ξ≠

= + ∑∑1 4 4 2 4 4 3

à  depende de los patrones que se

intenten almacenar à Consideremos patrones aleatorios de

igual probabilidad:

v v vi i i j j

Sea CN

Si C problemas

ξ ξ ξ ξ≠

∑∑

à Probabilidad, Perror, de que algún bits sea inestable:

à Perror depende del número de neuronas N y el número de patrones p.

à Si asumimos N y p >> 1 è  (números aleatorios independientes +1 ó -1)

à Distribución binomial (por sacar al azar +1 ó -1) è Distribución normal

( 1)verror iP Prob C= >

1iC Np

Nµ = ∑

è Perror < 0.01 è Pmax = 0.15N Pmax: máxima capacidad

Perror Pmax/N 0.001 0.105 0.0036 0.138 0.01 0.185 0.05 0.37 0.1 0.61

( )viP C

errorP

Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield

Documents

Transcript of Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield

Memoria Bibliografía: Miyashita et al (Nature, 1988a,1988b,1991) Hopfield, PNAS 79: 2554 (1986) Actividad persistente Modelo de Hopfield Conversión de.

Metabolismo neuronal

14 Fisiologia Neuronal

Instituto Polit ecnico Nacional · 2017-12-12 · prototipo de podadora electrica, usando como medio de control la red neuronal de hopfield. • diseno y construccion del prototipo

Computación neuronal

DISEÑO, DESARROLLO E IMPLEMENTACIÓN, DE UN ENTRENADOR DE ... · tipos de redes de acuerdo a la topologÍa ... caracteristicas de hopfield..... 54 . 2.2.3.5.3.1.2. funcionamiento

Redes de Hopfield

Fisiología Neuronal

La Comunicación Neuronal

Tacto neuronal

Tema: Red Neuronal Hopfield. Reconocimiento de … · 1Sistemas Expertos e Inteligencia Artificial. Guía No. 10 Tema: Red Neuronal Hopfield. Reconocimiento de Patrones. Comprender

Redes Neuronales - jabaier.sitios.ing.uc.cljabaier.sitios.ing.uc.cl/iic2622/rna.pdf · Aprendizaje en Redes Neuronales Para lograr que una red neuronal ... un perceptron no puede

Redes Neuronales Recurrentes - ccc.inaoep.mxccc.inaoep.mx/~pgomez/cursos/IC-II/presentaciones/recurr.pdf · (C) P. Gómez Gil. INAOE 2015 11 Algoritmo de Entrenamiento de la red Hopfield

Comunicación cuántica neuronal

Aplicaciones - infofich.unl.edu.arinfofich.unl.edu.ar/upload/caf406e31ecdbad16744c1c8dac323fb2f88a…Memorias y recuperación de información •Redes neuronales –Red de Hopfield

Computación Neuronal,Redes Neuronales Artificiales

Red Neuronal Adaline

Memoria Asociativa en Redes Tipo Hopfield Balanceadas

REDES NEURONALES ARTIFICIALES Y SUS APLICACIONES … · computaciÓn tradicional y computaciÓn neuronal 1.5.- historia de la computaciÓn neuronal 1.6.- aplicaciones de las redes

Migración neuronal