Ejemplo Perceptron Simple

Ing. Ivan Mejia Cabrera



Redes Neuronales

Razonamiento Aproximado

Algoritmos Genticos

Teora del Caos

Colonias de hormigas

En la emulacin,

ms o menos

inteligente, del

comportamiento de

los sistemas

biolgicos

M

E

T

O

D

O

L

O

G

I

A

S

Manejar las

imprecisiones

e

incertidumbres

Al resolver

problemas

relacionados

con el mundo

real

Problemas

que no

pueden

describirse

fcilmente

con un

enfoque

algortmico

tradicional

sontienen

su origen

que

aparecen

permiten


REDES NEURONALES ARTIFICIALES

Basados en el comportamiento del

sistema nerviosa

las neuronas poseen caractersticas que

las diferencian de las otras clulas, tal

como su capacidad de comunicarse

En todo el sistema nervioso central

del ser humano hay alrededor de 1011

neuronas y existen alrededor de 1015

conexiones.


Neurona biolgica

La teora y modelado de redes

neuronales artificiales est inspirada en

la estructura y funcionamiento del

sistema nervioso, donde la neurona es

el elemento fundamental.

Las neuronas poseen caractersticas

que las diferencian de las otras clulas,

tal como su capacidad de comunicarse.

Por lo general una neurona recibe

informacin de miles de otras neuronas y, a

su vez, enva informacin a miles de

neuronas ms.


Ramn y Cajal, Santiago

(1852-1934)

Cajal argumentabaconvincentemente que lasneuritas de las diferentesneuronas no tienencontinuidad unas con otras yque es preciso que secomuniquen por contacto yno por continuidad. Esta ideade que la neurona cumpla lateora celular empez aconocerse con el nombre dedoctrina neuronal. Cajal en1906 recibe el Premio Nbel.

http://cajal.unizar.es

Dendritas Cuerpo

celularAxn Sinapsis

Recibir

seales

de

entrada

Combina,

integra y

emite

seales de

salida

Transporta las

seales a los

terminales

axnicos

Punto de

conexin

con otra

neurona

Comunicacin neuronal

Seales

Neuronales

Elctricas

Qumicas

Impulsos elctricos

generados por la neurona

y transportados a lo largo

del axn

Sustancias qumicas neurotransmisores que fluyen a travs de un

contacto especial llamado

sinapsis y contribuyen a

transmitir los impulsos

nerviosos de una neurona

a otra

Naturaleza de las seales neuronales


DEFINICIN DE RED

NEURONAL ARTIFICIAL

Una nueva forma de computacin, inspirada en modelos biolgicos.

Un modelo matemtico compuesto por un gran nmero de elementos procesales organizados en niveles.

Redes neuronales artificiales son redes interconectadas masivamente en paralelo de elementos simples (

usualmente adaptativos) y con organizacin jerrquica, las

cuales intentan interactuar con los objetos del mundo real

del mismo modo que lo hace el sistema nervioso biolgico.

En general son modelos que intentan reproducir el

COMPORTAMIENTO del cerebro


McCulloch Warren Pitts Walter (1943)

Los primeros tericos que concibieron los

fundamentos de la computacin neuronal fueron

Warren McCulloch, un neurofisilogo, y Walter Pitts,

un matemtico, quienes, en 1943, lanzaron una teora

acerca de la forma de trabajar de las neuronas. Ellos

modelaron una red neuronal simple mediante

circuitos elctricos


Rosenblatt, Frank (1957)

En 1957, comenz el desarrollo del Perceptron.El

Perceptron es la ms antigua red neuronal, y se usa hoy

en da de varias formas para la aplicacin como

reconocedor de patrones.


Hopfield, John (1982)

En 1982, coincidieron numerosos eventos que hicieron resurgir el inters por las redes neuronales. John Hopfield, fsico, present su trabajo sobre redes neuronales en la Academia Nacional de las Ciencias . En el trabajo describe con claridad y rigor matemtico una red a la que ha dado su nombre

NEURONA ARTIFICIAL

CAPAS DE UNA RED

NEURONAL ARTIFICIAL

Unidad U iW j i

Y i Net j

F(aj(t),Netj)

=

a j(t+1)

fj (aj (t+1)

=

Y j

Entrada

total Funcin de

salida o

transferencia

Funcin o

regla de

activacin

Salida

y j

Unidad U j

Estructura de una red neuronal

Net j =

a j (t+1) = F ( a i (t), Net i ) generalmente F es la identidad

Y j (t +1) = f ( Net j )

n

i

iij yw


MECANISMOS

DE

APRENDIZAJE

Mecanismos de

aprendizaje de la red

Reglas o

algoritmos

Aprendizaje

supervisado

Aprendizaje no

supervisado

A. por correccin

de errorA. por refuerzo A. estocstico

Proceso por el cual

una red modifica sus

pesos en respuesta

a una informacin

de entrada

Regla del

Perceptron

Regla delta o de

Widrow - HoffRegla delta

generalizada o

Backpropagation


EL PERCEPTRON

Primer modelo de red neuronal desarrollado por Rosenblatt 1958.

Est formada por varias neuronas lineales para recibir las entradas a la red y una neurona de salida entrada.

Despert gran inters en los aos 60 por su capacidad de reconocer patrones sencillos.

Es capaz de decidir cundo una entrada presentada a la red pertenece a una de las dos clases que es capaz de reconocer.


EL PERCEPTRON n ENTRADAS

n

i

ii xw1

)( .

.

.

w1

w2

wn

x1

x2

xn

x

f (x)

y = f [ ]-1

1


EL PERCEPTRON 2 ENTRADAS

x1

x2

BA

AA

AB

BB B

x1

x2

w1

w2

x1

x2

y = f ( w1 x1 + w2 x2 - ) x

f (x)

-1

1

La neurona de salida del Perceptron realiza la suma ponderada de las entradas, resta el umbral

y pasa el resultado a la funcin de transferencia

de tipo escaln.

Si la repuesta es +1, el patrn presentado pertenece a la clase A y si la respuesta es -1, el

patrn pertenece a la clase B.

X0=1

W0= -


REGLA DE APRENDIZAJE DEL

PERCEPTRON

El algoritmo de aprendizaje es de tipo supervisado.

En el proceso de entrenamiento, el Perceptron se expone a un conjunto de patrones de entrada, y los pesos de la red son ajustados de forma que al final del entrenamiento se obtenga las salidas esperadas para cada uno de esos patrones de entrada.

A continuacin el algoritmo de ajuste de pesos para realizar el aprendizaje de un Perceptron ( aprendizaje por correccin de error ).


Inicializacin de los pesos y del umbral

Inicialmente se asignan valores aleatorios a cada uno de los pesos wi de las conexiones y al umbral ( -w0 = ).

Presentacin de un nuevo par (Entrada, salida esperada)

Patrn de entrada Xp = ( x1, x2, x3, , xn), salida esperada d (t).

Clculo de salida actual

siendo f la funcin de transferencia escaln.

Adaptacin de los pesos

w i (t+1) = w i (t) + [ d(t) y (t) ] xi (t)

es un factor de ganancia en el rango 0 a 1.

Volver al paso 2

y (t) = f [ ]

n

i

ii xw1

)(


EJEMPLO

X1 X2 X1X2

0 0 0

0 1 1

1 0 1

1 1 1

1. Pesos elegidos aleatoriamente: w1=0.5, w2=1.5, w0 = 1.5,

2. Tomar uno a uno los cuatro patrones de entrada y se aplica el mtodo explicado.

Patrn de entrada: 00

Entradas: x1=0, x2=0, x0=1

Pesos: w0 = 1.5, w1=0.5, w2=1.5

Neti: 0(0.5) + 0(1.5) + 1(1.5) = 1.5

Salida producida por f: 1 ( Neti >=0)

Salida deseada: 0

Error: 0 1 = -1

Pesos modificados: w0(t + 1) = 1.5 + (-1)1 = 0.5

w1(t + 1) = 0.5 + (-1)0 = 0.5

w2(t + 1) = 1.5 + (-1)0 = 1.5

Valores deseados

de la funcin OR

Conjunto de patrones

{ 00, 01, 10, 11 }

= 1

PRIMERA CORRIDA


PRIMERA CORRIDA

Patrn de entrada: 01 Entradas: x1=0, x2=1, x0=1 Pesos: w1 = 0.5, w2=1.5,

w0=0.5

Neti: 0(0.5) + 1(1.5) + 1(0.5) = 2

Salida producida por f: 1 ( Neti >=0)

Salida deseada: 1 Error: 1 1 = 0 Los pesos no se modifican: wi (t + 1) = wi ( t )

Patrn de entrada: 10 La salida es igual a la deseada,

por lo que no varan los pesos.



Existe un patrn de entrada, 00, para el cual el error cometido no es cero, por lo tanto se repite el proceso a partir de 2 !!


SEGUNDA CORRIDA

3. Se toman de nuevo los cuatro patrones de entrada.

Patrn de entrada: 00 Entradas: x1=0, x2=0, x0=1 Pesos: w1 = 0.5, w2=1.5, w0=0.5 Neti: 0(0.5) + 0(1.5) + 1(0.5) = 0.5 Salida producida por f: 1 Salida deseada: 0 Error: 0 1 = -1 Pesos modificados:

w0(t + 1) = 0.5 + (-1)1 = -0.5 w1(t + 1) = 0.5 + (-1)0 = 0.5 w2(t + 1) = 0.5 + (-1)0 = 1.5

Patrn de entrada: 01 Entradas: x1=0, x2=1, x0=1 Pesos: w1 = 0.5, w1=1.5, w0= -

0.5

Neti: 0(0.5) + 1(1.5) + 1(-0.5) = 1

Salida producida por f: 1 Salida deseada: 1 Error: 1 1 = 0 Los pesos no se modifican:

wi (t + 1) = wi ( t )

Patrn de entrada: 10 La salida es igual a la deseada, por lo

que no varan los pesos.

Patrn de entrada: 11 La salida es igual a la deseada, por lo

que no varan los pesos.


TERCERA CORRIDA

Se toman de nuevo los cuatro patrones.

Patrn de entrada: 00 Entradas: x1=0, x2=0, x0=1 Pesos: w1 = 0.5, w2=1.5, w0= -

0.5

Neti: 0(0.5) + 0(1.5) + 1(-0.5) = - 0.5

Salida producida por f: 0 Salida deseada: 0 Error: 0 0 = 0 No varan los pesos

wi (t + 1) = wi ( t )





Con estos nuevos pesos los patrones de entrada coinciden con las salidas, ya no se comete ningn error y por lo tanto la etapa de aprendizaje concluye !!. FIN

i x1 x2 d (t) w1(t) w2(t) w0(t) y error w1(t+1) w2(t+1) w0(t+1)

1 0 0 0 0.5 1.5 1.5 1 -1 0.5 1.5 0.5

0 1 1 0.5 1.5 0.5 1 0 0.5 1.5 0.5

1 0 1 0.5 1.5 0.5 1 0 0.5 1.5 0.5

1 1 1 0.5 1.5 0.5 1 0 0.5 1.5 0.5

2 0 0 0 0.5 1.5 0.5 1 -1 0.5 1.5 -0.5

0 1 1 0.5 1.5 -0.5 1 0 0.5 1.5 -0.5

1 0 1 0.5 1.5 -0.5 1 0 0.5 1.5 -0.5

1 1 1 0.5 1.5 -0.5 1 0 0.5 1.5 -0.5

3 0 0 0 0.5 1.5 -0.5 0 0 0.5 1.5 -0.5

0 1 1 0.5 1.5 -0.5 1 0 0.5 1.5 -0.5

1 0 1 0.5 1.5 -0.5 1 0 0.5 1.5 -0.5

1 1 1 0.5 1.5 -0.5 1 0 0.5 1.5 -0.5

INTRODUCCION A LA PROGRAMACIN LOGICA CON PROLOG

e = nmero de Euler o constante de Napier

e\, 2,71828 18284 59045 23536 02874 71352 66249 77572 47093 69995...

Muchos procesos naturales y

curvas de aprendizaje de

sistemas complejos muestran

una progresin temporal desde

unos niveles bajos al inicio,

La funcin sigmoide permite

describir esta evolucin.

ARIMETICA EN PROLOG

X = Y X e Y ocupan el lugar del mismo nmero

X \= Y X e Y ocupan el lugar de distintos nmeros

X < Y X es menor que Y

X > Y X es mayor que Y

X = Y X es mayor o igual que Y

X + Y La suma de X e Y

X Y La resta de X e YX * Y El producto de X e Y

X / Y El cociente de X dividido por Y

X mod Y El resto de X dividido por Y

Ejemplo Perceptron Simple

Documents

Transcript of Ejemplo Perceptron Simple