Modelos de redes neuronales

Modelos Neuronales

Representación conceptual de datos concernientes a neuronas o sistemas de ellas.

Características.

• Formadas por elementos simples.

• Potentes en organización (paralelismo masivo)

• Potencia heurística para relacionar y subrayar conceptos.

• Predictivas.

Redes neuronales: una disciplina eclética

Redes Neuronales o Redes Neurales?

Diferencias:

No químicas (Las sinapsis son químicas).

Codifican en amplitud (No en frecuencia).

Síncronas (Generalmente).

No Jerárquicas (Si ART-3).

Redes Neuronales o Redes Neurales?

Son modelos bioinspirados.

Funcionalmente.

Aprendizaje.

Generalización.

Clasificación.

Reconocimiento.

Optimización.

Estructuralmente.

Elementos de proceso simples.

Múltiples entradas / 1 salida en cada elemento.

Paralelismo masivo.

Sistemas Mono / Multinivel.

Clasificación

Voronoi Diagram in two-dimension space

Auto-association

Hetero-association

Function Aproximation

Forward and Inverse control Problems

Historia de las redes neurales

• 1943 McCulloch and Pitts, Threshold Logic Gate models• 1949 Hebb, proposed Learning principle• 1957 Rosenblatt's Perceptron• 1960 Widrow & Hoff's Adaline• 1969 Minsky & Papert (MIT), Limitations of perceptrons

Historia de las redes neurales

• 1970-1982 El eclipse de las NN “neural-net winter"• 1974 Werbos (PhD thesis, Harvard), Descubrimiento que paso

desapercibido del algoritmo de backpropagation : Como entrenar redes multinivel

• 1982 Hopfield (Princeton, then Caltech) Hopfield networks• 1982 Kohonen SOM• 1986 Rumelhart and McClelland, redescubrimiento y difusión del

backpropagation.

Modelos de Redes Neurales más utilizadas

Mc Culloch - Pitts.

Perceptron.

BackPropagation (MLP).

Kohonen.

Counter Propagation.

Hopfield.

Bidirectional Associative Memory (BAM).

Adaptative Resonance Theory (ART).

Radial Basis Functions.

Aprendizaje por refuerzo.

Modelos estadísticos.

Modelos Dinámicos (TDNN).

Neocognitron.

Aplicaciones de las redes neurales

• Cuando los datos no son concretos:

- Opiniones humanas.

- Categorías mal definidas.

- Con grandes errores.

• Cuando los datos están ocultos:

- Préstamos (histórico).

• Datos no lineales:

- Series temporales Filtro de Kalman.

• Datos Caóticos:

- Ruido de la línea telefónica.

- Mercado de valores.

- Quinielas.

Aplicaciones 1

Optical character recognition

• U.S. mail zip-code recognizer• Kanjii: 4000 chars in 15 fonts, 99% accurate, 100k chars/sec (Sharp

& Mitsubishi)

Communications

• Adaptive noise cancellation– Headphones– Conference telephones

Aplicaciones 2

Process control

• Electric arc furnace control: 30MVA, 50kamp transformer, $2M savings

• Steel-rolling mill controller• Copier uniformity control (Ricoh)• Anti-lock brakes, etc. (Ford)• Food process control (M&M)• Particle beam focusing (SLAC)• Flourescent bulb. (GE)

Aplicaciones 3

Financial analysis

• Prediction of commodities market (18% vs. 12.3% by traditional methods)

• Mortgage risk evaluator (AVCO, Irvine)• Real-estate evaluation (Foster Onsley Conley)• Portfolio management (LBS Captial)• Currency trading (Citibank)

Crime prevention

• Bomb sniffer (JFK airport)• Credit card fraud detection (Visa, etc.)

Aplicaciones 4

Object classification• Grading grains from video images• Glass classification• High-energy physics: particle identification

Warfare• Missile guidance

Optical telescope focusing

Aplicaciones 5

Biomedical• Clinical diagnoses• Patient mortality predictions• Protein structure analysis• Electrode placement

Speech recognition

Game playing• World backgammon champion

Caracterización de una red neuronal

• Arquitectura– Patrón de conexionado de las neuronas

• Aprendizaje– Método de determinación de los pesos

• Función de activación– Permite calcular la salida en función de las entradas a la neurona

Caracterización de una Red Neuronal

Arquitectura:

Full conected.

No full conected (patrón de conexionado).

x1

x2

xm

2 niveles

Feedforward. 1 nivel, … , n niveles.

x1

x2

Competitvas.

x1

x2

Realimentadas (backward, dinámicas).

Feedforward 3-2-3-2 Network

Hierarchical Organitzation

Successive Refinement

Caracterización de una Red Neuronal

Aprendizaje: método de adaptación de los pesos.

Supervisado.

No supervisado.

Pesos prefijados.

Aprendizaje por refuerzo.

Caracterización de una Red Neuronal

Función de activación: para calcular el valor de salida:

),...,,,,...,,( 11 nini xxxgnet

)(netfy afa net

x1

xj

xn

w1

wn

.

.

wj

Redes de McCulloch

W. S McCulloch

Mc Culloch - Pitts (1943)“A Logical Calculus of the Ideas Immanent in Nervous Activity.”

5 supuestos:

1. La neurona es un proceso Todo-Nada.

2. Número fijo de sinapsis (>1) excitadas en el período de sumación latente.

3. El único retraso es el retardo sináptico.

4. La actividad de cualquier sinapsis inhibidora impide la excitación.

5. La estructura de la red no cambia con el tiempo.

Sinapsis Excitadoras

Sinapsis Inhibidoras

1

2

3

)1()1()( 213 tNtNtN

1

2

3

)1()1()( 213 tNtNtN

1

2

3

)1()1()( 123 tNtNtN

Redes de Mc Culloch - Pitts

12

)1()( 12 tNtN

1

2

3

a

b

4

)2()3()1()1()1()( 22113 tNtNtNtNtNtN a

)2()1()1()1()( 2224 tNtNtNtNtN b

Redes de Mc Culloch - Pitts

Aprendizaje de Hebb

Aprendizaje de Hebb

Algoritmo de aprendizaje de Hebb

Modelo no supervisado wij si las neuronas origen / destino se activaron Frecuencia repetición (hábito y aprendizaje).

donde:

• wij(t 1) = Peso de la sinapsis i, j después de la activación.

• wij(t) = Peso de la sinapsis i, j antes de la activación.

• yi = Salida de la neurona i (entrada en j).

• yj = Salida de la neurona j.

• h = Coeficiente de aprendizaje.

jiijij yytwtw )()1(

i jwij

Layered Network

Acyclic Network