Facultad de Ciencias Exactas y Tecnología
Universidad Nacional de Tucumán Mg. Ing. Gustavo E. Juárez
Redes Neuronales
Parte III
Introducción. De/iniciones. Topologías típicas. Redes Supervisadas. Modelo
Backpropagation – Redes No Supervisadas – Modelo de Kohonen –
ImplementaciónenMatlabmedianteToolkitsobreRedesNeuronales.ANFIS.
UNIDAD TEMÁTICA : REDES NEURONALES
“SedenominaArquitecturaalatopología,estructuraopatrón
deconexionadodeunaredNeuronal”.
EnlasRedesNeuronalesArti/iciales,losnodosseconectanpormediodesinapsis,las
cualesdeterminanelcomportamientodelaRed.
ARQUITECTURA DE UNA RED NEURONAL
DEFINICIONES
“ElconjuntodeunaomascapasconstituyelaRedNeuronal”
Las sinapsis son direccionales, ya que la información va desde una neurona pre
sinápticaaotrapostsinaptica.
Las neuronas suelen organizarse en grupos denominados Capas, en donde las
neuronassuelenserdelmismotipo.
ARQUITECTURA DE UNA RED NEURONAL
DEFINICIONES
Laorganizaciónydisposicióndelasneuronasdentrodeunaredneuronal
sedenominatopología,yvienedadapor:
• Elnúmerodecapas:monocapaomulticapa.
• Lacantidaddeneuronasporcapa:unaomas.
• elgradodeconectividad:realimentada,unidireccional,
• Eltipodeconexiónentreneuronas:exceitatoriaoinhibitoria.
ARQUITECTURA DE UNA RED NEURONAL
CARACTERÍSTICAS
En general podemos encontrar tres tipos de neuronas
arti/iciales,dondecadaunadelascualestienesucontraparte
enelsistemanervioso:
1. Las que reciben información directamente desde el
exterior, a las cuales se las denomina neuronas de
entrada.
2. Las que reciben información desde otras neuronas
arti/iciales, a las cuales se las denomina neuronas
ocultas. Es en estas neuronas, en particular en sus
sinapsis, donde se realiza la representación de la
informaciónalmacenada.
3. Las que reciben la información procesada y las
devuelvenalexterior.Aestasneuronasselasdenomina
neuronasdesalida.
ARQUITECTURA DE UNA RED NEURONAL
Lasredesneuronasarti/iciales,setipi/icanen:
1. RedesNeuronalesMonocapas:eslaarquitecturamassencillayaquesetieneunacapadeneuronasqueproyectanlasentradasaunacapade
neuronasdesalidadondeserealizanloscalculos.
TIPIFICACIÓN
2. Redes Neuronales Multicapas: es la generalización de la anterior,existiendounconjuntodecapasintermediasentrelaentradaylasalida
(capasocultas).Puedeestartotaloparcialmenteconectada.
TIPIFICACIÓN
Durante la operatoria de una red neuronal podemos distinguir dos fases o
modosdeoperación:
OPERACIONES CON REDES NEURONALES
Para poder aprender, las redes neuronales se sirven de un algoritmo de
aprendizaje,elcuales:
“Procesoporelqueseproduceelajustedeparametroslibresdelared
apartirdeestimulacionporelentornoquerodeaalared”
El tipo de aprendizaje vendra determinado por la forma en la que dichos
parametrossonadaptados(seleccionarelconjuntodepesossinapticosque
lepermitaalaredrealizarcorrectamenteeltipodeprocesamientodeseado.
APRENDIZAJE
Sidenominamoswij(t)alpesoqueconecta laneuronapresinaptica j con la
neurona postsinaptica i en la iteracion (t), el algoritmo de aprendizaje, en
funcionde las senalesque en el instante t llegan, procedentesdel entorno,
proporcionaraelvalorΔwij(t)quedalamodi/icacionquesedebeincorporar
endichopeso,elcualactualizadoquedaradelasiguienteforma:
Δwij(t+1)=wij(t)+Δwij(t)
APRENDIZAJE POR CONVERGENCIA
Apartirdelade/iniciondeltipo,numeroyarquitecturaneuronalqueseelija,
sedebencargarlospesossinapticosinicialesdelasneuronas.Dichosvalores
engeneralpuedensernulosoaleatorios.
El metodo convencional para el aprendizaje o entrenamiento de la red
neuronal es el que asigna valores a las neuronas, evalua resultados e
iterativamente reasigna valores.Esto ocurre hasta que la neurona alcanza el
rendimiento deseado.
Aleatorios Secuenciales DATOS PARA
ENTRENAMIENTO PUEDEN SER
APRENDIZAJE POR CONVERGENCIA
Se introducen valores de entrada a la red, y los valores de salida generados por esta se comparan con los valores de salida correctos. Si hay diferencias, se ajusta la red en consecuencia.
Se introducen valores de entrada, y lo único que se le indica a la red si las salidas que ha generado son correctas o incorrectas.
No existe ningún supervisor. De esta manera lo único que puede hacer la red es reconocer patrones en los datos de entrada y crear categorías a partir de estos patrones.
Existen en la red los dos tipos de aprendizaje básicos, supervisado y auto-organizado, normalmente en distintas capas de neuronas.
Aprendizaje de refuerzo
Aprendizaje Supervisado
Aprendizaje No
Supervisado
Aprendizaje Hibrido
APRENDIZAJE. TIPIFICACION
Una vez que el sistema ha sido entrenado, el modulo de aprendizaje se
desconecta,por loque lospesosy la estructurade la redneuronalquedan
/ijos,encontrándoselaredneuronaldispuestaparaprocesarlosdatos.
EJECUCION - ESTABILIDAD
Redes de Hopfield (Supervisado-Unidireccional)
Red recurrente para el modelado de memorias asociativas.
Se crean atractores que constituyen la memoria almacenada y a los cuales se evoluciona a partir de un cierto patrón inicial
Perceptrón Multicapa (Supervisado-Unidireccional)
Red neuronal con procesamiento unidireccional de la información del tipo “Feed-Forward” con procesamiento hacia adelante
Se entrenan a través de ejemplos, en un proceso de minimización del error entre las entradas y las salidas
ENTRADA
SALIDA
REDES NEURONALES TRADICIONALES
Las redes neuronales con conexión hacia delante (redes feedforward)
poseen conexiones entre las distintas neuronas de la red con un único
sentido(desdelaentradadelaredhacialasalidadelamisma).
REDES FEEDFORWARD
Una combinación de las dos arquitecturasmásutilizadas:• Redes multicapa tipo perceptrón pero
entrenadascomoredesrecurrentes.
• Di/ícilesdeentrenar:muylentas
• Comportamiento similar al del cerebrohumano.Informacióndistribuida.
• Varios récords en reconocimiento depatrones, similares omejores que los dehumanos.
REDES NEURONALES PROFUNDAS
(DEEP BELIEF NEURONAL NETWORKS)
Claveenelresurgimientodelasredesneuronales.
1974Primeradescripcióndelalgoritmo fuedadaporWerbos. Generalizacióndel
algoritmo de Widrow-Hoff para redes multicapa con funciones de
transferenciano-linealesydiferenciables.
1989 Hornik,StinchcombeyWhitedesarrollaronunaredneuronalconunacapa
desigmoidesescapazdeaproximarcualquierfunciónconunnúmero/inito
dediscontinuidades.Propiedaddelageneralización.
REDES BACKPROPAGATION
• Funciónacotada,monótonacrecienteydiferenciable.
• SonRedesdetipoFeedforward.
• Dedoscapas.
a
y
RED PERCEPTRON MULTICAPA (MLP)
CARACTERISTICAS
Descripcióndelproceso:
• Trasinicializarlospesosdeformaaleatoriayconvalorespequeños,seleccionamos
elprimerpardeentrenamiento.
• Calculamoslasalidadelared
• Calculamosladiferenciaentrelasalidarealdelaredylasalidadeseada,conloque
obtenemoselvectordeerror
• Ajustamoslospesosdelareddeformaqueseminimiceelerror
• Repetimoslostrespasosanterioresparacadapardeentrenamientohastaqueel
errorparatodoslosconjuntosdeentrenamientoseaaceptable.
ALGORITMO BACKPROPAGATION
Auto-organizativas:duranteelprocesodeaprendizajelareddebedescubrirporsimisma
regularidadesocategorías=>lareddebeautoorganizarseenfuncióndelasseñalesprocedentes
delentorno.
MapadeRasgosAutoorganizados,SOM(Kohonen,80)
Características:
• Redcompetitiva
• Arquitecturaunidireccionaldedoscapas:
• Capadeentrada:mneuronasunaporcadavectordeentrada.
• Capasegundaserealizaelprocesamiento,formandoelmapaderasgos.TienenxXny
neuronasoperandoenparalelo.
• Todaslasneuronasdeentradaestánconectadasalasneuronasdelasegundacapa,atravésdelospesoswij
REDES NEURONALES NO SUPERVISADAS
• Cadaneurona(i,j)calculalasimilitudentreelvectordeentradasysuvectordepesos.
• Vencelaneuronacuyovectordepesosesmássimilaralvectordeentrada.
• Cadaneuronasirvaparadetectaralgunacaracterísticadelvectordeentrada.
• Funcióndevecindad:
relaciónentreneuronaspróximasenelmapa.
REDES NEURONALES NO SUPERVISADAS
Aprendizaje:• Inicializacióndelospesoswij• Presentacióndelasentradasx(t)• Cadaneuronacalcula,lasimilitudentresuvectordepesoswijyelvectordeentradax,usandoladistanciaEuclídeana
• Determinacióndelaneuronaganadora:
• Actualizacióndelospesosdelaneuronaganadoraysusvecinas
• Lasdemásneuronasnoactualizansupeso• Sisehaalcanzadoelnúmerodeiteracionesparar,sinovolveralpaso2.
REDES NEURONALES NO SUPERVISADAS
El proceso de aprendizaje se puede dividir en tres grandes grupos de acuerdo a suscaracterísticas:
• Aprendizajesupervisado.Sepresentaalaredunconjuntodepatronesdeentradajunto
conlasalidaesperada.Lospesossevanmodi/icandodemaneraproporcionalalerrorquese
produceentrelasalidarealdelaredylasalidaesperada.
• Aprendizajenosupervisado.Sepresentaalaredunconjuntodepatronesdeentrada.No
hay informacióndisponible sobre la salida esperada. El proceso de entrenamiento en este
casodeberáajustarsuspesosenbasealacorrelaciónexistenteentrelosdatosdeentrada.
• Aprendizaje por refuerzo. Este tipo de aprendizaje se ubica entre medio de los dos
anteriores.Selepresentaalaredunconjuntodepatronesdeentradayseleindicaalaredsi
lasalidaobtenidaesonocorrecta.
REDES FEEDFORWARD
Libros
Redes Neuronales y Sistemas Difusos / Bonifacio Martin del Brío y Alfredo Sanz Molina.
Alfa Omega – Rama. Colombia/c.2005
REFERENCIAS