Redes Neuronales Inteligencia Optimización heurística en NN · 3 Sistemas Inteligentes en...
Transcript of Redes Neuronales Inteligencia Optimización heurística en NN · 3 Sistemas Inteligentes en...
1
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Redes Neuronales
Redes Neuronales
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcciónMETAHEURÍSTICAS
Inteligenciaartificial Evolución
biológica
...
...
Mecánicaestadística
Comportamientode los insectos
Estrategias evolutivas
Redes neuronales
Cristalización simulada
Aceptación por umbrales
Colonias de hormigas
Búsqueda tabú
GRASP
Algoritmos genéticos
Búsqueda local guiada
Búsqueda local iterada
Lógica borrosa
GA
Metaheurísticas: GA, ES, NN,…
ESNN
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
GA
Sistemas Inteligentes: NN
ESNN
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: NN
El cerebro de los animales presenta
características muy interesantes:- Es robusto y tolerante a fallos (mueren neuronas sin afectar su rendimiento).
- Es flexible, se adapta a nuevos escenarios (aprendizaje) y no hay que programarlo.
- Maneja información cualitativa, con ruido e incluso contradictoria o inconsistente.
- Procesa información en paralelo.
- Es pequeño y consume poca energía (20% en humanos)
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: NN
Neurona biológica:El cerebro humano consta de 1011 neuronas muy
interconectadas (aproximadamente
10000 conexiones/neurona).
La neurona tiene tres componentes fundamentales:
DentritasCuerpo de la célula o somaAxón
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: NN
Axon
Cell Body
Dendrites
Synapse
• Las neuronas son lentas– 10-3 s comparadas con 10-9 s para circuitos eléctricos
• El cerebro usa cómputo masivamente paralelo– ≈1011 neuronas en el cerebro– ≈ 104 conexiones por neurona
2
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: NN
Las dentritas son el receptor de la neurona, son como fibras nerviosas que
cargan de señales eléctricas el soma.
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: NN
El núcleo de la neurona o soma , realiza la suma de esas señales eléctricas de entrada.
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: NN
El axón es una fibra larga que lleva la señal desde el soma hacia otras neuronas.
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: NN
El punto de contacto entre un axón de una
neurona y una dentrita de otra se llama sinapsis .
La longitud de la sinapsis es determinada por la complejidad del proceso químico que
estabiliza la función de la red neuronal.
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: NN
Funcionamiento de una neurona biológica:(1) Las dentritas reciben las señales eléctricas de neuronas adyacentes y las transmiten al soma en forma de un potencial eléctrico.(2) Las señales eléctricas son integradas por el soma.(3) Si ese potencial eléctrico es superior a un valor umbral, el soma genera un impulso eléctrico.(4) Este impulso eléctrico se transmite por el axón (fibra nerviosa con milímetros<L<metros).(5) El axón se ramifica y dirige el impulso eléctrico a otras neuronas a través de los pontos de sinápsis.
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: NN
• Tipos de sinapsis:– De excitación : cuyo
efecto es incrementar el potencial en la neurona destino.
– De inhibición : hace decaer el potencial en la neurona destino.
3
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: NN
Redes Neuronales
�
conexiones con pesos (sinapsis)
soma
artificial (ANN)natural
suma y transformadentritas
axón
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: NN
McCulloch y Pitts (1943) propusieron un algoritmo análogo a la neurona biológica
las redes neuronales son sistemas computacionales, de implementación en hardware o software, que imitan las habilidades sistema nervioso biológico, usando un gran número de simples neuronas artificiales interconectadas.
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: NN
E SProcesamientode información
neurona
ΣΣΣΣ F(a)
x1
x2
w1
w2
ya
neurona
a = x1*w1 + x2*w2; y = F(a)
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: NN
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: NN
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: NN
Las neuronas biológicastienen sinapsis, dentritas, axones y somas.
Las neuronas artificialestienen multiplicadores, sumadores y funciones o umbrales .
4
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: NN
Fun
cion
es d
e tr
ansf
eren
cia
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: NN
Aprendizaje: puede aprender de un entrenamiento (training) o experiencia inicial.
Auto-organización: una NN puede crear su propia organización o representación de la información que recibe durante la etapa de
aprendizaje.
Tecnología existente:se pueden obtener chips especializados para NN que mejoran su
capacidad en ciertas tareas.
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: NN
• Aprendizaje supervisado– A la red se le provee de un conjunto de ejemplos que
representen la relación entradas/salidas de las que aprende
� Aprendizaje no supervisado� La única información disponible para la red son las
entradas. La red aprende a formar categorías a partir de un análisis de las entradas
Tipos de aprendizaje
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: NN
• Feed-forward networksLa información fluye directamente de
las entradas de la red a la salida o salidas. Las salidas de una red sólo dependen de los valores de entrada.
� Recurrent networksLa información no fluye directamente;
las salidas de la red dependen del “estado” de la red y no sólo de las entradas.
Tipos de redes- single layer perceptron- multilayer NN- radial basis function nets
- competitive networks- Kohonen’s SOM- Hopfield network- ART models
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: NN
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: NN perceptrón
neurona
ΣΣΣΣ F(a)
x1
x2
w1
w2
ya
y = F(a)
y = 1, si (x1w1 + x2w2) ≥ θy = 0, si (x1w1 + x2w2) < θ
• Rosenblatt (1962) propuso a los 'Perceptrons' como herramienta computacional.
5
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: NN perceptrón
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: NN multicapa
Las multicapas presentan al menos
una capa oculta.
Pueden estar total o parcialmente
conectadas (poda).
Redes neuronales multicapa
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: NN multicapa
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: backpropagation
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: backpropagation
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: backpropagation
Supongamos: Y=ax1+bx2+cx3+CEstimación: y=w1x1+w2x2+w3x3+c1
Función error: Ep=1/2Σ(Y j-yj)2
Iteración: wi=wi+∆wi siendo ∆wi=α (∂Ep)/(∂wi)α = learning rateRegresión lineal– mínimos cuadrados – máxima verosimilitud
(normal+indep.)
6
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: backpropagation
Uj=x1jw1+x2jw2+… Oj=f(U j)
Función error:Ep=1/2Σ(Y j-Oj)2
Iteración: wi(j+1)=wij+∆wij ∆wij=α (∂Ep)/(∂wi)α = learning rate(∂Ep)/(∂wij)= [(∂Ep)/(∂Oj)][(∂Oj)/(∂Uj)][(∂Uj)/(∂wij)]Logística: f(u)=1/[1+exp(-λu)] f’(u)= λ f(u)[1-f(u)]∆wij=α (∂Ep)/(∂wi)=-[Y j-Oj][λ Oj(1-Oj)][x ij]
Regresión logísticaY j=teaching signal
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: backpropagation
Problemas de las redes feed-forward con backpropagation-Sobreaprendizaje(demasidados parámetros)-Mínimo local(algoritmo de gradiente)
Soluciones: TEST CIEGO (testing)-Early stopping-MATLAB (parar optimización)-Redes podadas(PSE en lugar de MSE)
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: backpropagation
Sobreaprendizaje= “engaño”: parece bueno pero es maloMínimo local= el modelo podría ser mejor
TEST CIEGO (testing) = una prueba del posible “engaño”Early stopping-MATLAB = para al detectar “engaño”Redes podadas PSE=MSE[1+2p/(N-p)]
Las redes neuronales tiene muchos parámetrosmodelos que ajustan bien pocos datos ¿generalización?Si p>10%N, hay que cuidar el posible“overfitting”En todo caso, p<<N (datos independientes)El test debe ser completamente “ciego”El método debe definirse“a priori”
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: backpropagation
Sobreaprendizaje(demasidados parámetros)Early stopping-MATLAB (parar optimización)
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: backpropagation
entradas salida
Datos (información)= relaciones entradas-salida
Entrenamiento (training-datos para entrenar la red)Validación (validation-datos para parar el entrenamiento)Chequeo(testing- datos para el test ciego)
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: backpropagation
entradas salida
Datos (información)= relaciones {entradas,salida}=NEntrenamiento (training): 75%NValidación (validation):10%N Chequeo(testing):15%NMSE= mean squared error (medida del error)Early stopping: usa los datos de entrenamiento para reducirMSE(train) y comprueba que MSE(valida) se reduce también; se parael proceso cuando MSE(valida) aumenta. Se verifica con MSE(test)
7
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: backpropagation
entradas salida
Entrenamiento (training): MSE siempre bajaValidación (validation):MSE baja al principio y sube después (sobreaprendizaje)Chequeo(testing):El MSE(testing) suele ser >MSE(training) y es la mejorestimación del MSE del modelo obtenido. Si MSE(testing) fuera <MSE(training), se toma el último.
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
ββββ, Hm0,toe (m), Tm-10,toe (s)
h (m), h t (m), B t (m), γγγγf, cot ααααd, cot ααααu, Rc (m)
B (m), h B (m), tan ααααB, Ac, Gc
Base de Datos CLASH rebase
Sistemas Inteligentes: backpropagation-CLASH
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
INPUT LAYER
HIDDEN LAYER
OUTPUT LAYER
q (m 3/s/m)
ββββ h Hm0,toe Tm-1,0,toe ht Bt γγγγf cot ααααd cot ααααu Rc B hb tan ααααB Ac Gc
??
COMMISSIONOF THE EUROPEAN
COMMUNITIES
FP5 - EESD
CREST LEVEL ASSESSMENT OF
COASTAL STRUCTURES BYFULL-SCALE MONITORING,
NEURAL NETWORK PREDICTION AND HAZARD ANALYSIS
ON PERMISSIBLE WAVE OVERTOPPING
CLASHEVK3-CT-2001-00058
� Preparación de la Base de Datos
ReducciReducci óónn (RF=4; CF=4; q=0) � 8,372 datosAdimensionalizaciAdimensionalizaci óónn: Ley de Froude / Hm0,toe=1m
Transformación de la Salida � log(Qlog(Q))
Sistemas Inteligentes: backpropagation-CLASH
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
1.00E-03
1.25E-03
1.50E-03
1.75E-03
2.00E-03
2.25E-03
2.50E-03
0 4 8 12 16 20 24 28
Number of hidden Neurons
RM
S E
rror
Testing Set
Training Set
20 Neurons in hidden layer
“bootstrapping”
Sistemas Inteligentes: backpropagation-CLASH
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: redes podadas-viajes
MODELOS DE GENERACIÓN DE VIAJES. ANÁLISIS COMPARATIVO DE LA UTILIZACIÓN DE REDES NEURONALESY REGRESIÓN LINEAL MÚLTIPLE
Diseño de un modelo deGeneración de viajesde personas en el área metropolitana de Valencia.
Por tipo de viaje:
Número total de desplazamientos por familia.
Número de desplazamientos mecanizados por familia.
Por ámbito:
Familias residentes en la ciudad de Valencia.
Familias residentes en la corona metropolitana
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Datos desagregados a nivel familiar, procedentes de la Encuesta Domiciliaria de Movilidad de 1991 (Generalitat Valenciana).
7,049 familias
4,175 familias en Valencia ciudad
2,874 familias en la corona metropolitana
Sistemas Inteligentes: redes podadas-viajes
8
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: redes podadas-viajes
Variables consideradas:
Tamaño familiar.
Mayores de 14 años.
Nº de trabajadores.
Nº de estudiantes.
Nº estudiantes nivel medio.
Nº estudiantes nivel sup.
Nº de hijos.
Nº de hijos menores de 14.
Nivel de educ. familiar.
Nivel de educ. cabeza fam.
Motorización total y por tipo de vehículo.
La esposa trabaja.
El cabeza de fam. Estájubilado.
Tiempo medio de viaje.
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: redes podadas-viajes
ΣΣΣΣ f(u)u=ΣW i -θ
f(u)=1/[1+exp(-λu)]
OPTIMIZACIÓN EVOLUTIVA : Algoritmos Genéticos, Estrategias Evolutivas(100+100)-ES
Inspirada en la Evolución Natural de Darwin
La mejor red tiende a dominar la población de soluciones
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: redes podadas-viajes
Variables significativas
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: redes podadas-viajes
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: redes podadas-viajes
Ajuste: MSE/var=31%
0
5
10
15
20
0 5 10 15 20
Datos (test)
Red
Neu
rona
l
Ajuste: MSE/var= 2.7%
0
5
10
15
20
0 5 10 15 20Red Neuronal
R. L
. M.
La red podada genera predicciones de los desplazamientos totales muy parecidasa las del modelo lineal pero usando 3 variables en lugar de 8(relaciones no lineales)
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
ARMOR DAMAGE ANALYSIS USING NEURAL NETWORKS
Wave storms Armor damage
{H,T}{Hm0,T01,Nw}
{Hm0(t),T01(t)}
D=D(H) or D(H,Ir)D=D(Hm0,Ir01,Nw)
D=D({Hm0(t),T01(t)})
Evolution of armor damage in nonstationary conditions
NN
Sistemas Inteligentes: redes podadas-diques
1980
1990
2000
9
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: redes podadas-diques
INTELLIGENT SYSTEMS
physical phenomena modellingpattern classificationprediction/forecasting
optimizationdata mining
risk evaluation
regular waves D 0=D0(H,Ir,LAB,..)random waves D i+1=D(Di,{Hm0,Ir,N})
Neural Networks Evolutive Strategies
NEURAL NETWORKSsupervised /unsupervised)
Feed-forward networks- single layer perceptron- multilayer NN- radial basis function netsRecurrent networks- competitive networks- Kohonen’s SOM- Hopfield network- ART models
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: redes podadas-diques
Mase et al.(1995)- JWPCOE: breakwater armour damage
Van Gent&Van den Boogaard(1998)- ICCE’98: forces on vertical structures
Backpropagation:- gradient descent search: local mimimum MSE- overlearning?… over-simplicity?
Medina(1999, 2002)- CS’99: runup ICCE’02: overtopping
Evolutionary Strategy:- parallel seach: global minimum PSE- NO overlearning, NO over-simplicity
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: redes podadas-diques
d
FORCE
Q
¿Q>0?
Rc/Hm0
IrRc/DnU(m/s)
Q=1Q=0
Medina et al.(2002)
Rc/Hm0
IrRc/DnU(m/s)
Redes totalmente conexionadasRedes podadas- en dos fases
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: redes podadas-diques
EVOLUTIVE OPTIMIZATION:Genetic Algorithms (GA)
Evolutive Strategies (ES): (400+400)-ESEvolutive Programming (EP)Genetic Programming (GP)
the best solutions tendto dominate the population
< pruned NN >
Evaluation: PSE = MSE [1 + 2P/(N-P)]
N=nº datosP=nº parámetrosPSE= predicted mean-squared error
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: redes podadas-diques
UPVValencia
UCASantander
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: redes podadas-diques
UPV
erosión
10
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: redes podadas-diques
Experiments UPV+UCA: 149 cases
Learning80%
Testing20%
significantdamage:
D>0.4
Hi/H0
Ir
LAB
I+R: LASA (Medina, 2001)
0=insignificant1=significant
if D(NN1)=1NN1 classifier: 7% > ≈ 3%
D*=D0.2 Hi/H0
Ir
LAB
NN2 quantifier: (PSE/Var) l=32% >≈ (MSE/Var) t= 27%Cross-validation: YES
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: redes podadas-diques
Regular waves: (MSE) test =27%
0
0.2
0.4
0.6
0.8
1
1.2
1.4
1.6
1.8
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8
observed D*
NN
est
imat
ion
D*
Learning Testing D<0.4
D<0.4 D>8D>2.4D=0.8
Armor damage: observed vs estimated
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: redes podadas-diques
D*
IrHi/HD=0
inverse NN model
Damage Levels (regular waves)
0.8
1
1.2
1.4
1.6
1.8
1.5 2 2.5 3 3.5 4
Ir
Hi/H
D=
0 D=0.4
D=0.8
D=2.4
D=8.0
SPM(1984)
(PSE/Var) l=24% ≈ (MSE/Var)t=26%
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: redes podadas-rebase
OVERTOPPING ANALYSIS USING NEURAL NETWORKS
Zeebruggebreakwater
OPTICREST(1998-2001): runupCLASH(2002-2004) : overtopping
Rc/Hm0
Ir
Rc/Dn
U(m/s)
Q
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: redes podadas-rebase
Toe
Berm
Antifer
Core
Filter
Foundation.
Sand infiltration
Bed protection
Concrete structure
Toe
Berm
Antifer
Core
Filter
Foundation.
Sand infiltration
Bed protection
Concrete structure
Toe
Berm
Antifer
Core
Filter
Foundation.
Sand infiltration
Bed protection
Concrete structure
1/30 scale
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: redes podadas-rebase
NN modeling using ES
NN overlearning risk: N (data) < 10 P (free parameters)
4 input variables: Hs, Ir, Rc, U1 output variable: q
NN (4-8-1): P= 57 N (data)> 600?N= 113 (test matrix)oversimplicity?
11
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: redes podadas-rebase
(4) input variables: {Hs, Ir, Rc, U} - (1) output var iable: q
(4) input variables: Rc/Hm0, Ir, Rc/Dn, U(m/s)(1) Output variable: Q= log [q/(g H m0
3 )0.5 ]
113 tests : 80% learning data, 20% testing data
overtopping observations:significant (Q=1) vs insignificant (Q=0)Q= log [q/(g H m0
3 )0.5
overtopping estimation:NN1 classifier of significant eventsNN2 overtopping estimator
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: redes podadas-rebaseTITULO 1
(4) input variables: Rc/H m0, Ir, Rc/Dn, U(m/s)OUTPUT: significant (Q=1) vs insignificant (Q=0)
113 tests : 80% learning data, 20% testing dataq>10-4.5 m3/s.m = limit for pedestrians and buildings
80% learning data: 23% (Q=0) + 77% (Q=1)NN1 learning data: 23% (Q=0) + 23% (Q=1)= 42 tests
NN1 classifier: significant (Q=1) vs insignificant (Q=0)
Rc/Hm0
Ir
Rc/Dn
U(m/s)
Q
NN1(P=11) correct: 94% learning data and 91% of testing data
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: redes podadas-rebase
TITULO 1
(4) input variables: Rc/H m0, Ir, Rc/Dn, U(m/s)OUTPUT: Q= log [q/(g H m0
3 )0.5
113 tests : 80% learning data, 20% testing dataq>10-4.5 m3/s.m = limit for pedestrians and buildingsoriginal learning data: 23% (Q=0) + 77% (Q=1)NN2 learning data: (4/5)77% (Q=1)= 56 tests
NN2 estimator: Q= log [q/(g H m03 )0.5
Rc/Hm0
Ir
Rc/Dn
U(m/s)
Q
NN2(P=12): MSE/Var=0.16 (learning) and MSE/Var=0.12 (testing)
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: redes podadas-rebase
Observations
NNestimation
(50%)q
NN1 + NN2 = overtopping estimatorQ=-7 (q<10-4.5 m3/s.m) or Q= log [q/(g H m0
3 )0.5
NN(P=11+12=23) overtopping estimation:MSE/Var(final testing)= 0.18
cross-validation:20% testing data
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: redes podadas-rebase
Q( Rc/Hm0,Ir,Rc/Dn)
-7
-6
-5
-4
-3
-21 1.5 2 2.5
Rc/Hm0
NN
est
imat
ion Ir=3
Ir=3
Ir=4
Ir=4Ir=5
Ir=5
Rc/Dn=3
Rc/Dn=4
1.2< Rc/Hm0 < 2.5Rc/Dn= 3 and 4
U(m/s)= 0.0
Ir= 3, 4 and 5
windspeed=0
simulation
NN overtopping model (P=23)input: Rc/H m0, Ir, Rc/Dn, U(m/s) Output: Q= log [q/(g H m0
3 )0.5 ]
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Q=LOG(q/[gHm0^3]^0.5)
-7
-6
-5
-4
-3
-2
-7 -6 -5 -4 -3 -2
NN estimation
Em
piric
al e
stim
atio
n (E
q. 2
)
1.2< Rc/Hm0 <3.8
2.8< Ir <4.8
3.1< Rc/Dn <4.4
U=0
( )
−−−+−−== 39.048.10
4.38.2exp3
0DnRcIr
mHRc
mgH
qQ(P=4)
-5<Q<-2.5
Sistemas Inteligentes: redes podadas-rebase
12
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
(P=6) ( ) ( )
+
−−−+
−−= 5.1
0
07.039.048.14.38.2exp UDn
RcIr
H
RcQ
m
-7
-6
-5
-4
-3
-2
-7 -6 -5 -4 -3 -2
Q(U=0)
Q(w
inds
peed
)
U=3 m/s
U=5 m/s
U=7 m/s
U=0 m/s
Sistemas Inteligentes: redes podadas-rebase
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
-7
-6
-5
-4
-3
-2
-7 -6 -5 -4 -3 -2
Experimental observations
Em
piric
al fo
rmul
a (E
q. 3
)
prototype
Um=Up/1.7? 3 storms36x30 min113 lab tests
Sistemas Inteligentes: redes podadas-rebase
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Redes podadaspermiten ajustar la complejidad de la red al tamaño de la base de datos. predictor de Moody(1991): PSE=MSE[1+2p/(N-p)]Las redes podadas permiten eludir el problema de sobreaprendizajeutilizando un predictor de error adecuado y permiten eliminar entradas no significativas, pero el aprendizaje es muy lento comparado con los algoritmos“backpropagation”
Las redes neuronales tiene muchos parámetrosuso típico con muchos datos y algoritmos “backpropagation”necesariavalidación cruzada(learning+testing= test ciego)“Early stopping” para evitar“overfitting”el método de validación debe definirse“a priori”MATLAB Neural Network Toolbox
Sistemas Inteligentes: NN feed-forward multicapa
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: NN feed-forward multicapa
Los filtros lineales (neuronas lineales): caso particular
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: NN feed-forward multicapa
Los sistemas de control dinámicos (NNPC,NARMA-L2,…)
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: Radial basin NN
Radial basin NN suelen utilizarse para clasificary suelen necesitar más neuronas que las feed-forward
13
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: Self-Organizing Maps
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: Learning Vector Quantization
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: Recurrent NN
Elman NN y Hopfield NN
Sistemas Inteligentes en Ingeniería Civil
Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013
Optimización heurística en proyecto y construcción
Sistemas Inteligentes: Recurrent NN
Redes Neuronales
MATLABNeural Network Toolbox