Post on 28-Feb-2018
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
Parte 4. Metodos iterativos para la resolucion de
sistemas de ecuaciones lineales
Gustavo Montero
Escuela Tecnica Superior de Ingenieros IndustrialesUniversidad de Las Palmas de Gran Canaria
Curso 2005-2006
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
1 Generalidades de los metodos iterativos
2 Metodo de Jacobi
3 Metodo de Gauss-Seidel
4 Metodo de Relajacion Sucesiva
5 Convergencia de los metodos
6 Resumen
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
IntroduccionConvergencia de los metodos iterativosConstruccion de metodos iterativos
1 Generalidades de los metodos iterativos
2 Metodo de Jacobi
3 Metodo de Gauss-Seidel
4 Metodo de Relajacion Sucesiva
5 Convergencia de los metodos
6 Resumen
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
IntroduccionConvergencia de los metodos iterativosConstruccion de metodos iterativos
Introduccion
Ventaja frente a los metodos directos
Son menos sensibles a los errores de redondeo y esto se aprecia en sistemas de orden elevado donde los errores deredondeo de los metodos directos son considerables
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
IntroduccionConvergencia de los metodos iterativosConstruccion de metodos iterativos
Introduccion
Ventaja frente a los metodos directos
Son menos sensibles a los errores de redondeo y esto se aprecia en sistemas de orden elevado donde los errores deredondeo de los metodos directos son considerables
Definicion de metodo iterativoUn metodo iterativo construye una sucesion de vectores xm tal que
limm→∞
xm = x
siendo x la solucion del sistema Ax = b.
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
IntroduccionConvergencia de los metodos iterativosConstruccion de metodos iterativos
Introduccion
Ventaja frente a los metodos directos
Son menos sensibles a los errores de redondeo y esto se aprecia en sistemas de orden elevado donde los errores deredondeo de los metodos directos son considerables
Definicion de metodo iterativoUn metodo iterativo construye una sucesion de vectores xm tal que
limm→∞
xm = x
siendo x la solucion del sistema Ax = b.
Construccion de un metodo iterativoSe parte de una aproximacion inicial x0 y luego se calcula
xm+1 = F (xm), m = 0, 1, . . .
donde F se toma de forma lineal: F (x) = B x + c
xm+1 = B xm + c, m = 0, 1, . . .
La matriz B se denomina matriz de iteracion y de sus propiedades va a depender la convergencia del metodo.
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
IntroduccionConvergencia de los metodos iterativosConstruccion de metodos iterativos
Definicion de convergencia
Definicion de convergencia
Un metodo se dice que es convergente si:
limm→∞
xm = x = A−1
b
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
IntroduccionConvergencia de los metodos iterativosConstruccion de metodos iterativos
Definicion de convergencia
Definicion de convergencia
Un metodo se dice que es convergente si:
limm→∞
xm = x = A−1
b
Teorema del Punto Fijo
Aplicando el Teorema del Punto Fijo,
||F (x′) − F (x
′′)|| ≤ L||x
′− x
′′||
es decir,||Bx
′− Bx
′′|| ≤ L||x
′− x
′′||
Luego si v = x′ − x′′ =⇒ ||Bv|| ≤ L||v||
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
IntroduccionConvergencia de los metodos iterativosConstruccion de metodos iterativos
Definicion de convergencia
Definicion de convergencia
Un metodo se dice que es convergente si:
limm→∞
xm = x = A−1
b
Teorema del Punto Fijo
Aplicando el Teorema del Punto Fijo,
||F (x′) − F (x
′′)|| ≤ L||x
′− x
′′||
es decir,||Bx
′− Bx
′′|| ≤ L||x
′− x
′′||
Luego si v = x′ − x′′ =⇒ ||Bv|| ≤ L||v||
Teorema general para la convergencia de los metodos iterativos
Un metodo iterativo del tipo anterior es convergente si y solo si se cumplen simultaneamente las siguientescondiciones,
c = (I − B)A−1b
ρ(B) < 1
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
IntroduccionConvergencia de los metodos iterativosConstruccion de metodos iterativos
Construccion de metodos iterativos
Sea A = M − N, con M invertible
Teorema de caracterizacion de metodos iterativos
Si se toma,B = M
−1N
c = M−1
b
el metodo considerado cumple la primera condicion anterior.Pero ademas se debe cumplir la segunda condicion,
ρ(M−1
N) < 1 o tambien ||M−1
N|| < 1
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
IntroduccionConvergencia de los metodos iterativosConstruccion de metodos iterativos
Construccion de metodos iterativos
Sea A = M − N, con M invertible
Teorema de caracterizacion de metodos iterativos
Si se toma,B = M
−1N
c = M−1
b
el metodo considerado cumple la primera condicion anterior.Pero ademas se debe cumplir la segunda condicion,
ρ(M−1
N) < 1 o tambien ||M−1
N|| < 1
Teorema de construccion de los metodos iterativos
Todo metodo del tipo estudiado verifica las condiciones del teorema anterior con M − N = A y M invertible.
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
IntroduccionConvergencia de los metodos iterativosConstruccion de metodos iterativos
Construccion de metodos iterativos
Sea A = M − N, con M invertible
Teorema de caracterizacion de metodos iterativos
Si se toma,B = M
−1N
c = M−1
b
el metodo considerado cumple la primera condicion anterior.Pero ademas se debe cumplir la segunda condicion,
ρ(M−1
N) < 1 o tambien ||M−1
N|| < 1
Teorema de construccion de los metodos iterativos
Todo metodo del tipo estudiado verifica las condiciones del teorema anterior con M − N = A y M invertible.
El metodo resulta,
xm+1 = M−1
Nxm + M−1
b
es decir,Mxm+1 = Nxm + b
Por tanto, conviene elegir M tal que sea facilmente invertible (diagonal o triangular).
El numero de operaciones de los metodos iterativos es O(n2) × no iter
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
Algoritmo de Jacobi
1 Generalidades de los metodos iterativos
2 Metodo de Jacobi
3 Metodo de Gauss-Seidel
4 Metodo de Relajacion Sucesiva
5 Convergencia de los metodos
6 Resumen
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
Algoritmo de Jacobi
Algoritmo de Jacobi
Descomposicion suma de una matriz
Sea A = D − L − U, con
D =
0BBBB� a11 0 · · · 00 a22 · · · 0
.
.
.
.
.
.. . .
.
.
.0 0 · · · ann
1CCCCA ;
L =
0BBBBBB� 0 · · · · · · · · · 0−a21 0 · · · · · · 0−a31 −a32 0 · · · 0
.
.
.
.
.
.
.
.
.. . .
.
.
.−an1 −an2 · · · −ann−1 0
1CCCCCCA ; U =
0BBBBBB� 0 −a12 −a13 · · · −a1n
0 0 −a23 · · · −a2n
.
.
.
.
.
.. . .
.
.
.
.
.
.· · · · · · · · · 0 −an−1n0 · · · · · · · · · 0
1CCCCCCA
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
Algoritmo de Jacobi
Algoritmo de Jacobi
Descomposicion suma de una matriz
Sea A = D − L − U, con
D =
0BBBB� a11 0 · · · 00 a22 · · · 0
.
.
.
.
.
.. . .
.
.
.0 0 · · · ann
1CCCCA ;
L =
0BBBBBB� 0 · · · · · · · · · 0−a21 0 · · · · · · 0−a31 −a32 0 · · · 0
.
.
.
.
.
.
.
.
.. . .
.
.
.−an1 −an2 · · · −ann−1 0
1CCCCCCA ; U =
0BBBBBB� 0 −a12 −a13 · · · −a1n
0 0 −a23 · · · −a2n
.
.
.
.
.
.. . .
.
.
.
.
.
.· · · · · · · · · 0 −an−1n0 · · · · · · · · · 0
1CCCCCCAAlgoritmo
El metodo de Jacobi consiste en elegir M = D y N = L + U, resultando en forma matricial,
Dxm+1 = (L + U)xm + b
es decir, aii (xm+1)i = −nX
j=1j 6=i
aij (xm)j + bi ; i = 1, 2, . . . , n
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
Algoritmo de Jacobi
Algoritmo de Jacobi
Matriz de iteracion de JacobiLa matriz de iteracion de Jacobi resulta,0BBBBBBBBBBBBB�
0 −a12
a11
−a13
a11
· · · −a1n
a11
−a21
a22
0 −a23
a22
· · · −a2n
a22
−a31
a33
−a32
a33
0 · · · −a3n
a33
.
.
.
.
.
.
.
.
... .
.
.
.
−an1
ann
−an2
ann
−an3
ann
· · · 0
1CCCCCCCCCCCCCAAlgoritmo
El metodo de Jacobi consiste en elegir M = D y N = L + U, resultando en forma matricial,
Dxm+1 = (L + U)xm + b
es decir, aii (xm+1)i = −nX
j=1j 6=i
aij (xm)j + bi ; i = 1, 2, . . . , n
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
Algoritmo de Gauss-Seidel
1 Generalidades de los metodos iterativos
2 Metodo de Jacobi
3 Metodo de Gauss-Seidel
4 Metodo de Relajacion Sucesiva
5 Convergencia de los metodos
6 Resumen
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
Algoritmo de Gauss-Seidel
Algoritmo de Gauss-Seidel
Algoritmo
El metodo de Gauss-Seidel consiste en elegir M = D − L y N = U, resultando en forma matricial,
(D − L)xm+1 = Uxm + b
es decir,iX
j=1
aij (xm+1)j = −
nXj=i+1
aij (xm)j + bi ; i = 1, 2, . . . , n
o, finalmente,
aii (xm+1)i = −
i−1Xj=1
aij (xm+1)j −
nXj=i+1
aij (xm)j + bi ; i = 1, 2, . . . , n
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
Algoritmo de Gauss-Seidel
Algoritmo de Gauss-Seidel
Algoritmo
El metodo de Gauss-Seidel consiste en elegir M = D − L y N = U, resultando en forma matricial,
(D − L)xm+1 = Uxm + b
es decir,iX
j=1
aij (xm+1)j = −
nXj=i+1
aij (xm)j + bi ; i = 1, 2, . . . , n
o, finalmente,
aii (xm+1)i = −
i−1Xj=1
aij (xm+1)j −
nXj=i+1
aij (xm)j + bi ; i = 1, 2, . . . , n
Ventaja frente a Jacobi
Menor requerimiento de almacenamiento respecto a Jacobi, ya que no necesita dos vectores para lasolucion (xm+1, xm). En el metodo de Gauss-Seidel las actualizaciones de la solucion se guardan en lasposiciones de los valores anteriores
El metodo de Gauss-Seidel tiene mejores condiciones de convergencia que el de Jacobi
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
Algoritmo de Relajacion Sucesiva
1 Generalidades de los metodos iterativos
2 Metodo de Jacobi
3 Metodo de Gauss-Seidel
4 Metodo de Relajacion Sucesiva
5 Convergencia de los metodos
6 Resumen
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
Algoritmo de Relajacion Sucesiva
Algoritmo de Relajacion Sucesiva
Algoritmo
Si tomamos un parametro ω 6= 0, podemos hacer la descomposicion de A de la forma,
A = D − L − U =1
ωD − L −
1 − ω
ωD − U
y eligiendo M =1
ωD − L, N =
1 − ω
ωD + U, resulta�
1
ωD − L
�xm+1 =
�1 − ω
ωD + U
�xm + b
1
ωaii (xm+1)i +
i−1Xj=1
aij (xm+1)j =1 − ω
ωaii (xm)i −
nXj=i+1
aij (xm)j + bi ; i = 1, 2, . . . , n
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
Algoritmo de Relajacion Sucesiva
Algoritmo de Relajacion Sucesiva
Algoritmo
Si tomamos un parametro ω 6= 0, podemos hacer la descomposicion de A de la forma,
A = D − L − U =1
ωD − L −
1 − ω
ωD − U
y eligiendo M =1
ωD − L, N =
1 − ω
ωD + U, resulta�
1
ωD − L
�xm+1 =
�1 − ω
ωD + U
�xm + b
1
ωaii (xm+1)i +
i−1Xj=1
aij (xm+1)j =1 − ω
ωaii (xm)i −
nXj=i+1
aij (xm)j + bi ; i = 1, 2, . . . , n
Algoritmo en dos pasos
El algoritmo SSOR se puede expresar en dos pasos, un primer paso que coincide con el metodo de Gauss-Seidel unsegundo paso de relajacion de la solucion,
aii (xm+1)i +
i−1Xj=1
aij (xm+1)j =
nXj=i+1
aij (xm)j + bi ; i = 1, 2, . . . , n
(xm+1)i − (xm)i = ω ((xm+1)i − (xm)i )
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
Resumen de resultados de Convergencia
1 Generalidades de los metodos iterativos
2 Metodo de Jacobi
3 Metodo de Gauss-Seidel
4 Metodo de Relajacion Sucesiva
5 Convergencia de los metodos
6 Resumen
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
Resumen de resultados de Convergencia
Resumen de resultados de Convergencia
Si A es simetrica y definida positiva, el metodo de Gauss-Seidel converge.
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
Resumen de resultados de Convergencia
Resumen de resultados de Convergencia
Si A es simetrica y definida positiva, el metodo de Gauss-Seidel converge.
Si A es simetrica y la matriz
D + L + U =
0BBBB� a11 −a12 · · · −a1n
−a12 a22 · · · −a2n
.
.
.
.
.
.. . .
.
.
.−a1n −a2n · · · ann
1CCCCAes definida positiva, el metodo de Jacobi es convergente.
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
Resumen de resultados de Convergencia
Resumen de resultados de Convergencia
Si A es simetrica y definida positiva, el metodo de Gauss-Seidel converge.
Si A es simetrica y la matriz
D + L + U =
0BBBB� a11 −a12 · · · −a1n
−a12 a22 · · · −a2n
.
.
.
.
.
.. . .
.
.
.−a1n −a2n · · · ann
1CCCCAes definida positiva, el metodo de Jacobi es convergente.
Si A es simetrica y definida positiva, el metodo de relajacion converge si y solo si 0 < ω < 2.Si ω < 1 el metodo se denomina de subrelajacion y si ω > 1, de sobrerrelajacion.
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
Resumen de resultados de Convergencia
Resumen de resultados de Convergencia
Si A es simetrica y definida positiva, el metodo de Gauss-Seidel converge.
Si A es simetrica y la matriz
D + L + U =
0BBBB� a11 −a12 · · · −a1n
−a12 a22 · · · −a2n
.
.
.
.
.
.. . .
.
.
.−a1n −a2n · · · ann
1CCCCAes definida positiva, el metodo de Jacobi es convergente.
Si A es simetrica y definida positiva, el metodo de relajacion converge si y solo si 0 < ω < 2.Si ω < 1 el metodo se denomina de subrelajacion y si ω > 1, de sobrerrelajacion.
Si A es simetrica, definida positiva y tridiagonal, el valor optimo de ω para la convergencia del metodo derelajacion es,
ω =2
1 +q
1 − ρ2j
siendo ρj el radio espectral de la matriz de iteracion del metodo de Jacobi.
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
1 Generalidades de los metodos iterativos
2 Metodo de Jacobi
3 Metodo de Gauss-Seidel
4 Metodo de Relajacion Sucesiva
5 Convergencia de los metodos
6 Resumen
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
Resumen
Los metodos iterativos tienen un coste computacional de O(n2)× noiteraciones.Si el numero de iteraciones es pequeno comparado con n, los metodos iterativosson preferibles a los directos. Asimismo, los errores de redondeo no se acumulandespues de cada iteracion, lo que supone una ventaja adicional.
El metodo de Gauss-Seidel es usualmente mas eficiente que el de Jacobi
Podemos acelerar la convergencia mediante la tecnica de relajacion.Generalmente se suele utilizar valores de ω entre 1 y 2 (sobrerelajacion)
En la actualidad los metodos iterativos estudiados en esta asignatura estanobsoletos. Los metodos mas utilizados son los basados en los subespacios deKrylov.
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
Resumen
Los metodos iterativos tienen un coste computacional de O(n2)× noiteraciones.Si el numero de iteraciones es pequeno comparado con n, los metodos iterativosson preferibles a los directos. Asimismo, los errores de redondeo no se acumulandespues de cada iteracion, lo que supone una ventaja adicional.
El metodo de Gauss-Seidel es usualmente mas eficiente que el de Jacobi
Podemos acelerar la convergencia mediante la tecnica de relajacion.Generalmente se suele utilizar valores de ω entre 1 y 2 (sobrerelajacion)
En la actualidad los metodos iterativos estudiados en esta asignatura estanobsoletos. Los metodos mas utilizados son los basados en los subespacios deKrylov.
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
Resumen
Los metodos iterativos tienen un coste computacional de O(n2)× noiteraciones.Si el numero de iteraciones es pequeno comparado con n, los metodos iterativosson preferibles a los directos. Asimismo, los errores de redondeo no se acumulandespues de cada iteracion, lo que supone una ventaja adicional.
El metodo de Gauss-Seidel es usualmente mas eficiente que el de Jacobi
Podemos acelerar la convergencia mediante la tecnica de relajacion.Generalmente se suele utilizar valores de ω entre 1 y 2 (sobrerelajacion)
En la actualidad los metodos iterativos estudiados en esta asignatura estanobsoletos. Los metodos mas utilizados son los basados en los subespacios deKrylov.
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
Resumen
Los metodos iterativos tienen un coste computacional de O(n2)× noiteraciones.Si el numero de iteraciones es pequeno comparado con n, los metodos iterativosson preferibles a los directos. Asimismo, los errores de redondeo no se acumulandespues de cada iteracion, lo que supone una ventaja adicional.
El metodo de Gauss-Seidel es usualmente mas eficiente que el de Jacobi
Podemos acelerar la convergencia mediante la tecnica de relajacion.Generalmente se suele utilizar valores de ω entre 1 y 2 (sobrerelajacion)
En la actualidad los metodos iterativos estudiados en esta asignatura estanobsoletos. Los metodos mas utilizados son los basados en los subespacios deKrylov.
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
Resumen
Los metodos iterativos tienen un coste computacional de O(n2)× noiteraciones.Si el numero de iteraciones es pequeno comparado con n, los metodos iterativosson preferibles a los directos. Asimismo, los errores de redondeo no se acumulandespues de cada iteracion, lo que supone una ventaja adicional.
El metodo de Gauss-Seidel es usualmente mas eficiente que el de Jacobi
Podemos acelerar la convergencia mediante la tecnica de relajacion.Generalmente se suele utilizar valores de ω entre 1 y 2 (sobrerelajacion)
En la actualidad los metodos iterativos estudiados en esta asignatura estanobsoletos. Los metodos mas utilizados son los basados en los subespacios deKrylov.
Generalidades de los metodos iterativosMetodo de Jacobi
Metodo de Gauss-SeidelMetodo de Relajacion Sucesiva
Convergencia de los metodosResumen
Resumen
Los metodos iterativos tienen un coste computacional de O(n2)× noiteraciones.Si el numero de iteraciones es pequeno comparado con n, los metodos iterativosson preferibles a los directos. Asimismo, los errores de redondeo no se acumulandespues de cada iteracion, lo que supone una ventaja adicional.
El metodo de Gauss-Seidel es usualmente mas eficiente que el de Jacobi
Podemos acelerar la convergencia mediante la tecnica de relajacion.Generalmente se suele utilizar valores de ω entre 1 y 2 (sobrerelajacion)
En la actualidad los metodos iterativos estudiados en esta asignatura estanobsoletos. Los metodos mas utilizados son los basados en los subespacios deKrylov.