Màster de Geofísica: Tt tdDdTractament de...
183
Màster de Geofísica: T t td Dd Tractament de Dades Dr. Eduard Carcolé (UPC)
Transcript of Màster de Geofísica: Tt tdDdTractament de...
Màster de Geofísica: T t t d D dTractament de Dades
Dr. Eduard Carcolé (UPC)
Tractament de dadesProcessament de les dades
1. Alguns recursos.2. Sistemes Lineals.3. Transformades de Fourier.4. Sampling Theorem (Whittaker-Shanon).5. Freqüència de Nyquist – Aliasing.6. DFT-FFT.7. Convolucions-Correlacions-Autocorrelacions. 8. PSD. Leakage. Windows.9. Filtres.10. Transformada de Hilbert.
Tractament de dades Ajust de les dades (Data Fitting)
1. Introducció: Valors Mitjans. Incertesa. Propagació d’errors
2. Regressió Lineal3. Regressió Lineal Generalg4. Mètodes no lineals
Tractament de dades Beatriz Benjumea (Segona Part)
• 1. Deconvolución: Determinística y Estadística. D l ió S iki P di ti A li iDeconvolución Spiking y Predictiva.Aplicaciones
• 2. Transformada 2D de Fourier. Filtro FK. Aplicaciones.Aplicaciones.
• 3. Filtros FX. Aplicaciones• 4. Transformada Radon: Slant Stack y transformada y
parabólica. Aplicaciones.• 5. Tratamiento de señales sísmicas: la señal en el
id I t f t í Sí iruido. Interferometría Sísmica.
Dates
Exàmens i lliurament de treballs i pràctiques: del 14 al 31 de GENER
Exàmens
Exàmens i lliurament de treballs i pràctiques: del 14 al 31 de GENER (40% examen, 60% pràctiques)GENER (40% examen, 60% pràctiques).
Les presentacions les podeu descarregar de ftp://ftp.obsebre.es/downloads/MasterGeofisica/
Els problemes resolts i les pràctiques que s’han d’entregar lesEls problemes resolts i les pràctiques que s’han d’entregar les podeu deixar a:
ftp://ftp.obsebre.es/uploads/MasterGeofísica/p p p
Els noms dels fitxers, si us plau, de l’estil:TD Nom Cognom doc TD Nom Cognom pdfTD_Nom_Cognom.doc, TD_Nom_Cognom.pdf.
És molt convenient que aneu enllestint les pràctiques i q p qexercisis abans del dia 30 d’Octubre.
Per a d btes raonables i felicitacions ecarcole@ ahoo comPer a dubtes raonables i felicitacions: [email protected]
Alguns recursosSoftware per a algunes pràctiques senzilles i Java Applets.
Java Applets Fourier: http://www.jhu.edu/~signals/ (exercicis John Hopkins University)pp p j g ( p y)Java Applets http://www.dsptutor.freeuk.com/ (exercicis Digital Signal Processing tutorial)http://www.tasignal.com/Software/esoftware.html (programes Minidigital tools)http://audacity.sourceforge.net/ (Audacity).http://www.dewresearch.com/fftp-main.html (FFT properties, programa + exercicis)http://www-users.cs.york.ac.uk/~fisher/ (disseny de filtres Tony Fisher)htt // h l ff / ( i d d l t )http://shmelyoff.nm.ru/ (programes varios, generadors de senyal, etc.)http://www.phy.ntnu.edu.tw/ntnujava/index.php?topic=17(síntesis)http://sepwww.stanford.edu/oldsep/hale/FftLab.html (transformada de Fourier real i imaginaria)imaginaria)http://maxwell.me.gu.edu.au/spl/Excalibar/Jtg/Conv.html (convolució)
Bibliografia:Bibliografia:
Numerical Recipes, The art of scientific computing 3rd Edition. http://www.nr.com/Versions “antigues” (C/C++, Fortran)amb PDF: http://www.nr.com/oldverswitcher.htmlg ( , ) pPhilip R. Bevington “Data Reduction and error analysis for the physical sciences” McGraw-Hill.
Alguns recursosAlguns recursos
C il dCompiladorsCompilador C/C++ : http://www.codegear.com/es/downloads/free/cppbuilderCompilador Fortran: http://www.g95.org/
Llibreries GNU scientific library (C/C++): http://www gnu org/software/gsl/GNU scientific library (C/C++): http://www.gnu.org/software/gsl/(cal instal·lar Msys: http://www.mingw.org/msys.shtml)
The GNU Scientific Library (GSL) is a numerical library for C and C++The GNU Scientific Library (GSL) is a numerical library for C and C programmers. It is free software under the GNU General Public License.
The library provides a wide range of mathematical routines such as random b t i l f ti d l t fitti Thnumber generators, special functions and least-squares fitting. There are over
1000 functions in total with an extensive test suite.
The current version is GSL-1 10 It was released on 15 September 2007 This isThe current version is GSL-1.10. It was released on 15 September 2007. This is a stable release.
Alguns recursosAlguns recursosThe complete range of subject areas covered by the library includes:
Complex Numbers Roots of Polynomials Special FunctionsVectors and Matrices Permutations Sorting BLAS Support Linear Algebra EigensystemsBLAS Support Linear Algebra EigensystemsFast Fourier Transforms Quadrature Random Numbers Quasi-Random Sequences Random Distributions Statistics Histograms N-Tuples Monte Carlo IntegrationHistograms N-Tuples Monte Carlo Integration Simulated Annealing Differential Equations InterpolationNumerical Differentiation Chebyshev Approximation Series Acceleration Discrete Hankel Transforms Root-Finding MinimizationDiscrete Hankel Transforms Root Finding Minimization Least-Squares Fitting Physical Constants IEEE Floating-Point Discrete Wavelet Transforms
Unlike the licenses of proprietary numerical libraries the license of GSL does not restrict scientific cooperation. It allows you to share your programs freely with others.
Alguns recursosAlguns recursos
Llib i d F i G àfiLlibreries de Funcions Gràfiques
DISLIN(Max-Planck-Institut): DISLIN is a high-level plotting library for displaying data as curves polar plots bar graphs pie charts 3D-color plots surfacesdata as curves, polar plots, bar graphs, pie charts, 3D color plots, surfaces, contours and maps. Written in the programming languages Fortran and C/C++.
Es pot utilitzar per a amb molts sistemes operatius: Windows, Linux, Unix, etc…
IntroduccióL’anàlisi de senyals, en particular de senyals elèctrics, és un problema fonamental per molts enginyers i científics d’àrees diverses. En particular en p g y pGeofísica.
Les teories s’inspiren, s’elaboren, es comproven o es modifiquen a partir de p p q presultats experimentals, és a dir, analitzant o tractant dades empíriques.
Una àrea molt important en la que també és aplicable tot el que estudiarem p q p qés l’acústica. Aquesta àrea la utilitzarem per donar una visió intuïtiva al tractament d’algunes dades i ens permetrà fàcilment desenvolupar experiments senzills per posar en pràctica alguns coneixements.
Remarquem que encara que les magnituds a mesurar no siguin elèctriques, es converteixen en magnituds elèctriques (voltatge, intensitat) mitjançant transductors (acceleròmetres velocímetres micròfons etc )transductors (acceleròmetres, velocímetres, micròfons, etc…).
Aquesta conversió es fa perquè existeixen moltes eines o aparells que permeten l’anàlisi o tractament de senyals elèctrics tant en el dominipermeten l anàlisi o tractament de senyals elèctrics tant en el domini temporal com en el freqüencial. En particular, oscil·loscopis, ordinadors, etc.
IntroduccióMoltes vegades ens trobarem senyals de molt poca potència barrejats amb senyals de més potència. Resulta aleshores totalment necessari disposar d’una escala de mesura que ens permeti representar al mateix temps senyals dèbils i senyals potents Suposem un senyal que presentatemps senyals dèbils i senyals potents. Suposem un senyal que presenta una lleugera distorsió i conté també un harmònic que conté una energia equivalent al 0.1% del senyal principal. En un escala lineal amb prou feines veurem el senyal.
Una manera de solucionar el problema és utilitzar una escala logarítmica:
IntroduccióAlexander Graham Bell va descobrir que l’oïda humana ofereix una resposta logaritmica (de fet això és vàlid per la resta de sentits, especialment per la vista) i
i t it t d B l A i di tilit l d iB l dB
Relació entre decibels, potència i voltatge:
va inventar una unitat anomenada Bel. Avui dia utilitzem els deciBels, dB.
dB = 10log(Power Ratio) = 20log(Voltage ratio)
Sistemes LinealsAnem a analitzar ara algunes de les suposicions que fem sobre els aparells de mesura que habitualment utilitzem a Geofísica. En particular asumirem
i t li l A lit d t ll l i li ique son sistemes lineals. Anem a analitzar en detall les implicacions d’aquesta assumpció.
Caracteritzar les propietats d’un sistema (en particular sistemes de mesura) analitzant un nombre ilimitat de senyals d’entrada i de sortida (inputs i outputs) és en general impossible.
Els sistemes lineals, que definirem a continuació, permeten ser caracteritzats analitzant la resposta a un nombre relativament petit de senyals d’entrada En general el sistemes de mesura són o es considerensenyals d entrada. En general el sistemes de mesura són o es consideren lineals.Hi ha dues propietats fonamentals que defineixen els sistemes lineals:
L’Homogeneitat
L’Aditivitat
Sistemes Lineals: HomogeneïtatgSuposem ara que el senyal d’entrada és un impuls. Aleshores obtindrem un cert senyal de sortida o output. Si el sistema és homogeni, aleshores, y p gsi l’impuls el multipliquem per dos, el senyal de sortida serà el doble de fort.
[ ( )] [ ( )]S af x S f xa
?????[ ( )] [ ( ) ??]S f x S f xa a
?????[ ( )] [ ( ) ??]S f x S f xa a
?????[ ( )] [ ( ) ??]S f x S f xa a
?????[ ( )] [ ( ) ??]S f x S f xa a
[ ( )] [ ( )]S af x S f xa
Sistemes Lineals: AditivitatSuposem ara que tenim dos inputs diferents f i g. Si el sistema és lineal:
[ ( ) ( )] [ ( )] [ ( Princ) ipi de superposici] óS f x g x S f x Sa b a b g x
Sistemes Lineals: Resposta impulsional
input = suma de deltes de DiracOutput = suma de respostes de cada delta de DiracOutput = suma de respostes de cada delta de Dirac
Sistemes Lineals: Integral de SuperposicióAquestes dues hipòtesis són suficients per a començar a desenvolupar models matemàtics senzills per a descriure el sistema de mesura.Qualsevol funció es pot escriure com una superposició (combinació lineal) deQualsevol funció es pot escriure com una superposició (combinació lineal) de deltes de Dirac desplaçades les unes respecte de les altres:
( ) ( ) ( )i ig x g x d
( ) ( ) ( )i ig x g x d
La resposta a aquest senyal el podem escriure:
( ) ( ) ( ) ( ) ( )o i o ig x S g x g x S g x d
Si l i t é li lSi el sistema és lineal:
( ) ( ) ( )o ig x g dS x
Si coneixem la resposta impulsional del sistema h:
( ) ), (S xh x
Sistemes Lineals: Integral de Superposició
Podem escriure l’output en funció de l’input d’aquesta manera:
( ( ) )) ( ,o i h xg x g d
Resulta molt interessant (i a més a més essencial) que el sistema sigui invariant. Diem que un sistema lineal és invariant si es verifica que:
)( ) ( ) (o ig xg x dh
La invariança significa, per exemple, que si enviem al sistema un senyal 5 minuts més tard, la resposta també l’obtenim 5 minuts més tard i a més a més la resposta és la mateixa, és a dir, no depèn de quan enviem el senyalquan enviem el senyal.Aquest tipus d’integral és molt important i s’anomena integral de CONVOLUCIÓ.
Resposta a senyals sinusoidalsHi ha una altra manera (íntimament relacionada amb l’anterior) per a caracteritzar un sistema lineal invariant. Descomposar el senyal en suma de sinusoides, trobar la resposta per a cada sinusoide, i sumar posteriorment totes les respostes. C ld à ò i t d i l t d t f d d F i litCaldrà però introduir el concepte de transformada de Fourier, que analitzarem en el següent apartat, per a poder relacionar els dos punts de vista.
Resum
Quina és la relació entre els dos punts de vista?
ResumResum
Sistemes Lineals: ConvolucióSistemes Lineals: ConvolucióPer a asaborir convenientment les integrals de convolució, entreuPer a asaborir convenientment les integrals de convolució, entreu
a la pàgina web: http://www.jhu.edu/~signals/ (exercicis de la John Hopkins University). Entreu a dins del java applet:
Joy of ConvolutionA Java applet that performs graphical convolution of continuous-time signals on the screen. Select from provided signals or draw a signal with the mouse (Prepared by Stevensignals, or draw a signal with the mouse. (Prepared by Steven Crutchfield, Fall 1996.)
Realitzeu les convolucions de les funcions que us proposen ARealitzeu les convolucions de les funcions que us proposen. A més també podeu dibuixar vosaltres les funcions a convolucionar. Podeu imaginar que una de les funcions és la resposta impulsional d’un sistema i l’altre l’input del sistema.p p p
Sistemes Lineals: ConvolucióSistemes Lineals: Convolució
Fixeu-vos bé en:
1 Què fem amb les funcions per “preparar-les” per a la convolució?1. Què fem amb les funcions per preparar-les per a la convolució?2. Les característiques del resultat. És la convolució una operació
commutativa?
Com a exercici independent feu exemples que impliquin la convolució d’una funció que presenti una variació molt ràpida amb les coordenades amb funcions d’amplada cada vegada més grans. p g g
I feu un informe de tot plegat (Imp Pnt+MSword+text).
Sistemes Lineals: Convolució
Sistemes Lineals: Convolució
Sistemes Lineals: DemostracióSistemes Lineals: DemostracióAnem a determinar la resposta d’un sistema senzill:G l lò i t l iòdiGenerarem un senyal analògic, corresponent a un senyal periòdic
(sinusoidal, square, etc…), i el sentirem a través dels altaveus del propi ordinador. Aquest mateix so l’enregistrarem amb el micròfon del propi del ordinador.
Per a generar el senyal digital podeu utilitzar la versió gratuita del programa “FFTproperties 3.5” que trobareu a la pàgina web:
http://www.dewresearch.com/fftp-main.htmlhttp://www.dewresearch.com/fftp main.htmlEl programa ve acompanyat del corresponent manual i d’un guió de
pràctiques que utilitzarem en aquest Màster.Per a enregistrar els sons generats podeu utilitzar la “grabadora dePer a enregistrar els sons generats podeu utilitzar la grabadora de
sonidos” que proporciona el sistema operatiu.Per a analitzar el so i tractar les dades obtingudes podeu utilitzar el
programa “Audacity” (Audacity is free, open source software forprograma Audacity (Audacity is free, open source software for recording and editing sounds) que està a la pàgina web:
http://audacity.sourceforge.netEl teniu disponible en català anglès francès japonès castellàEl teniu disponible en català, anglès, francès, japonès, castellà…
Sistemes Lineals: DemostracióDetermineu en quines condicions (volum) i per a quines freqüències el sistema
sembla comportar-se com un sistema lineal.
Procediment:
1. Analitzeu el soroll ambient enregistrant-lo i mirant l’espectre de potència.
2. Genereu senyals sinusoidals de diferents freqüències i a diferents volums (amb el FFTproperties). Enregistreu aquests sons amb la grabadora i mireu l’espectre de potència (composició espectral del senyal enregistrat). Anoteu els màxims que us p ( p p y g ) qapareguin (els principals). Fixeu-vos bé a partir de quin moment comencen a aparèixer harmònics i quin cocient de potència hi ha entre els harmònics.
3 F l t i ti l l d d l3. Feu el mateix per a un cas particular: genereu un senyal suma de dos senyals sinusoidals de la mateixa amplitud i detecteu quins harmònics apareixen primer a l’anar pujant el volum.
4. Què indica l’aparició dels harmònics? Podrieu modelitzar aquest efecte?
5. Quins problemes han aparegut en aquesta demostració que poden ser comuns a d’altres sistemes? Què podríem fer per eliminar aquest problema?
Descomposició espectralTots els senyals (per exemple, sismogrames) es poden descomposar com una suma de senyals sinusoidals (cadascun amb la seva fase): sinus, cosinus, o milor encara, exponencials complexes… L’operació matemàtica que ens permet generar el gràfics de la dreta s’anomena Transformada de Fourierde la dreta s anomena Transformada de Fourier.
Descomposició espectralp p
La descomposició espectral pot semblar a primera vista unLa descomposició espectral pot semblar a primera vista un procés estrany i artificial, però forma part de la nostra vida quotidiana.
L’oïda, en combinació amb el cervell, actua com un sistema d’anàlisi de freqüències descomposant el so en bandesd’anàlisi de freqüències, descomposant el so en bandes estretes i determinant la quantitat d’energia en cada banda.
Això permet percebre sons d’energies molt petites superposats a sons més potents, si el contingut freqüencial p p p , g qés diferent.
Transformada de FourierTransformada de FourierHi ha un gran nombre de problemes de càlcul numèricHi ha un gran nombre de problemes de càlcul numèric que impliquen el càlcul de transformades de Fourier: espectres de Potència, convolucions, correlacions, etc. pTambé son utils en la resolució de determinades equacions diferencials, etc.
Considerem un procés físic que pot ser descrit en el domini temporal h(t) o en el domini freqüencial H(f) on f:domini temporal h(t) o en el domini freqüencial H(f) on f:
f
H(f) és en general un nombre complex.
Transformada de FourierTransformada de FourierÉs útil considerar tan h(t) com H(f) com dues representacions diferents del mateix procés físic relacionats mitjançant les següents equacions.
( ) ( )exp 2H f h t ift dt
( ) ( )exp 2h t H f ift df
(significat gràfic,identitat d’Euler): Aquesta és una manera molt convenient d’escriure les equacions doncs nomolt convenient d escriure les equacions, doncs no apareixen factors de proporcionalitat. Si t correspon al temps en segons, aleshores f es mesura en Hertz. Enlloctemps en segons, aleshores f es mesura en Hertz. Enlloc de t podríem tenir x.
Transformada de FourierDe vegades però cal anar amb compte perquè es fan servir d’altres unitats com ara la freqüència angularservir d altres unitats com ara la freqüència angular(radians/segon) o freqüencies espaials (nombres d’ona):
Aleshores les integrals s’escriuen:
2 f
g
( ) ( )expH h t i t dt
1( ) ( )exp2
h t H i t d
Cal parar compte doncs quin conveni utilitza el vostre algoritme per a calcular les transformades de Fourier g(factors pi i signes a les exponencials!!!!)
Transformada de FourierÉs molt important per a triar quin algoritme necessitarem tenir en compte les següents propietats de la transfomada de Fourier p g p p(exercisi: demostrar-les)
h(t) real H(-f) = [H(f)]*h(t) real H( f) [H(f)]h(t) imaginaria H(-f) = - [H(f)]*h(t) parell H(-f) = H(f)h(t) imparella H(-f) = - H(f)( ) p ( ) ( )h(t) real i parella H(f) real i parellah(t) real i imparella H(f) imaginaria i imparellah(t) imaginaria i parella H(f) imaginaria i parella( ) g p ( ) g ph(t) imaginaria i imparella H(f) real i imparella
Tenir en compte aquestes propietats permet elaborar algoritmes més eficients.
Transformada de Fourier de funcions reals: que cal representar?
Transformada de FourierPropietats fonamentals de la transformada de Fourier. És molt important saber les i tenir ne una visió intuïtiva del seumolt important saber-les i tenir-ne una visió intuïtiva del seu significat (demostrar-les).
1( ) " "fF h at H time scalinga a
1 ( ) " "tF h H bf frequency scalingb b
0 0( ) ( )exp 2 " "
b b
F h t t H f ift time shifting
0 0( )exp( 2 ) ( ) " "F h t if t H f f frequency shifting
Transformada 1 0 5x
de Fourier 12
1 0.5( ) 0.5
0
xrect x x
h i
0
sinsinc( )
otherwise
xx
Definicions de funcions
sinc( )
1 0
xx
x
de funcions
importants sgn 0 0
1 0x x
x
1 1( )
0x x
xotherwise
0
( )com
otherwise
x x nb
n
Transformada de FourierTransformada de Fourier2 2 2 212
1
2 2 21
sinc( )exp( ) exp( )
( )a
arect ax f aa x f a
Transformades Famoses
2
1
1( ) s( )
inc ( )
a
a
axax f a
Famoses. Falten les funcions sinus, cosinus,…
exp1sgn
( 2)
( ) sgn( )
i a f ax
ax a
1( )
sgn
( )
( ) sgn( )
a comb f acomb ax
ax ai f
( )
exp( ) (
( )1)2
a f
ax Heavisidea i f
x
f
Funció sinc
Funció comb
Transformada de Fourier: Convolucióf
La convolució de dues funcions g i h es defineix com (ho hem vist a Sistemes Lineals):
g h g dh t
La convolució és una operació commutativa:
g h h g
Teorema de la convolució:
1
( ) ( )F g h G f H f
1 ( ) ( )g h F G f H f
La transformada de Fourier de la convolució de dues funcions és el producte de les respectivesdues funcions és el producte de les respectives transformades.(Exemple: resposta d’un micròfon).
Transformada de Fourier: Transformada de Fourier: Funció sinus
2
0
1
2
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2-2
-1
200
250
300
0 20 40 60 80 100 1200
50
100
150
0 20 40 60 80 100 120
Transformada de Fourier: Gausiana
0.5
0.2
0.3
0.4
0 5 10 15 20 25 30 35 40 45 500
0.1
6
3
4
5
6
0 50 100 150 200 2500
1
2
Transformada de Fourier: óFunció rectangle
1
1.5
0
0.5
-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 1-0.5
4
5
6
1
2
3
-100 -50 0 50 1000
1
Transformada de Fourier: F ió i
f
Funció sinc1 5
1
1.5
0
0.5
-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 1-0.5
4
5
6
1
2
3
-100 -50 0 50 1000
Transformada de Fourier: óFunció exponencial-Lorentziana
0 6
0.8
1
0.2
0.4
0.6
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 20
20
25
30
5
10
15
0 50 100 150 200 2500
Transformada de Fourier: sin 2 exp
2tF t ft
T
2T Quina relació té aquesta transformada amb les transformades anteriors? Per què el pic no és simètric?
1
2
-1
0
1
f = 8 Hz SR = 256 HzT2 = 0.5 s
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2-2
70
20
30
40
50
60
0 20 40 60 80 100 1200
10
20
Transformada de Fourier: sin 2 exp
2tF t ft
T
Quina relació té aquesta transformada amb la transformada anterior? Per què el pic és encara menys simètric?
1
2
f = 8 HzSR = 256 HzT2 = 0 1 s
-1
0
T2 = 0.1 s
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2-2
12
14
4
6
8
10
12
0 20 40 60 80 100 1200
2
Transformada de Fourier: sin 2 exp
2tF t ft
T
Quina relació té aquesta transformada amb les transformades anteriors? Són tots els pics igual de simètrics? Tenen la mateixa amplada? Per què?
1
2
3
f1 = 80 Hz, T21 = 1 s f2 = 90 Hz, T22 = .5 sf3 = 100 Hz, T23 = 0.25 s
-3
-2
-1
0
SR = 256 Hz
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2-3
100
120
40
60
80
0 20 40 60 80 100 1200
20
Transformada de Fourier: sin 2 exp
2tF t ft
T
Quina relació té aquesta transformada amb les transformades anteriors? Són tots els pics igual de simètrics? Per què?
1
2
3
f1 = 80 Hz, T21 = 1 s f2 = 90 Hz, T22 = .5 sf3 = 200 Hz, T23 = 0.25 s
3
-2
-1
0
SR = 256 Hz
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2-3
100
120
40
60
80
100
0 20 40 60 80 100 1200
20
Transformada de Fourier: Pràctica
Calcularem algunes transformades de Fourier de funcionsCalcularem algunes transformades de Fourier de funcions periòdiques importants. Segueix els consells de les “guidance
notes” i fes-ne un informe. Pots utilitzar els Java AppletsFFT spectrum anàlisis de la pàgina:p p g
http://www.dsptutor.freeuk.com/Java 1.02 versionJava 1.1 version
Arbitrary waveform FFT spectrum analyser (uses Java and JavaScript)
A continuació trobaràs una guia dels punts més importants
Transformada de Fourier: PràcticaAspectes a remarcar: (http://www.dsptutor.freeuk.com/analyser/guidance.html)
Per fer les transformades, el programa mostreja el senyal SR=8000 samples/second Per raons que veurem més endavant (aliasing) nosamples/second. Per raons que veurem més endavant (aliasing), no supereu freqüències SR/2. L’escala de freqüències la tindreu entre 0 i SR/2.
Podeu escollir el número de punts per fer la transformada, entre 128 i 1024.Podeu escollir el número de punts per fer la transformada, entre 128 i 1024. Fixeu-vos que passa quan varieu aquest valor.
Amb els valors per defecte del programa, canvieu sinus per cosinus. Hi ha l dif è i è?alguna diferència, per què?
Canvieu les freqüències en el rang 0-4000Hz i observeu l’evolució de la transformada Observes algun efecte estrany?transformada. Observes algun efecte estrany?
Fixeu-vos en el tipus de senyals (els més importants) que utilitzareu com a exemples de senyals (“waveforms”). Els més típics són:p y ( ) p
Sine, Cosine, Square, Triangular, Sawtooth
Aquests senyals són periòdics. Com és la transformada de Fourier d’un senyal periòdic? Demostra-ho matemàticament.
Transformada de Fourier: PràcticaGenereu una ona quadrada sqr() de 500Hz i escolliu 256 mostres (samples). Fixeu-
vos aproximadament a quines freqüències estan els harmònics principals Lesvos aproximadament a quines freqüències estan els harmònics principals. Les alçades són aproximadament 1/3, 1/5,… etc de l’harmònic principal. Els harmònics per sobre de 4000Hz apareixen com a pics petits degut al fenòmen d’aliasing Genera altres freqüencies i comprova que apareixen els mateixosd aliasing. Genera altres freqüencies i comprova que apareixen els mateixos harmònics.
Per les ones triangulars tri() els harmònics decauen com 1/N2 Comprova doncs quePer les ones triangulars tri() els harmònics decauen com 1/N . Comprova doncs que decauen més ràpidament. Per què?
Genera ones en forma de dents de serra saw () i mira quins harmònics hi ha. Són () qdiferents dels casos anteriors. Si generes senyals de diferents freqüències, es manté la proporció entre els harmònics?
Transformada de Fourier: Pràctica
De la següent taula genera els senyals que no hagis generat encara i comentaDe la següent taula, genera els senyals que no hagis generat encara i comenta els resultats. Fixa’t molt bé en què passa quan afegim soroll i què passa quan multipliquem senyals.
Canviem només el nombre de mostres que considerem, és a dir, retallem un tros
é d lmés gran de senyal
Si canviem sinus per cosinus l’amplitud és la mateixa tot i que la p q
fase és diferent
Si el senyal queda “mal retallat”, és a dir, no podem suposar que és periòdic aleshores…….
El producte d’aquestes dues funcions sinus, quines f üè i té?freqüències conté?
Transformada de Fourier d’una ona quadrada, aliasing visible
Transformada de Fourier d’una ona triangular, aliasing invisible???invisible???
Transformada de Fourier d’una ona en forma de dent de serra Observem aliasing un cop mésserra. Observem aliasing un cop més.
Signal to noise ratio (SNR). Dos exemples: SNR = 2 i SNR = 0 5Dos exemples: SNR = 2 i SNR = 0.5
Hanning window: This reduces the effect of the discontinuities where the mismatched sections of the signal join up, and hence also g j p,the amount of leakage. There is, however, a downside to the use of a tapered windowthe use of a tapered window function: lines in the spectrum of a signal become broadened making it difficultbroadened, making it difficult to distinguish separate frequency components, and th f ff ti l d itherefore effectively reducing the spectral resolution.
Series de Fourier: PràcticaF l ü t i i d l J h H ki U i itFes el següent exercici de la John Hopkins University:
http://www.jhu.edu/~signals/fourier2/index.html sobre síntesi de senyals periòdics a a partir dels seus harmònics. Comença primer analitzant els senyals preestablerts Observa que passa en els punts on hi hasenyals preestablerts. Observa que passa en els punts on hi ha discontinuïtats i quins harmònics estan presents i quins no. Fixa’t també amb les fases dels harmònics.
Fes també els següents exercicis.
Suggested Exercises:Suggested Exercises: 1. Sketch a signal that has a large fundamental frequency component, but small small dc-component and small higher harmonics. 2 Sk t h i l th t h l d d f d t l f t2. Sketch a signal that has large dc and fundamental frequency components, but small higher harmonics. 3. Sketch a signal that has small dc and fundamental frequency components, but large second harmonicbut large second harmonic. 4. Sketch a signal that has a small fundamental frequency component, but large dc component and large second harmonic. 5 D ib h ld t t i l th t h ll d d5. Describe how you would construct a signal that has small dc and fundamental frequency components, but large second, third, and fourth harmonics.
Whittaker-Shannon Sampling theorem
Volem esbrinar quin és l’efecte de mostrejar un senyal, quina informació es conserva, quina es perd, i en definitiva, de quina manera es perturba el senyal. Aquest teorema es pot considerar la base teòrica per al desenvolupament de l’ l it FFT (F t F i T f )l’algoritme FFT (Fast Fourier Transform).
Anem a considerar la versió més senzilla d’aquest teorema.
Considerarem que tenim un senyal g(x) mostrejat sobre un conjunt de punts separats una distància X. La funció mostrejada l’escriurem com:
( ) ( )sxg x comb g xX
Aquest és el model matemàtic de partida per descriure un senyal t j t M t j l di lti li l f ió i i l
X
mostrejat. Mostrejar vol dir multiplicar la funció original per una funció “pinta”. La transformada de Fourier d’aquesta expressió és immediata?.
Samplingp g
x ( ) ( )sxg x comb g xX
Whittaker-Shannon Sampling theorem
Utilitzant el teorema de la convolució, l’espectre Gsde gses:
( ) ( )sxG f F comb G fX
La transformada de Fourier de la funció pinta ja la tenim escrita d’abans, però cal remarcar-ne el seu i ifi tsignificat.
1b bxF X X f
comb combn
F X Xx f nX X
Sampling theoremSampling theoremPer tant l’espectre G s’escriu finalment com:Per tant l espectre Gs s escriu finalment com:
1( )G f G f n
La pregunta aleshores és: Quina condició ha de
( )sn
G f G f nX
La pregunta aleshores és: Quina condició ha de verificar G per a que poguem recuperar G a partir de Gs?
Preguntes equivalents:
Quina condició ha de verificar G per a que el procés de mostreig no suposi una pèrdua o una alteració de la informació continguda a G?la informació continguda a G?
Sampling theorem1 1( )s s
nG f G f n f
X X
Sampling theoremSampling theorem
1( )sG f G f nX
n X
La resposta és fàcil, s’han de verificar dues condicions:
1. Que G sigui una funció de suport finit (diem que g és una “bandlimited function”)
2 Que les rèpliques de G estiguin prou separades2. Que les rèpliques de G estiguin prou separades.
És a dir, que les diferents rèpliques de G no es superposin.s a d , que es d e e ts èp ques de G o es supe pos
Whittaker-Shannon Sampling theorem
1( )G f G f n ( )s
nG f G f n
X
Per a que no hi hagi aliasing, s’haurà de verificar:
1 12 2
X BB X
2 2B X
Sampling theoremp gAnem a veure com recuperem g a partir de gs. Per tot el que hem dit podem escriure directament:
f ( ) ( )2sfG f G f rectB
Whittaker-Shannon Sampling theorem
( ) ( )2sfG f G f rectB
Fent la transformada de Fourier obtenim finalment el resultat fonamental d’aquest teorema:
2B
resultat fonamental d aquest teorema:
n n ( ) sinc 22 2n
n ng x g B xB B
Whittaker-Shannon Sampling th F ü i d N i ttheorem: Freqüencia de NyquistRecordem la hipòtesi de que la nostra funcióRecordem la hipòtesi de que la nostra funció ha de ser “bandlimited”
112
XB
on |B/2| és la màxima freqüència que cal considerar. Es defineix la freqüència de Nyquist com:
12Nf X
Donat X, la freqüència de Nyquist és la màxima freqüència que pot contenir una funció per a que no hi hagi pèrdues o alteracions de la informació continguda en la funció.
Whittaker-Shannon Sampling th F ü i d N i ttheorem: Freqüencia de Nyquist
Si la funció g contéSi la funció g conté freqüències superiors a la freqüència defreqüència de Nyquist, aquestes freqüències ens apareixeranapareixeran superposades a freqüències inferiors a la freqüència dea la freqüència de Nyquist.
Aquest fenòmen s’anomena ALIASING.
Exemple: Una funció sinusExemple: Una funció sinus
Comencem amb una funció sinus continua (sense mostrejar):
5*sin (24t)
6
8
Y=5sin(2π4t)f = 4Hz
Amplitude = 5
Frequency = 4 Hz2
4
Frequency 4 Hz
-2
0
-6
-4
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1-8
Exemple: Una funció sinusExemple: Una funció sinus
Ara mostregem la nostra funció
6
8
Y=5sin(2π4t)f = 4Hz
2
4
Sampling rate = 256 samples/second
F üè i d t i-2
0
Freqüència de mostreig: 256Hz.
-6
-4
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1-8
Exemple: Una funció sinusExemple: Una funció sinus
sin(2 8t) SR = 8 5 HzAra mostregem la nostra funció
1.5
2sin(28t), SR = 8.5 Hz
Y=5sin(2π8t)f = 8Hz 0.5
1
Sampling rate = 8.5 samples/second -0.5
0
Freqüència de mostreig: 8.5Hz. -1.5
-1
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2-2
Exemple: Transició.Exemple: Transició.Fixeu-vos com queda mostrejada una sinusoide just a la freqüència de Nyquist:
PRÀCTICA
Treballa uns quans exemples utilitzant el següents applets de la pàgina web:Treballa uns quans exemples utilitzant el següents applets de la pàgina web:http://www.dsptutor.freeuk.com/ :Java 1.02 version o Java 1.1 version
• Aliasing demonstration• Aliasing demonstration• The following steps demonstrate aliasing of a sinusoidal input signal.• With the input frequency set at its initial default value of 7000 Hz, and only the Input
signal checkbox selected, click the Plot button. The sinusoidal input signal, at its true frequency of 7000 Hz is plottedfrequency of 7000 Hz, is plotted.
• Select Grid to show the instants of time at which the signal is sampled. The horizontal (time) axis in the plot covers a total of 0.004 seconds worth of the input signal. The signal is sampled at a rate of 8000 samples/s, so there are 8000 × 0.004 = 32 sample instants showninstants shown.
• Select Sample points to mark the sampled values of the signal. These occur where the signal is cut by the vertical sample markers. Note that the sample points seem to trace out a sine wave of a lower frequency than the true signal frequency. You can see this more clearly if you toggle off the Input signal plotmore clearly if you toggle off the Input signal plot.
• Select Alias frequency. This shows the sinusoidal signal at the alias frequency. A digital signal processing system to which the input signal samples are input does not know what the signal is doing between samples, and therefore cannot distinguish between sampled versions of the true input signal and the apparent alias signal.sampled versions of the true input signal and the apparent alias signal.
• The alias frequency can be measured from the plot, just as from an oscilloscope trace. The period is 8 sampling intervals, or
• 8 × 0.125 ms = 1.0 ms The corresponding frequency is 1 / 1.0 ms = 1000 Hz.• Try other values for the input frequency and see if you can work out the relationship• Try other values for the input frequency and see if you can work out the relationship
between the true and alias frequencies.
El resultat de l’apartat anterior ésp
Si la freqüència del senyal és de 7000Hz i SR=8000Hz justifiqueu que el senyalSi la freqüència del senyal és de 7000Hz i SR=8000Hz justifiqueu que el senyal resultant tingui una freqüència de 1000Hz
Whittaker-Shannon Sampling th F üè i d N i ttheorem: Freqüència de NyquistPer evitar l’Aliasing:
Esbrinar quina és la frequència màxima continguda en elEsbrinar quina és la frequència màxima continguda en el senyal, o bé, forçar l’existència d’una frequència màximamitjançant l’ús d’un filtre analògic (filtre anti-aliasing).
Fer un mostreig suficientment acurat del senyal.
Si asumim doncs que hem dut a terme aquests dos procesosSi asumim doncs que hem dut a terme aquests dos procesos podrem calcular la transformada de Fourier d’un senyal a partir del senyal mostrejat, és a dir, utilitzant unicament un nombre finit de valors de la funció (Discrete Fourier Transform->Fast F i T f )Fourier Transform)
Discrete Fourier TransformDiscrete Fourier TransformVolem calcular la transformada de Fourier d’unaVolem calcular la transformada de Fourier d una funció a partir d’un nombre finit de punts. Recordem que:
( ) ( )stg t comb g t
1( )sn
G f G f n
Si hem fet bé les coses (no hi ha aliasing):
n
( ) dins l'interval s N NG f G f f f f ( ) ( )stg t comb g t
Discrete Fourier TransformDiscrete Fourier Transform
Suposem ara una funció h(t) i disposem d’un nombre finit de valors N (parell):nombre finit de valors N (parell):
( ) 0 1 2 1h h t t k k N ( ), , 0,1,2,..., 1k k kh h t t k k N
Això vol dir: o bé estem assumint que h només existeix en el rang de valors considerat o que aquest
d l é l é t tirang de valors és el més representatiu.
Discrete Fourier TransformVolem calcular un nombre finit de valors de la t f d d F itransformada de Fourier.
Quins valors?Quins valors?
Calcularem els següents valors compresos en el rang deCalcularem els següents valors compresos en el rang de freqüències definit per la freqüència de Nyquist:
, ,...,2 2n
n N Nf nN
2 2n N
On és l’interval de mostreig.g
Discrete Fourier TransformDiscrete Fourier TransformAleshores, el pas següent és aproximar la t f d d F itransformada de Fourier per una suma discreta:
1
0
( ) ( )exp 2 exp 2N
n n kk
H f h t if t dt h ik n N
( ) 0,1,2,..., 1k k kh h t t k k N
Els valors Hn que calculem de la transformada de Fourier s’escriuen doncs com:Fourier s escriuen doncs com:
1
exp 2N
H h ik n N
0
exp 2n kk
H h ik n N
Discrete Fourier TransformDiscrete Fourier TransformEl que acabem de fer és mostrejar la transformada de Fourier. Mostrejar la transformada també ha de tenir un efecte en la funció original.
L’efecte és el següent:
( ) ( )sth t comb g t
1( )sH f H f n
n
1( ) ff f b
1( )s
n
fH f H f n combN
( ) ( )s sn
h t h t nN
L’efecte en la funció original és: asumim que és una funció PERIÒDICA!!!!!!!!!!!!!!. Si aquesta asumpció és correcta aleshores la transformada de Fourier di t é tdiscreta és exacta.
Discrete Fourier Transform
DiscreteDiscrete Fourier
transform f tiof a time-limitedlimited
waveformwaveform
Discrete F iFourier
transform of a time-limited
periodicpwaveform: truncationtruncation
interval equal t i dto period
Discrete F iFourier
transform of a time-limited
periodicpwaveform: truncationtruncation interval not
l t i dequal to period
Discrete F iFourier
transform oftransform of a general waveform
Fast Fourier Transform AlgorithmEs tracta de fer la DFT el mes ràpidament possible. És un procés que implica O(N2). L’algoritme FFT aconsegueix calcular la DFT en un nombre molt inferior d’operacions O(Nlog2N).
L’ l it té hi tò i lt ll S bl l i i l tL’algoritme té una història molt llarga. Sembla ser que el primer que va implementar un algoritme FFT va ser Gauss cap l’any 1805.L’any 1942 Danielson & Lanczos l’any 1942 desenvolupen una versió força senzilla de la FFT.Un dels algoritmes més populars el desenvolupen J.W. Cooley & J.W. Tukey els anys 60.
Les versions més ràpides son les que verifiquen N=2m. Si l’algoritme només funciona amb potències de dos, i les dades no són múltiples de dos, sempre podem afegir zeros (zero padding).p g)
També hi ha versions que treballen amb múltiples arbitraris de nombres primers, però sempre són més lentes. Hi ha versions per a casos especials (dades reals, transformades sinus, cosinus, etc), )
Recursos:Numerical Recipes in C++/Fortran (edicions antigues).Numerical Recipes (versió nova només en C)Numerical Recipes (versió nova només en C) Llibreria desenvolupada al MIT (en C): http://www.fftw.org/Algoritmes “fàcils d’implementar” en C i Fortran Jean Marie Teuler (CNRS) http://www.idris.fr/data/publications/JMFFT/ Llista de recursos d’internet (MIT) http://www.fftw.org/benchfft/ffts.htmlJorgs useful and ugly page (llista de recursos )(C i Fortran): http://www.jjj.de/fft/fftpage.html
FFT:FFT: ordre de les d ddades
Exemples: Canvi de la freqüència d t ide mostreig
1
2
-1
0
f = 8 Hz T2 = 0.5 s
60
70
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2-2
30
35
20
30
40
50
10
15
20
25
0 10 20 30 40 50 600
10
0 10 20 30 40 50 600
5
2SR = 256 HzSR = 128 Hz
0
1SR = 128 Hz
-1
0
f = 8 HzT2 = 0.5 s
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2-2
60
70
30
35
30
40
50
15
20
25
10
20
5
10
0 10 20 30 40 50 600
0 10 20 30 40 50 600
Exemples: Canvi de la freqüència d t ide mostreig
Disminuir la freqüència de mostreig provoca:
Redueix la freqüència de Nyquist, la qual cosa:
Redueix la màxima freqüència que podem mesurar
No afecta a la resolució en la freqüènciafreqüència.
Duració del mostreig
1
2
ST = 2 0 s
0
1 ST 2.0 sST = 1.0 s
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2-2
-1 f = 8 HzT2 = .5 s
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2
70
40
50
60
10
20
30
0 2 4 6 8 10 12 14 16 18 200
D ió d l t iDuració del mostreig
Reduir la duració de la finestra de mostreig:g
Disminueix la ressolució freqüencialq
No afecta al rang de freqüències g qmesurables.
FFT: AplicacionsFFT: Aplicacions
Convolucions i DeconvolucionsCorrelacions i AutocorrelacionsEli i ió d ll Wi Filt iEliminació de soroll: Wiener FilteringEstimació de l’espectre de PotènciapFiltrat: Pasabandes, Pasabaixos, PasaaltsPasaalts.
Transformada de Fourier: Definició de correlació i autocorrelació
L l ió d d f i i h d fi iLa correlació de dues funcions g i h es defineix com:
g h g t h d
g h g t h d
Teorema de la correlació:
*( ) ( )F g h G f H f
L l ió d’ f ió b i t iLa correlació d’una funció amb si mateixa s’anomena autocorrelació.
2( )F g g G f
Mé d t t di l i tà iMés endavant estudiarem la importància d’aquestes dues operacions
Correlacions i AutocorrelacionsCorrelacions i Autocorrelacions
Teorema de Parseval. PSD.L’Energia o la potència continguda en un senyal es pot calcular tant en el domini temporal com en el p pdomini frequencial: Teorema de Parseval: (comprovació d’algoritmes, constants de proporcionalitat etc )proporcionalitat, etc.).
2 2
TP h t dt H f df
TP h t dt H f df
Moltes vegades interessa calcular quanta energia tà ti d t i t l d f üè iestà continguda en un cert interval de freqüències
(f, f+df). Aleshores es defineix l’anomenada “one-sided power spectral density (PSD)” de la funció hsided power spectral density (PSD) de la funció h com:
2 2( ) ( ) ( ) 0hP f H f H f f
PSDLa potència total s’escriu aleshores
0( )T hP P f df
Si la funció h(t) és real, la transformada és simètrica i podem escriure:
2( ) 2 ( )hP f H f
De vegades la Power Spectral Density (PSD) es d fi i l f 2defineix sense el factor 2.
Autocorrelació i espectre de potència p pd’una funció sinus, sinus+soroll, soroll de
banda estreta i soroll de banda amplabanda estreta i soroll de banda ampla
Versió discreta de convolucions, correlacions, etc
Si la funció h(t) està definida entre menys infinit i infinit aleshores laSi la funció h(t) està definida entre menys infinit i infinit, aleshores la potència total i la densitat de potència espectral pot ser infinita. Aleshores pot resultar interessant calcular la “power spectral density per unit time”.
Per fer-ho, cal considerar h(t) en una finestra de temps, calcular la PSD i dividir per la longitud de la finestra. Els efectes de l’amplada de la p g pfinestra i l’anomenat “windowing” s’estudiaran més endavant.
El següent problema que haurem de resoldre és que no disposarem d’El següent problema que haurem de resoldre és que no disposarem d infinits valors de la funció h(t), sino un conjunt discret de valors h(ti). Els efectes que comporta mostrejar un senyal els analitzarem amb tot detall en l’apartat següent. Utilitzarem una part important de la teoria p g p pdesenvolupada fins aquest moment.
Convolucions i DeconvolucionsConvolucions i DeconvolucionsRecordem que:
s r s r t d
( ) ( )F s r S f R f
Ara treballem amb un senyal mostrejat amb valors s i laAra treballem amb un senyal mostrejat, amb valors sj, i la funció de resposta r (d’un instrument o un filtre, etc…) es representa també amb un nombre discret de valors rk. La “ ersió” discreta de la integral anterior“versió” discreta de la integral anterior:
2M
j k kjs r s r
2 1j k kj
k M
M és el nombre de valors necessaris per descriure la funció r. D’avegades M pot ser finit i inclús un nombre petit (diem Finite Impulse Response FIR)
Discrete Convolution TheoremDiscrete Convolution Theorem
Si el senyal és periòdic amb període N, i tenim un funció de resposta finita que es pot descriure amb M<N punts aleshores :descriure amb M<N punts, aleshores :
2
2 1
M
j k k n njk M
FFT s r s r S R
2 1k M n
Correlacions i AutocorrelacionsCorrelacions i AutocorrelacionsRecordem que en el cas continu tenim:
g h g t h d
*( ) ( )F g h G f H f 2( )F g g G f
En el cas de la correlació pretenem mesurar la semblança entre dos senyals g i h. Anàlogament en el cas discret:
1
0
N
j k kjk
g h g h
1
*
0
N
j k k n njk
FFT g h g h G H
0k n
AutocorrelacióLes autocorrelacions resulten molt útils per a trobar patrons repetitius en un senyal, com ara determinar la presència d’un senyal periòdic dins un senyal molt sorollós o identificar unasenyal periòdic dins un senyal molt sorollós o identificar una freqüència fonamental que no es troba en el senyal, tot i que si hi siguin els seus harmònics. Exemples: autocorrelació de soroll i d’un senyal sinusoidal+sorolli d un senyal sinusoidal+soroll.
AutocorrelacióEn aquest exemple busquem el període fonamental de la vocal “a”:
AutocorrelacióÉs interessant comentar que el nostre cervell sembla ser que analitza (en part) el so autocorrelacionant els senyals provinents dels òrgans auditius.
Això significa que percebem l’harmònic fonamental d’un senyal encara que no hi sigui, sempre i quant estiguin presents els seus harmònics:http://en.wikipedia.org/wiki/Missing_fundamentalhttp://www ihear com/Pitch/paradoxical htmlhttp://www.ihear.com/Pitch/paradoxical.html
En el tractament de senyal és bastant usual redefinir l’autocorrelació com:
1
20
1( )N
j k kkg
R g g g g g gN
0kgN
AutocorrelacióDe vegades, quan s’analitza un senyal, és necessari eliminar-ne algunes tendències (pasa-alts ajust per un polinomi etc):tendències (pasa-alts, ajust per un polinomi, etc):
AutocorrelacióLa funció d’autocorrelació ens diu l’interval de temps sobre el qual el soroll està correlacionat (ens diu que “duren” els senyals dels que està composat el soroll). Si el soroll està fet totalment d’ones que es mouen en un medi no absorbent, l’ t l ió t d l l t fi i t t tl’autocorrelació pot pendre valors elevats fins i tot per a temps grans.
AutocorrelacióAutocorrelació
Algunes propietats de l’autocorrelació:Algunes propietats de l autocorrelació:Valor màxim de R( ) per a =0
*
( ) ( ) Si g real ( ) ( ) Si g complexa
R RR R
L’autocorrelació d’una funció periòdica també és una funció periòdica amb el mateix períodeperiòdica amb el mateix període.L’autocorrelació d’un senyal de soroll blanc és una delta de Dirac a l’origenDirac a l origen.La transformada de Fourier de l’autocorrelació d’un senyal correspon a l’espectre de potència del senyalcorrespon a l espectre de potència del senyal.
Correlació:Un exempleUn exemple
Estimació de l’espectre de Potència (Power Spectral Density PSD)(Power Spectral Density, PSD).
Normalització.Potència total. Normalment és proporcional al quadrat del senyal. Normalització:
Cal anar en compte perquè a la literatura hi ha diferents maneres de normalitzar l’espectre de potència. Suposem una funció c(t) mostrejada a N punts amb valors c0,…,cN-1:j p 0, , N-1:
1 2"suma dels quadrats"
N
T jP c
0
1 2
q
1 "valor mig de la suma dels quadrats"
T jj
N
P c
0
1 2
valor mig de la suma dels quadrats
"integral del quadrat de l'amplitud"
T jj
N
P cN
P c
0
integral del quadrat de l amplitudT jj
P c
Estimació de l’espectre de Potència (Power Spectral Density PSD)(Power Spectral Density, PSD).
Definicions
Possibles definicions de PSD :
. Definida sobre freqüències positives i negatives (incluint la freqüència zero). Normalització: el valor mig del quadrat de la PSD.
. Definida per la freqüència zero i les freqüències positives. Normalització: el valor mig del quadrat de la PSD.g q
-> Definida sobre el rang de freqüències de –fN fins fN (freqüència de Nyquist) Normalització: el valor mig del quadrat de la PSDNyquist). Normalització: el valor mig del quadrat de la PSD.
A la literatura cal parar compte amb les normalitzacions.
Càlcul de la PSD amb la FFT: LEAKAGE
Precisió de la FFT per al càlcul de la PSD. LEAKAGE.
Coincideix exactament P(fk) amb P(f)? Resposta: depèn. ( k) ( ) p p
Abans de respondre aquesta pregunta, intentem respondre aquesta:Què passa si P(f) conté una única freqüència f que verifica la següentQuè passa si P(f) conté una única freqüència fa que verifica la següent desigualtat?
1i a if f f 1i a if f f
Quins valors prenen aleshores P(fi) i P(fi+1)? I la resta de P(fi)?
I una altre bona pregunta, que és exactament P(fk)?
Càlcul de la PSD amb la FFT: DATA WINDOWING
R tResposta:
Si fa coincideix amb fi no hi ha “Leakage”, és a dir, P(fi)=0, excepte f f Si i id i d fi i l’ ff t “bi ” ( fper fa = fi. Si no coincideix, definim s com l’offset en “bins” (agafem
com a unitat 1/∆).
Al hAleshores:2
2
1 sin( )( )sin( )
sW sN s N
sin( )N s N Fixem-nos que aquesta funció és zero si s és un nombre sencer i que disminueix com s-2. Quan s no és un nombre sencer aleshores el leakage és gun fenòmen significatiu.
Per a disminuir aquest fenòmen utilitzarem una tècnica anomenada “DataPer a disminuir aquest fenòmen utilitzarem una tècnica anomenada Data Windowing”
Càlcul de la PSD amb la FFT: DATA WINDOWING
Càlcul de la PSD amb la FFT: Finestres
Quan mostregem un senyal i en considerem N punts podem considerar queQuan mostregem un senyal i en considerem N punts, podem considerar que el que estem fent és multiplicar un conjunt en principi infinit de dades cj per una funció finestra rectangular d’amplada N∆.
Al considerar la transformada de Fourier, el que obtenim és la transformada de Fourier del senyal convolucionat amb la transformada de Fourier de la finestra. Aquest és l’origen de la funció W(s).
221
2 20
1 1 sin( )( ) exp(2 )sin( )
N
k
sW s is k NN N s N
0 sin( )kN N s N En aquest cas el leakage és significatiu perquè la funció rectangle conté freqüències elevades. Per disminuir el leakage el que es fa es considerar q g qfinestres més suaus.
Càlcul de la PSD amb la FFT: Finestres
El que farem a la pràctica és multiplicar els valors de la funció cj per una funció finestra w. Hi ha una certa varietat i arbitrarietat en l’elecció de les finestres. Algunes finestres més populars són(algunes les podeu trobar a http://www.dsptutor.freeuk.com/WindowFunctionPlot/WindowFunctionPlot.html)
12
12
1 Bartlett windowjj Nw
N
2
1 21 cos Hann window2j
jwN 2
20.53836 0.46164cos Hamming windowj
Njw
N
121 Welch window
j
j
N
j Nw
1
2
Wj N
Càlcul de la PSD amb la FFT: FinestresFinestres
Les finestres es trien segons les necesitats, algunes proporcionen poc leakage a costa de disminuir la resolució freqüèncial o a lapoc leakage a costa de disminuir la resolució freqüèncial o a la inversa.
Càlcul de la PSD amb la FFT: Fi tFinestres
Fixem-nos que els “sidelobes” es redueixen a costa deFixem nos que els sidelobes es redueixen a costa de fer més ample el pic central.
Càlcul de la PSD amb la FFT: E lExemples
Fi l “ id l b ” d i t d f é l l i t lFixem-nos que els “sidelobes” es redueixen a costa de fer més ample el pic central.
Càlcul de la PSD amb la FFT: E lExemples
D’aquesta manera es fan visibles senyals que d’altre manera no veuriemD aquesta manera es fan visibles senyals que d altre manera no veuriem
Pràctica amb el programa FFT properties 3.5http://www.dewresearch.com/fftp-main.html
• Segueix el guió del programa (PDF) i fes un informe amb exemples una mica diferents dels que hi ha en el guió. En tots els casos calcula l’amplitud de la transformada i l’espectre de potència tant en escala lineal com en escala logaritmica. Afegiu una breu explicació als resultats que aneu obtenint.
• En el programa teniu l’opció de sentir els senyals que estudieu.
Pràctica amb el programa Audacity:http://audacity.sourceforge.net/
• Amb aquest programa podeu generar sons enregistrar los i estudiar nesons, enregistrar-los i estudiar-ne l’espectre de potència i l’autocorrelació.
• Enregistreu sons senzills (o complexos) i tracteu de justificar l’aspecte de l’espectre j p pde potència i de l’autocorrelació
Anàlisi d’un soroll d’una màquina: obser em na certa periodicitatobservem una certa periodicitat.Quin és el periode fonamental?p
Quins harmònics detectem?Cal tenir en compte la resposta delCal tenir en compte la resposta del
instrument (micròfon)?
Anàlisi del soroll de fons
Espectre de potència: finestra rect.p p
Espectre de Potencia: Barlettp
Espectre de Potencia: Hanningp g
Espectre de Potencia: HammingEspectre de Potencia: Hamming
Autocorrelació, es veu el periode fonamental?fonamental?
Filtres LinealsAnem a suposar ara un senyal que volem filtrar digitalment i en temps real: pasa-alts, pasa-baixos, pasa-banda, etc. Considerarem només filtres linials.
En el cas més general, un filtre linial agafa una seqüència o conjunt de punts (input) xk i produeix una seqüència de punts de sortida (output) que es pot descriure de la manera següent:
0 1
M N
n k n k j n jk j
y c x d y
0 1k j
Significat d’aquesta expressió: tenim M+1 coeficients ck i N coeficients dj. Aquests coeficients defineixen la resposta del filtre Aquest filtre genera unAquests coeficients defineixen la resposta del filtre. Aquest filtre genera un cert output a partir dels M inputs anteriors i de N outputs anteriors.
Si N=0 el filtre es classifica com (Finite Impulse Response, FIR).Exemple: ( p p , ) pTransformada de Hilbert.
En cas contrari diem que el filtre (Infinite Impulse Response, IIR), en aquest l filt d t i t t l lt llcas els filtres poden tenir respostes temporals molt llargues, encara que
majoritariament mostren decaiments exponencials per a temps grans
FiltresAplicar un filtrat lineal a un senyal equival a un filtrat a l’espai de Fourier. Definim aleshores “the filter response function” o la resposta del filtrefilter response function” o la resposta del filtre
exp 2M
c ikf
0
exp 2( )
1 exp 2
kk
N
c ikfH f
d ijf
1
1 exp 2kj
d ijf
Aleshores el problema és calcular ck i dj per a obtenir la H(f) desitjada. Afortunadament hi ha molts llibres dedicats al tema. No entrarem en aquesta qüestió. Els coeficients s’obtenen impusant condicions a H(f): comportament assimptòtic mínima variació en alguna regió etccomportament assimptòtic, mínima variació en alguna regió, etc. Només parlarem de com obtenir els coeficients de manera senzilla per a un tipus particular de filtre, anomenat filtre de Butterworth.
Filtres de ButterworthEls filtres de Butterworth són omnipresents. El seu origen està relacionat amb el disseny de filtres electrònics, doncs es poden construir filtres d’aquest tipus amb combinacions molt senzilles d’elements pasius (i per suposat també amb elements actius) Se’la va inventar un enginyer britànicd elements pasius (i per suposat també amb elements actius). Se la va inventar un enginyer britànic anomenat Stephen Butterworth.
Està dissenyat imposant a la funció de transferència que sigui el més constant possible dins del rang de freqüències que interessa mantenir i tendeix a zero a la resta de freqüències.g q q q
La resposta en freqüència d’un filtre de Butterworth d’ordre n es pot escriure en general com:
222 0
2( )
1n
GH ff
1cf
On G0 és el guany (a freqüència zero). fc s’anomena freqüència de tall .
A la freqüència de tall hi ha una pèrdua de -3dB.
Per a freqüències més grans la pèrdua és de -20n dB/decada.
Filtres de ButterworthExemples de filtres pasabaixos de diferents ordres (wc = 1rad/s): Fixem-nos en el penden de -20n dB/decada.
Filtres de ButterworthComparació del filtre de Butterworth amb altres filtres. Tots son d’ordre 5. Els filtres de Butterworth son els que disminueixen més a poc a poc a prop de la freqüència de tall, però el comportament és molt més pla.
Filtres de Butterworth
Fins ara em estudiat el comportament del mòdul al quadrat de la resposta del filtre. Cal anar en compte però, perquè la funció de transferència és complexa. Això vol dir que introdueix defasaments en el senyal (un desfasament diferent per a cada freqüència).
Anem a veure un exemple amb un filtre pasabanda d’ordre 4 dissenyat per a un senyal mostrejat a una freqüència desenyal mostrejat a una freqüència de 100Hz i amb freqüències de tall de 8 i 12Hz.
Fixem-nos en la línea blava, que ens indica el desfasament per a cada freqüència.
Filtres de Butterworth
Aquest desfasament és un efecte no d itj t i l j i ddessitjat i ocorre en la majoria de filtres. Per a compensar-lo caldrà utilitzar el filtre dos cops una d’esquerra a dretafiltre dos cops, una d esquerra a dreta i un altre d’esquerra a dreta.D’aquesta manera la segona vegada que filtrem introduim un desfasament qcontrari al que introduim la primera vegada que filtrem.
Filtres de Butterworth pasabaixosFiltres de Butterworth pasabaixos
Filtres de Butterworth: Càlcul dels fi i tcoeficients.
Recordem que per aplicar un filtre de Butterworth hem de calcular laRecordem que per aplicar un filtre de Butterworth hem de calcular la següent expressió
M N
0 1
n k n k j n jk j
y c x d y
Hi ha programes que calculen fàcilment aquests coeficients i proporcionen les rutines en C o en Fortran per implementar els filtres.
Un exemple és el següent, gràcies al Dr. Tony Fisher, que en pau descansi:
http://www-users.cs.york.ac.uk/~fisher/mkfilter/
Els programes que utilitza la pàgina web estan fets en C/C++. Es p g q p gpoden descarregar i modificar segons les vostres necessitats.
Transformada de Hilbert
Volem calcular l’envolvent d’unl envolvent d un determinat senyal. En el dibuix, del ,que es tracta és d’obtenir el senyal modulador a partir del senyal modulat
Transformada de HilbertTransformada de Hilbert
Volem calcular l’envolvent d’un determinat senyal Desenvoluparem unaVolem calcular l envolvent d un determinat senyal. Desenvoluparem una explicació “intuitiva” de com fer-ho. Suposem un senyal que l’escribim com:
( ) cos( )s t A t
La transformada de Hilbert és una operació matemàtica que transforma la funció cosinus en la funció sinus:
(cos ) sinH t t
El pas següent consisteix en obtenir el que s’anomena “un senyalEl pas següent consisteix en obtenir el que s anomena un senyal analític”
( ) ( ) ( ( ))s t s t iH s t
Transformada de HilbertTransformada de HilbertEl senyal analític de la funció cosinus ens dona
( ) cos sin exp( )s t A t iA t A i t
El mòdul d’aquesta expressió ens donaria directament “L’envolvent de la funció cosinus”, que en aquest cas és simplement una amplitud constant constant.
Anem a veure com s’ha de definir la transformada de Hilbert de manera que ens transformi un cosinus en un sinus.
La funció cosinus i la funció sinus es poden escriure com:1 1cos( ) exp( ) exp( )t i t i t cos( ) exp( ) exp( )2 21 1sin( ) exp( ) exp( )
t i t i t
t i t i t
sin( ) exp( ) exp( )2 2
t i t i ti i
Transformada de HilbertTransformada de HilbertO bé:
1 1cos( ) exp( ) exp( )2 2
t i t i t 2 2
sin( ) exp( ) exp( )2 2i it i t i t
La transformada de Hilbert es pot avaluar doncs considerant la transformada de Fourier i multiplicant les freqüències positives per (-i) i
2 2
p q p p ( )les negatives per (+i).
Això vol dir que podem entendre la transformada de Hilbert com un q pprocés de filtrat a l’espai de Fourier. La transformada queda multiplicada per la funció:
1 1( ( )) sgn( ) ( ( ))H s t F i f F s t
Utilitzant el teorema de la convolució aquesta expressió es pot resoldre:Utilitzant el teorema de la convolució, aquesta expressió es pot resoldre:
Transformada de HilbertTransformada de HilbertO bé:
1
1 1
( ( )) sgn( ) ( ( ))H s t F i f F s t
1 1( ( )) sgn( ) ( ( ))
1( ( )) ( )
H s t F i f F F s t
H s t s t
( ( )) ( )
1 ( )( ( ))
H s t s tt
sH s t d
( ( ))H s t dt
La transformada de Hilbert es pot avaluar doncs com una convolució en el domini temporal (com la resta de filtres). Per tant es pot avaluar utilitzant l’algoritme FFT o bé fent una convolució discreta a l’espai gtemporal.
Transformada de HilbertTransformada de HilbertEn general escriurem el senyal analític com:
( ) ( ) ( ( ))s t s t iH s t
On s(t) és en principi un senyal arbitrari del que volem calcular l’envolventl envolvent.
El senyal analític té propietats molt importants:
. Només conté freqüències positives (“fàcil de demostrar”, substituiu una de les expressions de la diapositiva anterior en l’expressió de dalt)
. A partir de del senyal analític és molt fàcil calcular l’envolvent.
Transformada de HilbertTransformada de HilbertSuposem ara un senyal com aquest:
( ) ( )cos( )s t e t t
On e(t) és l’envolvent i conté freqüències més baixes que ω. Aleshores podeu demostrar que:
( ( )) ( )sin( )H s t e t t
Aleshores, el senyal analític s’escriu com:Aleshores, el senyal analític s escriu com:
( ) ( ) ( ( )) ( )exp( )s t s t iH s t e t i t
Finalment, podem escriure:
2 22 2( ) ( ) ( ( )) ( )e t s t H s t s t
Transformada de HilbertTransformada de HilbertEn general, definim l’envolvent d’un senyal real com:
2 2( ) ( ) ( ( )) ( )e t s t H s t s t
L t f dLa transformada de Hilbert és sempre una versió desfasada (phase-desfasada (phaseshifted) del senyal original
Modelització de dadesData Fitting
Moltes vegades ens trobarem en el cas de voler ajustar un senyal obtingut experimentalment amb una corba donada per un model teòric i què depèn d’un cert nombre de paràmetres.
Un cas senzill que ja coneixeu és el càlcul de regressions lineals.
Voldrem saber a més a més amb quin error calculem els paràmetres.
Repasarem primer alguns conceptes bàsics com ara el càlcul de valors p p g pmitjans amb dades amb pesos diferents i la propagació d’errors.
Modelització de dadesValors mitjans, incertesa
Suposem que tenim N mesures d’una certa magnitud física mesurades amb diferents precisions. És a dir, cada mesura porta associat un error diferent.
Caracteritzem aquest error per la corresponent desviació estàndard σCaracteritzem aquest error per la corresponent desviació estàndard σi.
Això vol dir que σi representa la precisió amb la que ha estat realitzada una certa mesura.certa mesura.
En aquest cas el valor mig es i el seu error es calculen de la següent manera:
2ix
2 1
21
i
21
i
i
Modelització de dadesPropagació d’errors.
Suposem que tenim una certa funció que depèn d’uns certs paràmetres calculats amb un cert error. Volem saber amb quin error calculem la funció Exemple: Volum d’una caixa:quin error calculem la funció. Exemple: Volum d una caixa:
V LWH
L’error en el càlcul del volum es pot estimar considerant
V V V
WH LH LW
V V VV L W HL W H
Desenvolupament en serie de Taylor. Si els errors són grans caldria incloure ordres superiors.
Modelització de dadesPropagació d’errors.
N l t ò i l l ò i i lNormalment però no coneixem els errors reals però si que coneixem la corresponent desviació estàndard σi. Quina σ podrem assignar a la funció que estem calculant?
Suposem, per simplificar, que tenim una funció que depèn de dos paràmetres:
( )f ( , )x f u v
En aquest cas podem escriure la variança de x com:
2 22 2 2 2x x x x
2 1 covariança entre i
x vu v u v
u u v v u v
covariança entre i i iu u v v u vN
Modelització de dadesPropagació d’errors.
L i i di i d i bl ó i d d t é di iLa covariança indica si dues variables són o no independents, és a dir, si estan correlacionades o no. Si no estan correlacionades:
2 02 0
En el cas general:En el cas general:
1( ,..., )Nx f u u
2 2
1 1
N N
x iji j
x xu u
1 1
2 1 covariança entre i
i j i j
ij i i j j i j
u u
u u u u u uN
j j j jN
Regressió linealgSuposem una situació com la que indica el dibuix, on s’han fet una serie de mesures en funció d’un cert parametre, i sospitem que existeix una relació lineal entre y i x Com calculem els paràmetres a i b per a calcular el millorlineal entre y i x. Com calculem els paràmetres a i b per a calcular el millor ajust possible?
Regressió linealE d fi i l f ió hiEs defineix la funció chi-square:
2 2 2
22 1 0iy y a bx
2 0i ii i
y a bxa b
Minimitzant aquesta funció:Minimitzant aquesta funció:
1i iy x y 2 2 2 2
2
11 1
i i i
i i i i
y x y
a bx x yx y x
2 22 2i i ii i i
i ii i
x x yx y x
2 2
1 i
i i
x
2
2 2i i
i i
x x
Regressió linealE d fi i l f ió hiEs defineix la funció chi-square:
2 2 2
22 1 0iy y a bx
2 0i ii i
y a bxa b
Minimitzant aquesta funció (mínims quadrats) s’arriba a la conclusió de queMinimitzant aquesta funció (mínims quadrats) s arriba a la conclusió de que els paràmetres a i b prenen els valors:
1i iy x y 2 2 2 2
2
11 1
i i i
i i i i
y x y
a bx x yx y x
2 22 2i i ii i i
i ii i
x x yx y x
2 2
1 i
i i
x
2
2 2i i
i i
x x
Regressió linealgLa incertesa en el càlcul del coeficients:
Si no es coneixen les incerteses, aleshores es posa σi=1 a totes les càlcul del coeficients:
22
1 ia
x
iexpressions i reescrivim les incerteses en els càlculs dels paràmetres com:
22
1 1i
b
22
2a ixN
2
2 2
1
bi
ix
2
2
2
( 2)b
N
NN
2 2
2
i i
i ix x
( 2)b
i
N
N x
2 2i i 2
i ix x
Regressió linealgCoeficient de correlació:
( )i ii
x x y yr
2 2( ) ( )
i
i ii i
rx x y y
Quan el coeficient és 1 significa que tots els punts estan al d t d l t Q l fi i t é i ifidamunt de la recta. Quan el coeficient és zero significa que no hi ha correlació.Normalment es fa ser ir com a mes ra de si l’aj st és millorNormalment es fa servir com a mesura de si l’ajust és millor o pitjor. Des del punt de vista matemàtic però es considera un indicador insuficientun indicador insuficient.
Regressió lineal Generalg
El d l li l l d i d l ü tEl model lineal general es descriu de la manera següent. Suposem que volem fer un ajust amb un model donat per:
1 1 2 2( ) ( ) ( ) ... ( )p py x c X x c X x c X x
On les funcions Xn(x) són funcions arbitràries. Tindrem un cert nombre de mesures y1,…,yN corresponents als valors
E d fi i l h l i X ( dix1,…,xn. Es defineix aleshores la matriu X (predictor variables matrix) les components de les quals venen donades per:donades per:
( )ij i jX X x
Regressió lineal Generalg
El bl l l i t i l hEl problema que volem solucionar es pot escriure aleshores en notació vectorial:
y Xc
On y és un vector de N observacions i c és un vector de p components que conté els paràmetres a ajustar. Aquests
à ’ b i i i l f ió hiparàmetres s’obtenen minimitzant la funció chi-square.
221 2
2
1ii ij j
i ji i
y y X c
Regressió lineal GeneralRegressió lineal General
Trobar la solució requereix utilitzar àlgebra de matrius (inversió), però en general és un procés “ràpid”.
Les rutines habitualment retornen els valors dels paràmetres i la matriu de covariança.
A partir dels elements diagonals de la matriu de covariança s’estima la incertesa dels valors dels paràmetres (proporciona les variances) Els elements no diagonals(proporciona les variances). Els elements no diagonals proporciona les covariances.
Regressió lineal GeneralRegressió lineal General
Si no coneixem σi aleshores reescrivim les variances dels paràmetres com:
2 21 ( 1) ( 1)
1jc i jj iCN p
( 1) element diagonal de la matriu de covariançajj iC
2 2
calculat amb 1.
( 1) calculada amb 1 i amb els valors finals de c
jj
i
j( 1) calculada amb 1 i amb els valors finals de ci i
Regressions no linealsgPer resoldre aquest tipus de problemes hi ha un mètode “standard” anomenat algoritme de Levenberg-Marquardt, basat com sempre en el mètode de
í i d tmínims quadrats.
Considerem un conjunt de dades empíriques (ti, yi), i un conjunt de paràmatres p pertanyents al model teòric donat per la funció f(t|p) Volemparàmatres p pertanyents al model teòric donat per la funció f(t|p). Volem que la següent funció sigui mínima:
22 1 ( )m
y f t p
Com tots els altres mètodes que es poden utilitzar en aquest cas com el
21
( , )i ii i
y f t
p
Com tots els altres mètodes que es poden utilitzar en aquest cas, com el “gradient descent”, o el “Gauss Newton (GNA)”, el mètode de Levenberg-Marquardt és un procés iteratiu. Per iniciar el procés, cal proporcionar uns valors inicials dels paràmetres, si pot ser relativament a prop del “valor
t ” Ai ò l di l l l i i i l i i d’ d dcorrecte”. Això vol dir per exemple, que el valor inicial sigui d’un ordre de magnitud similar al que esperem obtenir. De tota manera el mètode de LM és molt robust i pot proporcionar els valors òptims dels paràmetres fins I tot si comencem amb uns valors molt diferents dels òptims (aquest és el motiu pel
à ti t t th tilit t èt d )que pràcticament tothom utilitza aquest mètode).
Regressions no linealsEn cada iteració, el que es fa és el següent: es canvia el vector p per una nova estimació p+q.
Com calculem q?
Suposem que q és suficientment petit com per a poder escriure una aproximacióSuposem que q és suficientment petit com per a poder escriure una aproximació de primer ordre:
( ) ( )f t f t p + q p Jq( , ) ( , )i if t f t p + q p Jq
On J és la “Jacobiana”:
( , )iij
j
f tJp
p
Si hem arribat al mínim, la derivada de chi-square respecte de q ha de ser zero. Fent la derivada I igualant a zero arribem a:
jp
Regressions no lineals2
22 ( , )1( ) ( ) 0
mif ty f t q
pp + q p2
1
2
( ) ( , ) 0
( ) ( )1
ii i j
i ji j j
m
y f t qp q
f t f t
p + q p
p p2
1
( , ) ( , )1 ( , ) 0m
i ii i j
i jj i j j
f t f ty f t qq p p
p pp
2 2 2 21 1 1 1 2
( , )1( ,..., ) ( ,..., ) im m m m ij
i j
f ty y f fp
py f J
1
2
( ,..., )mq q
q
10T T T
J y f Jq q J J J y f 0 J y f Jq q J J J y f
Aquest és el punt de partida del mètode de Levenberg-Marquard. Anem a comparar aquestes expressions amb les del gradient descent i el mètodecomparar aquestes expressions amb les del gradient descent i el mètode de Newton.
Gradient descent i mètode de N tNewton
En el mètode gradient descent el que es fa és:
2 T J f2 T q J y f
Aquest mètode és el més senzill però pot tenir problemes de convergènciaAquest mètode és el més senzill però pot tenir problemes de convergència, especialment si la curbatura de la funció error és diferent en diferents direccions al voltant del mínim. Aquest mètode funciona doncs prou bé quan estem lluny del mínim, però és molt lent quan ja ens trobem a prop del mínim Per a millorar aquesta qüestió es considera el mètode de Newtonmínim. Per a millorar aquesta qüestió es considera el mètode de Newton, que té en compte el gradient i la curvatura de la funció d’error, és a dir, considera derivades segones.
Mètode de Newton
2
2 2 2 22 2
Si ens porta al mínim: 0 Considerem serie de Taylor:
( ) ( )
q p + q
p p
2 2
1
( ) ( ) 0k jkjk j k j k
qp p p p
p Hqp pp H
22
21
1( ) ( )m
T
f t
q J J p
22
1
2
( ) ( , )
( )( ) 2
i ii i
m
y f t
f t
p p
pp 21
2 2
( , )( ) 2 ( , ) ii i
ij i j
f tf t yp p
pp p
2 2 ( )
kp p
p 2
1
( , ) ( , ) ( , )2 ( , )m
i i ii i
ij i k j j k
f t f t f tf t yp p p p
p p pp
(menyspreant termes d'ordre superior)TH J J
Mètode Levenberg 1
NewtonT T T T q J J J y f J J q J y f
1
Gradient descentT T
T T
q J y f q J y f
El càlcul de lambda en cada iteració és un procés molt important. Si l’error
Levenberg: T T q J J I J y f
cà cu de a bda e cada e ac ó és u p océs o po a S e odisminueix en la següent iteració, això significa que H funciona bé i aleshores lambda es redueix en un factor 10 per reduir la influència del “gradient descent”. D’altre banda, si l’error augmenta, aleshores es convenient seguir la direcció del gradient i aleshores lambda s’incrementa en un factor 10.direcció del gradient i aleshores lambda s incrementa en un factor 10. L’algoritme de Levenberg és aleshores:
1. Calcular q.2. Avaluar l’error de p+q.3. Si l’error augmenta ens oblidem de q, multipliquem lambda per 10 I repetim els pasos 1 I 2. 4 Si l’error disminueix acceptem q I ens situem al punt p + q A més de cara a4. Si l’error disminueix acceptem q I ens situem al punt p + q. A més, de cara a la següent iteració, dividim lambda per un factor 10.
Mètode Levenberg 1
NewtonT T T T q J J J y f J J q J y f
1
Gradient descentT T
T T
q J y f q J y f
La idea doncs és utilitzar un mètode semblant al gradient descent quan estem
Levenberg: T T q J J I J y f
a dea do cs és u a u è ode se b a a g ad e desce qua es ea llunt del mínim i un mètode que es comporta com el GNA quan estem a prop del mínim.
Q l òd l d d i t d’ lí it t bl t bé l’i tQuan el mòdul de q es redueix per sota d’un límit preestablert o bé l’increment de chi-square cau per sota d’un cert limit considerarem que em arribat a la solució final.
Fixem-nos però que si lambda pren valors grans perdem informació sobre la curvatura de la funció i això suposa una convergència innecessàriament lenta. D’això se’n va adonar el senyor Marquardt. L’algoritme Levenberg-Marquardt utilitza finalment l’expressió:utilitza finalment l expressió:
Mètode Levenberg-Marquardt
1Levenberg: T T
q J J I J y f
1
Levenberg:
Levenberg-Marquardt: diagT T T
q J J I J y f
q J J J J J y f
L’algoritme LM acaba quan es verifica alguna de les següents condicions:
a go e acaba qua es e ca a gu a de es següe s co d c o s
1. Quan l’increment de l’error està per sota d’un determinat valor.2. Quan la variació relativa de q·qT està per sota d’un determinat valor.q q p3. Es supera un nombre màxim d’iteracions.
Aquest algoritme és el més utilitzat per resoldre aquest tipus de problemes i d d t t d l’à i tífi l t iindependentment de l’àrea científica a la que pertanyin.
Regressions no linealsLa matriu de covariança es construeix a partir de la Jacobiana:
1T C J J
Si no coneixem σi la matriu de covariança es multiplica per la variança dels residus σ2 :
22 1 ( , )i ii
y f tm p
p
Si no coneixem σi la matriu de covariança es multiplica per la variança dels residus σ2 i parlem aleshores de la matriu de variança-covariança σ2C. Això significa que utilitzem la dispersió de les pròpies dades per a mesurar l’errorsignifica que utilitzem la dispersió de les pròpies dades per a mesurar l error estadístic en el càlcul dels paràmetres.
Regressions no linealsSi l’ajust no és massa bo, aleshores el que es fa és calcular intervals de confidència o F-test. Aquesta tècnica és especialment útil quan s’ajusten dos
à t t tilit b d à t bit iparàmetres, encara que es pot utilitzar per un nombre de paràmetres arbitrari. L’interval de confidència ve definit per la següent igualtat:
2 20( ) ( ) 1 ( , ,1 )p F p m p
m p
p p
La funció F s’anomena F-distribution, Snedecor's F distribution o fins i tot Fisher-Snedecor distribution (en honor a R.A. Fisher i George W. Snedecor). El paràmetre α indica el grau de confidència dessitjat (exemple 0.9 pel 90%).El paràmetre α indica el grau de confidència dessitjat (exemple 0.9 pel 90%).
Podeu trobar els valors de la distribució F a molts llocs:
http://www.itl.nist.gov/div898/handbook/eda/section3/eda3673.htm
