logo-IBA logo-MU
© Institut biostatistiky a analýz
SPEKTRÁLNÍ ANALÝZA ČASOVÝCH ŘAD
prof. Ing. Jiří Holčík, CSc.
holcik@iba.muni.cz

logo-IBA logo-MU
© Institut biostatistiky a analýz
VI.
PARAMETRICKÉ METODY ODHADU VÝKONOVÉHO SPEKTRA

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
PARAMETRICKÉ METODY
þextrapolují hodnoty autokorelační funkce pro m³N (k tomu je potřeba apriorní informace o
analyzované časové řadě)
þ ß
þ parametrický model vzniku časové řady a z toho už cokoliv
þtedy: netrápí nás okna, ani prosakování spekter Þ lepší rozlišovací schopnost i při krátkých
záznamech Þ analýza časově proměnných a přechodných dějů

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
DISKRÉTNÍ KORELACE - OPAKOVÁNÍ
•
•
•
•
•
•
•
•
•

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
MODEL SIGNÁLU PRŮCHODEM LINEÁRNÍ SOUSTAVOU

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
MODEL SIGNÁLU PRŮCHODEM LINEÁRNÍ SOUSTAVOU
þje-li posloupnost x(nT), resp. y(nT) realizací stacionárního náhodného procesu, platí pro jejich
spektrální výkonové hustoty Γxx(f), resp. Γyy(f),
þ
þΓyy(f) = |H(f)|2. Γxx(f),
þ
þ kde |H(f)| je modul frekvenční charakteristiky použité lineární soustavy.
þ

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
MODEL SIGNÁLU PRŮCHODEM LINEÁRNÍ SOUSTAVOU
þJe-li x(nTvz) bílý šum s nulovou střední hodnotou, pak jeho autokorelační funkce
þ
þa
þ
þ je rozptyl posloupnosti x(nTvz), tj.
þa pro spektrální hustotu výkonu výstupní posloupnosti platí
þ

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
MODEL SIGNÁLU PRŮCHODEM LINEÁRNÍ SOUSTAVOU
þAlgoritmy parametrického odhadu výkonového spektra posloupnosti y(nTvz), nÎá0, N-1ñ obsahují:
1)odhad parametrů modelu přenosové soustavy;
2)výpočet spektrální hustoty výkonu Γyy(f) z odhadnutých parametrů

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
MODEL SIGNÁLU PRŮCHODEM LINEÁRNÍ SOUSTAVOU
þpodle charakteru modelu přenosové soustavy dělíme algoritmy na:
è
èARMA(p,q) – autoregresive-moving average řádu (p,q);
èAR(p), q=0, b0=1, H(z)=1/X(z) …
è… autoregresivní
èMA(q), X(z) = 1 Þ H(z) = Y(z) …
èmoving average

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
MODEL SIGNÁLU PRŮCHODEM LINEÁRNÍ SOUSTAVOU
þnejčastěji používaný AR model – proč?
èvhodný pro vyjádření spektra s úzkými vrcholy (rezonance)
èvýpočet parametrů vede na jednoduchou soustavu lineárních rovnic
èLacoss (1971) – (platí pro  všechny AR modely):
qspektrální vrcholy odhadu spektra harmonických posloupností pomocí AR modelu jsou úměrné čtverci
výkonu harmonických posloupností;
qplocha vrcholu výkonové spektrální hustoty je lineárně úměrná výkonu harmonické posloupnosti

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
MODEL SIGNÁLU PRŮCHODEM LINEÁRNÍ SOUSTAVOU
þdekompoziční teorém (Wold 1938)
èjakýkoliv ARMA nebo MA proces může být jednoznačně reprezentován AR modelem max. ¥ řádu;
èjakýkoliv ARMA nebo AR proces lze reprezentovat MA modelem max. ¥ řádu;
èß
èje nám jedno, co použijeme za model, jen by měl mít co nejméně parametrů, které se snadno počítají

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
ZÁKLADNÍ VZTAHY MEZI PARAMETRY MODELU A AUTOKORELAČNÍ POSLOUPNOSTÍ
•ARMA:
•
•
•
•
•
•
•předpokládáme kauzální filtr
•gxy(mTvz) … vzájemná korelační posloupnost mezi x(nTvz) a y(nTvz)

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
ZÁKLADNÍ VZTAHY MEZI PARAMETRY MODELU A AUTOKORELAČNÍ POSLOUPNOSTÍ
ARMA (pokračování):
nelineární vztah mezi gyy(mTvz) a parametry ak a bk

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
ZÁKLADNÍ VZTAHY MEZI PARAMETRY MODELU A AUTOKORELAČNÍ POSLOUPNOSTÍ
ARMA (pokračování):
lze rozdělit na lineární vztah pro určení parametrů ak, m > q
a nelineární vztah pro 0 £ m £ q
jiná interpretace:
hodnoty autokorelační posloupnosti gyy(mTvz), m>q jsou jednoznačně určeny koeficienty
charakteristického polynomu ak a hodnotami gyy(mTvz), 0£m£p
z toho plyne, že lineární model automaticky definuje hodnoty autokorelační posloupnosti gyy(mTvz)
pro m>q

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
ZÁKLADNÍ VZTAHY MEZI PARAMETRY MODELU A AUTOKORELAČNÍ POSLOUPNOSTÍ
•AR:

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
ZÁKLADNÍ VZTAHY MEZI PARAMETRY MODELU A AUTOKORELAČNÍ POSLOUPNOSTÍ
•AR:
•Yule-Walkerovy rovnice

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
ZÁKLADNÍ VZTAHY MEZI PARAMETRY MODELU A AUTOKORELAČNÍ POSLOUPNOSTÍ
•MA:

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
AR MODELY
þYule – Walkerova metoda
þvýpočet odhadu autokorelace ze signálové posloupnosti y(nTvz) a pomocí tohoto odhadu odhad
parametrů      AR modelu
þužitečnosti:
1)odhad AKF
2)řešení Yule-Walkerových rovnice;
3)odhad výkonové spektrální hustoty

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
GEORGE UDNY YULE, FRS
þ* 18.2.1871, Morham, Skotsko, U.K.
þ… 26.6. 1951 Cambridge, Anglie, U.K.
þbritský statistik, pocházel z uznávané skotské rodiny vědců, důstojníků, úředníků a správců. Jeho
strýc byl orientalista Sir Henry Yule (1820-1889) þzájmy: teorie a aplikace korelace, regrese
především ve spojení s časovými řadami
þ
þ
http://www.sef.hku.hk/~wsuen/ls/immortal/y1pic.jpg
•Frank Yates v jeho nekrologu uvedl: “To summarize we may, I think, justly conclude that though
Yule did not fully develop any completely new branches of statistical theory, he took the first
steps in many directions which were later to prove fruitful lines for further progress… He can
indeed rightly claim to be one of the pioneers of modern statistics”.

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
SIR GILBERT THOMAS WALKER
þ* 14.6.1868 Rochdale, Lancashire, Anglie
þ… 4.11.1958 Coulsdon, Surrey, Anglie
þpřední britský matematik, fyzik a meteorolog þWalker Institute for Climate System Research þznám
především popisem tzv. jižních oscilací, klimatického jevu způsobeného mořským proudem El Niño
•He was a very normal human being, with none of the proverbial eccentricities of mathematicians
among whom he ranked high. This normality itself is perhaps a great and likable distinction
(Sohoni, 1959)
http://www.imperial.ac.uk/centenary/flash/timeline/images/people/small/1924_walker.jpg

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
AR MODELY
þYule – Walkerova metoda
þad 1)
þ
þ
þÞ autokorelační matice je pozitivně semidefinitní
þÞ výsledný AR model bude stabilní
þÞ předpokládá se, že stabilní AR model reprezentuje data nejlépe (!?)

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
AR MODELY
þYule – Walkerova metoda
þad 3)
þ
þ
þ
þ
þ
þje odhad minimální střední kvadratické odchylky prediktoru p-tého řádu

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
AR MODELY
þYule – Walkerova metoda
þad 2) řešení Yule-Walkerových rovnic
þ
þLEVINSONŮV – DURBINŮV
þALGORITMUS
þ

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
NORMAN LEVINSON
þ* 11.8.1912 Lynn, MA, USA -
þ… 10.10.1975 Boston, MA, USA
þamerický elektrotechnik a matematik
þzájmy: Fourierova transformace, komplexní analýza, nelineární diferenciální rovnice, teorie čísel,
zpracování signálů, Levinsonův algoritmus (1947) þstudia: M.I.T., Master degree in E.E. (1934), PhD
stipendium – Cambridge, PhD degree M.I.T. - matematika
þzaměstnán: M.I.T.
þučitel a spolupracovník: N. Wiener
http://apprendre-math.info/history/photos/Levinson_2.jpeg

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
JAMES DURBIN
þ* 30.6.1923, Widnes, Anglie, U.K. - … 23.6.2012 Londýn, U.K.
-britský statistik, ekonometrik
þstudium: St John’s College Cambridge
þ(spolužák David Cox), učitel Sir Maurice Kendall (Kendalův korelační koeficient
þ
þ
þC je počet shodných párů a D je počet neshodných párů)
James Durbin.jpg
•zaměstnání: London School of Economics (1950-1988)
•zájmy: analýza časových řad, korelace časových řad, vylepšil Levinsonův algoritmus (1960)
•

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
LEVINSONŮV – DURBINŮV ALGORITMUS
þefektivní rekurzivní algoritmus výpočtu koeficientů ak, k=1,…,p z Y.-W.rovnic využívající
skutečnosti, že autokorelační matice má vlastnosti Toeplicovy matice (T(i,j)=t(i-j))
þ
þ
þ
þpracnost L.-D. algoritmu je O(p2)
þpracnost Gaussovy eliminační metody je O(p3)

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
LEVINSONŮV – DURBINŮV ALGORITMUS
þdopředná lineární predikce
þnormální rovnice:
þ   l=1,2,…,p; ap(0)=1
þ
þvýsledná minimální MSE
þ
þ
þrozšířené normální rovnice:
þ
þ

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
þvýpočet je rekurzivní, vychází z řešení systému 1. řádu a výsledky pro systém i-tého řádu se
odvozují z řešení (i-1). řádu
þsystém 1. řádu
þ p=1
LEVINSONŮV – DURBINŮV ALGORITMUS

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
þsystém 2. řádu
þ p=2      [ hledáme a2(1) a a2(2), a2(0)=1 ]
þ
LEVINSONŮV – DURBINŮV ALGORITMUS
•l = 1
•
•l = 2 = p

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
þsystém 2. řádu (pokračování)
þ p=2
þ
LEVINSONŮV – DURBINŮV ALGORITMUS

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
þobecně:
þ
LEVINSONŮV – DURBINŮV ALGORITMUS

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
þpoznámky + užitečnosti + zajímavosti
þL.-D. algoritmus poskytuje odhad parametrů AR systému nejen pro požadovaný řád, nýbrž i pro
všechny nižší řády;
þjak se správný řád pozná:
þsk2 = Ekf se v další iteraci přestane zmenšovat, resp. ap+1(k)=ap(k) pro k=1,2,..,p a tím
ap+1(p+1)=0
þ obecně pro proces AR(p) ak(k)=0 a σk2 = σp2 pro k>p
LEVINSONŮV – DURBINŮV ALGORITMUS

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
þpoznámky + užitečnosti + zajímavosti
þparametry {a1(1),a2(2),…, ap(p)} se často nazývají koeficienty reflexe Kk (název souvisí s
realizací predikčních algoritmů mřížkovou strukturou);
þ pokud {gyy(0), gyy(1), ,…, gyy(p)} je skutečná autokorelační posloupnost, tj. AK matice je
pozitivně semidefinitní, pak
þ|ak(k)|=|K(k)| £ 1 pro k=1, 2, …,p;
þ důsledky:
èσk+12 £ σk2, to znamená, že σk2 dosáhne minima právě při správném řádu;
ènutnou a postačující podmínkou, aby póly X(z) ležely uvnitř nebo na jednotkové kružnici v rovině z
je |K(k)| £ 1 pro k=1, 2, …,p Þ AR systém je stabilní;
èje-li |K(k)| = 1 pro některé k, pak je třeba rekurzi ukončit, protože σk2=0 … v tom případě je
proces ryze harmonický
è
þ
LEVINSONŮV – DURBINŮV ALGORITMUS

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
skenování0012.jpg
þpoznámky + užitečnosti + zajímavosti
þpokud by byl L.-D. algoritmus implementován pomocí paralelního procesoru s optimálním počtem
jednotek, je pracnost algoritmu O(p.log2p);
þpři odhadu výkonového spektra harmonických posloupností pomocí AR modelu jsou spektrální vrcholy
AR spektra úměrné čtverci výkonu harmonických posloupností;
þplocha pod spektrálními vrcholy výkonové spektrální hustoty je lineárně úměrná výkonu harmonické
posloupnosti;
þblokové schéma L.-D. algoritmu
þ
è
þ
LEVINSONŮV – DURBINŮV ALGORITMUS

levy-panel-IBA-se-zavojem logo-IBA-transparent logo-MU
© Institut biostatistiky a analýz
skenování0012.jpg
þpoznámky + užitečnosti + zajímavosti
þpokud by byl L.-D. algoritmus implementován pomocí paralelního procesoru s optimálním počtem
jednotek, je pracnost algoritmu O(p.log2p);
þpři odhadu výkonového spektra harmonických posloupností pomocí AR modelu jsou spektrální vrcholy
AR spektra úměrné čtverci výkonu harmonických posloupností;
þplocha pod spektrálními vrcholy výkonové spektrální hustoty je lineárně úměrná výkonu harmonické
posloupnosti;
þblokové schéma L.-D. algoritmu
þ
è
þ
LEVINSONŮV – DURBINŮV ALGORITMUS
•A JE TO!
http://t0.gstatic.com/images?q=tbn:ANd9GcT7Gbrm3N9DU_Sp5M4iaukCadk65Y1ZLq7g8cVIJtp0Yv3thlQ&t=1&usg=
__KUGXfKBeAp3rwKqLyeFVLbjBbkI=