Stochastické modely časových řad
RNDr. Marie Forbelská, Ph.D.
Beveridge Wheat Price Index, 1500-1869
n = 370
1500 1550 1600 1650 1700 1750 1800 1850
0
50
100
150
200
250
300
350
Ústav matematiky a statistiky
Přírodovědecká fakulta Masarykovy univerzity Brno
říjen 2013
Tento učební text vznikl za přispění Evropského sociálního fondu a státního rozpočtu ČR prostřednictvím
Operačního programu Vzdělávání pro konkurenceschopnost v rámci projektu Univerzitní výuka
matematiky v měnícím se světě (CZ.1.07/2.2.00/15.0203).
KAPITOLA 1
Teoretické základy náhodných procesů
1. Úvod
V praktickém životě se setkáváme s velkým množstvím náhodných jevů, které se uskutečňují v čase. Matematickým
modelem těchto jevů mohou být náhodné procesy.
Pojem náhodného procesu je zobecněním pojmu náhodné veličiny. Zatímco náhodná veličina je reálná
funkce jedné proměnné – elementárního jevu, je náhodný proces reálnou funkcí dvou proměnných – elementárního
jevu a jedné reálné proměnné. Tou obvykle bývá čas.
K nejstarším záznamům ve tvaru časových řad patří astronomická pozorování. Grafická znázornění časových
řad v podobě, na kterou jsme zvyklí teď, se začala objevovat na počátku 19. století (např. záznamy zemědělské
produkce - známá Beveridgeova řada popisující cenový index pšenice v západní Evropě v letech 1500-1869).
n = 370
1500 1550 1600 1650 1700 1750 1800 1850
0
50
100
150
200
250
300
350
Obrázek 1. Beveridge Wheat Price Index, 1500-1869
V praktických situacích se setkáváme s mnoha náhodnými procesy. Například
∙ ve fyzikálních a technických vědách:
seismický záznam v geofyzice,
řada nejvyšších denních teplot v meterologii,
průběh výstupního signálu určitého elektrického přístroje,
tenzometrické měření povrchového napětí v provozu namáhané strojní součástky,
změny v tloušťce drátu v průběhu jeho délky,
změny v počtu výzev na určité telefonní lince, atd.;
∙ v biologických vědách:
sledování různých parametrů znečištění ovzduší,
EEG, EKG záznamy v medicině,
procesy množení (např. bakterií), apod.
∙ ve společenských vědách:
změny v počtu obyvatelstva,
procesy mortality a invalidity obyvatelstva, aj.;
∙ vekonomice
změny poptávky po určitém výrobku,
analýza vývoje kursu akcií na burze,
objem zemědělské produkce,
počet čekajících v letecké dopravě, atd.
Tyto procesy, napohled rozmanité, lze jednotně popsat matematickým pojmem náhodného (stochastického)
procesu. Ta část matematické statistiky, která se zmíněnými procesy zabývá, se také nazývá statistickou
dynamikou.
1
2 M5201 Stochastické modely časových řad
Cílem analýzy náhodných procesů je konstrukce odpovídajícího modelu, což umožní porozumět mechanismu,
na jehož základě jsou generovány sledované údaje. Znalost modelu dále umožňuje předpovídat budoucí
vývoj a je-li možné řídit a optimalizovat činnost příslušného systému (vhodnou volbou vstupních parametrů a
počátečních podmínek).
2. Definice náhodného procesu
Definice 2.1. Nechť je dán pravděpodobnostní prostor (Ω, 𝒜, 𝑃), indexová množina 𝑇 ⊆ R a reálná funkce
𝑋 : Ω × 𝑇 → R definovaná pro ∀𝜔 ∈ Ω a ∀𝑡 ∈ 𝑇.
Jestliže pro ∀𝑡 ∈ 𝑇 je 𝑋(𝜔, 𝑡) borelovsky měřitelná funkce vzhledem k 𝒜 (tj. pro ∀𝐵 ∈ ℬ, ∀𝑡 ∈ 𝑇 platí
𝑋−1(𝐵) = {𝜔 ∈ Ω : 𝑋(𝜔, 𝑡) ∈ 𝐵} ∈ 𝒜, kde ℬ je 𝜎-algebra borelovských podmnožin), pak tuto funkci nazýváme
(𝑛-rozměrným) náhodným procesem.
Náhodný proces 𝑋(𝜔, 𝑡) při pevném 𝜔 ∈ Ω se nazývá realizace (trajektorie) procesu. Pravděpodobnostní
míru 𝑃 𝑋(𝐵) = 𝑃(𝑋−1(𝐵)) nazýváme rozdělení pravděpodobností náhodného procesu 𝑋(𝜔, 𝑡).
Poznámka 2.2. Obdobně jako u náhodných veličin, kdy místo 𝑋(𝜔), 𝜔 ∈ Ω píšeme pouze 𝑋, u náhodných
procesů místo {𝑋(𝜔, 𝑡), 𝜔 ∈ Ω, 𝑡 ∈ 𝑇} píšeme {𝑋𝑡, 𝑡 ∈ 𝑇}.
Definice 2.3. Pokud indexová množina 𝑇 = Z = {0, ±1, ±2, . . .} nebo 𝑇 ⊂ Z, mluvíme o procesu
s diskrétním časem nebo o časové řadě či náhodné posloupnosti. Pokud indexová množina 𝑇 = ⟨𝑡1, 𝑡2⟩,
kde −∞ ≤ 𝑡1 < 𝑡2 ≤ +∞, říkáme, že {𝑋𝑡, 𝑡 ∈ 𝑇} je náhodný proces se spojitým časem. Dvojice (S, 𝒮),
kde S je množina hodnot náhodných veličin 𝑋𝑡 a 𝒮 je 𝜎-algebra podmnožin S, se nazývá stavový prostor
procesu {𝑋𝑡, 𝑡 ∈ 𝑇}. Pokud náhodné veličiny 𝑋𝑡 nabývají pouze diskrétních hodnot, říkáme, že jde o proces
s diskrétními stavy. Nabývá-li hodnot z nějakého intervalu, mluvíme o procesu se spojitými stavy.
Rozdělení pravděpodobností 𝑃 𝑋 náhodného procesu {𝑋𝑡, 𝑡 ∈ 𝑇} jednoznačně definuje rozdělení každého
𝑛-rozměrného náhodného vektoru X = (𝑋𝑡1 , . . . , 𝑋𝑡 𝑛 )′, kde 𝑡1, . . . , 𝑡 𝑛 jsou libovolné body z množiny 𝑇.
Definice 2.4. Nechť 𝑇 𝑛 je množina všech vektorů
𝑇 𝑛
= {t = (𝑡1, . . . , 𝑡 𝑛)′
: 𝑡1 ≤ 𝑡2 ≤ · · · ≤ 𝑡 𝑛; 𝑡𝑖 ∈ 𝑇; 𝑖 = 1, . . . , 𝑛}.
Pak (konečně dimenzionální) distribuční funkcí náhodného procesu rozumíme funkci
𝐹t(x) = 𝐹𝑡1,...,𝑡 𝑛 (𝑥1, . . . , 𝑥 𝑛) = 𝑃(𝑋𝑡1 ≤ 𝑥1, . . . , 𝑋𝑡 𝑛 ≤ 𝑥 𝑛)
= 𝑃Xt ((−∞, 𝑥1 >, . . . , (−∞, 𝑥 𝑛 >)
pro ∀t = (𝑡1, . . . , 𝑡 𝑛)′ ∈ 𝑇 𝑛 a ∀x = (𝑥1, . . . , 𝑥 𝑛)′ ∈ R 𝑛.
Pro různá 𝑛 a pro různé hodnoty 𝑡1, . . . , 𝑡 𝑛 dostáváme celý systém distribučních funkcí, označme jej ℱ,
který nemůže být úplně libovolný, ale zřejmě musí splňovat tzv. Kolmogorovy podmínky konzistence
(K1) Podmínka symetrie: pro libovolnou permutaci 𝑖1, . . . , 𝑖 𝑛 čísel 1, . . . , 𝑛 platí
𝐹𝑡 𝑖1
,...,𝑡 𝑖 𝑛
(𝑥𝑖1 , . . . , 𝑥𝑖 𝑛 ) = 𝐹𝑡1,...,𝑡 𝑛 (𝑥1, . . . , 𝑥 𝑛).
(K2) Podmínka konzistence:
𝐹𝑡1,...,𝑡 𝑛,𝑡 𝑛+1 (𝑥1, . . . , 𝑥 𝑛, ∞) = 𝐹𝑡1,...,𝑡 𝑛 (𝑥1, . . . , 𝑥 𝑛).
Každému náhodnému procesu lze tedy přiřadit konzistentní systém distribučních funkcí. K danému konzistentnímu
systému distribučních funkcí existuje vždy takový náhodný proces, že jeho systém distribučních
funkcí je totožný se zadaným systémem, což říká následující věta, kterou uvedeme bez důkazu (lze najít v knize
Neubrunn, Riečan, 1981, [20]).
Věta 2.5. Kolmogorova věta
K systému distribučních funkcí, které splňují Kolmogorovy podmínky konzistence, existuje pravděpodobnostní
prostor (Ω, 𝒜, 𝑃) a náhodný proces {𝑋𝑡, 𝑡 ∈ 𝑇} tak, že ℱ je jeho systémem distribučních funkcí.
Příklad 2.1. Výpočet distribuční funkce náhodného procesu. Mějme náhodnou veličinu
𝑈 ∼ 𝑁(0, 1)
a označme
Φ(𝑢) = 𝑃(𝑈 ≤ 𝑢); 𝑢 ∈ R.
Pro 𝑡 ∈ 𝑇 ⊆ R zaveďme
𝑋𝑡 = 𝑈 · 𝑡.
RNDr. Marie Forbelská, Ph.D. 3
Vypočítejme distribuční funkci
𝐹𝑡(𝑥)= 𝑃(𝑋𝑡 ≤ 𝑥)= 𝑃(𝑈 · 𝑡 ≤ 𝑥)=
⎧
⎪⎪⎨
⎪⎪⎩
0 𝑡 = 0, 𝑥 ≤ 0,
1 𝑡 = 0, 𝑥 > 0,
𝑃(𝑈 ≥ 𝑥
𝑡 ) = 1 − Φ( 𝑥
𝑡 ) 𝑡 < 0, 𝑥 ∈ R,
𝑃(𝑈 ≤ 𝑥
𝑡 ) = Φ( 𝑥
𝑡 ) 𝑡 > 0, 𝑥 ∈ R.
2.1. Příklady náhodných procesů.
Příklad 2.2. Sinusoida s náhodnou fází a amplitudou. Nechť 𝐴 a 𝜃 jsou nezávislé náhodné veličiny
∙ 𝐴 je nezáporná náhodná veličina: 𝐴 ≥ 0,
∙ 𝜃 má rovnoměrné rozdělení: 𝜃 ∼ 𝑅𝑠(0, 2𝜋).
Náhodný proces {𝑋𝑡, 𝑡 ∈ 𝑇} může být definován takto:
𝑋𝑡 = 𝑟−1
𝐴 cos(𝜈𝑡 + 𝜃), 𝜈 ≥ 0, 𝑟 > 0.
n = 300
1 51 101 151 201 251 301
−2
−1
0
1
2
Obrázek 2. Sinusoida s náhodnou fází a amplitudou (𝐴 ∼ 𝜒2(2), 𝑟 = 4, 𝜈 = 𝜋
2 ).
Příklad 2.3. Binární proces {𝑋𝑡, 𝑡 = 1, 2, . . .} je posloupnost nezávislých alternativních náhodných pro-
měnných:
𝑋𝑡 ∼ 𝐴
(︁
1
2
)︁
.
n = 300
1 51 101 151 201 251 301
0
1
Obrázek 3. Binární proces: 𝑋𝑡 ∼ 𝐴
(︁
1
2
)︁
.
Příklad 2.4. Náhodná procházka {𝑋𝑡, 𝑡 = 1, 2, . . .} je definována takto:
𝑋0 = 0, 𝑋𝑡 = 𝑋𝑡−1 + 𝜀𝑡,
kde 𝜀𝑡 jsou nezávislé stejně rozdělené náhodné veličiny s nulovou střední hodnotou a konstantním rozptylem,
tj. 𝜀𝑡 ∼ ℒ(0, 𝜎2).
4 M5201 Stochastické modely časových řad
n = 300
1 51 101 151 201 251 301
0
5
10
15
20
Obrázek 4. Náhodná procházka: 𝜀𝑡 ∼ 𝑁(0, 1).
3. Stochastické procesy druhého řádu
3.1. Striktní a slabá stacionarita.
Definice 3.1. Řekneme, že náhodný proces {𝑋𝑡, 𝑡 ∈ 𝑇} je striktně stacionární, jestliže pro ∀t =
(𝑡1, . . . , 𝑡 𝑛) ∈ 𝑇 𝑛 a pro ∀𝜏 = (𝑡1 + ℎ, . . . , 𝑡 𝑛 + ℎ) ∈ 𝑇 𝑛 platí
𝐹t(x) = 𝐹𝑡1,...,𝑡 𝑛 (𝑥1, . . . , 𝑥 𝑛) = 𝐹 𝜏1,...,𝜏 𝑛 (𝑥1, . . . , 𝑥 𝑛) = 𝐹 𝜏 (x).
Rovnost lze interpretovat tak, že základní pravděpodobnostní charakteristiky procesu se nemění při posunutí
v čase.
Definice 3.2. Existuje-li pro ∀𝑡 ∈ 𝑇 střední hodnota 𝐸𝑋𝑡, pak nazýváme funkci
𝜇𝑡 = 𝐸𝑋𝑡
střední hodnotu náhodného procesu.
Definice 3.3. Náhodný proces {𝑋𝑡, 𝑡 ∈ 𝑇} nazýváme procesem druhého řádu, jestliže pro ∀𝑡 ∈ 𝑇 platí
𝐸𝑋2
𝑡 < ∞
a říkáme, že náhodný proces má konečné druhé momenty.
Poznámka 3.4. Pokud 𝐸𝑋2
𝑡 < ∞, pak ze Schwarzovy nerovnosti plyne
𝐸|𝑋𝑡| ≤ (𝐸|1|2 · 𝐸|𝑋𝑡|2)
1
2 = (𝐸|𝑋𝑡|2)
1
2 < ∞,
tj. existuje střední hodnota 𝐸𝑋𝑡 = 𝜇𝑡
a rozptyl 𝐷𝑋𝑡 = 𝐸𝑋2
𝑡 − (𝐸𝑋𝑡)2 = 𝜎2
𝑡 .
Definice 3.5. Uvažujme náhodný proces {𝑋𝑡, 𝑡 ∈ 𝑇}, který má konečné druhé momenty. Pak funkci
𝛾(𝑠, 𝑡) = 𝐶(𝑋 𝑠, 𝑋𝑡) = 𝐸(𝑋 𝑠 − 𝐸𝑋 𝑠)(𝑋𝑡 − 𝐸𝑋𝑡)
nazveme autokovarianční funkcí a funkci
𝜌(𝑠, 𝑡) =
𝐶(𝑋 𝑠, 𝑋𝑡)
√
𝐷𝑋 𝑠 𝐷𝑋𝑡
=
𝛾(𝑠, 𝑡)
√︀
𝛾(𝑠, 𝑠)𝛾(𝑡, 𝑡)
nazveme autokorelační funkcí.
Poznámka 3.6. Tyto reálné funkce dvou proměnných dávají informaci o lineárním vztahu mezi jakoukoliv
dvojicí náhodných veličin 𝑋 𝑠 a 𝑋𝑡. Autokavariační funkce nabývá hodnoty od mínus do plus nekonečna a
její velikost závisí na měrných jednotkách náhodných veličin. Naproti tomu autokorelační funkce je normovanou
autokovariancí, nabývá hodnot od mínus jedné do jedné a není závislá na měrných jednotkách.
Definice 3.7. Náhodný proces {𝑋𝑡, 𝑡 ∈ 𝑇} nazýváme stacionární ve střední hodnotě, pokud pro ∀𝑡 ∈ 𝑇
je střední hodnota konstantní, tj. 𝐸𝑋𝑡 = 𝜇. Pokud 𝐸𝑋𝑡 = 0, náhodný proces nazýváme centrovaným.
Náhodný proces {𝑋𝑡, 𝑡 ∈ 𝑇} se nazývá kovariančně stacionární, pokud pro ∀𝑡, 𝑠 ∈ 𝑇 platí
𝛾(𝑠, 𝑡) = 𝛾(0, |𝑠 − 𝑡|) což budeme také psát ve formě 𝛾(𝑠, 𝑡) = 𝛾(𝑠 − 𝑡),
tj. autokovarianční funkce závisí na svých argumentech pouze prostřednictvím jejich rozdílů.
Náhodný proces {𝑋𝑡, 𝑡 ∈ 𝑇} se nazývá (slabě) stacionární, je-li stacionární ve střední hodnotě a
kovariančně stacionární.
RNDr. Marie Forbelská, Ph.D. 5
Poznámka 3.8. Bez újmy na obecnosti můžeme pracovat s centrovanými náhodnými procesy, neboť pro libovolná
reálná čísla 𝑎, 𝑏 ∈ R platí
𝐶(𝑋 𝑠 + 𝑎, 𝑋𝑡 + 𝑏) = 𝐸[(𝑋 𝑠 + 𝑎) − 𝐸(𝑋 𝑠 + 𝑎)][(𝑋𝑡 + 𝑏) − 𝐸(𝑋𝑡 + 𝑏)]
= 𝐸(𝑋 𝑠 − 𝐸𝑋 𝑠)(𝑋𝑡 − 𝐸𝑋𝑡) = 𝐶(𝑋 𝑠, 𝑋𝑡) = 𝛾(𝑠, 𝑡)
Poznámka 3.9. Protože 𝐶(𝑋 𝑠, 𝑋𝑡) = 𝐶(𝑋𝑡, 𝑋 𝑠), pak pro kovariančně stacionární procesy platí 𝛾(−𝑡) = 𝛾(𝑡)
a všechny náhodné veličiny 𝑋𝑡 mají tentýž konečný rozptyl
𝐷𝑋𝑡 = 𝐶(𝑋𝑡, 𝑋𝑡) = 𝛾(𝑡 − 𝑡) = 𝛾(0).
Ze Schwarzovy nerovnosti dále plyne
|𝛾(𝑡)| = |𝐶(𝑋0, 𝑋𝑡)|≤
√︀
𝐷𝑋0 𝐷𝑋𝑡 = 𝛾(0).
Poznámka 3.10. Přívlastek slabě se většinou vynechává. Lze snadno ukázat, že je-li proces striktně stacionární,
je také stacionární. Opačná implikace však neplatí.
Poznámka 3.11. Nechť náhodný proces {𝑋𝑡, 𝑡 ∈ 𝑇} je stacionární. Označme
𝛾(0) = 𝜎2
,
pak autokorelační funkce stacionárního náhodného procesu bude mít tvar
𝜚(𝑡) =
𝛾(𝑡)
𝜎2
=
𝛾(𝑡)
𝛾(0)
.
3.2. Grafické ukázky náhodných procesů.
Příklad 3.5. Ukázky (slabě) stacionárních časových řad. Na následujících dvou grafech jsou vykresleny
dvě slabě stacionární časové řady.
Willamette river, Monthly, Salem, Oregon, Oct. 1950 − Aug. 1983
1950 1955 1960 1965 1970 1975 1980
8.59.510.511.5
n = 395
Mitchell soil temperature, Nebraska (1976−1992)
n = 204
1980 1985 1990
−5051020
Obrázek 5. Stacionární časové řady
Příklad 3.6. Ukázky nestacionarity ve střední hodnotě. Dva další grafy zobrazují typické časové řady,
které mají nestacionární střední hodnotu. První se vyznačuje lineárním trendem, u druhé je tzv. sigmoidní
trend (tzv. růstová křivka).
6 M5201 Stochastické modely časových řad
Global mean land−ocean temperature deviations
Observation Number
1880 1900 1920 1940 1960 1980 2000
−0.40.00.20.40.6
n = 130
0 50 100 150
0.00.40.81.2
Sigmoid Growth
Obrázek 6. Časové řady nestacionární ve střední hodnotě.
Příklad 3.7. Ukázka nestacionarity v autokovariační funkci. V dalších dvou grafech je vyobrazena
nestacionarita v korelaci, kdy dochází ke skokové změně autokorelační funkce.
0 50 100 150
−4−20246
positive autocorrelation negative
autocorrelation
ρ = 0.85 ρ = −0.85
0 50 100 150
−3−101234
positive
autocorrelation
negative
autocorrelation
negative
autocorrelation
ρ = 0.5 ρ = −0.15 ρ = −0.85
Obrázek 7. Časové řady nestacionární v autokovariační funkci.
RNDr. Marie Forbelská, Ph.D. 7
Příklad 3.8. Ukázky nestacionarity v rozptylu. Velmi častými jsou případy, kdy dochází ke změně rozptylu
během času.
UK Quarterly Gas Consumption, 1960 − 1986
Observation Number
1960 1965 1970 1975 1980 1985
2006001000
Monthly US electricity production, 1973 − 2005
Observation Number
1975 1980 1985 1990 1995 2000 2005
150000250000350000
n = 396
Obrázek 8. Časové řady nestacionární v rozptylu.
Definujme nyní náhodné procesy, které budou hrát důležitou roli v aplikacích.
Definice 3.12. Řekneme, že náhodný proces {𝜀𝑡, 𝑡 ∈ 𝑇} je bílým šumem (White Noise), jestliže 𝜀𝑡 jsou
nekorelované náhodné veličiny s nulovou střední hodnotou, tj.
𝐸𝜀𝑡 = 0, 𝐷𝜀𝑡 = 𝜎2
, 𝐶(𝜀𝑡, 𝜀 𝑠) = 0 (𝑠 ̸= 𝑡),
značíme
𝜀𝑡 ∼ 𝑊 𝑁(0, 𝜎2
).
Pokud jsou navíc nejen nekolerované, ale i nezávislé, značíme je symbolem IID (independent identical defined),
píšeme
𝜀𝑡 ∼ 𝐼𝐼𝐷(0, 𝜎2
).
Věta 3.13. Náhodné procesy 𝜀𝑡 ∼ 𝑊 𝑁(0, 𝜎2) a 𝜀𝑡 ∼ 𝐼𝐼𝐷(0, 𝜎2) jsou stacionárními náhodnými procesy.
Důkaz. Zřejmý.
Definice 3.14. Náhodný proces {𝑋𝑡, 𝑡 ∈ 𝑇} se nazývá gaussovským (normálním), jestliže pro každé
přirozené 𝑛 a libovolná čísla 𝑡 𝑗 ∈ 𝑇, 𝑗 = 1, . . . , 𝑛, je jeho 𝑛-rozměrná distribuční funkce 𝐹𝑡1,...,𝑡 𝑛 (𝑥1, . . . , 𝑥 𝑛)
distribuční funkcí 𝑛-rozměrného normálního rozdělení.
Věta 3.15. Gaussův náhodný proces {𝑋𝑡, 𝑡 ∈ 𝑇} je stacionární, právě když je striktně stacionární.
Důkaz. Je triviální a plyne z vlastností normálního rozdělení.
8 M5201 Stochastické modely časových řad
Příklad 3.9. Grafická ukázka simulovaného bílého šumu s normálním rozdělením.
𝜀𝑡 = 𝜂𝑡 − 𝜇 ∼ 𝑊 𝑁(0, 𝜎2
𝜀 )
kde 𝜂𝑡 ∼ 𝑁(𝜇 = 1, 𝜎2 = 1)
hustota: 𝑓 𝜂(𝑥) = 1√
2𝜋𝜎2
exp {−1
2
(𝑥−𝜇)2
𝜎2 } pro 𝑥 ∈ R
střední hodnota: 𝐸𝜂𝑡 = 𝜇
rozptyl: 𝐷𝜂𝑡 = 𝜎2 = 𝜎2
𝜀
−2 0 2 4
0.00.10.20.30.4
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
qq
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
qq
q
q
q
q
q
q
qq
q
q
q
q
q
qq
q
q
qq
q
q
q
q
q
q
qq
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
0 50 100 150 200 250 300
−3−2−10123
Obrázek 9. Gausovský bílý šum.
Příklad 3.10. Ukázka bílého šumu s exponenciálních rozdělením.
𝜀𝑡 = 𝜂𝑡 − 𝜇 ∼ 𝑊 𝑁(0, 𝜎2
𝜀 )
kde 𝜂𝑡 ∼ 𝐸𝑥𝑝(𝜇 = 1)
hustota: 𝑓 𝜂(𝑥) = 1
𝜇 exp {−1
𝜇 𝑥} pro 𝑥 ≥ 0
střední hodnota: 𝐸𝜂𝑡 = 𝜇
rozptyl: 𝐷𝜂𝑡 = 𝜇2 = 𝜎2
𝜀
0 2 4 6
0.00.20.40.60.81.0
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
qq
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
qqq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
qq
0 50 100 150 200 250 300
−10123456
Obrázek 10. Bílý šum s exponenciálním rozdělením.
Příklad 3.11. Bílý šum s Beta rozdělením.
RNDr. Marie Forbelská, Ph.D. 9
𝜀𝑡 = 𝜂𝑡 − 𝜇 ∼ 𝑊 𝑁(0, 𝜎2
𝜀 )
kde 𝜂𝑡 ∼ 𝐵𝑒𝑡𝑎(𝑎 = 1.25, 𝑏 = 1.25)
hustota: 𝑓 𝜂(𝑥) = Γ(𝑎+𝑏)
Γ(𝑎)Γ(𝑏) 𝑥 𝑎−1(1 − 𝑥) 𝑏−1 pro 𝑥 ∈ (0, 1)
střední hodnota: 𝐸𝜂𝑡 = 𝜇 = 𝑎
𝑎+𝑏
rozptyl: 𝐷𝜂𝑡 = 𝑎𝑏
(𝑎+𝑏)2(𝑎+𝑏+1)
= 𝜎2
𝜀
−0.4 −0.2 0.0 0.2 0.4
0.00.20.40.60.81.01.2
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
0 50 100 150 200 250 300
−0.4−0.20.00.20.4
Obrázek 11. Bílý šum s Beta rozdělením.
Definice 3.16. Řekneme, že náhodný proces {𝑋𝑡, 𝑡 ∈ 𝑇} splňuje lineární regresní model, pokud pro
jeho střední hodnotu platí
∀𝑡 ∈ 𝑇 : 𝐸𝑋𝑡 = 𝜇𝑡 =
𝑚∑︁
𝑗=0
𝛽 𝑗 𝑓 𝑗(𝑡),
kde 𝑓0, . . . , 𝑓 𝑚 jsou známé funkce definované na 𝑇, 𝛽 = (𝛽0, . . . , 𝛽 𝑚)′ je neznámý vektor regresních koefici-
entů.
Příklad 3.12. Stacionární proces kolem deterministického trendu.
Týdenní teploty v LA se střední hodnotou: 𝐸𝑋𝑡 = 𝛽0 + 𝛽1 𝑐𝑜𝑠(2𝜋𝑡/52) + 𝛽2 𝑠𝑖𝑛(2𝜋𝑡/52)
1970 1972 1974 1976 1978 1980
5060708090100
Obrázek 12. Stacionární proces kolem deterministické funkce času.
3.3. Příklady slabě stacionárních procesů.
Příklad 3.13. Příklad procesu s konečnými 2. momenty. Mějme posloupnost nezávislých náhodných
veličin, pro něž platí:
𝑋𝑡 ∼
{︂
𝑁(1, 1) je-li t liché,
𝐸𝑥(1) je-li t sudé.
Proces je (slabě) stacionární, neboť
𝐸𝑋𝑡 = 1, 𝐷𝑋𝑡 = 1 a 𝛾(𝑠, 𝑡) = 0 pro 𝑠 ̸= 𝑡 (jsou nezávislé).
10 M5201 Stochastické modely časových řad
Tento proces však není striktně stacionární, neboť pro liché a sudé 𝑡 je distribuční funkce rozdílná.
Příklad 3.14. Kovarianční stacionarita ale nestacionárita ve střední hodnotě. Mějme stacionární
náhodný proces {𝑌𝑡, 𝑡 ∈ 𝑍} a definujme
𝑋𝑡 =
{︂
𝑌𝑡 je-li t liché,
𝑌𝑡 + 1 je-li t sudé.
I když
𝛾 𝑋(𝑡 + ℎ, 𝑡) = 𝐶(𝑋𝑡+ℎ, 𝑋𝑡) = 𝐶(𝑌𝑡+ℎ, 𝑌𝑡) = 𝛾 𝑌 (ℎ),
tj. proces je kovariančně stacionární, přesto není (slabě) stacionární, protože střední hodnota není kon-
stantní.
Příklad 3.15. Stacionární sinusoida s náhodnou fází a amplitudou. Mějme náhodný proces {𝑋𝑡, 𝑡 ∈
𝑍}, který je definován takto
𝑋𝑡 = 𝐴 cos 𝜃𝑡 + 𝐵 sin 𝜃𝑡,
kde 𝐴, 𝐵 jsou nekorelované náhodné veličiny, pro něž
𝐸𝐴 = 𝐸𝐵 = 0, 𝐷𝐴 = 𝐷𝐵 = 1, 𝜃 ∈ ⟨−𝜋, 𝜋⟩.
Zjistěme, zda je proces (slabě) stacionární. Protože náhodné veličiny 𝐴 a 𝐵 jsou nekolerované, pak
𝐶(𝐴, 𝐵) = 𝐸(𝐴 · 𝐵) = 0.
Vypočítejme nejprve střední hodnotu procesu:
𝐸𝑋𝑡 = 𝐸(𝐴 cos 𝜃𝑡 + 𝐵 sin 𝜃𝑡) = cos 𝜃𝑡 · 𝐸𝐴⏟ ⏞
=0
+ sin 𝜃𝑡 · 𝐸𝐵⏟ ⏞
=0
= 0.
Autokovarianční funkce:
𝛾(𝑡 + ℎ, 𝑡) = 𝐶(𝑋𝑡+ℎ, 𝑋𝑡) = 𝐸(𝑋𝑡+ℎ · 𝑋𝑡)
= 𝐸{[𝐴 cos 𝜃(𝑡 + ℎ) + 𝐵 sin 𝜃(𝑡 + ℎ)] · [𝐴 cos 𝜃𝑡 + 𝐵 sin 𝜃𝑡]}
= 𝐸{𝐴2
cos 𝜃(𝑡 + ℎ) cos 𝜃𝑡 + 𝐴𝐵 cos 𝜃(𝑡 + ℎ) sin 𝜃𝑡
+ 𝐴𝐵 sin 𝜃(𝑡 + ℎ) cos 𝜃𝑡 + 𝐵2
sin 𝜃(𝑡 + ℎ) sin 𝜃𝑡}
= cos 𝜃(𝑡 + ℎ) cos 𝜃𝑡 · 𝐸𝐴2
⏟ ⏞
=1
+ cos 𝜃(𝑡 + ℎ) sin 𝜃𝑡 · 𝐸𝐴𝐵⏟ ⏞
=0
+ sin 𝜃(𝑡 + ℎ) cos 𝜃𝑡 · 𝐸𝐴𝐵⏟ ⏞
=0
+ sin 𝜃(𝑡 + ℎ) sin 𝜃𝑡 · 𝐸𝐵2
⏟ ⏞
=1
= cos 𝜃(𝑡 + ℎ) cos 𝜃𝑡 + sin 𝜃(𝑡 + ℎ) sin 𝜃𝑡
= cos[𝜃(𝑡 + ℎ) − 𝜃𝑡]
= cos 𝜃ℎ = 𝛾(ℎ)
Tedy 𝛾(𝑡 + ℎ, 𝑡) nezávisí na 𝑡, proto proces je (slabě) stacionární.
Příklad 3.16. Náhodná procházka. Nechť
𝑋0 = 0, 𝑋𝑡 = 𝑋𝑡−1 + 𝜀𝑡,
kde 𝜀𝑡 jsou nezávislé stejně rozdělené náhodné veličiny 𝜀𝑡 ∼ ℒ(0, 𝜎2
𝜀 ). Zjistěme, zda tento je proces (slabě)
stacionární. Vypočtěme nejprve střední hodnotu procesu:
𝐸𝑋𝑡 = 𝐸
(︃ 𝑡∑︁
𝑖=1
𝜀𝑖
)︃
=
𝑡∑︁
𝑖=1
𝐸𝜀𝑖
⏟ ⏞
=0
= 0,
takže proces je konstantní ve střední hodnotě. Dále počítejme autokovarianční funkci:
𝛾(𝑡 + ℎ, 𝑡) = 𝐶(𝑋𝑡+ℎ, 𝑋𝑡) = 𝐸(𝑋𝑡+ℎ · 𝑋𝑡)
= 𝐸
(︃ 𝑡+ℎ∑︁
𝑖=1
𝜀𝑖
)︃ (︃ 𝑡∑︁
𝑖=1
𝜀𝑖
)︃
=
𝑡∑︁
𝑖=1
𝐸𝜀2
𝑖 = 𝑡 · 𝜎2
𝜀 ,
která závisí na 𝑡, tedy proces není (slabě) stacionární.
RNDr. Marie Forbelská, Ph.D. 11
Příklad 3.17. MA(1) proces je dán následující rekurentní definicí
𝑋𝑡 = 𝜀𝑡 + 𝜃𝜀𝑡−1, 𝜀𝑡 ∼ 𝑊 𝑁(0, 𝜎2
𝜀 ).
Střední hodnota: 𝐸𝑋𝑡 = 𝐸(𝜀𝑡 + 𝜃𝜀𝑡−1) = 𝐸𝜀𝑡
⏟ ⏞
=0
+𝜃 𝐸𝜀𝑡−1
⏟ ⏞
=0
= 0.
Autokovarianční funkce
𝛾(𝑡 + ℎ, 𝑡) = 𝛾(𝑡 + ℎ, 𝑡) = 𝐶(𝑋 𝑡+ℎ, 𝑋 𝑡)
= 𝐸(𝑋 𝑡+ℎ · 𝑋 𝑡) = 𝐸(𝜀 𝑡+ℎ + 𝜃𝜀 𝑡+ℎ−1)(𝜀 𝑡 + 𝜃𝜀 𝑡−1)
= 𝐸𝜀 𝑡+ℎ · 𝜀 𝑡 + 𝜃𝐸𝜀 𝑡+ℎ−1 · 𝜀 𝑡 + 𝜃𝐸𝜀 𝑡+ℎ · 𝜀 𝑡−1 + 𝜃2
𝐸𝜀 𝑡+ℎ−1 · 𝜀 𝑡−1
=
⎧
⎨
⎩
𝜎2
𝜀 (1 + 𝜃2
) ℎ = 0
𝜃𝜎2
𝜀 ℎ = ±1
0 jinak
⎫
⎬
⎭
= 𝛾(ℎ)
Tedy MA(1) proces je (slabě) stacionární. Nakonec vyjádříme ještě autokorelační funkci:
𝜌(ℎ) =
⎧
⎪⎨
⎪⎩
1 ℎ = 0,
𝜃
1+𝜃2 ℎ = ±1,
0 jinak.
Příklad 3.18. Markovovův skokový proces vzniku a zániku. Mějme náhodný proces {𝑋𝑡, 𝑡 ∈ 𝑅},
pro který platí
𝑃(𝑋𝑡 = 0) = 𝜇
𝜆+𝜇
𝑃(𝑋𝑡 = 1) = 𝜆
𝜆+𝜇 𝜆 > 0, 𝜇 > 0,
𝑃(𝑋𝑡 = 𝑥|𝑋 𝑠 = 𝑦) = 𝑝 𝑦𝑥(𝑡 − 𝑠) −∞ < 𝑠 ≤ 𝑡 < ∞,
přičemž
𝑝00(ℎ) = 1 − 𝑝01(ℎ) = 𝜇
𝜆+𝜇 + 𝜆
𝜆+𝜇 𝑒−(𝜆+𝜇)ℎ
ℎ ≥ 0,
𝑝11(ℎ) = 1 − 𝑝10(ℎ) = 𝜆
𝜆+𝜇 + 𝜇
𝜆+𝜇 𝑒−(𝜆+𝜇)ℎ
ℎ ≥ 0.
Konstanty 𝜆 a 𝜇 se interpretují jako intenzity vzniku a zániku. Rozhodněme, zda je proces stacionární. Proto
postupně počítejme střední hodnotu a autokovariační funkci:
𝐸𝑋𝑡 =
∑︁
𝑥=0,1
𝑥𝑃(𝑋𝑡 = 𝑥) = 𝜆
𝜆+𝜇
𝛾(𝑡, 𝑡+ℎ) = 𝐶(𝑋𝑡, 𝑋𝑡+ℎ) = 𝐸(𝑋𝑡 𝑋𝑡+ℎ) − (𝐸𝑋𝑡)(𝐸𝑋𝑡+ℎ)
= 𝐸(𝑋𝑡 𝑋𝑡+ℎ) −
(︁
𝜆
𝜆+𝜇
)︁2
𝐸(𝑋𝑡 𝑋𝑡+ℎ) =
∑︁
𝑥=0,1
∑︁
𝑦=0,1
𝑥𝑦𝑃(𝑋𝑡 = 𝑥, 𝑋𝑡+ℎ = 𝑦)=1 · 1 · 𝑃(𝑋𝑡 =1, 𝑋𝑡+ℎ =1)
= 𝑃(𝑋𝑡 =1) 𝑃(𝑋𝑡+ℎ =1|𝑋𝑡 =1)
⏟ ⏞
𝑝11(ℎ)
= 𝜆
𝜆+𝜇
[︁
𝜆
𝜆+𝜇 + 𝜇
𝜆+𝜇 𝑒−(𝜆+𝜇)ℎ
]︁
𝛾(𝑡, 𝑡+ℎ) =
(︁
𝜆
𝜆+𝜇
)︁2
+ 𝜇𝜆
(𝜆+𝜇)2 𝑒−(𝜆+𝜇)ℎ
−
(︁
𝜆
𝜆+𝜇
)︁2
= 𝜇𝜆
(𝜆+𝜇)2 𝑒−(𝜆+𝜇)ℎ
= 𝛾(ℎ)
Protože pro každou kovarianční funkci platí
𝛾(𝑡) = 𝛾(−𝑡),
dostáváme
𝛾(𝑡) = 𝜇𝜆
(𝜆+𝜇)2 𝑒−(𝜆+𝜇)|𝑡|
pro − ∞ < 𝑡 < ∞.
Proces je tedy slabě stacionární. Zbývá dopočítat autokorelační funkci:
𝜌(𝑡) =
𝛾(𝑡)
𝛾(0)
= 𝑒−(𝜆+𝜇)|𝑡|
pro − ∞ < 𝑡 < ∞.
Korelace mezi náhodnými veličinami tohoto procesu pro |𝑡| → ∞ exponenciálně klesá k nule.
12 M5201 Stochastické modely časových řad
4. Vlastnosti autokovariační funkce
Třebaže v praktických situacích máme co činit jen s reálnými náhodnými veličinami, v teorii bývá výhodné
pracovat někdy s komplexními náhodnými veličinami. Komplexní veličinou rozumíme veličinu
𝑋 = 𝑌 + 𝑖𝑍,
kde 𝑌 a 𝑍 jsou reálné náhodné veličiny. Komplexním náhodným procesem nazveme systém komplexních
náhodných veličin
{𝑋𝑡, 𝑡 ∈ 𝑇}.
Mnoho dalších úvah se bude týkat právě komplexních procesů. Slovo „komplexní“ se bude vynechávat, když
bude zřejmé ze souvislosti.
Existují-li střední hodnoty 𝐸𝑌 a 𝐸𝑍, definuje se střední hodnota komplexní náhodné veličiny 𝑋 =
𝑌 + 𝑖𝑍
𝐸𝑋 = 𝐸𝑌 + 𝑖𝐸𝑍.
Budeme se nyní zabývat základními vlastnostmi autokovarianční funkce
𝛾(𝑠, 𝑡) = 𝐶(𝑋 𝑠, 𝑋𝑡) = 𝐸(𝑋 𝑠 − 𝐸𝑋 𝑠)(𝑋𝑡 − 𝐸𝑋𝑡).
Přitom se samozřejmě předpokládá, že jde o proces s konečnými druhými momenty.
Jelikož autokovarianční funkce procesu zůstává stejná při změně střední hodnoty, budeme také pro jednoduchost
předpokládat, že střední hodnota procesu je rovna nule, tj. že proces je centrován.
Věta 4.1. Nechť {𝑋𝑡, 𝑡 ∈ 𝑇} je centrovaný proces s autokovarianční funkcí 𝛾(𝑠, 𝑡). Pak platí:
(1) Autokovarianční funkce 𝛾(𝑠, 𝑡) je pozitivně semidefinitní funkce.
(2) Autokovarianční funkce 𝛾(𝑠, 𝑡) je hermitovsky symetrická, tj. pro 𝑠, 𝑡 ∈ 𝑇 platí
𝛾(𝑠, 𝑡) = 𝛾(𝑡, 𝑠)
(3) Je-li funkce 𝛾(𝑠, 𝑡) pozitivně semidefinitní a hermitovsky symetrická, existuje takový náhodný proces (dokonce
normální), že 𝛾(𝑠, 𝑡) je jeho autokovarianční funkcí.
(4) Pro autokovarianční funkci 𝛾(𝑠, 𝑡) platí nerovnosti
𝛾(𝑠, 𝑠) ≥ 0 a |𝛾(𝑠, 𝑡)| ≤
√︁
𝛾(𝑠, 𝑠)
√︁
𝛾(𝑡, 𝑡).
(5) Součet dvou autokovariačních funkcí je opět autokovarianční funkcí.
(6) Reálná část autokovarianční funkce je též autokovarianční funkcí. Imaginární část je autokovarianční
funkcí jen tehdy, je-li rovna identicky nule.
Důkaz. Postupně dokazujme jednotlivá tvrzení.
(1) Nejprve připomeneme definici tzv. pozitivně semidefinitní funkce. Nechť 𝑓(𝑠, 𝑡) je funkce dvou proměnných
definovaná na 𝑇 × 𝑇. Říkáme, že 𝑓 je pozitivně semidefinitní, platí-li pro jakékoli přirozené číslo 𝑛, pro
libovolná komplexní čísla 𝑐1, . . . , 𝑐 𝑛 a libovolné body 𝑡1, . . . , 𝑡 𝑛 ∈ 𝑇 vztah
𝑛∑︁
𝑗=1
𝑛∑︁
𝑘=1
𝑓(𝑡 𝑗, 𝑡 𝑘)𝑐 𝑗 ¯𝑐 𝑘 ≥ 0. (1)
Funkce jedné proměnné 𝑔(𝑡), 𝑡 ∈ 𝑇 se nazývá pozitivně semidefinitní, platí-li pro každné přirozené 𝑛,
libovolná komplexní čísla 𝑐1, . . . , 𝑐 𝑛 a libovolné body 𝑡1, . . . , 𝑡 𝑛 ∈ 𝑇 a 𝑡 𝑗 − 𝑡 𝑘 ∈ 𝑇 pro 𝑗, 𝑘 = 1, . . . , 𝑛 vztah
𝑛∑︁
𝑗=1
𝑛∑︁
𝑘=1
𝑔(𝑡 𝑗 − 𝑡 𝑘)𝑐 𝑗 ¯𝑐 𝑘 ≥ 0. (2)
Nechť {𝑋𝑡, 𝑡 ∈ 𝑇} je centrovaný proces s autokovarianční funkcí 𝛾(𝑠, 𝑡). Pak zřejmě platí
0 ≤ 𝐸
⃒
⃒
⃒
⃒
⃒
⃒
𝑛∑︁
𝑗=1
𝑐 𝑗 𝑋𝑡 𝑗
⃒
⃒
⃒
⃒
⃒
⃒
2
= 𝐸
⎡
⎣
𝑛∑︁
𝑗=1
𝑐 𝑗 𝑋𝑡 𝑗
𝑛∑︁
𝑘=1
¯𝑐 𝑘
¯𝑋𝑡 𝑘
⎤
⎦ =
𝑛∑︁
𝑗=1
𝑛∑︁
𝑘=1
𝑐 𝑗 ¯𝑐 𝑘 𝐸(𝑋𝑡 𝑗
¯𝑋𝑡 𝑘
) =
𝑛∑︁
𝑗=1
𝑛∑︁
𝑘=1
𝑐 𝑗 ¯𝑐 𝑘 𝛾(𝑡 𝑗, 𝑡 𝑘).
(2) Platí 𝛾(𝑠, 𝑡) = 𝐸(𝑋 𝑠
¯𝑋𝑡) = 𝐸(𝑋𝑡
¯𝑋 𝑠) = 𝛾(𝑡, 𝑠), takže autokovarianční funkce je hermitovsky symetrická.
(3) Důkaz třetího tvrzení lze najít například v knize Doob (1953, [10]).
RNDr. Marie Forbelská, Ph.D. 13
(4) První nerovnost 𝛾(𝑠, 𝑠) ≥ 0 plyne z definice autokovarianční funkce a druhá |𝛾(𝑠, 𝑡)| ≤
√︀
𝛾(𝑠, 𝑠)
√︀
𝛾(𝑡, 𝑡) je
důsledkem Schwarzovy nerovnosti.
(5) Abychom mohli dokázat páté tvrzení, připomeňme si, že součet dvou pozitivně semidefinitních hermitovsky
symetrických funkcí je opět funkce pozitivně semidefinitní a hermitovsky symetrická.
Nechť 𝑓1(𝑠, 𝑡) a 𝑓2(𝑠, 𝑡) jsou pozitivně semidefinitní. Položme
𝑓(𝑠, 𝑡) = 𝑓1(𝑠, 𝑡) + 𝑓2(𝑠, 𝑡).
Pro libovolná komplexní čísla 𝑐1, . . . , 𝑐 𝑛 platí
𝑛∑︁
𝑗=1
𝑛∑︁
𝑘=1
𝑐 𝑗 ¯𝑐 𝑘 𝑓(𝑡 𝑗, 𝑡 𝑘) =
𝑛∑︁
𝑗=1
𝑛∑︁
𝑘=1
𝑐 𝑗 ¯𝑐 𝑘 𝑓1(𝑡 𝑗, 𝑡 𝑘) +
𝑛∑︁
𝑗=1
𝑛∑︁
𝑘=1
𝑐 𝑗 ¯𝑐 𝑘 𝑓2(𝑡 𝑗, 𝑡 𝑘).
Každý z obou výrazů na pravé straně je nezáporný. Musí být tudíž nezáporný i výraz vlevo, čímž je zaručena
pozitivní semidefinitnost funkce 𝑓. Odtud plyne páté tvrzení věty.
(6) Nechť {𝑍𝑡, 𝑡 ∈ 𝑇} je komplexní náhodný proces s autokovariační funkcí
𝛾(𝑠, 𝑡) = 𝐶(𝑍 𝑠, 𝑍𝑡) = 𝐸(𝑍 𝑠 − 𝐸𝑍 𝑠)(𝑍𝑡 − 𝐸𝑍𝑡).
Bez újmy na obecnosti budeme předpokládat, že náhodný proces má nulovou střední hodnotu, tj.
0 = 𝐸𝑍𝑡 = 𝐸(𝑋𝑡 + 𝑖𝑌𝑡) = 𝐸𝑋𝑡 + 𝑖𝐸𝑌𝑡,
což implikuje, že
𝐸𝑋𝑡 = 𝐸𝑌𝑡 = 0.
Počítejme
𝛾 𝑍(𝑠, 𝑡) = 𝐸𝑍 𝑠
¯𝑍𝑡 = 𝐸(𝑋 𝑠 + 𝑖𝑌 𝑠)(𝑋𝑡 − 𝑖𝑌𝑡)
= 𝐸𝑋 𝑠 𝑋𝑡 + 𝐸𝑌 𝑠 𝑌𝑡 + 𝑖(𝐸𝑌 𝑠 𝑋𝑡 − 𝐸𝑋 𝑠 𝑌𝑡)
Reálná část 𝛾 𝑍(𝑠, 𝑡) je rovna
𝑅𝑒(𝛾 𝑍(𝑠, 𝑡)) = 𝐸𝑋 𝑠 𝑋𝑡 + 𝐸𝑌 𝑠 𝑌𝑡 = 𝛾 𝑋(𝑠, 𝑡) + 𝛾 𝑌 (𝑠, 𝑡).
Je tedy rovna součtu autokovariační funkce procesu {𝑋𝑡, 𝑡 ∈ 𝑇} a autokovariační funkce procesu {𝑌𝑡, 𝑡 ∈ 𝑇}
a je podle pátého tvrzení autokovarianční funkcí.
Imaginární část 𝛾 𝑍(𝑠, 𝑡) je rovna
𝐼𝑚(𝛾 𝑍(𝑠, 𝑡)) = 𝐸𝑌 𝑠 𝑋𝑡 − 𝐸𝑋 𝑠 𝑌𝑡.
Připomeňme, že pro libovolnou autokovarianční funkce 𝛾(𝑠, 𝑡) musí platit:
(𝑖) 𝛾(𝑠, 𝑠) ≥ 0 (𝑖𝑖) 0 ≤ |𝛾(𝑠, 𝑡)| ≤
√︁
𝛾(𝑠, 𝑠)
√︁
𝛾(𝑡, 𝑡).
V bodech 𝑠 = 𝑡 dostaneme
𝐼𝑚(𝛾 𝑍(𝑠, 𝑠)) = 𝐸𝑌 𝑠 𝑋 𝑠 − 𝐸𝑋 𝑠 𝑌 𝑠 = 0.
Druhá nerovnost však je splněna jen tehdy, je-li stále rovna nule. Na druhé straně funkce identicky rovná
nule je autokovariační funkcí např. procesu, který je stále roven nule.
14 M5201 Stochastické modely časových řad
Příklad 4.19. Harmonický proces s náhodnou fází . Mějme náhodný proces: 𝑌𝑡 = 𝑟 cos(𝑡𝜔0 + 𝜃) ,
kde 𝑟 ∈ R je amplituda,
𝜔0 ∈ ⟨0, 2𝜋⟩ je frekvence
𝜃 ∼ 𝑅 𝑠(−𝜋, 𝜋) je náhodná fáze
Má-li náhodná veličina 𝑋 spojité rovnoměrné rozdělení na intervalu ⟨𝑎, 𝑏⟩ (𝑎 < 𝑏), tj. 𝑋 ∼ 𝑅 𝑠(𝑎, 𝑏), pak
hustota distribuční funkce
𝑓(𝑥) =
{︃
1
𝑏−𝑎 pro 𝑥 ∈ ⟨𝑎, 𝑏⟩
0 jinak
𝐹(𝑥) =
⎧
⎨
⎩
0 pro 𝑥 < 𝑎
𝑥−𝑎
𝑏−𝑎 pro 𝑥 ∈ ⟨𝑎, 𝑏⟩
1 𝑥 > 𝑏
střední hodnota rozptyl
𝐸𝑋 = 𝑎+𝑏
2 𝐷𝑋 = (𝑏−𝑎)2
12
Protože v našem případě 𝜃 ∼ 𝑅 𝑠(−𝜋, 𝜋), pak
hustota distribuční funkce
𝑓(𝑥) =
{︂ 1
2𝜋 pro 𝑥 ∈ ⟨−𝜋, 𝜋⟩
0 jinak
𝐹(𝑥) =
⎧
⎨
⎩
0 pro 𝑥 < 𝑎
1
2 + 𝑥
2𝜋 pro 𝑥 ∈ ⟨𝑎, 𝑏⟩
1 𝑥 > 𝑏
střední hodnota rozptyl
𝐸𝑋 = 0 𝐷𝑋 = 𝜋2
3
Hustota 𝜃 ∼ 𝑅 𝑠(−𝜋, 𝜋)
0.000.050.100.150.20
−3π 2 −π −π 2 0 π 2 π 3π 2
Distribuční funkce 𝜃 ∼ 𝑅 𝑠(−𝜋, 𝜋)
0.00.20.40.60.81.01.2
−3π 2 −π −π 2 0 π 2 π 3π 2
Náhodný proces 𝑌𝑡 = 𝑟 cos(𝑡𝜔0 + 𝜃) vyjádřeme s využitím součtových vzorců pro cos ekvivalentním způsobem,
vhodnějším pro další výpočty:
𝑌𝑡 = 𝑟 cos(𝑡𝜔0 + 𝜃) = 𝑟 cos 𝜃⏟ ⏞
=𝑈
cos 𝑡𝜔0 + (−𝑟 sin 𝜃)
⏟ ⏞
=𝑉
sin 𝑡𝜔0
= 𝑈 cos 𝑡𝜔0 + 𝑉 sin 𝑡𝜔0.
Nejprve ukážeme, že náhodné veličiny 𝑈 a 𝑉 jsou centrované:
𝐸𝑈 = 𝐸(𝑟 cos 𝜃) = 𝑟
𝜋∫︁
−𝜋
cos 𝑥
1
2𝜋
𝑑𝑥 =
𝑟
2𝜋
[sin 𝑥] 𝜋
−𝜋 = 0
𝐸𝑉 = 𝐸(−𝑟 sin 𝜃) = 𝑟
𝜋∫︁
−𝜋
sin 𝑥
1
2𝜋
𝑑𝑥 =
𝑟
2𝜋
[cos 𝑥] 𝜋
−𝜋 = 0
RNDr. Marie Forbelská, Ph.D. 15
Výpočtem druhých momentů náhodných veličin 𝑈 a 𝑉 zjistíme jejich nekorelovanost a stejné rozptyly:
𝐶(𝑈, 𝑉 )
centr.
= 𝐸(𝑈 𝑉 ) = 𝐸(−𝑟2
cos 𝜃 sin 𝜃) = −𝑟2
𝐸
(︂
1
2
sin 2𝜃
)︂
= −
𝑟2
2
𝜋∫︁
−𝜋
sin 2𝑥
1
2𝜋
𝑑𝑥 =
𝑟2
4𝜋
[︂
cos 2𝑥
2
]︂ 𝜋
−𝜋
=
𝑟2
8𝜋
[cos 2𝑥]
𝜋
−𝜋 = 0
𝐸𝑈2
= 𝐸(𝑟2
cos2
𝜃) = 𝑟2
𝐸
[︂
1
2
(1 + cos 2𝜃)
]︂
=
𝑟2
2
+
𝑟2
2
𝐸 cos 2𝜃
=
𝑟2
2
+
𝑟2
2
𝜋∫︁
−𝜋
cos 2𝑥
1
2𝜋
𝑑𝑥 =
𝑟2
2
+
𝑟2
4𝜋
[︂
sin 2𝑥
2
]︂ 𝜋
−𝜋
=
𝑟2
2
𝐸𝑉 2
= 𝐸(𝑟2
sin2
𝜃) = 𝑟2
𝐸
[︂
1
2
(1 − cos 2𝜃)
]︂
=
𝑟2
2
−
𝑟2
2
𝐸 cos 2𝜃
=
𝑟2
2
−
𝑟2
2
𝜋∫︁
−𝜋
cos 2𝑥
1
2𝜋
𝑑𝑥 =
𝑟2
2
−
𝑟2
4𝜋
[︂
sin 2𝑥
2
]︂ 𝜋
−𝜋
=
𝑟2
2
Pro úplnost odvodíme rozdělení obou náhodných veličin 𝑈 a 𝑉 .
𝑈 = 𝑟 cos 𝜃 pro 𝜃 ∼ 𝑅 𝑠(−𝜋, 𝜋) ⇒ 𝑈 ∈ ⟨−𝑟, 𝑟⟩ . Počítejme nejprve distribuční funkci náhodné veličiny 𝑈:
𝐹 𝑈 (𝑢) = 𝑃(𝑈 ≤ 𝑢) = 𝑃(𝑟 cos 𝜃 ≤ 𝑢)
= 𝑃
(︀
𝑈 ∈ (−𝜋, −arccos 𝑢
𝑟 ⟩∪⟨arccos 𝑢
𝑟 , 𝜋)
)︀
= 1 − 𝑃
(︀
𝑈 ∈ ⟨− arccos 𝑢
𝑟 , arccos 𝑢
𝑟 ⟩
)︀
= 1 −
arccos
𝑢
𝑟∫︀
− arccos
𝑢
𝑟
1
2𝜋 𝑑𝑥 = 1 − 1
2𝜋 [𝑥]
arccos
𝑢
𝑟
− arccos
𝑢
𝑟
= 1 − 1
𝜋 arccos 𝑢
𝑟 pro 𝑢 ∈ ⟨−𝑟, 𝑟⟩.
−101
−π −π 2 0 π 2 π
arccos(y)−arccos(y)
y
Hustotu dostaneme derivací distribuční funkce, proto pro 𝑢 ∈ ⟨−𝑟, 𝑟⟩ platí
𝑓 𝑈 (𝑢) = (𝐹 𝑈 (𝑢))′
= − 1
𝜋
−1√︁
1−( 𝑢
𝑟 )
2
1
𝑟 = 1
𝜋𝑟
√︁
𝑟2−𝑢2
𝑟2
= 1
𝜋
√
𝑟2−𝑢2
.
Pro ostatní hodnoty je hustota nulová.
−1 0 1
−π20π2π
arcsin(x)
arccos(x)
arcsin(−x)
arccos(−x)
16 M5201 Stochastické modely časových řad
𝑉 = −𝑟 sin 𝜃 pro 𝜃 ∼ 𝑅 𝑠(−𝜋, 𝜋) ⇒ 𝑉 ∈ ⟨−𝑟, 𝑟⟩ . Počítejme distribuční funkci náhodné veličiny 𝑉 :
(𝑎) 𝑦 ∈ ⟨0, 1⟩
𝐹 𝑉 (𝑣) = 1 − 𝑃(sin 𝜃 ≤ 𝑦)
= 1−𝑃 (𝑉 ∈(−𝜋, arcsin 𝑦⟩∪⟨𝜋−arcsin 𝑦, 𝜋))
= 𝑃(𝜃∈⟨arcsin 𝑦, 𝜋−arcsin 𝑦⟩) =
𝜋−arcsin 𝑦∫︀
arcsin 𝑦
1
2𝜋 𝑑𝑥
= 1
2𝜋 [𝑥] 𝜋−arcsin 𝑦
arcsin 𝑦 = 1
2 − 1
𝜋 arcsin
(︀
− 𝑣
𝑟
)︀
= 1
2 + 1
𝜋 arcsin 𝑣
𝑟
(𝑏) 𝑦 ∈ ⟨−1, 0⟩
𝐹 𝑉 (𝑣) = 1 − 𝑃(sin 𝜃 ≤ 𝑦)
= 1−𝑃 (𝑉 ∈⟨−𝜋−arcsin 𝑦, arcsin 𝑦⟩)
= 1−
arcsin 𝑦∫︀
−𝜋−arcsin 𝑦
1
2𝜋 𝑑𝑥 = 1− 1
2𝜋 [𝑥]arcsin 𝑦
−𝜋−arcsin 𝑦
= 1
2 − 1
𝜋 arcsin
(︀
− 𝑣
𝑟
)︀
= 1
2 + 1
𝜋 arcsin 𝑣
𝑟
.
−101
−π −π 2 0 π 2 π
arcsin(y)
π−arcsin(y)
y > 0
−101
−π −π 2 0 π 2 π
arcsin(y)−π − arcsin(y)
y < 0
𝑓 𝑉 (𝑣) = (𝐹 𝑉 (𝑣))′
= 1
𝜋
1√︁
1−( 𝑣
𝑟 )
2
1
𝑟 = 1
𝜋𝑟
√︁
𝑟2−𝑣2
𝑟2
= 1
𝜋
√
𝑟2−𝑣2
pro 𝑣 ∈ ⟨−𝑟, 𝑟⟩.
arccos 𝑥 = 𝜋
2 + arcsin(−𝑥) = 𝜋
2 − arcsin 𝑥,
dostaneme pro 𝑢 ∈ ⟨−𝑟, 𝑟⟩
𝐹 𝑈 (𝑢) = 1 − 1
𝜋 arccos 𝑢
𝑟 = 1 − 1
𝜋 ( 𝜋
2 − arcsin 𝑢
𝑟 ) = 1
2 + 1
𝜋 arcsin 𝑣
𝑟 .
Tedy obě dvě náhodné veličinu 𝑈 a 𝑉 mají stejné rozdělení.
Distribuční funkce
𝐹(𝑥) =
⎧
⎨
⎩
0 pro 𝑥 < −𝑟
1
2 + 1
𝜋 arcsin 𝑥
𝑟 pro 𝑥 ∈ ⟨−𝑟, 𝑟⟩
1 pro 𝑥 > 𝑟
01
−r 0 r
Hustota
𝑓(𝑥) =
{︃
1
𝜋
√
𝑟2−𝑥2
pro 𝑥 ∈ ⟨−𝑟, 𝑟⟩
0 jinak
0.00.51.01.52.02.5
−r 0 r
Obrázek 13. Distribuční funkce 𝐹(𝑥) a hustota 𝑓(𝑥) náhodných veličin 𝑈 a 𝑉 .
RNDr. Marie Forbelská, Ph.D. 17
Pomocí prvních a druhých momentů náhodných veličin 𝑈 a 𝑉 vypočítáme první a druhé momenty procesu
𝑌𝑡 = 𝑟 cos(𝑡𝜔0 + 𝜃):
𝐸𝑌 𝑡 = 𝐸(𝑈 cos 𝜔0 𝑡 + 𝑉 sin 𝜔0 𝑡) = cos 𝜔0 𝑡 · 𝐸𝑈 + sin 𝜔0 𝑡 · 𝐸𝑉 = 0
𝛾(𝑡 + ℎ, 𝑡) = 𝐶(𝑌 𝑡+ℎ, 𝑌 𝑡)
centr.
= 𝐸(𝑌 𝑡+ℎ · 𝑌 𝑡)
= 𝐸{[𝑈 cos 𝜔0(𝑡 + ℎ) + 𝑉 sin 𝜔0(𝑡 + ℎ)] · [𝑈 cos 𝜔0 𝑡 + 𝑉 sin 𝜔0 𝑡]}
= 𝐸{𝑈2
cos 𝜔0(𝑡 + ℎ) cos 𝜔0 𝑡 + 𝑈 𝑉 cos 𝜔0(𝑡 + ℎ) sin 𝜔0 𝑡
+ 𝑈 𝑉 sin 𝜔0(𝑡 + ℎ) cos 𝜔0 𝑡 + 𝑉 2
sin 𝜔0(𝑡 + ℎ) sin 𝜔0 𝑡}
= cos 𝜔0(𝑡 + ℎ) cos 𝜔0 𝑡 · 𝐸𝑈2
⏟ ⏞
= 𝑟2
2
+ cos 𝜔0(𝑡 + ℎ) sin 𝜔0 𝑡 · 𝐸𝑈 𝑉⏟ ⏞
=0
+ sin 𝜔0(𝑡 + ℎ) cos 𝜔0 𝑡 · 𝐸𝑈 𝑉⏟ ⏞
=0
+ sin 𝜔0(𝑡 + ℎ) sin 𝜔0 𝑡 · 𝐸𝑉 2
⏟ ⏞
= 𝑟2
2
= 𝑟2
2 [cos 𝜔0(𝑡 + ℎ) cos 𝜔0 𝑡 + sin 𝜔0(𝑡 + ℎ) sin 𝜔0 𝑡]
= 𝑟2
2 {cos[𝜔0(𝑡 + ℎ) − 𝜔0 𝑡]} = 𝑟2
2 cos 𝜔0ℎ = 𝛾(ℎ)
Tedy 𝛾(𝑡 + ℎ, 𝑡) nezávisí na 𝑡, proto proces je (slabě) stacionární.
𝑟 ∈ R je amplituda, 𝜔0 ∈ ⟨0, 𝜋⟩ je frekvence
𝜃 ∼ 𝑅 𝑠(−𝜋, 𝜋) je náhodná fáze s hustotou 𝑓 𝜃(𝑥)=
{︂ 1
2𝜋 𝑥 ∈ ⟨−𝜋, 𝜋⟩,
0 jinak.
Momenty:
střední hodnota 𝐸𝑌𝑡 = 0,
autokovarianční funkce 𝛾(ℎ) = 𝐶(𝑌𝑡, 𝑌𝑡+ℎ) = 1
2 𝑟2 cos ℎ𝜔0,
rozptyl 𝐷𝑌𝑡 = 1
2 𝑟2.
Ekvivalentně lze psát
𝑌𝑡 = 𝑈 cos 𝑡𝜔0 + 𝑉 sin 𝑡𝜔0, kde
𝑈 = 𝑟 cos 𝜃 a 𝑉 = −𝑟 sin 𝜃 jsou náhodné amplitudy s vlastnostmi
𝐸𝑈 = 𝐸𝑉 = 0, 𝐶(𝑈, 𝑉 ) = 0,
𝐷𝑈 = 𝐷𝑉 = 1
2 𝑟2 = 𝜎2.
0 10 20 30 40 50
−1.0−0.50.00.51.0
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
qqqq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
qq
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
EYt
Obrázek 14. Simulovaná data harmonického procesu s náhodnou fází: 𝑌𝑡 = 𝑟 cos(𝑡𝜔0 + 𝜃) (realizace
náhodných fází (𝜃1, . . . , 𝜃5) = (−2.220, 0.503, 0.924, −1.433, −2.810)).
18 M5201 Stochastické modely časových řad
𝛾(ℎ) = 1
2 𝑟2 cos ℎ𝜔0
−10 −5 0 5 10
−0.40.00.20.4
qq
DYt = γ(0)
Obrázek 15. Autokovarianční funkce harmonického procesu s náhodnou fází : 𝑌𝑡 = 𝑟 cos(𝑡𝜔0+𝜃)
Příklad 4.20. Harmonický proces řádu 𝑚.
Definice 4.2. Řekneme, že náhodný proces {𝑋𝑡, 𝑡 ∈ 𝑇} je harmonický proces řádu 𝑚, jestliže ho lze
psát ve formě
𝑋𝑡 =
𝑚∑︁
𝑗=1
[𝑈 𝑗 cos 𝑡𝜔 𝑗 + 𝑉 𝑗 sin 𝑡𝜔 𝑗] ∀𝑡 ∈ 𝑇,
kde 𝜔1, . . . , 𝜔 𝑚 navzájem různé konstanty z intervalu ⟨0, 2𝜋⟩.
Obdobným postupem jako v předchozím příkladu lze ukázat, že
𝐸𝑈 𝑗 = 𝐸𝑉 𝑗 = 0
𝐸𝑈2
𝑗 = 𝐸𝑉 2
𝑗 = 𝜎2
𝑗 > 0
𝐸𝑈 𝑗 𝑈 𝑘 = 𝐸𝑉 𝑗 𝑉 𝑘 = 𝐸𝑈 𝑗 𝑉 𝑘 = 0 pro 𝑘 ̸= 𝑗
což implikuje, že náhodný proces {𝑋𝑡, 𝑡 ∈ 𝑇} je centrovaný stacionární náhodný proces, neboť
𝐸𝑋𝑡 = 0
𝐸𝑋𝑡 𝑋𝑡+ℎ =
𝑚∑︀
𝑗=1
𝜎2
𝑗 cos ℎ𝜔 𝑗 = 𝛾(ℎ)
Příklad 4.21. Rozšířený harmonický proces řádu 𝑚.
Definice 4.3. Řekneme, že náhodný proces {𝑋𝑡, 𝑡 ∈ 𝑇} je rozšířený harmonický proces řádu 𝑚,
jestliže ho lze psát ve formě
𝑋𝑡 =
𝑚∑︁
𝑗=1
[𝑈 𝑗 cos 𝑡𝜔 𝑗 + 𝑉 𝑗 sin 𝑡𝜔 𝑗] + 𝜀𝑡 ∀𝑡 ∈ 𝑇,
kde 𝜔1, . . . , 𝜔 𝑚 navzájem různé konstanty z intervalu ⟨0, 2𝜋⟩ a 𝜀𝑡 ∼ 𝑊 𝑁(0, 𝜎2
𝜀 ), který je nekorelovaný se všemi
𝑈 𝑗 a 𝑉 𝑗.
I pro tento rozšířený harmonický proces lze ukázat, že jde o centrovaný stacionární náhodný proces,
neboť
𝐸𝑋𝑡 = 0
𝐸𝑋𝑡 𝑋𝑡+ℎ =
𝑚∑︀
𝑗=1
𝜎2
𝑗 cos ℎ𝜔 𝑗 + 𝜎2
𝜀 𝛿(ℎ) = 𝛾(ℎ),
kde 𝛿(ℎ) =
{︂
1 pro ℎ = 0
0 jinak.
RNDr. Marie Forbelská, Ph.D. 19
Příklad 4.22. Simulace 4 trajektorií harmonického procesu řádu 3
𝑌𝑡 = cos( 𝜋
3 + 𝜃1) + 5 cos( 𝜋
5 + 𝜃2) + 3 cos( 𝜋
7 + 𝜃3) realizace náhodných fází:
𝑛 = 1 𝑛 = 2 𝑛 = 3 𝑛 = 4
𝜃1 2.004 1.320 −2.204 −2.010
𝜃2 2.653 0.499 1.682 −0.602
𝜃3 −0.030 −0.456 1.740 1.014
0 20 40 60 80 100 120
−505
EYt
𝑌𝑡 = cos( 𝜋
3 + 𝜃1) + 5 cos( 𝜋
5 + 𝜃2) + 3 cos( 𝜋
7 + 𝜃3) + 𝜀𝑡, kde 𝜀𝑡 ∼ 𝑊 𝑁(0, 22)
0 20 40 60 80 100 120
−100510
EYt
Obrázek 16. Simulace 4 trajektorií harmonického procesu řádu 3 a rozšířeného harmonického
procesu řádu 3.
0 20 40 60 80 100 120
−10−50510
EYt
Obrázek 17. Společný graf první trajektorie harmonického procesu řádu 3 a rozšířeného harmonického
procesu řádu 3.
0 20 40 60 80 100 120
−10−50510
EYt
Obrázek 18. Společný graf druhé trajektorie harmonického procesu řádu 3 a rozšířeného harmonického
procesu řádu 3.
20 M5201 Stochastické modely časových řad
0 20 40 60 80 100 120
−10−50510
EYt
Obrázek 19. Společný graf třetí trajektorie harmonického procesu řádu 3 a rozšířeného harmonického
procesu řádu 3.
0 20 40 60 80 100 120
−10−50510
EYt
Obrázek 20. Společný graf čtvrté trajektorie harmonického procesu řádu 3 a rozšířeného harmonického
procesu řádu 3.
Příklad 4.23. Autokovarinační funkce harmonických procesů
5Autokovarianční funkce pro 𝑌 𝑡 = cos( 𝜋
3
+ 𝜃1) + 5 cos( 𝜋
5
+ 𝜃2) + 3 cos( 𝜋
7
+ 𝜃3)
−200 −100 0 100 200
−20−1001020
q
q
q
q
q
DYt = γ(0)
Autokovarianční funkce pro 𝑌 𝑡 = cos( 𝜋
3
+ 𝜃1) + 5 cos( 𝜋
5
+ 𝜃2) + 3 cos( 𝜋
7
+ 𝜃3) + 𝜀 𝑡, kde 𝜀 𝑡 ∼ 𝑊 𝑁(0, 22
)
−200 −100 0 100 200
−20−1001020
q
DYt = γ(0)
Obrázek 21. Autokovarianční funkce harmonického procesu řádu 3 a rozšířeného harmonického
procesu řádu 3.
RNDr. Marie Forbelská, Ph.D. 21
Příklad 4.24. Periodický charakter autokovarianční funkce harmonického náhodného procesu.
Věta 4.4. Pokud |𝛾(𝑡)| = 𝛾(0) pro nějaké 𝑡 ̸= 0, pak 𝛾(𝑡) je periodická funkce.
Důkaz. Nejprve dokážeme pomocný vztah:
𝐷(𝑌𝑡+ℎ ± 𝑌𝑡) = 𝐷𝑌𝑡+ℎ + 𝐷𝑌𝑡 ± 2𝐶(𝑌𝑡+ℎ, 𝑌𝑡) = 𝛾(0) + 𝛾(0) ± 2𝛾(ℎ)
= 2(𝛾(0) ± 𝛾(ℎ))
(a) platí–li 𝛾(ℎ) = 𝛾(0), pak 𝐷(𝑌𝑡+ℎ − 𝑌𝑡) = 0, takže 𝑌𝑡+ℎ = 𝑌𝑡 pro ∀𝑡, tj. náhodný proces 𝑌𝑡 je periodický
s periodou ℎ.
(b) platí–li 𝛾(ℎ) = −𝛾(0), pak 𝐷(𝑌𝑡+ℎ + 𝑌𝑡) = 0 , takže 𝑌𝑡+ℎ = −𝑌𝑡 pro ∀𝑡, tj. náhodný proces 𝑌𝑡 je periodický
s periodou 2ℎ.
Ukázali jsme tedy v obou případech, že náhodný proces 𝑌𝑡 je periodický, což automaticky implikuje, že
i autokovarianční funkce musí být periodická.
5. Spojitost a derivace náhodného procesu
5.1. Spojitost náhodného procesu. Pokud se zajímáme o spojitost procesu {𝑋𝑡, 𝑡 ∈ 𝑇} v bodě
𝑡0 ∈ 𝑇, budeme studovat chování náhodných veličin 𝑋𝑡 při 𝑡 → 𝑡0.
Jestliže 𝑋𝑡 konvergují v nějakém smyslu k 𝑋𝑡0 , je možno mluvit o spojitosti procesu 𝑋𝑡 v bodě 𝑡0. Z různých
typů konvergencí se ukazuje v tomto případě jako nejužitečnější konvergence podle kvadratického středu.
Definice 5.1. Řekneme, že náhodný proces {𝑋𝑡, 𝑡 ∈ 𝑇} je spojitý podle středu v bodě 𝑡0 ∈ 𝑇 , jestliže
při 𝑡 → 𝑡0 konvergují 𝑋𝑡 k 𝑋𝑡0 podle kvadratického středu, tj. když
𝐸|𝑋𝑡 − 𝑋𝑡0 |2
→ 0 pro 𝑡 → 𝑡0.
V tom případě píšeme
𝑋𝑡0 = l.i.m.
𝑡→𝑡0
𝑋𝑡
(zkratka z anglického "limit in the mean").
Je-li proces {𝑋𝑡, 𝑡 ∈ 𝑇} spojitý v každém bodě množiny 𝑇 , říkáme stručně, že je spojitý.
Poznámka 5.2. Z teorie pravděpodobnosti je známo, že konvergence podle kvadratického středu implikuje
konvergenci podle pravděpodobnosti.
Věta 5.3 (kritérium spojitosti procesu). Proces {𝑋𝑡, 𝑡 ∈ 𝑇} je spojitý právě tehdy, když je jeho autokovarianční
funkce 𝛾(𝑠, 𝑡) spojitá v bodech (𝑠, 𝑡), pro něž 𝑠 = 𝑡.
Důkaz. Bez újmy na obecnosti můžeme předpokládat, že proces je centrovaný.
⇒ Je-li proces {𝑋𝑡, 𝑡 ∈ 𝑇} spojitý, pak platí pro ∀𝑠, 𝑡, 𝑠0, 𝑡0 ∈ 𝑇
0 ≤|𝛾(𝑠, 𝑡) − 𝛾(𝑠0, 𝑡0)| = |𝐸𝑋 𝑠
¯𝑋𝑡 − 𝐸𝑋 𝑠0
¯𝑋𝑡0 |
= | 𝐸(𝑋 𝑠 − 𝑋 𝑠0 )( ¯𝑋𝑡 − ¯𝑋𝑡0 )
⏟ ⏞
(1)
+ 𝐸𝑋 𝑠0 ( ¯𝑋𝑡 − ¯𝑋𝑡0 )
⏟ ⏞
(2)
+ 𝐸(𝑋 𝑠 − 𝑋 𝑠0 ) ¯𝑋𝑡0
⏟ ⏞
(3)
|
trojúhel.ner.
≤ |𝐸(𝑋 𝑠 − 𝑋 𝑠0 )( ¯𝑋𝑡 − ¯𝑋𝑡0 )|+|𝐸𝑋 𝑠0 ( ¯𝑋𝑡 − ¯𝑋𝑡0 )| + |𝐸(𝑋 𝑠 − 𝑋 𝑠0 ) ¯𝑋𝑡0 |
Schwarz.ner.
≤
⎛
⎜
⎝ 𝐸|𝑋 𝑠−𝑋 𝑠0 |2
𝐸| ¯𝑋𝑡− ¯𝑋𝑡0 |2
⏟ ⏞
→0
⎞
⎟
⎠
1
2
+
⎛
⎜
⎝ 𝐸|𝑋 𝑠0 |2
𝐸| ¯𝑋𝑡− ¯𝑋𝑡0 |2
⏟ ⏞
→0
⎞
⎟
⎠
1
2
+
⎛
⎜
⎝ 𝐸|𝑋 𝑠−𝑋 𝑠0 |2
𝐸| ¯𝑋𝑡0 |2
⏟ ⏞
→0
⎞
⎟
⎠
1
2
pro 𝑠 → 𝑠0, 𝑡 → 𝑡0
(využili jsme vlastnosti spojitosti skalárního součinu). Funkce 𝛾(𝑠, 𝑡, ) je tudíž spojitá všude, a tedy
také na diagonále 𝑠 = 𝑡.
22 M5201 Stochastické modely časových řad
⇐ Předpokládejme nyní, že 𝛾(𝑠, 𝑡, ) je spojitá na diagonále 𝑠 = 𝑡. Máme
𝐸|𝑋 𝑠 − 𝑋𝑡|2
= 𝐸(𝑋 𝑠 − 𝑋𝑡)( ¯𝑋 𝑠 − ¯𝑋𝑡)
= 𝐸𝑋 𝑠
¯𝑋 𝑠 − 𝐸𝑋 𝑠
¯𝑋𝑡 − 𝐸𝑋𝑡
¯𝑋 𝑠 + 𝐸𝑋𝑡
¯𝑋𝑡
= 𝛾(𝑠, 𝑠) − 𝛾(𝑠, 𝑡) − 𝛾(𝑡, 𝑠) + 𝛾(𝑡, 𝑡)
Při pevném 𝑡 a při 𝑠 → 𝑡 z našeho předpokladu vyplývá
𝛾(𝑠, 𝑠) → 𝛾(𝑡, 𝑡), 𝛾(𝑠, 𝑡) → 𝛾(𝑡, 𝑡), 𝛾(𝑡, 𝑠) → 𝛾(𝑡, 𝑡),
takže
𝐸|𝑋 𝑠 − 𝑋𝑡|2
→ 0 pro 𝑠 → 𝑡,
tj. konverguje podle kvadratického středu.
5.2. Derivace náhodného procesu. Derivaci náhodného procesu budeme definovat obdobně, jako se
definuje derivace funkce.
Definice 5.4. Řekneme, že náhodný proces {𝑋𝑡, 𝑡 ∈ 𝑇} má v bodě 𝑡0 ∈ 𝑇 derivaci 𝑋′
𝑡0
, jestliže platí
l.i.m.
ℎ→0
𝑋𝑡0+ℎ − 𝑋𝑡0
ℎ
= 𝑋′
𝑡0
pro 𝑡0 + ℎ ∈ 𝑇.
Má-li náhodný proces {𝑋𝑡, 𝑡 ∈ 𝑇} derivaci ve všech bodech 𝑡 ∈ 𝑇, říkáme stručně, že má derivaci.
Věty, které dávají nutnou a postačující podmínku pro existenci derivace náhodného procesu, lze najít v knize
Anděl, J.: Statistická analýza časových řad. Praha. SNTL 1976
6. Spektrální rozklad autokovariančních funkcí stacionárních procesů
6.1. Herglotzova a Bochnerova věta. V celém odstavci budeme předpokládat, že náhodný proces
{𝑋𝑡, 𝑡 ∈ 𝑇} je stacionární, centrovaný a druhého řádu (tj. s konečnými druhými momenty).
Významnou vlastností stacionárních náhodných procesů je vlastnost, že jeho autokovariační funkci lze
vyjádřit jako (nespočetný) součet harmonických funkcí s různými frekvencemi a amplitudami.
Věta 6.1 (Herglotzova věta). Je-li {𝑋𝑡, 𝑡 ∈ 𝑍} stacionární posloupnost, pak se její autokovarianční funkce
𝛾(𝑡) dá vyjádřit ve tvaru
𝛾(𝑡) =
∫︁ 𝜋
−𝜋
𝑒𝑖𝑡𝜆
𝑑𝐹(𝜆),
kde 𝐹(𝜆) je neklesající, zprava spojitá funkce taková, že
𝐹(−𝜋) = 0 a 𝐹(𝜋) = 𝛾(0).
Přitom 𝐹(𝜆) je jediná.
Důkaz. Lze najít například v Forbelská (2009).
Věta 6.2 (Bochnerova věta). Je-li {𝑋𝑡, 𝑡 ∈ R} stacionární proces spojitý podle středu, pak se jeho autokovarianční
funkce 𝛾(𝑡) dá vyjádřit ve tvaru
𝛾(𝑡) =
∫︁ ∞
−∞
𝑒𝑖𝑡𝜆
𝑑𝐹(𝜆),
kde 𝐹(𝜆) je taková neklesající, zprava spojitá funkce, že
𝐹(−∞) = 0 a 𝐹(∞) = 𝛾(0).
Přitom 𝐹(𝜆) je jediná.
Důkaz. Lze najít například v Forbelská (2009).
RNDr. Marie Forbelská, Ph.D. 23
Vzorci
𝛾(𝑡) =
∫︁ 𝜋
−𝜋
𝑒𝑖𝑡𝜆
𝑑𝐹(𝜆) resp. 𝛾(𝑡) =
∫︁ ∞
−∞
𝑒𝑖𝑡𝜆
𝑑𝐹(𝜆)
se říká spektrální rozklad kovarianční funkce. Funkce 𝐹(𝜆) se nazývá spektrální distribuční funkce.
Je-li 𝐹(𝜆) absolutně spojitá, pak existuje taková funkce 𝑓(𝜆), že pro náhodné stacionární posloupnosti,
resp. pro stacionární náhodné procesy platí
𝐹(𝜆) =
∫︁ 𝜆
−𝜋
𝑓(𝑥)𝑑𝑥 resp. 𝐹(𝜆) =
∫︁ 𝜆
−∞
𝑓(𝑥)𝑑𝑥. (3)
Jelikož 𝐹(𝜆) je neklesající, je 𝑓(𝜆) skoro všude nezáporná. Je-li třeba, pozměníme ji na množině míry nula tak,
aby byla všude nezáporná. Tím se integrál (3) nezmění. Funkce 𝑓(𝜆) se nazývá spektrální hustota. Existuje-li
spektrální hustota, pak můžeme psát
𝛾(𝑡) =
∫︁ 𝜋
−𝜋
𝑒𝑖𝑡𝜆
𝑓(𝜆)𝑑𝜆 resp. 𝛾(𝑡) =
∫︁ ∞
−∞
𝑒𝑖𝑡𝜆
𝑓(𝜆)𝑑𝜆. (4)
Všimněme si ještě, zda a jak se dá na základě nějaké jednoduché vlastnosti kovarianční funkce 𝛾(𝑡) poznat, zda
vůbec spektrální hustota existuje.
Věta 6.3. K existenci spektrální hustoty stacionární náhodné posloupnosti stačí, aby pro její kovarianční
funkci platilo
∞∑︁
𝑡=−∞
|𝛾(𝑡)| < ∞
K existenci spektrální hustoty spojitého stacionární náhodného procesu stačí, aby pro její kovarianční funkci
platilo ∫︁ ∞
−∞
|𝛾(𝑡)|𝑑𝑡 < ∞.
Důkaz. Lze najít například v publikaci autorů Gichman a Skorochod (1971, viz [13]).
V následujících dvou větách je zodpovězena otázka, jak vypočítat spektrální hustotu z kovarianční funkce.
Věta 6.4. Existuje-li spektrální hustota 𝑓(𝜆) stacionární posloupnosti a má-li variaci konečnou na ⟨−𝜋, 𝜋⟩,
pak platí
𝑓(𝜆) =
1
2𝜋
∞∑︁
𝑡=−∞
𝑒−𝑖𝑡𝜆
𝛾(𝑡) (5)
ve všech bodech spojitosti funkce 𝑓(𝜆), což je skoro všude vzhledem k Lebesgueově míře.
Důkaz. Ze vzorce (4) na straně 23 vidíme, že až na normující konstantu 1
2𝜋 jsou 𝛾(𝑡) Fourierovy koeficienty
funkce 𝑓(𝜆) vzhledem k ortogonálnímu systému funkcí {𝑒−𝑖𝑡𝜆}. Zbytek tvrzení plyne z faktu, že funkce s konečnou
variací má nejvýše spočetně bodů nespojitosti (variace je difinována takto
𝑏⋁︀
𝑎
(𝑓) = sup
𝐷 𝑛
𝑛∑︀
𝑘=1
|𝑓(𝑥 𝑘) − 𝑓(𝑥 𝑘−1)|,
kde 𝐷 𝑛 = {𝑎 = 𝑥0 < 𝑥1 < · · · < 𝑥 𝑛 = 𝑏} je dělení intervalu ⟨𝑎, 𝑏⟩.)
Věta 6.5. Existuje-li spektrální hustota 𝑓(𝜆) spojitého stacionárního procesu a je-li autokovarianční funkce
absolutně integrovatelná, tj. ∫︁ ∞
−∞
|𝛾(𝑡)|𝑑𝑡 < ∞,
pak
𝑓(𝜆) =
1
2𝜋
∫︁ ∞
−∞
𝑒−𝑖𝑡𝜆
𝛾(𝑡) 𝑑𝑡. (6)
Důkaz. Ze vzorce (4) na straně 23 vidíme, že až na normující konstantu 1
2𝜋 je mezi 𝛾(𝑡) a 𝑓(𝜆) stejný vztah
jako mezi charakteristickou funkcí a hustotou rozdělení. Proto lze přímo převzít vzorec pro výpočet hustoty
z charakteristické funkce.
Věta 6.6. Spektrální hustota 𝑓(𝜆) reálného spojitého stacionárního procesu nebo reálné stacionární posloupnosti
je sudá funkce v tom smyslu, že pro ni platí
𝑓(𝜆) = 𝑓(−𝜆) (7)
skoro všude vzhledem k Lebesgueově míře.
24 M5201 Stochastické modely časových řad
Důkaz. Nechť {𝑋𝑡, 𝑡 ∈ 𝑇} je spojitý stacionární proces. Jelikož je reálný, platí pro každé 𝑡 ∈ 𝑇, že
𝛾(𝑡) = 𝛾(−𝑡). Proto vzhledem k (4)
𝛾(𝑡) =
∫︀ ∞
−∞ 𝑒𝑖𝑡𝜆 𝑓(𝜆)𝑑𝜆 =
∫︀ ∞
−∞ 𝑒−𝑖𝑡𝜆 𝑓(𝜆)𝑑𝜆 = 𝛾(−𝑡).
Substitucí se snadno zjistí, že pravá strana je rovna
∫︀ ∞
−∞ 𝑒𝑖𝑡𝜆 𝑓(−𝜆)𝑑𝜆 takže
∫︁ ∞
−∞
𝑒𝑖𝑡𝜆
𝑓(𝜆)𝑑𝜆 =
∫︁ ∞
−∞
𝑒𝑖𝑡𝜆
𝑓(−𝜆)𝑑𝜆. (8)
Je-li 𝑓(𝜆) = 0 skoro všude, je tvrzení věty zřejmé. Předpokládejme tedy, že∫︀ ∞
−∞ 𝑓(𝜆)𝑑𝜆 = 𝐶 > 0.
Bez újmy na obecnosti můžeme položit 𝐶 = 1 (jinak stačí místo 𝑓(𝜆) uvažovat 𝑓(𝜆)
𝐶 ). Pak vzorec (8)
ukazuje, že charakteristické funkce příslušející hustotám 𝑓(𝜆) a 𝑓(−𝜆) jsou totožné. Vzhledem k vzájemně
jednoznačnému vztahu mezi rozdělením pravděpodobnosti a charakteristickou funkcí odtud vyplývá tvrzení
věty.
Pro stacionární posloupnosti je důkaz obdobný.
7. Odhady středních hodnot a autokovariancí
Stochastický proces je matematickým modelem reálného děje náhodného charakteru, který probíhá nepřetržitě
v čase. Můžeme jej však pozorovat jen v konečných časových intervalech a na základě těchto pozorování
určit odhady hodnot charakteristik tohoto procesu - střední hodnoty, rozptylu, autokovarianční funkce, atd.
Jestliže máme k dispozici dostatečný počet pozorování realizací náhodného procesu, můžeme
(1) Přibližně určit charakteristiky každé realizace náhodného procesu.
(2) Přibližné celkové charakteristiky lze získat zprůměrováním předchozích.
Tato metoda zpracování je však poměrně složitá a vzniká otázka, či by nebylo možné pro stacionární náhodný
proces zaměnit tento složitý přístup za mnohem jednodušší, který se zakládá na předpokladu, že střední hodnota
nezávisí na čase a korelační funkce na začátku výpočtu. Kromě toho vzniká otázka, zda při zpracování
pozorování stacionárního náhodného procesu je třeba disponovat několika jejich realizacemi. Protože náhodný
proces je stacionární a homogenní v čase, je přirozené předpokládat, že jedna jediná realizace s dostatečnou
délkou je postačujícím materiálem na získání charakteristik náhodného procesu. Při podrobnějším zkoumání
této otázky se ukázalo, že existuje takováto možnost, ale ne pro všechny stacionární náhodné procesy.
Tedy jestliže jediná realizace náhodného procesu pozorovaná v dostatečně dlouhém čase může být považovaná
za určitého reprezentanta všech možných realizací, říkáme, že takovéto stacionární stochastické procesy
mají ergodickou vlastnost.
Jestliže určitý náhodný proces nemá tuto vlastnost ergodičnosti, i když je stacionární, potom jeho různé
realizace, které se vyskytují s určitými pravděpodobnostmi, mají různý charakter průběhů. V tomto duchu, jako
by šlo o realizace různých jednodušších stacionárních procesů, které mají svoje individuální charakteristiky.
V některých případech na neergodičnost stacionárního procesu může působit už jen výskyt jediného náhodného
sčítance (tj. náhodné proměnné nezávislé na čase).
Poznámka 7.1. Nechť
{𝑌 (𝑡) = 𝑋(𝑡) + 𝑍, 𝑡 ∈ R}
je náhodný proces, kde {𝑋(𝑡), 𝑡 ∈ R} je ergodický stacionární proces definovaný na pravděpodobnostním
prostoru (Ω, 𝒜, 𝑃) a 𝑍 náhodná veličina definovaná na témže pravděpodobnostním prostoru se střední hodnotou
𝜇 𝑍, rozptylem 𝜎2
𝑍 a pro niž pro každé 𝑡 ∈ R platí
𝐶(𝑋(𝑡), 𝑍) = 0.
Potom
𝜇 𝑌 (𝑡) = 𝜇 𝑋 + 𝜇 𝑍
𝛾 𝑌 (𝑡) = 𝐶(𝑌 (𝑠), 𝑌 (𝑠 + 𝑡)) = 𝐶(𝑋(𝑠) + 𝑍, 𝑋(𝑠 + 𝑡) + 𝑍) =
= 𝐶(𝑋(𝑠), 𝑋(𝑠 + 𝑡))
⏟ ⏞
𝛾 𝑋 (𝑡)
+ 𝐶(𝑋(𝑠 + 𝑡), 𝑍)
⏟ ⏞
=0
+ 𝐶(𝑍, 𝑋(𝑠 + 𝑡))
⏟ ⏞
=0
+ 𝐶(𝑍, 𝑍)
⏟ ⏞
𝜎2
𝑍
= 𝛾 𝑋(𝑡) + 𝜎2
𝑍.
RNDr. Marie Forbelská, Ph.D. 25
Tedy náhodný proces {𝑌 (𝑡), 𝑡 ∈ R} je stacionární proces, ale nemůžeme ho považovat za ergodický, neboť se
dá očekávat, že každá jeho realizace se bude charakterem svého průběhu lišit od jiných - v závislosti od toho
jakou hodnotu při dané realizaci nabyla náhodná veličina 𝑍.
Autokovarianční funkce stacionárního procesu 𝑌 (𝑡), 𝑡 ∈ R se od autokovarianční funkce stacionárního ergodického
procesu {𝑋(𝑡), 𝑡 ∈ R} liší o kladnou složku 𝜎2
𝑍. Takže pro 𝑡 → ∞ se hodnoty 𝛾 𝑌 (𝑡) nezmenšují k nule,
ale od určitého času 𝑡 𝑚 zůstávají konstantní (= 𝜎2
𝑍).
Nyní budeme definovat ergodičnost stacionárních procesů přesněji matematicky v souvislosti s konstrukcí
odhadů některých charakteristik stacionárních procesů.
7.1. Odhady střední hodnoty. Nechť {𝑌 (𝑡), 𝑡 ∈ R} je stochastický proces 2. řádu, který pozorujeme
v časovém intervalu ⟨0, 𝑇⟩. Nechť jeho konstantní střední hodnota 𝜇 je neznámá a je třeba ji odhadnout.
Definice 7.2. Odhad střední hodnoty ^𝜇 stacionárního náhodného procesu {𝑌 (𝑡), 𝑡 ∈ ⟨0, 𝑇⟩} pomocí metody
nejmenších čtverců (LS – Least Squares) je definován vztahem:
^𝜇 = arg min
𝜇∈R
∫︁ 𝑇
0
(𝑌 (𝑡) − 𝜇)2
𝑑𝑡.
Poznámka 7.3. Stále budeme předpokládat, že integrály vystupující v jednotlivých vztazích existují a dají
se v nich zaměnit pořadí integrování a střední hodnoty.
Snadno lze odvodit, že odhad střední hodnoty pomocí LS–metody je roven
^𝜇 = ^𝜇 𝐿𝑆 =
1
𝑇
∫︁ 𝑇
0
𝑌 (𝑡)𝑑𝑡 (9)
neboť
0 =
𝑑
𝑑𝜇
∫︁ 𝑇
0
(︁
𝑌 (𝑡)2
− 2𝜇𝑌 (𝑡) + 𝜇2
)︁
𝑑𝑡 = −2
∫︁ 𝑇
0
𝑌 (𝑡)𝑑𝑡 + 2 𝜇
∫︁ 𝑇
0
𝑑𝑡
⏟ ⏞
=𝑇
= 2𝑇 𝜇 − 2
∫︁ 𝑇
0
𝑌 (𝑡) 𝑑𝑡.
Věta 7.4. Odhad střední hodnoty pomocí metody nejmenších čtverců je nestranný a jeho střední kvadratická
chyba je rovna
𝑀 𝑆𝐸(^𝜇) =
2
𝑇
∫︁ 𝑇
0
(︂
1 −
𝑢
𝑇
)︂
𝛾 𝑌 (𝑢) 𝑑𝑢. (10)
Důkaz. Nestrannost:
𝐸^𝜇 = 𝐸
(︃
1
𝑇
∫︁ 𝑇
0
𝑌 (𝑡)𝑑𝑡
)︃
=
1
𝑇
∫︁ 𝑇
0
𝐸𝑌 (𝑡)
⏟ ⏞
=𝜇(stac.)
𝑑𝑡 = 𝜇
1
𝑇
∫︁ 𝑇
0
𝑑𝑡
⏟ ⏞
=𝑇
= 𝜇.
Střední kvadratická chyba v případě nestranného odhadu je rozptylem tohoto odhadu
𝑀 𝑆𝐸(^𝜇) = 𝐸
[︁
(^𝜇 − 𝜇)2
]︁
= 𝐸
[︁
(^𝜇 − 𝐸^𝜇)2
]︁
= 𝐷(^𝜇).
26 M5201 Stochastické modely časových řad
Počítejme
𝑀 𝑆𝐸(^𝜇) = 𝐸
[︁
(^𝜇 − 𝜇)2
]︁
= 𝐸
⎧
⎨
⎩
[︃
1
𝑇
∫︁ 𝑇
0
𝑌 (𝑡) 𝑑𝑡 − 𝜇
]︃2
⎫
⎬
⎭
= 𝐸
⎧
⎨
⎩
[︃
1
𝑇
∫︁ 𝑇
0
(𝑌 (𝑡) − 𝜇) 𝑑𝑡
]︃2
⎫
⎬
⎭
=
1
𝑇2
𝐸
{︃∫︁ 𝑇
0
∫︁ 𝑇
0
(𝑌 (𝑠) − 𝜇)(𝑌 (𝑡) − 𝜇) 𝑑𝑠 𝑑𝑡
}︃
=
1
𝑇2
∫︁ 𝑇
0
∫︁ 𝑇
0
𝐸 [(𝑌 (𝑠) − 𝜇)(𝑌 (𝑡) − 𝜇)]
⏟ ⏞
𝛾 𝑌 (𝑡−𝑠)(stac.)
𝑑𝑠
=
1
𝑇2
∫︁ 𝑇
0
∫︁ 𝑇
0
𝛾 𝑌 (𝑡 − 𝑠) 𝑑𝑠 𝑑𝑡
Uvažujme transformaci
𝑢 = 𝑡 − 𝑠
𝑣 = 𝑡
s Jakobiánem |𝐽| = 1. Protože 𝑠, 𝑡 ∈ ⟨0, 𝑇⟩, pak platí
−𝑇 ≤ 𝑢 ≤ 𝑇
0 ≤ 𝑣 = 𝑡 ≤ 𝑇
a tudíž
𝑢 ≤ 𝑣 = 𝑠 + 𝑢 ≤ 𝑇 + 𝑢,
tedy
max{0, 𝑢} ≤ 𝑣 ≤ min{𝑇, 𝑇 + 𝑢}.
Tak dostaneme
𝑀 𝑆𝐸(^𝜇) =
1
𝑇2
∫︁ 𝑇
−𝑇
⎛
⎜
⎝
min{𝑇,𝑇+𝑢}∫︁
max{0,𝑢}
𝛾 𝑌 (𝑢) 𝑑𝑣
⎞
⎟
⎠ 𝑑𝑢
=
1
𝑇2
[︃∫︁ 0
−𝑇
(︃
𝛾 𝑌 (𝑢)
∫︁ 𝑇+𝑢
0
𝑑𝑣
)︃
𝑑𝑢 +
∫︁ 𝑇
0
(︃
𝛾 𝑌 (𝑢)
∫︁ 𝑇
𝑢
𝑑𝑣
)︃
𝑑𝑢
]︃
=
1
𝑇2
[︃∫︁ 0
−𝑇
𝛾 𝑌 (𝑢)(𝑇 + 𝑢) 𝑑𝑢 +
∫︁ 𝑇
0
𝛾 𝑌 (𝑢)(𝑇 − 𝑢) 𝑑𝑢
]︃
=
1
𝑇2
∫︁ 𝑇
−𝑇
𝛾 𝑌 (𝑢)(𝑇 − |𝑢|) 𝑑𝑢 =
2
𝑇2
∫︁ 𝑇
0
(𝑇 − 𝑢)𝛾 𝑌 (𝑢) 𝑑𝑢
=
2
𝑇
∫︁ 𝑇
0
(︂
1 −
𝑢
𝑇
)︂
𝛾 𝑌 (𝑢) 𝑑𝑢 = 𝐷(^𝜇) = 𝐷
[︃
1
𝑇
∫︁ 𝑇
0
𝑌 (𝑡) 𝑑𝑡
]︃
.
Pro další studium ergodických procesů je vhodné vyslovit následující definici:
Definice 7.5. Řekneme, že stacionární proces {𝑌 (𝑡), 𝑡 ∈ R} je ergodický ve střední hodnotě, pokud
platí
lim
𝑇→∞
𝐷
[︃
1
𝑇
∫︁ 𝑇
0
𝑌 (𝑡) 𝑑𝑡
]︃
= 0. (11)
Věta 7.6. Nechť pro stacionární proces {𝑌 (𝑡), 𝑡 ∈ R} s autokovarianční funkcí 𝛾 𝑌 (𝑡) platí
lim
𝑡→∞
1
𝑇
∫︁ 𝑇
0
(︂
1 −
𝑢
𝑇
)︂
|𝛾 𝑌 (𝑢)| 𝑑𝑢 = 0.
Potom je náhodný proces {𝑌 (𝑡), 𝑡 ∈ R} ergodický ve střední hodnotě.
RNDr. Marie Forbelská, Ph.D. 27
Důkaz. Tvrzení věty plyne ze vztahů (10), (11) a nerovnosti
⃒
⃒
⃒
⃒
⃒
⃒
𝑇∫︁
0
(︂
1 −
𝑢
𝑇
)︂
𝛾 𝑌 (𝑢)𝑑𝑢
⃒
⃒
⃒
⃒
⃒
⃒
≤
∫︁ 𝑇
0
(︂
1 −
𝑢
𝑇
)︂
|𝛾 𝑌 (𝑢)| 𝑑𝑢.
Důsledek 7.7. Nechť lim
𝑡→∞
𝛾 𝑌 (𝑡) = 0. Pak stacionární proces s autokovarianční funkcí 𝛾 𝑌 (𝑡) je ergodický
ve střední hodnotě.
Důkaz. Jestliže
lim
𝑡→∞
𝛾 𝑌 (𝑡) = 0,
pak také
lim
𝑡→∞
|𝛾 𝑌 (𝑡)| = 0.
Pak pro libovolně malé 𝜀 > 0 existují dostatečné velká 𝑇, 𝑇0 ∈ R (𝑇0 < 𝑇) taková, že pro každé 𝑡 > 𝑇0, platí
|𝛾 𝑌 (𝑡)| < 𝜀.
Pak
lim
𝑇→∞
𝐷
[︃
1
𝑇
∫︁ 𝑇
0
𝑌 (𝑡) 𝑑𝑡
]︃
= lim
𝑇→∞
2
𝑇
∫︁ 𝑇
0
(︂
1 −
𝑢
𝑇
)︂
𝛾 𝑌 (𝑢) 𝑑𝑢
≤ lim
𝑇→∞
2
𝑇
∫︁ 𝑇
0
(︂
1 −
𝑢
𝑇
)︂
|𝛾 𝑌 (𝑢)| 𝑑𝑢
≤ lim
𝑇→∞
2
𝑇
∫︁ 𝑇
0
|𝛾 𝑌 (𝑢)| 𝑑𝑢
= lim
𝑇→∞
2
𝑇
⎡
⎢
⎢
⎣
∫︁ 𝑇0
0
|𝛾 𝑌 (𝑢)|
⏟ ⏞
≤ 𝛾 𝑌 (0)
𝑑𝑢 +
∫︁ 𝑇
𝑇0
|𝛾 𝑌 (𝑢)|
⏟ ⏞
< 𝜀
𝑑𝑢
⎤
⎥
⎥
⎦
≤ lim
𝑇→∞
2
[︂
𝑇0
𝑇
𝛾 𝑌 (0) +
(︂
1 −
𝑇0
𝑇
)︂
𝜀
]︂
= 0
ergodicita ve střední hodnotě.
Poznamenejme, že jestliže platí
lim
𝑡→∞
𝛾 𝑌 (𝑡) = 0,
pak také pro autokorelační funkci platí
lim
𝑡→∞
𝜌 𝑌 (𝑡) = lim
𝑡→∞
𝛾 𝑌 (𝑡)
𝛾 𝑌 (0)
= 0,
což znamená, že síla lineárních vazeb mezi jednotlivými náhodnými veličinami, které tvoří daný stacionární
proces {𝑌 (𝑡), 𝑡 ∈ R}, jakmile se tyto od sebe neustále vzdalují, postupně slábne, tj. jejich korelační koeficient
→ 0.
7.1.1. DISKRÉTNÍ NÁHODNÉ PROCESY. Při pozorování stacionárních procesů {𝑌 (𝑡), 𝑡 ∈ R} druhého
řadu se spojitým časem nejčastěji pozorujeme jen určitou jejich konečnou diskrétní část, tj. pro 𝑛 ∈ N v diskrétních
časových okamžicích 𝑡1, . . . , 𝑡 𝑛 ∈ R pozorujeme jen náhodný vektor
Y = (𝑌𝑡1 , . . . , 𝑌𝑡 𝑛 )′
= (𝑌1, . . . , 𝑌 𝑛)′
,
který nazýváme diskrétním pozorováním náhodného procesu {𝑌 (𝑡), 𝑡 ∈ R} (anebo diskretizací náhodného
procesu {𝑌 (𝑡), 𝑡 ∈ R} se spojitým časem), kde jsme položili
𝑡𝑖 = 𝑖, 𝑖 = 1, . . . , 𝑛.
Pak lze snadno ukázat, že obdobným diskrétním ekvivalentem odhadu střední hodnoty je odhad
¯𝑌 = 1
𝑇
𝑛∑︁
𝑖=1
𝑌𝑡 𝑖 · 𝑇
𝑛
⏟ ⏞
≈
∫︀ 𝑡 𝑖+Δ𝑡/2
𝑡 𝑖−Δ𝑡/2
𝑌 (𝑡)𝑑𝑡
= 1
𝑛
𝑛∑︁
𝑡=1
𝑌𝑡, kde Δ𝑡 = 𝑇
𝑛 .
28 M5201 Stochastické modely časových řad
7.2. Odhady autokovarianční a autokorelační funkce. Odhad autokovarianční funkce lze analogicky
jako v případě střední hodnoty nalézt ve tvaru
^𝛾 𝑌 (𝜏) =
1
𝑇 − 𝜏
∫︁ 𝑇−𝜏
0
[(𝑌 (𝑡) − ^𝜇) (𝑌 (𝑡 + 𝜏) − ^𝜇)] 𝑑𝑡.
Podobně jak jsme výše definovali ergodičnost ve střední hodnotě pro stacionární proces {𝑌 (𝑡), 𝑡 ∈ R}, můžeme
definovat i jeho ergodičnost v rozptylu, pokud platí
lim
𝑇→∞
𝐷
[︃
1
𝑇
∫︁ 𝑇
0
(𝑌 (𝑡) − 𝜇)2
𝑑𝑡
]︃
= 0
a jeho ergodičnost v autokovarianční funkci, jestliže platí
lim
𝑇→∞
𝐷
[︃
1
𝑇
∫︁ 𝑇−𝜏
0
(𝑌 (𝜏 + 𝑡) − 𝜇) (𝑌 (𝑡) − 𝜇) 𝑑𝑡
]︃
= 0.
Snadno lze ukázat, že obdobnými diskrétními ekvivalenty jsou následující odhady:
Odhad autokovarianční funkce:
𝑐 𝑘 =
1
𝑛 − 𝑘
𝑛−𝑘∑︁
𝑡=1
(𝑌𝑡 − ¯𝑌 )(𝑌𝑡+𝑘 − ¯𝑌 )
pro 𝑘 = 0, 1, . . . , 𝑛 − 1.
Odhad autokorelační funkce ACF:
𝑟 𝑘 =
𝑐 𝑘
𝑐0
pro 𝑘 = 0, 1, . . . , 𝑛 − 1.
Aby tyto odhady měly praktický význam, požaduje se obvykle
𝑛 > 50
a
𝑘 < 𝑛
4 ,
neboť odhady
{︁
𝑐 𝑘
}︁ 𝑛−1
𝑘=0
resp.
{︁
𝑟 𝑘
}︁ 𝑛−1
𝑘=0
nejsou lineárně nezávislé a s rostoucím 𝑘 roste i jejich rozptyl.
8. Odhady spektrální hustoty
8.1. Úvod. Pojem spektra se vyskytuje nejen v teorii náhodných procesů, ale také v matematice, fyzice a
technice. Jestliže nějaký proces vlnění je součtem harmonických vlnění (tzv. harmonik), tak spektrum procesu
vlnění se nazývá funkce, která popisuje rozdělení amplitud podle jednotlivých frekvencí. Spektrum ukazuje,
která vlnění převládají v daném procesu a jaká je jeho vnitřní struktura. Spektrum v případě stacionárního
náhodného procesu dává rozdělení rozptylů náhodných amplitud podle různých frekvencí vlnění.
V celém tomto odstavci proto budeme předpokládat, že náhodný proces
{𝑌𝑡, 𝑡 ∈ 𝑇} je stacionární, centrovaný a druhého řádu (tj. s konečnými druhými momenty).
8.2. Periodogram. V dalším budeme předpokládat, že {𝑌𝑡, 𝑡 ∈ Z} je centrovaná stacionární náhodná
posloupnost.
Definice 8.1. Nechť 𝑌1, . . . , 𝑌 𝑛 jsou pozorování náhodné posloupnosti {𝑌𝑡, 𝑡 ∈ Z}. Pak periodogram
definujeme vztahem
𝐼 𝑛(𝜔) = 1
2𝜋𝑛
⃒
⃒
⃒
⃒
𝑛∑︀
𝑡=1
𝑌𝑡 𝑒−𝑖𝑡𝜔
⃒
⃒
⃒
⃒
2
𝜔 ∈ ⟨−𝜋, 𝜋⟩.
RNDr. Marie Forbelská, Ph.D. 29
Lemma 8.2. Položme
𝐴 𝑛(𝜔) =
√︂
2
𝑛
𝑛∑︁
𝑡=1
𝑌𝑡 cos 𝑡𝜔 𝐵 𝑛(𝜔) =
√︂
2
𝑛
𝑛∑︁
𝑡=1
𝑌𝑡 sin 𝑡𝜔,
pak platí
𝐼 𝑛(𝜔) =
1
4𝜋
[︁
𝐴2
𝑛(𝜔) + 𝐵2
𝑛(𝜔)
]︁
.
Důkaz.
𝐼 𝑛(𝜔) =
1
2𝜋𝑛
⃒
⃒
⃒
⃒
⃒
𝑛∑︁
𝑡=1
𝑌𝑡 𝑒−𝑖𝑡𝜔
⃒
⃒
⃒
⃒
⃒
2
=
1
2𝜋𝑛
⃒
⃒
⃒
⃒
⃒
𝑛∑︁
𝑡=1
𝑌𝑡 cos 𝑡𝜔 − 𝑖
𝑛∑︁
𝑡=1
𝑌𝑡 sin 𝑡𝜔
⃒
⃒
⃒
⃒
⃒
2
=
=
1
2𝜋𝑛
⎡
⎣
(︃ 𝑛∑︁
𝑡=1
𝑌𝑡 cos 𝑡𝜔
)︃2
+
(︃ 𝑛∑︁
𝑡=1
𝑌𝑡 sin 𝑡𝜔
)︃2
⎤
⎦ =
1
4𝜋
[︁
𝐴2
𝑛(𝜔) + 𝐵2
𝑛(𝜔)
]︁
.
Poznámka 8.3. Někteří autoři definují periodogram poněkud jinak:
𝐼*
𝑛(𝜔) =
2
𝑛
⃒
⃒
⃒
⃒
⃒
𝑛∑︁
𝑡=1
𝑌𝑡 𝑒−𝑖𝑡𝜔
⃒
⃒
⃒
⃒
⃒
2
=
[︁
𝐴2
𝑛(𝜔) + 𝐵2
𝑛(𝜔)
]︁
= 4𝜋𝐼 𝑛(𝜔).
Lemma 8.4. Pokud označíme pro 𝑘 = 0, 1, . . . , 𝑛 − 1
𝐶 𝑘 =
1
𝑛 − 𝑘
𝑛−𝑘∑︁
𝑡=1
𝑌𝑡 𝑌𝑡+𝑘
𝐶*
𝑘 =
1
𝑛
𝑛−𝑘∑︁
𝑡=1
𝑌𝑡 𝑌𝑡+𝑘
pak platí
𝐼 𝑛(𝜔) =
1
2𝜋
[︃
𝐶0 + 2
𝑛−1∑︁
𝑘=1
(︁
1 − 𝑘
𝑛
)︁
𝐶 𝑘 cos 𝑘𝜔
]︃
=
1
2𝜋
[︃
𝐶*
0 + 2
𝑛−1∑︁
𝑘=1
𝐶*
𝑘 cos 𝑘𝜔
]︃
.
Důkaz.
𝐼 𝑛(𝜔) =
1
2𝜋𝑛
⎡
⎣
(︃ 𝑛∑︁
𝑡=1
𝑌𝑡 cos 𝑡𝜔
)︃2
+
(︃ 𝑛∑︁
𝑡=1
𝑌𝑡 sin 𝑡𝜔
)︃2
⎤
⎦
=
1
2𝜋𝑛
[︃(︃ 𝑛∑︁
𝑡=1
𝑌𝑡 cos 𝑡𝜔
)︃ (︃ 𝑛∑︁
𝑠=1
𝑌 𝑠 cos 𝑠𝜔
)︃
+
(︃ 𝑛∑︁
𝑡=1
𝑌𝑡 sin 𝑡𝜔
)︃ (︃ 𝑛∑︁
𝑠=1
𝑌 𝑠 sin 𝑠𝜔
)︃]︃
=
1
2𝜋𝑛
𝑛∑︁
𝑡=1
𝑛∑︁
𝑠=1
𝑌𝑡 𝑌 𝑠 (cos 𝑡𝜔 cos 𝑠𝜔 + sin 𝑡𝜔 sin 𝑠𝜔)
=
1
2𝜋𝑛
𝑛∑︁
𝑡=1
𝑛∑︁
𝑠=1
𝑌𝑡 𝑌 𝑠 cos 𝜔(𝑠 − 𝑡)
Zavedeme-li dále substituci 𝑘 = 𝑠 − 𝑡 , pak −𝑛 + 1 ≤ 𝑘 ≤ 𝑛 − 1 a
1 ≤ 𝑡 ≤ 𝑛
1 ≤ 𝑠= 𝑡+𝑘 ≤ 𝑛
1−𝑘 ≤ 𝑡 ≤ 𝑛−𝑘
⇒
týká se kladných 𝑘
max(1, 1−𝑘⏟ ⏞
) ≤ 𝑡 ≤ min(𝑛,
⏞ ⏟
𝑛−𝑘).
týká se záporných 𝑘
a pak platí
𝐼 𝑛(𝜔) =
1
2𝜋𝑛
𝑛−1∑︁
𝑘=−𝑛+1
cos 𝑘𝜔
min(𝑛,𝑛−𝑘)
∑︁
𝑡=max(1,1−𝑘)
𝑌𝑡 𝑌𝑡+𝑘.
30 M5201 Stochastické modely časových řad
Nyní vezměme zvlášť případy, kdy 𝑘 = 0 a ostatní, přičemž využijme faktu, že funkce cos je sudou funkcí.
Dostaneme proto
𝐼 𝑛(𝜔) =
1
2𝜋
1
𝑛
𝑛∑︁
𝑡=1
𝑌 2
𝑡
⏟ ⏞
𝐶0
+
1
2𝜋
−1∑︁
𝑘=−𝑛+1
𝑛 − |𝑘|
𝑛
cos 𝑘𝜔
1
𝑛 − |𝑘|
𝑛∑︁
𝑡=1−𝑘
𝑌𝑡 𝑌𝑡+𝑘
⏟ ⏞
𝐶−𝑘=𝐶 𝑘
+
1
2𝜋
𝑛−1∑︁
𝑘=1
𝑛 − 𝑘
𝑛
cos 𝑘𝜔
1
𝑛 − 𝑘
𝑛−𝑘∑︁
𝑡=1
𝑌𝑡 𝑌𝑡+𝑘
⏟ ⏞
𝐶 𝑘
=
=
1
2𝜋
𝑛−1∑︁
𝑘=−(𝑛−1)
(︂
1 −
|𝑘|
𝑛
)︂
𝐶 𝑘 cos 𝑘𝜔 =
1
2𝜋
[︃
𝐶0 + 2
𝑛−1∑︁
𝑘=1
(︂
1 −
𝑘
𝑛
)︂
𝐶 𝑘 cos 𝑘𝜔
]︃
𝐼 𝑛(𝜔) =
1
2𝜋
1
𝑛
𝑛∑︁
𝑡=1
𝑌 2
𝑡
⏟ ⏞
𝐶*
0
+
1
2𝜋
−1∑︁
𝑘=−𝑛+1
cos 𝑘𝜔
1
𝑛
𝑛∑︁
𝑡=1−𝑘
𝑌𝑡 𝑌𝑡+𝑘
⏟ ⏞
𝐶*
−𝑘
=𝐶*
𝑘
+
1
2𝜋
𝑛−1∑︁
𝑘=1
cos 𝑘𝜔
1
𝑛
𝑛−𝑘∑︁
𝑡=1
𝑌𝑡 𝑌𝑡+𝑘
⏟ ⏞
𝐶*
𝑘
=
1
2𝜋
(︃
𝐶*
0 + 2
𝑛−1∑︁
𝑘=1
𝐶*
𝑘 cos 𝑘𝜔
)︃
.
Poznámka 8.5. K numerickému výpočtu hodnot periodogramu se často používají právě předchozí
vzorce.
Poznámka 8.6. Pro teoretické účely bývá výhodnější tato varianta
𝐼 𝑛(𝜔) =
1
2𝜋
𝑛−1∑︁
𝑘=−(𝑛−1)
(︁
1 − |𝑘|
𝑛
)︁
𝐶 𝑘 cos 𝑘𝜔 =
1
2𝜋
𝑛−1∑︁
𝑘=−(𝑛−1)
𝐶*
𝑘 cos 𝑘𝜔.
Pro náhodnou posloupnost {𝑌𝑡, 𝑡 ∈ 𝑇 ⊆ Z} platí
𝑓(𝜔) =
1
2𝜋
∞∑︁
𝑡=−∞
𝛾(𝑡) cos 𝑡𝜔.
Veličiny
(︁
1 − 𝑘
𝑛
)︁
𝐶 𝑘, (resp. 𝐶*
𝑘) můžeme považovat za jakýsi odhad 𝛾(𝑘) a periodogram se tudíž dá považovat
za empirický odhad spektrální hustoty.
Vlastnosti tohoto odhadu udává následující věta.
Věta 8.7. Jestliže {𝑌𝑡, 𝑡 ∈ 𝑇 ⊆ Z} je stacionární náhodná posloupnost s nulovou střední hodnotou a
se spojitou spektrální hustotou 𝑓(𝜔), pak má periodogram 𝐼 𝑛(𝜔) následující vlastnosti:
lim
𝑛→∞
𝐸𝐼 𝑛(𝜔) = 𝑓(𝜔) 𝜔 ∈ ⟨−𝜋, 𝜋⟩.
lim
𝑛→∞
𝐷𝐼 𝑛(𝜔) =
{︃
𝑓2(𝜔) 𝜔 ̸= 0, 𝜔 ∈ (−𝜋, 𝜋),
2𝑓2(𝜔) 𝜔 = 0, ±𝜋.
Důkaz. viz Forbelská(2009).
Z předchozí věty vyplývá
(1) Periodogram 𝐼 𝑛(𝜔) je asymptoticky nestranným odhadem spektrální hustoty.
(2) Periodogram 𝐼 𝑛(𝜔) není konzistentním odhadem spektrální hustoty, neboť jeho rozptyl nekonverguje
k nule, vzrůstá-li neomezeně délka posloupnosti 𝑛.
RNDr. Marie Forbelská, Ph.D. 31
8.3. Neparametrické odhady spektrální hustoty (Window Spectral Estimation). Neparametrické
odhady spektrální hustoty centrované stacionární náhodné posloupnosti {𝑌𝑡, 𝑡 ∈ Z} jsou založeny
na zlepšení vlastností periodogramu.
Periodogram je empirickým odhadem spektrální hustoty, který je asymptoticky nestranný, avšak nekonzistentní.
Připomeňme, že platí (viz lemma 8.4)
𝐼 𝑛(𝜔) = 1
2𝜋𝑛
⃒
⃒
⃒
⃒
𝑛∑︀
𝑡=1
𝑌𝑡 𝑒−𝑖𝑡𝜔
⃒
⃒
⃒
⃒
2
= 1
2𝜋
[︂
𝐶*
0 + 2
𝑛−1∑︀
𝑘=1
𝐶*
𝑘 cos 𝑘𝜔
]︂
.
Využijme dále vztahů
𝐶*
𝑘 = 𝐶*
−𝑘, kde 𝐶*
𝑘 = 1
𝑛
𝑛−𝑘∑︀
𝑡=1
𝑌𝑡 𝑌𝑡+𝑘 pro 𝑘 = 0, ±1, ±2, . . . , ±(𝑛 − 1)
a
cos 𝑘𝜔 = 1
2
(︁
𝑒𝑖𝑘𝜔 + 𝑒−𝑖𝑘𝜔
)︁
.
Upravujme postupně
𝐼 𝑛(𝜔) = 1
2𝜋
[︂
𝐶*
0 +
𝑛−1∑︀
𝑘=1
𝐶*
𝑘 𝑒𝑖𝑘𝜔 +
𝑛−1∑︀
𝑘=1
𝐶*
𝑘 𝑒−𝑖𝑘𝜔
]︂
= 1
2𝜋
[︃
𝐶*
0 +
−1∑︀
𝑠=−(𝑛−1)
𝐶*
−𝑠 𝑒−𝑖𝑠𝜔 +
𝑛−1∑︀
𝑘=1
𝐶*
𝑘 𝑒−𝑖𝑘𝜔
]︃
= 1
2𝜋
𝑛−1∑︀
𝑘=−(𝑛−1)
𝐶*
𝑘 𝑒−𝑖𝑘𝜔.
Periodogram (jakožto odhad spektrální hustoty) je založen na všech možných odhadech autokovariační
funkce v bodech 𝑘=0,±1,±2,. . .,±(𝑛−1), tj.
𝐶*
0 = 1
𝑛
(︁
𝑌 2
1 + · · · + 𝑌 2
𝑛
)︁
⏟ ⏞
𝑛 členů
𝐶*
1 = 𝐶*
−1 = 1
𝑛 (𝑌1 𝑌2 + · · · + 𝑌 𝑛−1 𝑌 𝑛 + 𝑌3 𝑌 𝑛)
⏟ ⏞
𝑛−1 členů
...
𝐶*
𝑛−3 = 𝐶*
−(𝑛−3) = 1
𝑛 (𝑌1 𝑌 𝑛−2 + 𝑌2 𝑌 𝑛−1 + 𝑌3 𝑌 𝑛)
⏟ ⏞
3 členy
𝐶*
𝑛−2 = 𝐶*
−(𝑛−2) = 1
𝑛 (𝑌1 𝑌 𝑛−1 + 𝑌2 𝑌 𝑛)
⏟ ⏞
2 členy
𝐶*
𝑛−1 = 𝐶*
−(𝑛−1) = 1
𝑛 𝑌1 𝑌 𝑛
⏟ ⏞
1 člen
a tedy je založen i na velmi málo kvalitních odhadech. K určitému zlepšení jistě dojde, pokud budeme používat
jen 𝑚 ≪ 𝑛 nejkvalitnějších odhadů. Mluvíme pak o prostém useknutém periodogramu
^𝑓 𝑛(𝜔) = 1
2𝜋
𝑚∑︀
𝑘=−𝑚
𝐶*
𝑘 cos 𝑘𝜔 = 1
2𝜋
𝑚∑︀
𝑘=−𝑚
𝐶*
𝑘 𝑒−𝑖𝑘𝜔,
což lze také zapsat takto
^𝑓 𝑛(𝜔) = 1
2𝜋
𝑛−1∑︀
𝑘=−(𝑛−1)
𝑤(𝑘)𝐶*
𝑘 cos 𝑘𝜔 = 1
2𝜋
𝑛−1∑︀
𝑘=−(𝑛−1)
𝑤(𝑘)𝐶*
𝑘 𝑒−𝑖𝑘𝜔,
kde
𝑤(𝑘) =
{︂
1 |𝑘| ≤ 𝑚
0 |𝑘| > 𝑚
.
Označme Fourierovu transformaci funkce 𝑤(𝑘)
𝑊(𝜔) = 1
2𝜋
∞∑︀
𝑘=−∞
𝑤(𝑘)𝑒−𝑖𝑘𝜔 = 1
2𝜋
𝑚∑︀
𝑘=−𝑚
𝑒−𝑖𝑘𝜔
a řadu přeindexujeme tak, aby indexy šly od 1 do 2𝑚 + 1, tj. položme 𝑠 = 𝑘 + 𝑚 + 1, pak 𝑘 = 𝑠 − 𝑚 − 1 a
32 M5201 Stochastické modely časových řad
(a) pro 𝜔 ̸= 2𝑘𝜋 je 𝑊(𝜔) = 1
2𝜋
2𝑚+1∑︀
𝑠=1
𝑒−𝑖(𝑠−𝑚−1)𝜔
= 1
2𝜋 𝑒𝑖(𝑚+1)𝜔
2𝑚+1∑︀
𝑠=1
𝑒−𝑖𝑠𝜔
= 1
2𝜋 𝑒𝑖𝑚𝜔 1−𝑒−𝑖(2𝑚+1)𝜔
1−𝑒−𝑖𝜔
= 1
2𝜋 𝑒𝑖𝑚𝜔
𝑒
−𝑖
2𝑚+1
2 𝜔
(︂
𝑒
𝑖
2𝑚+1
2 𝜔
−𝑒
−𝑖
2𝑚+1
2 𝜔
)︂
𝑒
−𝑖
1
2 𝜔
(︂
𝑒
𝑖
1
2 𝜔
−𝑒
−𝑖
1
2 𝜔
)︂
= 1
2𝜋
sin(𝑚+
1
2)𝜔
sin
1
2 𝜔
= 𝐷 𝑚(𝜔),
kde 𝐷 𝑚(𝜔) je tzv. Dirichletovo jádro,
(b) pro 𝜔 = 2𝑘𝜋 je 𝑊(𝜔) = 2𝑚 + 1.
Vzhledem k tomu, že lze psát
𝐼 𝑛(𝜔) = 1
2𝜋
𝑛−1∑︀
𝑘=−(𝑛−1)
𝐶*
𝑘 𝑒−𝑖𝑘𝜔,
vidíme, že 𝐼 𝑛(𝜔) je Fourierovou transformací 𝐶*
𝑘, takže naopak lze pomocí inverzní Fourierovy transformace
psát
𝐶*
𝑘 =
𝜋∫︀
−𝜋
𝐼 𝑛(𝜃)𝑒𝑖𝑘𝜃 𝑑 𝜃.
Počítejme postupně
^𝑓 𝑛(𝜔) = 1
2𝜋
𝑛−1∑︀
𝑘=−(𝑛−1)
𝑤(𝑘)𝐶*
𝑘 𝑒−𝑖𝑘𝜔
= 1
2𝜋
𝑛−1∑︀
𝑘=−(𝑛−1)
𝑤(𝑘)
𝜋∫︀
−𝜋
𝐼 𝑛(𝜃)𝑒𝑖𝑘𝜃 𝑑 𝜃𝑒−𝑖𝑘𝜔
=
𝜋∫︀
−𝜋
𝐼 𝑛(𝜃)
1
2𝜋
𝑛−1∑︁
𝑘=−(𝑛−1)
𝑤(𝑘)𝑒−𝑖𝑘(𝜔−𝜃)
⏟ ⏞
𝑊(𝜔−𝜃)
𝑑 𝜃
=
𝜋∫︀
−𝜋
𝐼 𝑛(𝜃)𝑊(𝜔 − 𝜃)𝑑 𝜃.
Jde o tzv. vyhlazený periodogram (smoothed periodogram).
Funkce 𝑊(𝜔) se nazývá spektrální okénko (spectral window). Tato funkce má do jisté míry aproximovat
Diracovu 𝛿 funkci a platí pro ni
𝜋∫︀
−𝜋
𝑊(𝜔)𝑑𝜔 = 1.
Takto počítat odhad spektrální hustoty by však bylo (vzhledem k málo hladkému průběhu periodogramu)
nepohodlné, proto se obvykle odhad počítá podle vzorce
^𝑓 𝑛(𝜔) = 1
2𝜋
𝑛−1∑︀
𝑘=−(𝑛−1)
𝑤(𝑘)𝐶*
𝑘 𝑒−𝑖𝑘𝜔,
přičemž inverzní Fourierova transformace
𝑤(𝑘) =
𝜋∫︀
−𝜋
𝑊(𝜃)𝑒𝑖𝑘𝜃 𝑑𝜃, 𝑘 = 0, ±1, ±2, . . . ± (𝑛 − 1)
se nazývá korelační okénko (covariance lag window, nebo time-domaing window).
Typickými korelačními okénky jsou tzv. useknutá okénka, pro která existuje takové přirozené číslo 𝑚 (bod
useknutí, truncation point) tak, že 𝑤(𝑘)=0 pro |𝑘|> 𝑚 (𝑚 se obvykle volí v rozmezí od 𝑛
6 do 𝑛
5 ).
Příklady korelačních a spektrálních okének
Prostý useknutý odhad:
RNDr. Marie Forbelská, Ph.D. 33
𝑤(𝑘) =
{︃
1 0 < |𝑘| ≤ 𝑚
0 |𝑘| > 𝑚
𝑊(𝜔) = 1
2𝜋
sin(𝑚+
1
2)𝜔
sin
1
2 𝜔
−6 −4 −2 0 2 4 6
−0.2
0
0.2
0.4
0.6
0.8
1
Lag window w(k)
−2 0 2
−0.2
0
0.2
0.4
0.6
0.8
1
Spectral window W(ω)−Dirichlet kernel
−6π/7
−4π/7
−2π/7
0
2π/7
4π/7
6π/7
Obrázek 22. Korelační a spektrální okénko pro prostý useknutý odhad.
Bartletovo okénko:
𝑤(𝑘) =
⎧
⎨
⎩
(︁
1 − |𝑘|
𝑚
)︁
0 < |𝑘| ≤ 𝑚
0 |𝑘| > 𝑚
𝑊(𝜔) = 1
2𝜋𝑚
sin2 𝑚
𝜔
2
sin2 𝜔
2
= 𝐹 𝑚(𝜔)
𝑊(𝜔) je v tomto případě Fejérovým jádrem.
−10 −5 0 5 10
0
0.2
0.4
0.6
0.8
1
Lag window w(k)
−4 −2 0 2 4
0
0.2
0.4
0.6
0.8
Spectral window W(ω)−Fejer kernel
Obrázek 23. Bartletovo korelační a spektrální okénko.
Parzenovo okénko:
𝑤(𝑘) =
⎧
⎪⎪⎪⎨
⎪⎪⎪⎩
1 − 6
(︁
𝑘
𝑚
)︁2
+ 6
(︁
|𝑘|
𝑚
)︁3
|𝑘| < 𝑚
2
2
(︁
1 − |𝑘|
𝑚
)︁3
𝑚
2 < |𝑘| ≤ 𝑚
0 |𝑘| > 𝑚
𝑊(𝜔) = 3
8𝜋𝑚3
(︃
sin 𝑚
𝜔
4
1
2 sin
𝜔
2
)︃4 (︁
1 − 2
3 sin2 𝜔
2
)︁
34 M5201 Stochastické modely časových řad
kde 𝑚 je nějaké sudé číslo.
−10 −5 0 5 10
0
0.2
0.4
0.6
0.8
1
Lag window w(k)
−4 −2 0 2 4
0
2
4
6
8
10
12
Spectral window W(ω)
Obrázek 24. Parzenovo korelační a spektrální okénko.
Obecné Tukeovo okénko:
𝑤(𝑘) =
{︃
1 − 2𝑎 + 2𝑎 cos 𝜋𝑘
𝑚 |𝑘| ≤ 𝑚
0 |𝑘| > 𝑚
𝑊(𝜔) = 𝑎𝐷 𝑚
(︀
𝜔 − 𝜋
𝑚
)︀
+ (1 − 2𝑎)𝐷 𝑚(𝜔) + 𝑎𝐷 𝑚
(︀
𝜔 + 𝜋
𝑚
)︀
kde 𝑎 ∈ (0, 1
4⟩.
Pokud 𝑎 = 1
4, pak se nazývá Tukey-Hanningovo okénko.
−10 −5 0 5 10
0
0.2
0.4
0.6
0.8
1
Lag window w(k)
−4 −2 0 2 4
0
0.2
0.4
0.6
0.8
Spectral window W(ω)
Obrázek 25. Tukey-Hanningovo korelační a spektrální okénko.
RNDr. Marie Forbelská, Ph.D. 35
Tukey-Hammingovo okénko:
𝑤(𝑘) =
{︃
0.54 + 0.46 cos 𝜋𝑘
𝑚 |𝑘| ≤ 𝑚
0 |𝑘| > 𝑚
𝑊(𝜔) = 0.23𝐷 𝑚
(︀
𝜔 − 𝜋
𝑚
)︀
+ 0.54𝐷 𝑚(𝜔) + 0.23𝐷 𝑚
(︀
𝜔 + 𝜋
𝑚
)︀
−10 −5 0 5 10
0
0.2
0.4
0.6
0.8
1
Lag window w(k)
−4 −2 0 2 4
0
0.2
0.4
0.6
0.8
Spectral window W(ω)
Obrázek 26. Tukey-Hammingovo korelační a spektrální okénko.
Daniellovo okénko: Na závěr ještě uvedeme jedno neuseknuté korelační okénko.
Mějme pro 𝛿 ∈ (0, 𝜋) následující spektrální okénko
𝑊(𝜔) =
{︃ 1
2𝛿 |𝜔| < 𝛿
0 |𝜔| > 𝛿
,
které je vlastně hustotou náhodné veličiny s rovnoměrně spojitým rozdělením na intervalu (−𝛿, 𝛿). Pro
𝑘 = ±1, ±2, . . . ± (𝑛 − 1) počítejme nejprve odpovídající korelační okénko:
𝑤(𝑘) =
𝜋∫︁
−𝜋
𝑊(𝜔)𝑒𝑖𝑘𝜔
𝑑𝜔 =
𝛿∫︁
−𝛿
1
2𝛿
𝑒𝑖𝑘𝜔
𝑑𝜔
=
1
2𝛿
[︃
𝑒𝑖𝑘𝜔
𝑖𝑘
]︃ 𝛿
−𝛿
=
1
𝑘𝛿
1
2𝑖
(︁
𝑒𝑖𝑘𝛿
− 𝑒−𝑖𝑘𝛿
)︁
⏟ ⏞
sin 𝑘𝛿
=
sin 𝑘𝛿
𝑘𝛿
.
Pro 𝑘 = 0 je zřejmě rovno jedné, celkově tedy
𝑤 𝑘 =
⎧
⎪⎨
⎪⎩
1 𝑘 = 0
sin 𝑘𝛿
𝑘𝛿 𝑘 = ±1, ±2, . . . .
−10 −5 0 5 10
−0.2
0
0.2
0.4
0.6
0.8
1
Lag window w(k)
−4 −2 0 2 4
0
0.05
0.1
0.15
0.2
0.25
Spectral window W(ω)
Obrázek 27. Daniellovo korelační a spektrální okénko.
KAPITOLA 2
Predikce v časových řadách
Budoucí vývoj sledované veličiny je možné odhadovat různými predikčními metodami. Většinou vycházejí
ze skutečnosti, že pokud známe časový průběh hodnot veličiny v minulosti (hodnotu v minulém kroku, ale
častěji posloupnost historických vzorků z řady minulých kroků), můžeme s větší či menší přesností předvídat
její vývoj v budoucnosti.
Abychom mohli matematicky predikci zavést, budeme potřebovat definovat Hilbertův prostor. Je to úplný
normovaný lineární prostor, v němž je norma definována pomocí tzv. skalárního součinu. Proto v něm můžeme
využívat všech poznatků z metrických prostorů nebo normovaných lineárních prostorů.
Skalární součin umožnuje zavést v prostoru se skalárním součinem navíc kolmost (ortogonalitu) prvků.
D. Hilbert (1862–1943) položil základy studia této struktury. Vznik teorie abstraktního Hilbertova prostoru
se však klade až do roku 1927 a je spojen se jménem J. von Neumann (1903–1957). Látka o Hilberově prostoru
patří do tzv. funkcionální analýzy.
1. Základní metrické a topologické pojmy
Připomeňme následující pojmy a vlastnosti:
UNITÁRNÍ PROSTORY Komplexní lineární prostor ℋ se nazývá unitární, jestliže pro každé dva prvky
𝑥 a 𝑦 z ℋ existuje komplexní číslo ⟨𝑥, 𝑦⟩, nazývané skalární či vnitřní součin, tak že pro každé 𝑥, 𝑦, 𝑧 ∈ ℋ
a 𝛼 ∈ C platí: (𝑎) ⟨𝑥, 𝑦⟩ = ⟨𝑦, 𝑥⟩ (𝑑) ⟨𝑥, 𝑥⟩ ≥ 0
(𝑏) ⟨𝑥 + 𝑦, 𝑧⟩ = ⟨𝑥, 𝑧⟩ + ⟨𝑦, 𝑧⟩ (𝑒) ⟨𝑥, 𝑥⟩ = 0 ⇔ 𝑥 = 0.
(𝑐) ⟨𝛼𝑥, 𝑦⟩ = 𝛼⟨𝑥, 𝑦⟩
NORMA V unitárním prostoru ℋ definujeme normu vztahem
‖𝑥‖ =
√︀
⟨𝑥, 𝑥⟩.
CAUCHY-SCHWARZOVA NEROVNOST v unitárním prostoru platí:
|⟨𝑥, 𝑦⟩| ≤ ‖𝑥‖ ‖𝑦‖ a |⟨𝑥, 𝑦⟩| = ‖𝑥‖ ‖𝑦‖ ⇔ 𝑥 = ⟨𝑥,𝑦⟩
⟨𝑦,𝑦⟩ 𝑦.
ORTOGONALITA řekneme, že 𝑥 a 𝑦 z unitárního prostoru ℋ jsou ortogonální, pokud platí ⟨𝑥, 𝑦⟩ = 0
a značíme 𝑥⊥𝑦.
ORTOGONÁLNÍ A ORTONORMÁLNÍ MNOŽINY řekneme, že množina ℳ ⊆ ℋ je ortogonální,
jestliže pro každé různé prvky 𝑥, 𝑦 ∈ ℳ platí 𝑥⊥𝑦. Jestliže navíc pro ∀𝑥 ∈ ℳ platí ‖𝑥‖ = 1, pak množina
ℳ se nazývá ortonormální.
Poznámka: Je-li ℳ ortogonální množina, pak množina
{︁
𝑥
‖𝑥‖ : 𝑥 ∈ ℳ
}︁
je ortonormální.
VLASTNOSTI NORMY mějme unitární prostor ℋ s normou definovanou vztahem ‖𝑥‖ =
√︀
⟨𝑥, 𝑥⟩. Pak
pro každé 𝑥, 𝑦 ∈ ℋ a pro každé 𝛼 ∈ C platí
(𝑎) ‖𝑥 + 𝑦‖2 = ‖𝑥‖2 + ‖𝑦‖2 + ⟨𝑥, 𝑦⟩ + ⟨𝑦, 𝑥⟩
(𝑏) ‖𝑥 + 𝑦‖ ≤ ‖𝑥‖ + ‖𝑦‖ (tzv. trojúhelníková nerovnost)
(𝑐) ‖𝛼𝑥‖ = |𝛼|‖𝑥‖
(𝑑) ‖𝑥‖ ≥ 0
(𝑒) ‖𝑥‖ = 0 ⇔ 𝑥 = 0
(𝑓) ‖𝑥 + 𝑦‖2 + ‖𝑥 − 𝑦‖2 = 2‖𝑥‖2 + 2‖𝑦‖2 (tzv. rovnoběžníková rovnost)
KONVERGENCE PODLE NORMY řekneme že posloupnost prvků {𝑥 𝑛} z unitárního prostoru ℋ konverguje
podle normy k 𝑥 ∈ ℋ, jestliže ‖𝑥 𝑛 − 𝑥‖ → 0 pro 𝑛 → ∞.
SPOJITOST SKALÁRNÍHO SOUČINU jestliže {𝑥 𝑛} a {𝑦 𝑛} jsou prvky z unitárního prostoru ℋ takové,
že ‖𝑥 𝑛 − 𝑥‖ → 0 a ‖𝑦 𝑛 − 𝑦‖ → 0 pro 𝑛 → ∞, pak platí
(a) ‖𝑥 𝑛‖ → ‖𝑥‖
(b) ⟨𝑥 𝑛, 𝑦 𝑛⟩ → ⟨𝑥, 𝑦⟩ pro 𝑛 → ∞.
CAUCHYOVSKÁ POSLOUPNOST řekneme, že posloupnost prvků {𝑥 𝑛} z unitárního prostoru ℋ je
cauchyovská, pokud ‖𝑥 𝑛 − 𝑥 𝑚‖ → 0 pro 𝑛, 𝑚 → ∞.
37
38 M5201 Stochastické modely časových řad
HILBERTOVY PROSTORY Hilbertův prostor je úplný unitární prostor, tj. takový, ve kterém každá
cauchyovská posloupnost {𝑥 𝑛} konverguje podle normy k nějakému prvku 𝑥 ∈ ℋ, tj.
‖𝑥 𝑛 − 𝑥 𝑚‖ −−−−−→
𝑛,𝑚→∞
0 ⇒ ∃𝑥 ∈ ℋ : ‖𝑥 𝑛 − 𝑥‖ −−−→
𝑛→∞
0.
UZAVŘENÝ PODPROSTOR řekneme, že lineární podprostor ℳ Hilbertova prostoru ℋ je uzavřeným
podprostorem ℋ, jestliže ℳ obsahuje všechny limitní body, tj. jestliže platí, že ‖𝑥 𝑛 − 𝑥‖ → 0, pak 𝑥 ∈ ℳ.
ORTOGONÁLNÍ KOMPLEMENT ortogonální komplement množiny ℳ je množina ℳ⊥ všech prvků
ℋ, které jsou ortogonální ke každému prvku z ℳ. Tedy ortogonální komplement je tvaru
ℳ⊥ = {𝑦 ∈ ℋ : ⟨𝑥, 𝑦⟩ = 0, tj. 𝑥⊥𝑦, 𝑥 ∈ ℳ}.
PROJEKČNÍ VĚTA jestliže ℳ je uzavřený podprostor Hilbertova prostoru a 𝑥 ∈ ℋ, pak
(a) existuje jediný prvek ^𝑥 ∈ ℳ takový, že ‖𝑥 − ^𝑥‖ = inf
𝑦∈ℳ
‖𝑥 − 𝑦‖
(b) ^𝑥 ∈ ℳ a ‖𝑥 − ^𝑥‖ = inf
𝑦∈ℳ
‖𝑥 − 𝑦‖ ⇔ ^𝑥 ∈ ℳ a (𝑥 − ^𝑥) ∈ ℳ⊥.
Prvek ^𝑥 se nazývá ortogonální projekcí prvku 𝑥 z ℋ do ℳ a značíme ^𝑥 = 𝑃ℳ(𝑥) a zobrazení 𝑃ℳ : ℋ → ℳ
se nazývá projekcí ℋ do ℳ.
VLASTNOSTI PROJEKCE nechť ℋ je Hilbertův prostor a 𝑃ℳ je projekcí ℋ do ℳ. Pak pro každé
𝑥, 𝑦, 𝑥 𝑛 ∈ ℋ a pro každé 𝛼, 𝛽 ∈ C platí
(a) Každý prvek 𝑥 ∈ ℋ má jedinou reprezentaci jako součet prvku z ℳ a prvku z ℳ⊥, tj.
𝑥 = 𝑃ℳ(𝑥) + (𝐼 − 𝑃ℳ)(𝑥), kde 𝐼 značí identické zobrazení
(b) 𝑃ℳ(𝛼𝑥 + 𝛽𝑦) = 𝛼𝑃ℳ(𝑥) + 𝛽𝑃ℳ(𝑦)
(c) ‖𝑥‖2 = ‖𝑃ℳ(𝑥)‖2 + ‖(𝐼 − 𝑃ℳ)(𝑥)‖2
(d) ‖𝑥 𝑛 − 𝑥‖ −−−→
𝑛→∞
0 ⇒ 𝑃ℳ(𝑥 𝑛) −−−→
𝑛→∞
𝑃ℳ(𝑥)
(e) 𝑥 ∈ ℳ ⇔ 𝑃ℳ(𝑥) = 𝑥
(f) 𝑥 ∈ ℳ⊥ ⇔ 𝑃ℳ(𝑥) = 0
(g) jestliže ℳ1 a ℳ2 jsou dva podprostory ℋ takové, že ℳ1 ⊆ ℳ2, pak 𝑃ℳ1 (𝑃ℳ2 (𝑥)) = 𝑃ℳ1 (𝑥).
UZÁVĚR nechť ℳ je podprostor Hilbertova prostoru ℋ. Uzávěrem ℳ (také budeme značit 𝑠𝑝(ℳ), anglicky
„closed span“) množiny ℳ nazveme nejmenší uzavřenou množinu obsahující ℳ.
Poznámka: Platí ℳ= 𝑠𝑝(ℳ)={𝑥∈ℋ:‖𝑥 𝑛−𝑥‖ −−−→
𝑛→∞
0, 𝑥 𝑛 ∈ℒ(ℳ)}, kde ℒ(ℳ) je množina všech lineárních
kombinací prvků množiny ℳ, tzv. lineární obal množiny ℳ.
PROJEKCE NA KONEČNÉ ORTONORMÁLNÍ MNOŽINĚ jestliže {𝑒1, . . . , 𝑒 𝑛} je ortonormální
podmnožina Hilbertova prostoru ℋ a ℳ = 𝑠𝑝{𝑒1, . . . , 𝑒 𝑛}, pak pro každé 𝑥 ∈ ℋ platí
(a) 𝑃ℳ(𝑥) =
∑︀ 𝑛
𝑖=1⟨𝑥, 𝑒𝑖⟩𝑒𝑖
(b) ‖𝑃ℳ(𝑥)‖2 =
∑︀ 𝑛
𝑖=1 |⟨𝑥, 𝑒𝑖⟩|2
(c) ‖𝑥 −
∑︀ 𝑛
𝑖=1⟨𝑥, 𝑒𝑖⟩𝑒𝑖‖2 ≤ ‖𝑥 −
∑︀ 𝑛
𝑖=1 𝛼𝑖 𝑒𝑖‖2 pro ∀𝛼1, . . . , 𝛼 𝑛 ∈ 𝒞
(d) ‖𝑥 −
∑︀ 𝑛
𝑖=1⟨𝑥, 𝑒𝑖⟩𝑒𝑖‖2 = ‖𝑥 −
∑︀ 𝑛
𝑖=1 𝛼𝑖 𝑒𝑖‖2 ⇔ 𝛼𝑖 = ⟨𝑥, 𝑒𝑖⟩ pro 𝑖 = 1, . . . , 𝑛
(e)
∑︀ 𝑛
𝑖=1 |⟨𝑥, 𝑒𝑖⟩|2 ≤ ‖𝑥‖ (tzv. Besselova nerovnost)
Poznámka: koeficienty 𝛼𝑖 = ⟨𝑥, 𝑒𝑖⟩ se nazývají Fourierovy koeficienty vzhledem k množině {𝑒1, . . . , 𝑒 𝑛}.
SEPARABILITA Hilbertův prostor ℋ nazveme separabilním, právě když ℋ = 𝑠𝑝{𝑒𝑡, 𝑡 ∈ 𝑇}, kde 𝑇 je
spočetná indexová množina.
ORTONORMÁLNÍ REPREZENTACE V SEPARABILNÍM HILBERTOVĚ PROSTORU.
Nechť ℋ = 𝑠𝑝{𝑒1, 𝑒2, . . .} je separabilní Hilbertův prostor, kde {𝑒𝑖}∞
𝑖=1 je ortonormální množina. Pak
pro každé 𝑥, 𝑦 ∈ ℋ platí
(a) Množina všech konečných lineárních kombinací {𝑒1, . . . , 𝑒 𝑛} je hustá, tj. pro ∀𝑥 ∈ ℋ a ∀𝜀 > 0 ∃𝑛 ∈ N a
𝛼1, . . . , 𝛼 𝑛 ∈ 𝒞 taková, že platí ‖𝑥 −
∑︀ 𝑛
𝑖=1 𝛼𝑖 𝑒𝑖‖ < 𝜀.
(b) 𝑥 =
∑︀∞
𝑖=1⟨𝑥, 𝑒𝑖⟩𝑒𝑖 pro ∀𝑥 ∈ ℋ, tj. ‖𝑥 −
∑︀ 𝑛
𝑖=1⟨𝑥, 𝑒𝑖⟩𝑒𝑖‖ −−−→
𝑛→∞
0
(c) ‖𝑥‖2 =
∑︀∞
𝑖=1 |⟨𝑥, 𝑒𝑖⟩|2 (tzv. Parsevalova identita)
(d) ⟨𝑥, 𝑦⟩ =
∑︀∞
𝑖=1⟨𝑥, 𝑒𝑖⟩⟨𝑒𝑖, 𝑦⟩
(e) 𝑥 = 0 ⇔ ⟨𝑥, 𝑒𝑖⟩ = 0 𝑖 = 1, 2, . . .
RNDr. Marie Forbelská, Ph.D. 39
2. Hilbertův prostor náhodných veličin druhého řádu
Zaveďme následující prostory náhodných veličin:
∙ Označme 𝐿2(Ω, 𝒜, 𝑃), resp. 𝐿2
C(Ω, 𝒜, 𝑃) množinu všech reálných, resp. komplexních náhodných veličin
definovaných nad týmž pravděpodobnostním prostorem (Ω, 𝒜, 𝑃), které mají konečné druhé momenty, tj.
platí 𝐸𝑋2 < ∞, resp. 𝐸|𝑋|2 < ∞.
Do tohoto prostoru zahrnujeme také všechny konstanty z R, resp. z C, které považujeme za náhodné
veličiny s nulovým rozptylem.
V tomto prostoru vytvoříme třídy ekvivalentních náhodných veličin takto: řekneme, že dvě náhodné
veličiny jsou ekvivalentní, pokud se liší jen na množině míry nula. Zřejmě 𝑋 a 𝑌 jsou ekvivalentní
právě tehdy, platí-li
𝐸|𝑋 − 𝑌 |2
= 0.
V takto definovaném prostoru tříd ekvivalentních náhodných veličin definujeme pro každé 𝑋, 𝑌 ∈
𝐿2(Ω, 𝒜, 𝑃), resp. 𝑋, 𝑌 ∈ 𝐿2
C(Ω, 𝒜, 𝑃), skalární součin předpisem
⟨𝑋, 𝑌 ⟩ = 𝐸(𝑋𝑌 ) resp. ⟨𝑋, 𝑌 ⟩ = 𝐸(𝑋 ¯𝑌 )
a odpovídající normu
‖𝑋‖=
√︁
⟨𝑋, 𝑋⟩=
√
𝐸𝑋2, resp. ‖𝑋‖=
√︁
⟨𝑋, 𝑋⟩=
√︁
𝐸(𝑋 ¯𝑋)=
√︁
𝐸|𝑋|2.
Přechod ke třídám je nutný proto, abychom zaručili platnost požadavku
⟨𝑥, 𝑥⟩ = 0 ⇔ 𝑥 = 0.
Věta 2.1. Prostory 𝐿2(Ω, 𝒜, 𝑃) a 𝐿2
C(Ω, 𝒜, 𝑃) jsou Hilbertovy prostory.
Důkaz. Lze najít například v publikaci autorů Brockwell a Davis, 1991, [5].
Již dříve jsme definovali pojem spojitosti podle středu v bodě 𝑡0 ∈ 𝑇 takto
𝐸|𝑋𝑡 − 𝑋𝑡0 |2
→ 0 pro 𝑡 → 𝑡0.
což jsme značili
𝑋𝑡0 = l.i.m.
𝑡→𝑡0
𝑋𝑡
(zkratka z anglického limit in the mean) a je-li proces {𝑋𝑡, 𝑡 ∈ 𝑇} spojitý v každém bodě množiny 𝑇, říkali
jsme stručně, že je spojitý.
Tutéž spojitost můžeme definovat i pomocí výše uvedené normy takto
‖𝑋𝑡 − 𝑋𝑡0 ‖2
= 𝐸|𝑋𝑡 − 𝑋𝑡0 |2
→ 0 pro 𝑡 → 𝑡0
a pro každý uzavřený podprostor ℳ ⊆ 𝐿2
C(Ω, 𝒜, 𝑃) díky projekční větě můžeme definovat nejlepší střední
kvadratickou predikci prvku 𝑌 ∈ 𝐿2
C(Ω, 𝒜, 𝑃) pomocí ℳ.
Definice 2.2. Jestliže ℳ je uzavřený podprostor ℋ, kde ℋ = 𝐿2(Ω, 𝒜, 𝑃), resp. ℋ = 𝐿2
C(Ω, 𝒜, 𝑃), pak
nejlepší střední kvadratická predikce 𝑌 ∈ ℋ v ℳ je prvek ^𝑌 ∈ ℳ takový, že
‖𝑌 − ^𝑌 ‖2
= inf
𝑍∈ℳ
‖𝑌 − 𝑍‖2
= inf
𝑍∈ℳ
𝐸|𝑌 − 𝑍|2
tj. ^𝑌 = 𝑃ℳ(𝑌 ).
Nyní se vrátíme k teoretických základům regresní analýzy. Hlavní úlohou regresní analýzy je provést
predikci nějaké závisle proměnné náhodné veličiny 𝑌 na základě informace, kterou poskytují měření nějakých
jiných náhodných veličin, řekněme 𝑋1, . . . , 𝑋 𝑛.
Predikce spočívá v nalezení nějaké funkce 𝑔(𝑋1, . . . , 𝑋 𝑛), která vhodně aproximuje (predikuje) náhodnou
veličinu 𝑌 .
Kvalitu predikce posoudíme pomocí střední kvadratické chyby predikce 𝐸[𝑌 − 𝑔(𝑋1, . . . , 𝑋 𝑛)]2. Za
optimální budeme považovat takovou volbu predikční funkce 𝑔, která uvedenou střední kvadratickou chybu
minimalizuje.
Připomeňme nejprve tvrzení:
40 M5201 Stochastické modely časových řad
Věta 2.3. Nechť 𝑌, 𝑋1, . . . , 𝑋 𝑛 jsou náhodné veličiny. Označme X = (𝑋1, . . . , 𝑋 𝑛)′ a nechť platí 𝐸𝑌 2 < ∞.
Pak pro každou měřitelnou funkci
𝑔 : R 𝑘
→ R
platí
𝐸(𝑌 − 𝑔(X))2
≥ 𝐸[𝑌 − 𝐸(𝑌 |X)]2
a rovnost v uvedené nerovnosti nastává právě když
𝑃(𝑔(X) = 𝐸(𝑌 |X)) = 1.
Důkaz. Musíme uvážit dva případy.
(a) Předpokládejme nejprve, že 𝐸(𝑔(X)) = ∞. Pak totiž, pokud dokážeme že 𝐸(𝑌 − 𝑔(X))2 = ∞, potom
tvrzení věty je zřejmé.
Potřebné tvrzení dokážeme sporem. Jestliže platí, že 𝐸(𝑌 −𝑔(X))2 < ∞, pak vzhledem k požadavku 𝐸𝑌 2 <
∞ by musela být střední hodnota kvadrátu lineární kombinace [𝑌 − 𝑔(X)] − 𝑌 = 𝑔(X) dvou náhodných
veličin 𝑌 − 𝑔(X) a 𝑌 (s konečnými druhými momenty) také konečná, což je ve sporu s předpokladem,
𝐸(𝑔(X)) = ∞ (neboť jestliže 𝐸(𝑔(X)) = ∞, tím spíše 𝐸(𝑔(X))2 = ∞).
(b) Nyní budeme předpokládat, že 𝐸(𝑔(𝑋)) < ∞. Potom po jednoduchých úpravách dostaneme
𝐸(𝑌−𝑔(X))2
= 𝐸 {[𝑌−𝐸(𝑌 |X)] − [𝑔(X)−𝐸(𝑌 |X)]}2
= 𝐸[𝑌−𝐸(𝑌 |X)]2
− 2𝐸[𝑌−𝐸(𝑌 |X)][𝑔(𝑋)−𝐸(𝑌 |X)] + 𝐸[𝑔(X)−𝐸(𝑌 |X)]2
V dalších využijeme vlastností podmíněných středních hodnot, a to
𝐸 [𝐸(𝑍|𝑋)] = 𝐸𝑍 a 𝐸 [𝐻(𝑋)𝐺(𝑋, 𝑌 )| 𝑋] = 𝐻(𝑋)𝐸(𝐺(𝑋, 𝑌 )|𝑋)).
𝐸 [𝑌−𝐸(𝑌 |X)][𝑔(𝑋)−𝐸(𝑌 |X)]
⏟ ⏞
=𝑍
= 𝐸
⎧
⎪⎨
⎪⎩
𝐸
⎡
⎢
⎣(𝑌−𝐸(𝑌 |𝑋))(𝑔(𝑋)−𝐸(𝑌 |𝑋))
⏟ ⏞
=𝑍
|𝑋
⎤
⎥
⎦
⎫
⎪⎬
⎪⎭
= 𝐸
⎧
⎪⎪⎨
⎪⎪⎩
[𝑔(X)−𝐸(𝑌 |X)]
⏟ ⏞
=𝐻(X)
𝐸 [𝑌−𝐸(𝑌 |X)|X]
⎫
⎪⎪⎬
⎪⎪⎭
= 𝐸
⎧
⎪⎨
⎪⎩
[𝑔(X)−𝐸(𝑌 |X)] [𝐸(𝑌 |X) − 𝐸(𝑌 |X)]
⏟ ⏞
=0
⎫
⎪⎬
⎪⎭
= 0
Protože prostřední člen je nulový a 𝐸[𝑔(X)−𝐸(𝑌 |X)]2 ≥ 0, důkaz nerovnosti je jasný.
Rovnost ve zkoumané nerovnosti nastane právě tehdy, když
𝐸[𝑔(X)−𝐸(𝑌 |X)]2
= 0,
což je právě když
𝑃(𝑔(X)−𝐸(𝑌 |X) = 0) = 1.
Z tvrzení věty plyne, že nejlepší predikci náhodné veličiny 𝑌 pomocí náhodných veličin 𝑋1, . . . , 𝑋 𝑛, která
minimalizuje střední kvadratickou chybu 𝐸(𝑌 − 𝑔(X))2, dostaneme, když položíme
𝑔(X) = 𝐸(𝑌 |X).
V této souvislosti potom nejlepší prediktor 𝑔(X) = 𝐸(𝑌 |X) nazýváme regresní funkcí náhodné veličiny 𝑌
na náhodných veličinách 𝑋1, . . . , 𝑋 𝑛.
Z předchozích úvah a z faktu, že v Hilbertově prostoru ℋ = 𝐿2(Ω, 𝒜, 𝑃), resp. ℋ = 𝐿2
C(Ω, 𝒜, 𝑃) (tvořeném
náhodnými veličinami s konečnými druhými momenty) je kvadrát normy ||𝑋 −𝑌 ||2 = 𝐸|𝑋 − 𝑌 |2 střední kvadratickou
chybou, vyplývá, že projekcemi jsou podmíněné střední hodnoty. Proto vyslovíme následující
dvě definice.
Definice 2.4. Jestliže ℳ je uzavřený podprostor ℋ, kde ℋ = 𝐿2(Ω, 𝒜, 𝑃), resp. ℋ = 𝐿2
C(Ω, 𝒜, 𝑃), a
𝑋 ∈ ℋ, pak definujme podmíněnou střední hodnotu při dané ℳ předpisem
𝐸ℳ 𝑋 = 𝐸(𝑋|𝑌 ∈ ℳ) = 𝑃ℳ(𝑋).
RNDr. Marie Forbelská, Ph.D. 41
Dále definujme
Definice 2.5. Nechť 𝑋, 𝑍1, . . . , 𝑍 𝑛 ∈ ℋ, kde ℋ = 𝐿2(Ω, 𝒜, 𝑃), resp. ℋ = 𝐿2
C(Ω, 𝒜, 𝑃). Pak podmíněná
střední hodnota 𝑋 při daném náhodném vektoru Z = (𝑍1, . . . , 𝑍 𝑛)′ je dána vztahem
𝐸(𝑋|Z) = 𝐸ℳ(Z) 𝑋 = 𝐸(𝑋|𝑌 ∈ ℳ(Z)),
kde ℳ(Z) je uzavřený podprostor všech náhodných veličin 𝜑(Z) z ℋ, které jsou borelovskou funkcí náhodného
vektoru Z, tj. 𝜑 : R 𝑛 → C, resp. 𝜑 : C 𝑛 → R.
Na základě předchozích výsledků můžeme tedy říci, že úloha predikce je teoreticky vyřešena tak, že za nejlepší
prediktor stačí zvolit podmíněnou střední hodnotu 𝐸(𝑋|Z).
Ovšem výpočet podmíněné střední hodnoty 𝐸(𝑋|Z) vyžaduje znalost sdruženého rozdělení náhodného
vektoru W = (𝑋, 𝑍1, . . . , 𝑍 𝑛)′, což činí hlavní potíž při praktickém využití předchozích výsledků.
V aplikacích nebývá sdružené rozdělení vektoru W = (𝑋, 𝑍1, . . . , 𝑍 𝑘)′ známé, proto se, pokud to praktická
situace dovolí, uvažují pouze lineární modely typu
𝑔(Z) = 𝛼0 + 𝛼1 𝑍1 + · · · + 𝛼 𝑛 𝑍 𝑛,
tj. omezíme se na podprostor
ℳ = 𝑠𝑝{1, 𝑍1, . . . , 𝑍 𝑛} = {1, 𝑍1, . . . , 𝑍 𝑛}.
Připomeňme nejprve důležitou vlastnost predikce ^𝑥 ∈ ℳ prvku 𝑥 ∈ ℋ. Platí tožiž
^𝑥 = 𝑃ℳ(𝑥) ∈ ℳ ⇔ ^𝑥 ∈ ℳ ∧ (𝑥 − ^𝑥) ∈ ℳ⊥
tj. pro každé 𝑦 ∈ ℳ platí
⟨𝑥 − ^𝑥, 𝑦⟩ = ⟨𝑥, 𝑦⟩ − ⟨^𝑥, 𝑦⟩ = 0
a odtud dostaneme tzv. projekční rovnice
⟨^𝑥, 𝑦⟩ = ⟨𝑥, 𝑦⟩.
Dále již uvažujme Hilbertův prostor
ℋ = 𝐿2
(Ω, 𝒜, 𝑃)
a jeho podprostor
ℳ = 𝑠𝑝{1, 𝑍1, . . . , 𝑍 𝑛} = {1, 𝑍1, . . . , 𝑍 𝑛},
kde 𝑍1, . . . , 𝑍 𝑛 ∈ 𝐿2(Ω, 𝒜, 𝑃). Pak projekce je dána vztahem
̂︀𝑋 = 𝑃ℳ(𝑋) = 𝐸ℳ 𝑋 = arg inf
𝑌 ∈ℳ
‖𝑋 − 𝑌 ‖2
= arg inf
𝑌 ∈ℳ
𝐸(𝑋 − 𝑌 )2
a projekční rovnice jsou tvaru
𝐸 (𝑌 · 𝐸ℳ 𝑋) = 𝐸(𝑌 · 𝑋).
Pro každý prvek z ℳ (tedy i pro 1, 𝑍1, . . . , 𝑍 𝑛) platí tyto rovnice, tj. pro 𝑌 = 1 máme
𝐸(1 · 𝐸ℳ 𝑋) = 𝐸(1 · 𝑋)
𝐸(1 ·
𝑛∑︁
𝑖=0
𝛼𝑖 𝑍𝑖) = 𝐸𝑋
𝑛∑︁
𝑖=0
𝛼𝑖 𝐸𝑍𝑖 = 𝐸𝑋
a pro 𝑌 = 𝑍 𝑗, 𝑗 = 1, . . . , 𝑛 dostaneme
𝐸(𝑍 𝑗 · 𝐸ℳ 𝑋) = 𝐸(𝑍 𝑗 · 𝑋)
𝐸(𝑍 𝑗 ·
𝑛∑︁
𝑖=0
𝛼𝑖 𝑍𝑖) = 𝐸(𝑍 𝑗 𝑋)
𝑛∑︁
𝑖=0
𝛼𝑖 𝐸(𝑍𝑖 𝑍 𝑗) = 𝐸(𝑍 𝑗 𝑋)
Celkem dostáváme systém 𝑛 + 1 rovnic.
Definujme proto nyní nejlepší lineární predikci pomocí obecnějších systémů náhodných veličin druhého řádu
{𝑍𝑡, 𝑡 ∈ 𝑇}.
42 M5201 Stochastické modely časových řad
Definice 2.6. Nechť 𝑋 ∈ ℋ a pro každé 𝑡 ∈ 𝑇 také 𝑍𝑡 ∈ ℋ, kde 𝑇 je indexová množina, ℋ = 𝐿2(Ω, 𝒜, 𝑃),
resp. ℋ = 𝐿2
C(Ω, 𝒜, 𝑃).
Pak nejlepší lineární predikcí náhodné veličiny 𝑋 pomocí {𝑍𝑡, 𝑡 ∈ 𝑇} rozumíme
𝑃 𝑠𝑝{𝑍 𝑡,𝑡∈𝑇}(𝑋).
Uvědomíme–li si, že 𝐶(𝑍𝑖, 𝑍 𝑗) = 𝐸(𝑍𝑖 𝑍 𝑗) − 𝐸𝑍𝑖 𝐸𝑍 𝑗, vidíme, že při hledání nejlepší lineární predikce
vystačíme se znalostí kovarianční funkce a není třeba znát ani momenty vyšších řádů.
3. Predikce v případě normálně rozdělených náhodných veličin.
Je-li sdružené rozdělení náhodných veličin 𝑋, 𝑍1, . . . , 𝑍 𝑛 normální, tj.
(𝑋, 𝑍1, . . . , 𝑍 𝑛)′
∼ 𝑁 𝑛+1(𝜇, Σ),
kde
𝜇 =
⎛
⎜
⎜
⎜
⎜
⎜
⎜
⎝
𝜇 𝑋
𝜇 𝑍1
𝜇 𝑍2
...
𝜇 𝑍 𝑛
⎞
⎟
⎟
⎟
⎟
⎟
⎟
⎠
=
(︂
𝜇 𝑋
𝜇Z
)︂
a
Σ =
⎛
⎜
⎜
⎜
⎜
⎜
⎜
⎝
𝜎2
𝑋 𝜎 𝑋𝑍1 𝜎 𝑋𝑍2 · · · 𝜎 𝑋𝑍 𝑛
𝜎 𝑋𝑍1 𝜎2
𝑍1
𝜎 𝑍1 𝑍2 · · · 𝜎 𝑍1 𝑍 𝑛
𝜎 𝑋𝑍2 𝜎 𝑍1 𝑍2 𝜎2
𝑍2
· · · 𝜎 𝑍2 𝑍 𝑛
...
...
...
...
...
𝜎 𝑋𝑍 𝑛 · · · · · · · · · 𝜎2
𝑍 𝑛
⎞
⎟
⎟
⎟
⎟
⎟
⎟
⎠
=
(︂
𝜎2
𝑋 Σ′
𝑋Z
Σ 𝑋Z ΣZZ
)︂
.
Pak rozdělení náhodné veličiny 𝑋 při daném Z má opět normální rozdělení
𝑋|Z ∼ 𝑁
(︁
𝜇 𝑋|Z, 𝜎2
𝑋|Z
)︁
,
kde
𝜇 𝑋|Z = 𝜇 𝑋 + Σ′
𝑋ZΣ−1
ZZ(Z − 𝜇Z)
a
𝜎2
𝑋|Z = 𝜎2
𝑋 + Σ′
𝑋ZΣ−1
ZZΣZ𝑋
Odtud vidíme, že podmíněná střední hodnota je lineární funkcí náhodného vektoru
Z = (𝑍1, . . . , 𝑍 𝑛)′
.
To znamená, že v případě vícerozměrného normálního rozdělení je nejlepší lineární predikce
totožná s optimální predikcí (ve smyslu minimální střední kvadratické chyby) založené na podmíněných
středních hodnotách.
KAPITOLA 3
Jednorozměrné stacionární procesy
1. Základní pojmy
V dalším budeme uvažovat centrované stacionární náhodné posloupnosti
{𝑌𝑡, 𝑡 ∈ Z}, kde 𝑌𝑡 ∈ 𝐿2(Ω, 𝒜, 𝑃), což je Hilbertův prostor reálných náhodných veličin s konečnými druhými
momenty, ve kterém dvě náhodné veličiny 𝑋 a 𝑌 považujeme za ekvivalentní, pokud
𝑃(𝑋 = 𝑌 ) = 1.
1.1. Operátor zpětného posunutí.
Definice 1.1. Nechť {𝑌𝑡, 𝑡 ∈ Z} je posloupnost náhodných veličin. Operátor zpětného posunutí je
definován pomocí výrazu
𝐵𝑌𝑡 = 𝑌𝑡−1 ,
přičemž jej lze aplikovat několikanásobně jako
𝐵 𝑗
𝑌𝑡 = 𝑌𝑡−𝑗.
1.2. Lineární proces. Než zavedeme pojem lineárního procesu, vyslovme větu, která zabezpečuje jeho
korektnost.
Věta 1.2. Nechť {𝜀𝑡, 𝑡 ∈ Z} ∼ 𝑊 𝑁(0, 𝜎2
𝜀 ) je bílým šumem, dále mějme posloupnost reálných čísel {𝜓 𝑗}∞
𝑗=0
takovou, že
∞∑︀
𝑗=0
𝜓2
𝑗 < ∞. Pak řada
∞∑︀
𝑗=0
𝜓 𝑗 𝜀 𝑗 konverguje podle kvadratického středu, tj. existuje náhodná veličina
𝑌 ∈ 𝐿2(Ω, 𝒜, 𝑃) a platí
𝑌 = l.i.m.
𝑁→∞
𝑁∑︁
𝑗=0
𝜓 𝑗 𝜀 𝑗.
Důkaz. Víme, že bílý šum 𝜀𝑡 ∈ 𝐿2(Ω, 𝒜, 𝑃). Pro libovolná přirozená čísla
𝑘, 𝑁 ∈ N platí
⃦
⃦
⃦
⃦
⃦
⃦
𝑁+𝑘∑︁
𝑗=0
𝜓 𝑗 𝜀 𝑗 −
𝑁∑︁
𝑡=0
𝜓𝑡 𝜀𝑡
⃦
⃦
⃦
⃦
⃦
⃦
2
= 𝐸
⃒
⃒
⃒
⃒
⃒
⃒
𝑁+𝑘∑︁
𝑗=0
𝜓 𝑗 𝜀 𝑗 −
𝑁∑︁
𝑡=0
𝜓𝑡 𝜀𝑡
⃒
⃒
⃒
⃒
⃒
⃒
2
= 𝐸
⃒
⃒
⃒
⃒
⃒
⃒
𝑁+𝑘∑︁
𝑗=𝑁+1
𝜓 𝑗 𝜀 𝑗
⃒
⃒
⃒
⃒
⃒
⃒
2
= 𝐸
⎛
⎝
𝑁+𝑘∑︁
𝑗=𝑁+1
𝜓 𝑗 𝜀 𝑗
⎞
⎠
⎛
⎝
𝑁+𝑘∑︁
ℎ=𝑁+1
𝜓ℎ 𝜀ℎ
⎞
⎠
=
𝑁+𝑘∑︁
𝑗=𝑁+1
𝑁+𝑘∑︁
ℎ=𝑁+1
𝜓 𝑗 𝜓ℎ 𝐸 𝜀 𝑗 𝜀ℎ
⏟ ⏞
nekorel.
= 𝜎2
𝜀
𝑁+𝑘∑︁
𝑗=𝑁+1
𝜓2
𝑗 −−−−→
𝑁→∞
0
Posloupnost částečných součtů je tedy cauchyovská, tj. existuje k ní limita
𝑌 = l.i.m.
𝑁→∞
𝑁∑︀
𝑗=0
𝜓 𝑗 𝜀 𝑗.
Definice 1.3. Mějme {𝜀𝑡, 𝑡 ∈ Z} ∼ 𝑊 𝑁(0, 𝜎2
𝜀 ) a posloupnost reálných čísel {𝜓 𝑗}∞
𝑗=0 takovou, že
∞∑︀
𝑗=0
𝜓2
𝑗 <
∞, pak lineární proces je definován vztahem
𝑌𝑡 =
∞∑︁
𝑗=0
𝜓 𝑗 𝜀𝑡−𝑗 .
43
44 M5201 Stochastické modely časových řad
Počítejme postupně střední hodnotu, rozptyl a autokovarianční funkci lineárního procesu a přesvědčeme se,
že lineární proces je stacionární.
𝐸𝑌𝑡 = 𝐸
⎛
⎝
∞∑︁
𝑗=0
𝜓 𝑗 𝜀𝑡−𝑗
⎞
⎠ =
∞∑︁
𝑗=0
𝜓 𝑗 𝐸𝜀𝑡−𝑗
⏟ ⏞
=0
= 0
𝐷𝑌𝑡 = 𝐷
⎛
⎝
∞∑︁
𝑗=0
𝜓 𝑗 𝜀𝑡−𝑗
⎞
⎠ nekorel.
=
∞∑︁
𝑗=0
𝜓2
𝑗 𝐷𝜀𝑡−𝑗
⏟ ⏞
=𝜎2
𝜀
= 𝜎2
𝜀
∞∑︁
𝑗=0
𝜓2
𝑗 = 𝜎2
𝑌
𝛾(𝑡) = 𝐶(𝑌 𝑠, 𝑌 𝑠+𝑡) = 𝐸𝑌 𝑠 𝑌 𝑠+𝑡 = 𝐸
⎛
⎝
∞∑︁
𝑗=0
𝜓 𝑗 𝜀 𝑠−𝑗
⎞
⎠
(︃ ∞∑︁
ℎ=0
𝜓ℎ 𝜀 𝑠+𝑡−ℎ
)︃
=
∞∑︁
𝑗=0
∞∑︁
ℎ=0
𝜓 𝑗 𝜓ℎ 𝐸 𝜀 𝑠−𝑗 𝜀 𝑠+𝑡−ℎ
⏟ ⏞
nekorel.
=
⃒
⃒
⃒
⃒
𝑠 − 𝑗 = 𝑠 + 𝑡 − ℎ
ℎ = 𝑗 + 𝑡
⃒
⃒
⃒
⃒
= 𝜎2
𝜀
∞∑︁
𝑗=0
𝜓 𝑗 𝜓 𝑗+𝑡.
Ze Schwarzovy nerovnosti dostaneme
|𝛾(𝑡)| = |𝐶(𝑌 𝑠, 𝑌 𝑠+𝑡)| =
⃒
⃒
⃒
⃒
⃒
⃒
𝜎2
𝜀
∞∑︁
𝑗=0
𝜓 𝑗 𝜓 𝑗+𝑡
⃒
⃒
⃒
⃒
⃒
⃒
≤
√︀
𝐷𝑌 𝑠 𝐷𝑌 𝑠+𝑡 = 𝛾(0) = 𝜎2
𝜀
∞∑︁
𝑗=0
𝜓2
𝑗 < ∞.
Podmínka stacionarity je tedy podmínka
∞∑︁
𝑗=0
𝜓2
𝑗 < ∞.
Pokud zavedeme funkci
Ψ(𝑧) =
∞∑︁
𝑗=0
𝜓 𝑗 𝑧 𝑗
,
pak podmínka
∞∑︁
𝑗=0
𝜓2
𝑗 < ∞
implikuje, že funkce
Ψ(𝑧) je holomorfní uvnitř kružnice |𝑧| < 1.
Takže podmínku stacionarity lze vyslovit i pomocí podmínky
Ψ(𝑧) je holomorfní pro |𝑧| < 1, přičemž
∞∑︀
𝑗=0
𝜓2
𝑗 < ∞.
Oba požadavky budou splněny, pokud bude platit
Ψ(𝑧) je holomorfní uvnitř a na jednotkové kružnici.
RNDr. Marie Forbelská, Ph.D. 45
Lineární proces lze ještě zobecnit takto:
Definice 1.4. Mějme {𝜀𝑡, 𝑡 ∈ Z} ∼ 𝑊 𝑁(0, 𝜎2
𝜀 ) a posloupnost reálných čísel
{𝜓 𝑗}∞
𝑗=−∞ takovou, že
∞∑︀
𝑗=−∞
𝜓2
𝑗 < ∞, pak zobecněný lineární proces je definován vztahem
𝑌𝑡 =
∞∑︁
𝑗=−∞
𝜓 𝑗 𝜀𝑡−𝑗 .
Pro takto definovaný zobecněný lineární proces dokážeme obdobným způsobem jak pro obyčejný lineární
proces spočítat
𝐸𝑌𝑡 = 0, 𝐷𝑌𝑡 = 𝜎2
𝜀
∞∑︁
𝑗=−∞
𝜓2
𝑗 a 𝛾(𝑡) = 𝜎2
𝜀
∞∑︁
𝑗=−∞
𝜓 𝑗 𝜓 𝑗+𝑡.
Na závěr tohoto odstavce počítejme ještě spektrální hustotu zobecněného lineárního procesu.
Nejprve odvodíme spektrální hustotu bílého šumu, a to pomocí jeho autokovarianční funkce 𝛾 𝜀(𝑡)
𝑓 𝜀(𝜔) =
1
2𝜋
∞∑︁
𝑡=−∞
𝑒−𝑖𝑡𝜔
𝛾 𝜀(𝑡) =
1
2𝜋
∞∑︁
𝑡=−∞
𝑒−𝑖𝑡𝜔
𝜎2
𝜀 𝛿(𝑡) =
{︃
𝜎2
𝜀
2𝜋 𝜔 ∈ ⟨−𝜋, 𝜋⟩,
0 jinak
kde
𝛿(𝑡) =
{︃
1 𝑡 = 0,
0 𝑗𝑖𝑛𝑎𝑘.
Pak pomocí autokovarianční funkce zobecněného lineárního procesu počítáme spektrální hustotu pro 𝜔 ∈
⟨−𝜋, 𝜋⟩
𝑓 𝑌 (𝜔) =
1
2𝜋
∞∑︁
𝑡=−∞
𝑒−𝑖𝑡𝜔
𝛾(𝑡) =
1
2𝜋
∞∑︁
𝑡=−∞
𝑒−𝑖𝑡𝜔
⎛
⎝ 𝜎2
𝜀
∞∑︁
𝑗=−∞
𝜓 𝑗 𝜓 𝑗+𝑡
⎞
⎠
= 𝜎2
𝜀
2𝜋
⏟ ⏞
𝑓 𝜀(𝜔)
∞∑︁
𝑗=−∞
𝜓 𝑗
∞∑︁
𝑡=−∞
𝜓 𝑗+𝑡 𝑒−𝑖𝑡𝜔
= 𝑓 𝜀(𝜔)
∞∑︁
𝑗=−∞
𝜓 𝑗 𝑒𝑖𝑗𝜔
∞∑︁
𝑡=−∞
𝜓 𝑗+𝑡 𝑒−𝑖(𝑗+𝑡)𝜔
= 𝑓 𝜀(𝜔)
⃒
⃒
⃒
⃒
⃒
∞∑︁
𝑡=−∞
𝜓 𝑗 𝑒−𝑖𝑡𝜔
⃒
⃒
⃒
⃒
⃒
2
= 𝑓 𝜀(𝜔)
⃒
⃒
⃒
⃒
⃒
∞∑︁
𝑡=−∞
𝜓 𝑗 𝑒𝑖𝑡𝜔
⃒
⃒
⃒
⃒
⃒
2
neboť |𝑧|2
= 𝑧 · ¯𝑧
Pokud položíme Ψ(𝑧) =
∞∑︀
𝑗=−∞
𝜓 𝑗 𝑧 𝑗, pak můžeme psát
𝑓 𝑌 (𝜔) = 𝑓 𝜀(𝜔)
⃒
⃒
⃒Ψ
(︁
𝑒−𝑖𝜔
)︁⃒
⃒
⃒
2
= 𝜎2
𝜀
2𝜋
⃒
⃒
⃒Ψ
(︁
𝑒−𝑖𝜔
)︁⃒
⃒
⃒
2
(︂
= 𝜎2
𝜀
2𝜋
⃒
⃒
⃒Ψ
(︁
𝑒𝑖𝜔
)︁⃒
⃒
⃒
2
)︂
.
1.3. Lineární filtry.
Věta 1.5. Nechť {𝑋𝑡, 𝑡 ∈ Z} je (centrovaná) stacionární náhodná posloupnost a {𝜓 𝑗}∞
𝑗=−∞ je absolutně
konvergentní posloupnost reálných čísel (tj.
∞∑︀
𝑗=−∞
|𝜓 𝑗| < ∞). Pak platí
𝑌𝑡 =
∞∑︁
𝑗=−∞
𝜓 𝑗 𝑋𝑡−𝑗 ∈ 𝐿2
(Ω, 𝒜, 𝑃)
tj. {𝑌𝑡, 𝑡 ∈ Z} je stacionární náhodná posloupnost.
Důkaz. Je zřejmé, že stačí dokázat existenci náhodných veličin
𝑌
(1)
𝑡 =
−1∑︁
𝑗=−∞
𝜓 𝑗 𝑋𝑡−𝑗 a 𝑌
(2)
𝑡 =
∞∑︁
𝑗=0
𝜓 𝑗 𝑋𝑡−𝑗,
protože pak bude platit 𝑌𝑡 = 𝑌
(1)
𝑡 + 𝑌
(2)
𝑡 . Označme
𝛾 𝑋(ℎ) = 𝐸𝑋𝑡 𝐸𝑋𝑡+|ℎ| a 𝛾 𝑋(0) = 𝜎2
𝑋 > 0.
46 M5201 Stochastické modely časových řad
Pak pro libovolná přirozená čísla 𝑘, 𝑁 ∈ N platí
⃦
⃦
⃦
⃦
⃦
⃦
𝑁+𝑘∑︁
𝑗=0
𝜓 𝑗 𝑋𝑡−𝑗−
𝑁∑︁
ℎ=0
𝜓ℎ 𝑋𝑡−ℎ
⃦
⃦
⃦
⃦
⃦
2
= 𝐸
⃒
⃒
⃒
⃒
⃒
⃒
𝑁+𝑘∑︁
𝑗=0
𝜓 𝑗 𝑋𝑡−𝑗 −
𝑁∑︁
ℎ=0
𝜓ℎ 𝑋𝑡−ℎ
⃒
⃒
⃒
⃒
⃒
⃒
2
= 𝐸
⃒
⃒
⃒
⃒
⃒
⃒
𝑁+𝑘∑︁
𝑗=𝑁+1
𝜓 𝑗 𝑋𝑡−𝑗
⃒
⃒
⃒
⃒
⃒
⃒
2
= 𝐸
⎛
⎝
𝑁+𝑘∑︁
𝑗=𝑁+1
𝜓 𝑗 𝑋𝑡−𝑗
⎞
⎠
⎛
⎝
𝑁+𝑘∑︁
ℎ=𝑁+1
𝜓ℎ 𝑋𝑡−ℎ
⎞
⎠
=
𝑁+𝑘∑︁
𝑗=𝑁+1
𝑁+𝑘∑︁
ℎ=𝑁+1
𝜓 𝑗 𝜓ℎ 𝐸𝑋𝑡−𝑗 𝑋𝑡−ℎ
⏟ ⏞
|𝛾(𝑗−ℎ)|≤𝛾 𝑋 (0)=𝜎2
𝑋
≤ 𝜎2
𝑋
𝑁+𝑘∑︁
𝑗=𝑁+1
𝑁+𝑘∑︁
ℎ=𝑁+1
|𝜓 𝑗||𝜓ℎ| = 𝜎2
𝑋
⏟ ⏞
<∞
⎛
⎜
⎜
⎜
⎜
⎜
⎝
𝑁+𝑘∑︁
𝑗=𝑁+1
|𝜓 𝑗|
⏟ ⏞
→0
⎞
⎟
⎟
⎟
⎟
⎟
⎠
2
−−−−→
𝑁→∞
0.
Posloupnost částečných součtů je tedy cauchyovská (podle kvadratického středu), tj. existuje k ní limita
𝑌
(1)
𝑡 = l.i.m.
𝑁→∞
𝑁∑︁
𝑗=0
𝜓 𝑗 𝑋𝑡−𝑗, 𝑌
(1)
𝑡 ∈ 𝐿2
(Ω, 𝒜, 𝑃),
tj. 𝑌
(1)
𝑡 má nulovou střední hodnotu a konečný rozptyl a je tedy stacionární. Podobně se dokáže i existence
stacionární náhodné posloupnosti 𝑌
(2)
𝑡 .
Definice 1.6. Nechť {𝑋𝑡, 𝑡 ∈ Z} je stacionární náhodná posloupnost a {𝜓 𝑗}∞
𝑗=−∞ je absolutně konvergentní
posloupnost reálných čísel (tj.
∞∑︀
𝑗=−∞
|𝜓 𝑗| < ∞). Pak
𝑌𝑡 =
∞∑︁
𝑗=−∞
𝜓 𝑗 𝑋𝑡−𝑗
nazveme lineárním filtrem procesu {𝑋𝑡, 𝑡 ∈ Z}.
Věta 1.7. Mějme centrovanou stacionární náhodnou posloupnost {𝑋𝑡, 𝑡 ∈ Z} se spektrální hustotou 𝑓 𝑋(𝜔).
Nechť {𝜓 𝑗}∞
𝑗=−∞ je absolutně konvergentní posloupnost reálných čísel
(tj.
∞∑︀
𝑗=−∞
|𝜓 𝑗| < ∞). Pak náhodná posloupnost 𝑌𝑡 =
∞∑︀
𝑗=−∞
𝜓 𝑗 𝑋𝑡−𝑗 je stacionární se spektrální hustotou
𝑓 𝑌 (𝜔) = 𝑓 𝑋(𝜔)
⃒
⃒
⃒Ψ
(︁
𝑒−𝑖𝜔
)︁⃒
⃒
⃒
2
, kde Ψ(𝑧) =
∞∑︁
𝑗=−∞
𝜓 𝑗 𝑧 𝑗
|𝑧| ≤ 1
se nazývá generující funkce filtru a
𝜓(𝜔) = Ψ
(︁
𝑒−𝑖𝜔
)︁
přenosová funkce filtru.
Důkaz. Stacionaritu jsme dokázali v předchozí větě. Nyní počítejme autokovarianční funkci.
𝛾 𝑌 (𝑡) = 𝐶(𝑌 𝑠, 𝑌 𝑠+𝑡) = 𝐶
(︃
∞∑︀
𝑗=−∞
𝜓 𝑗 𝑋 𝑠−𝑗,
∞∑︀
ℎ=−∞
𝜓ℎ 𝑋 𝑠+𝑡−ℎ
)︃
=
∞∑︀
𝑗=−∞
∞∑︀
ℎ=−∞
𝜓 𝑗 𝜓ℎ 𝐶(𝑋 𝑠−𝑗, 𝑋 𝑠+𝑡−ℎ) =
∞∑︀
𝑗=−∞
∞∑︀
ℎ=−∞
𝜓 𝑗 𝜓ℎ 𝛾 𝑋(𝑡 + 𝑗 − ℎ)
=
∞∑︀
𝑗=−∞
∞∑︀
ℎ=−∞
𝜓 𝑗 𝜓ℎ
𝜋∫︀
−𝜋
𝑒𝑖(𝑡+𝑗−ℎ)𝜔 𝑓 𝑋(𝜔)𝑑𝜔
=
𝜋∫︀
−𝜋
𝑒𝑖𝑡𝜔
(︃
∞∑︀
𝑗=−∞
𝜓 𝑗 𝑒𝑖𝑗𝜔
)︃ (︃
∞∑︀
ℎ=−∞
𝜓ℎ 𝑒−𝑖ℎ𝜔
)︃
𝑓 𝑋(𝜔)𝑑𝜔
=
𝜋∫︀
−𝜋
𝑒𝑖𝑡𝜔
⃒
⃒
⃒
⃒
⃒
∞∑︀
𝑗=−∞
𝜓 𝑗 𝑒𝑖𝑗𝜔
⃒
⃒
⃒
⃒
⃒
2
𝑓 𝑋(𝜔)𝑑𝜔 =
𝜋∫︀
−𝜋
𝑒𝑖𝑡𝜔
⃒
⃒
⃒
⃒
⃒
∞∑︀
ℎ=−∞
𝜓 𝑗 𝑒−𝑖ℎ𝜔
⃒
⃒
⃒
⃒
⃒
2
𝑓 𝑋(𝜔)𝑑𝜔.
RNDr. Marie Forbelská, Ph.D. 47
Označme
Ψ(𝑧) =
∞∑︁
𝑗=−∞
𝜓 𝑗 𝑧 𝑗
pro |𝑧| ≤ 1.
Pak, protože platí
𝛾 𝑌 (𝑡) =
∫︁ 𝜋
−𝜋
𝑒𝑖𝑡𝜔
𝑓 𝑌 (𝜔)𝑑𝜔,
dostaneme
𝑓 𝑌 (𝜔) = 𝑓 𝑋(𝜔)
⃒
⃒
⃒Ψ
(︁
𝑒−𝑖𝜔
)︁⃒
⃒
⃒
2
= 𝑓 𝑋(𝜔)
⃒
⃒
⃒Ψ
(︁
𝑒𝑖𝜔
)︁⃒
⃒
⃒
2
.
1.4. Definice ARMA procesu.
Definice 1.8. ARMA proces řádu 𝑝, 𝑞 je definován vztahem
𝑌𝑡 − 𝜙1 𝑌𝑡−1 − · · · − 𝜙 𝑝 𝑌𝑡−𝑝 = 𝜀𝑡 + 𝜃1 𝜀𝑡−1 + · · · + 𝜃 𝑞 𝜀𝑡−𝑞 , kde 𝜀𝑡 ∼ 𝑊 𝑁(0, 𝜎2
𝜀 ),
přičemž pomocí operátoru zpětného chodu lze psát
𝑌𝑡 ∼ 𝐴𝑅𝑀 𝐴(𝑝, 𝑞) : Φ(𝐵)𝑌𝑡 = Θ(𝐵)𝜀𝑡,
kde
Φ(𝐵) = 1 − 𝜙1 𝐵 − · · · − 𝜙 𝑝 𝐵 𝑝
(𝜙0 ≡ 1)
a
Θ(𝐵) = 1 + 𝜃1 𝐵 + · · · + 𝜃 𝑞 𝐵 𝑞
(𝜃0 ≡ 1).
Řekneme, že {𝑌𝑡, 𝑡 ∈ Z} je 𝐴𝑅𝑀 𝐴(𝑝, 𝑞) se střední hodnotou 𝜇, jestliže {𝑌𝑡 − 𝜇} je 𝐴𝑅𝑀 𝐴(𝑝, 𝑞) proces.
Speciální případy ARMA procesů nazýváme:
Autoregresní proces (AR proces): 𝑌𝑡 ∼ 𝐴𝑅(𝑝) ∼ 𝐴𝑅𝑀 𝐴(𝑝, 0), tj. 𝑞 = 0
Proces klouzavých součtů (MA proces): 𝑌𝑡 ∼ 𝑀 𝐴(𝑞) ∼ 𝐴𝑅𝑀 𝐴(0, 𝑞), tj. 𝑝 = 0
1.5. Kauzalita. Dříve než zavedeme pojem kauzality, všimněme si blíže 𝐴𝑅(1) procesu.
𝑌𝑡 = 0.5𝑌𝑡−1 + 𝜀𝑡, 𝜀𝑡 ∼ 𝑁(0, 1)
0 50 100 150 200 250 300
−4
−3
−2
−1
0
1
2
3
4
𝑌𝑡 = −0.5𝑌𝑡−1 + 𝜀𝑡, 𝜀𝑡 ∼ 𝑁(0, 1)
0 50 100 150 200 250 300
−4
−3
−2
−1
0
1
2
3
4
48 M5201 Stochastické modely časových řad
𝑌𝑡 = 0.85𝑌𝑡−1 + 𝜀𝑡, 𝜀𝑡 ∼ 𝑁(0, 1)
0 50 100 150 200 250 300
−6
−4
−2
0
2
4
6
𝑌𝑡 = −0.25𝑌𝑡−1 + 𝜀𝑡, 𝜀𝑡 ∼ 𝑁(0, 1)
0 50 100 150 200 250 300
−3
−2
−1
0
1
2
3
4
Obrázek 1. Ukázky autoregresních procesů 1. řádu
Pro autoregresní proces prvního řádu 𝑌𝑡 − 𝜙1 𝑌𝑡−1 = 𝜀𝑡 postupně v 𝑘 krocích upravujme
𝑌𝑡 = 𝜙1 𝑌𝑡−1 + 𝜀𝑡 = 𝜙1 (𝜙1 𝑌𝑡−2 + 𝜀𝑡−1) + 𝜀𝑡 = 𝜙2
1 𝑌𝑡−2 + 𝜙1 𝜀𝑡−1 + 𝜀𝑡
= 𝜙2
1 (𝜙1 𝑌𝑡−3 + 𝜀𝑡−2) + 𝜙1 𝜀𝑡−1 + 𝜀𝑡 = 𝜙3
1 𝑌𝑡−3 + 𝜙2
1 𝜀𝑡−2 + 𝜙1 𝜀𝑡−1 + 𝜀𝑡
...
= 𝜙 𝑘
1 (𝜙1 𝑌𝑡−𝑘−1+𝜀𝑡−𝑘)+
𝑘−1∑︀
𝑗=0
𝜙 𝑗
1 𝜀𝑡−𝑗 = 𝜙 𝑘+1
1 𝑌𝑡−𝑘−1 +
𝑘∑︀
𝑗=0
𝜙 𝑗
1 𝜀𝑡−𝑗
(1) Uvažujme nejprve případ, kdy |𝜙1| < 1 a {𝑌𝑡, 𝑡 ∈ Z} je stacionární, tj. 𝑌𝑡 ∈ 𝐿2(Ω, 𝒜, 𝑃) a 𝐸𝑌 2
𝑡 < ∞, pak
⃦
⃦
⃦
⃦
⃦
⃦
𝑌𝑡−
𝑘∑︁
𝑗=0
𝜙 𝑗
1 𝜀𝑡−𝑗
⃦
⃦
⃦
⃦
⃦
⃦
2
=
⃦
⃦
⃦ 𝜙 𝑘+1
1 𝑌𝑡−𝑘−1
⃦
⃦
⃦
2
= 𝐸
⃒
⃒
⃒ 𝜙 𝑘+1
1 𝑌𝑡−𝑘−1
⃒
⃒
⃒
2
= 𝜙2𝑘+2
1
⏟ ⏞
→0
𝐸 |𝑌𝑡−𝑘−1|2
⏟ ⏞
=𝜎2
𝑌 <∞
−−−→
𝑘→∞
0
tj.
∞∑︀
𝑗=0
𝜙 𝑗
1 𝜀𝑡−𝑗 konverguje podle kvadratického středu k 𝑌𝑡 a můžeme psát
𝑌𝑡 =
∞∑︁
𝑗=0
𝜙 𝑗
1 𝜀𝑡−𝑗.
RNDr. Marie Forbelská, Ph.D. 49
Pak dokážeme spočítat
𝐸𝑌𝑡 = 𝐸
∞∑︀
𝑗=0
𝜙 𝑗
1 𝜀𝑡−𝑗 =
∞∑︀
𝑗=0
𝜙 𝑗
1 𝐸𝜀𝑡−𝑗 = 0
𝐷𝑌𝑡 = 𝐷
∞∑︀
𝑗=0
𝜙 𝑗
1 𝜀𝑡−𝑗
nekorel.
=
∞∑︀
𝑗=0
𝜙2𝑗
1 𝐷𝜀𝑡−𝑗 = 𝜎2
𝜀
∞∑︀
𝑗=0
𝜙2𝑗
1 = 𝜎2
𝜀
1−𝜙2
1
𝛾(𝑡) = 𝐶(𝑌 𝑠, 𝑌 𝑠+|𝑡|) = 𝐸(𝑌 𝑠 · 𝑌 𝑠+|𝑡|) = 𝐸
(︃
∞∑︀
𝑗=0
𝜙 𝑗
1 𝜀 𝑠−𝑗
)︃ (︂ ∞∑︀
ℎ=0
𝜙ℎ
1 𝜀 𝑠+|𝑡|−ℎ
)︂
=
∞∑︀
𝑗=0
∞∑︀
ℎ=0
𝜙 𝑗
1 𝜙ℎ
1 𝐸 𝜀 𝑠−𝑗 𝜀 𝑠+|𝑡|−ℎ
⏟ ⏞
nekorel.
=
⃒
⃒
⃒
⃒
𝑠 − 𝑗 = 𝑠 + |𝑡| − ℎ
ℎ = 𝑗 + |𝑡|
⃒
⃒
⃒
⃒
= 𝜎2
𝜀
∞∑︀
𝑗=0
𝜙 𝑗
1 𝜙
𝑗+|𝑡|
1 =
𝜙
|𝑡|
1
1−𝜙2
1
𝜎2
𝜀 .
Autokorelační funkce (ACF) je pak tvaru
𝜌(𝑡) =
𝛾(𝑡)
𝛾(0)
= 𝜙
|𝑡|
1 .
ACF pro 𝑌𝑡 = 0.5𝑌𝑡−1 + 𝜀𝑡
−10 −8 −6 −4 −2 0 2 4 6 8 10
0
0.2
0.4
0.6
0.8
1
ACF pro 𝑌𝑡 = −0.5𝑌𝑡−1 + 𝜀𝑡
−10 −8 −6 −4 −2 0 2 4 6 8 10
−0.6
−0.4
−0.2
0
0.2
0.4
0.6
0.8
1
Obrázek 2. Ukázky autokorelačních funkcí
Pomocí generující funkce filtru
Ψ 𝐴𝑅(1)(𝑧) =
∞∑︁
𝑗=0
𝜙 𝑗
1 𝑧 𝑗
=
1
1 − 𝜙1 𝑧
pro |𝑧| < 1 a |𝜙1| < 1 dokážeme snadno spočítat i spektrální hustotu
𝑓 𝐴𝑅(1)(𝜔) = 𝜎2
𝜀
2𝜋
⃒
⃒
⃒Ψ 𝐴𝑅(1)
(︁
𝑒−𝑖𝜔
)︁⃒
⃒
⃒
2
= 𝜎2
𝜀
2𝜋
1
|1 − 𝜙1 𝑒−𝑖𝜔|2 = 𝜎2
𝜀
2𝜋
1
|𝑒−𝑖𝜔(𝑒𝑖𝜔 − 𝜙1)|2 = 𝜎2
𝜀
2𝜋
1
|𝑒𝑖𝜔 − 𝜙1|2 .
50 M5201 Stochastické modely časových řad
𝑓 𝐴𝑅(1)(𝜔) pro 𝑌𝑡 = 0.5𝑌𝑡−1 + 𝜀𝑡
−3 −2 −1 0 1 2 3
0.1
0.2
0.3
0.4
0.5
0.6
𝑓 𝐴𝑅(1)(𝜔) pro 𝑌𝑡 = −0.5𝑌𝑡−1 + 𝜀𝑡
−3 −2 −1 0 1 2 3
0.1
0.2
0.3
0.4
0.5
0.6
Obrázek 3. Ukázky spektrálních hustot
(2) Dále řešme případ, kdy |𝜙1| > 1. Použijeme-li vztah
𝑌𝑡−1 = 1
𝜙1
𝑌𝑡 − 1
𝜙1
𝜀𝑡
a postupně v 𝑘 krocích budeme upravovat
𝑌𝑡 = 1
𝜙1
𝑌𝑡+1− 1
𝜙1
𝜀𝑡+1 = 1
𝜙1
(︁
1
𝜙1
𝑌𝑡+2− 1
𝜙1
𝜀𝑡+2
)︁
− 1
𝜙1
𝜀𝑡+1
= 1
𝜙2
1
𝑌𝑡+2− 1
𝜙2
1
𝜀𝑡+2− 1
𝜙1
𝜀𝑡+1 = 1
𝜙2
1
(︁
1
𝜙1
𝑌𝑡+3− 1
𝜙1
𝜀𝑡+3
)︁
− 1
𝜙2
1
𝜀𝑡+2− 1
𝜙1
𝜀𝑡+1
= 1
𝜙3
1
𝑌𝑡+3 − 1
𝜙3
1
𝜀𝑡+3 − 1
𝜙2
1
𝜀𝑡+2 − 1
𝜙1
𝜀𝑡+1
...
= 1
𝜙 𝑘+1
1
𝑌𝑡+𝑘+1 −
𝑘∑︁
𝑗=0
1
𝜙 𝑘+1−𝑗
1
𝜀𝑡−𝑗,
stejně jako v předchozím případu −
∑︀∞
𝑗=0
1
𝜙 𝑗
1
𝜀𝑡−𝑗 konverguje podle kvadratického středu k 𝑌𝑡. Avšak vidíme,
že 𝑌𝑡 zde vyjadřujeme pomocí budoucích hodnot {𝜀 𝑠, 𝑠 > 𝑡}. Tím porušujeme přirozenou podmínku, že 𝑌𝑡
je na budoucnosti nezávislá a říkáme, že není kauzální.
(3) V případě, že platí
|𝜙1| = 1,
pak 𝐴𝑅(1) není stacionární, jde o tzv. náhodnou procházku.
Nyní již můžeme zavést pojem kauzality.
Definice 1.9. ARMA proces 𝑌𝑡 ∼ 𝐴𝑅𝑀 𝐴(𝑝, 𝑞) se nazývá kauzální, jestliže existuje absolutně konvergentní
posloupnost reálných čísel Ψ = {𝜓 𝑗}∞
𝑗=0, (tj.
∑︀∞
𝑗=0 |𝜓 𝑗| < ∞) tak, že
𝑌𝑡 =
∞∑︁
𝑗=0
𝜓 𝑗 𝜀𝑡−𝑗, tj. zkráceně 𝑌𝑡 ∼ 𝑀 𝐴(∞) : 𝑌𝑡 = Ψ(𝐵)𝜀𝑡.
Poznámka 1.10. Protože platí
∞∑︀
𝑗=0
𝜓2
𝑗 ≤
(︃
∞∑︀
𝑗=0
|𝜓 𝑗|
)︃2
< ∞,
pak kauzální proces 𝑌𝑡 =
∞∑︀
𝑗=0
𝜓 𝑗 𝜀𝑡−𝑗 je lineárním procesem. Protože lineární proces je stacionárním procesem,
je kauzální ARMA proces 𝑌𝑡 ∼ 𝐴𝑅𝑀 𝐴(𝑝, 𝑞), kde
∑︀∞
𝑗=0 |𝜓 𝑗| < ∞, také stacionárním procesem.
Autoregresní proces 𝑝 –tého řádu: 𝐴𝑅(𝑝) : Φ(𝐵)𝑌𝑡 = 𝜀𝑡
RNDr. Marie Forbelská, Ph.D. 51
Mějme polynom
Φ(𝑧) = 𝜙0 − 𝜙1 𝑧 − · · · − 𝜙 𝑝 𝑧 𝑝
a nechť 1
𝜆 𝑗
jsou jeho kořeny, tj.
Φ
(︁
1
𝜆 𝑗
)︁
= 0.
Pak platí
𝜙0 − 𝜙1 𝑧 − · · · − 𝜙 𝑝 𝑧 𝑝
= 𝜙 𝑝
∏︁
𝑗
(︁
𝑧 − 1
𝜆 𝑗
)︁
= 𝜙0
∏︁
𝑗
(1 − 𝜆 𝑗 𝑧),
v našem případě
𝜙0 = 1 a 𝜙 𝑝 ̸= 0.
Proveďme tedy rozklad polynomu Φ(𝑧) na součin kořenových činitelů
Φ(𝑧) = (1 − 𝜆1 𝑧) 𝑝1
. . . (1 − 𝜆 𝑘 𝑧) 𝑝 𝑘
,
kde
𝑧01 =
1
𝜆1
, . . . , 𝑧0𝑘 =
1
𝜆 𝑘
jsou rozdílné (reálné či komplexní) kořeny polynomu Φ(𝑧), 𝑝1, . . . , 𝑝 𝑘 je jejich násobnost (přičemž platí
𝑝1 + · · · + 𝑝 𝑘 = 𝑝).
Budeme hledat takovou absolutně konvergentní posloupnost čísel
Ψ = {𝜓 𝑗}∞
𝑗=0
tak, aby 𝑌𝑡 =
∞∑︀
𝑗=0
𝜓 𝑗 𝜀𝑡−𝑗 = Ψ(𝐵)𝜀𝑡 byl kauzální proces. Takže postupně odvozujme
𝜀𝑡 = Φ(𝐵) 𝑌𝑡
⏟ ⏞
=Ψ(𝐵)𝜀 𝑡
= Φ(𝐵)Ψ(𝐵)𝜀𝑡,
tj.
Φ(𝐵)Ψ(𝐵) = 1 nebo Φ(𝑧)Ψ(𝑧) = 1 čili Ψ(𝑧) =
1
Φ(𝑧)
.
Z věty o rozkladu na částečné zlomky dostáváme (pokud pro názornost předpokládáme, že všechny kořeny jsou
jednoduché)
1
Φ(𝑧)
=
1
(1 − 𝜆1 𝑧) . . . (1 − 𝜆 𝑝 𝑧)
=
𝑐1
1 − 𝜆1 𝑧
+ · · · +
𝑐 𝑝
1 − 𝜆 𝑝 𝑧
pro vhodná 𝑐1, . . . , 𝑐 𝑝.
Pokud pro 𝑘 = 1, . . . , 𝑝 platí |𝜆 𝑘 𝑧| < 1, můžeme psát
𝑐 𝑘
1 − 𝜆 𝑘 𝑧
= 𝑐 𝑘
∞∑︁
𝑗=0
(𝜆 𝑘 𝑧) 𝑗
a dokázali jsme najít konvergentní řadu
Ψ(𝑧) =
∞∑︁
𝑗=0
𝜓 𝑗 𝑧 𝑗
=
𝑝∑︁
𝑘=1
𝑐 𝑘
∞∑︁
𝑗=0
𝜆 𝑗
𝑘 𝑧 𝑗
=
∞∑︁
𝑗=0
(︁
𝑐1 𝜆 𝑗
1 + · · · + 𝑐 𝑝 𝜆 𝑗
𝑝
)︁
𝑧 𝑗
,
přičemž
𝜓 𝑗 = 𝑐1 𝜆 𝑗
1 + · · · + 𝑐 𝑝 𝜆 𝑗
𝑝,
neboť Ψ(𝑧) = 1
Φ(𝑧) je holomorfní pro |𝑧| ≤ 1 pouze když
|𝜆1| < 1, . . . , |𝜆 𝑝| < 1 ⇔
⃒
⃒
⃒ 1
𝜆1
⃒
⃒
⃒ > 1
⏟ ⏞
|𝑧01|>1
, . . . ,
⃒
⃒
⃒ 1
𝜆 𝑝
⃒
⃒
⃒ > 1
⏟ ⏞
|𝑧0𝑝|>1
,
tedy všechny kořeny polynomu Φ(𝑧) musí ležet vně jednotkové kružnice.
Tím jsme ukázali, že existuje řešení
𝑌𝑡 =
∞∑︀
𝑗=0
𝜓 𝑗 𝜀𝑡−𝑗
tzv. stochastické diferenční rovnice
𝑌𝑡 − 𝜙1 𝑌𝑡−1 − . . . − 𝜙 𝑝 𝑌𝑡−𝑝 = 𝜀𝑡 𝜀𝑡 ∼ 𝑊 𝑁(0, 𝜎2
𝜀 ) (12)
52 M5201 Stochastické modely časových řad
a tímto řešením je kauzální autoregresní posloupnost řádu 𝑝. Protože 𝑌𝑡 je lineární proces, je toto řešení
stacionární.
Podmínka týkající se kořenů polynomu Φ(𝑧) je podstatná. Lze ukázat, že v případě, kdy alespoň jeden kořen
polynomu Φ(𝑧) leží uvnitř nebo na hranici jednotkové kružnice, neexistuje kauzální posloupnost {𝑌𝑡, 𝑡 ∈ Z}
splňující stochastickou diferenční rovnici (12). Snadno se dá ukázat, že toto řešení je jediné.
Střední hodnota, rozptyl, autokovariance a autokorelace 𝐴𝑅(𝑝)
Pro kauzální 𝐴𝑅(𝑝) procesy počítejme nejprve
𝐸𝑌𝑡 = 𝐸
∞∑︁
𝑗=0
𝜓 𝑗 𝜀𝑡−𝑗 =
∞∑︁
𝑗=0
𝜓 𝑗 𝐸𝜀𝑡−𝑗 = 0.
Abychom mohli spočítat rozptyl kauzálního 𝐴𝑅(𝑝) procesu, nejprve rovnici
𝑌𝑡 = 𝜙1 𝑌𝑡−1 + · · · + 𝜙 𝑝 𝑌𝑡−𝑝 + 𝜀𝑡
vynásobíme výrazem 𝑌𝑡 a spočítáme střední hodnoty obou stran, tj.
𝐸𝑌 2
𝑡 = 𝜙1 𝐸𝑌𝑡−1 𝑌𝑡 + · · · + 𝜙 𝑝 𝐸𝑌𝑡−𝑝 𝑌𝑡 + 𝐸𝜀𝑡 𝑌𝑡. (A1)
Protože 𝐸𝑌𝑡 = 0, pak autokovarianční funkce je rovna
𝛾(𝑗) = 𝐶(𝑌𝑡, 𝑌𝑡−𝑗) = 𝐸(𝑌𝑡 − 𝐸𝑌𝑡)(𝑌𝑡−𝑗 − 𝐸𝑌𝑡−𝑗) = 𝐸𝑌𝑡 𝑌𝑡−𝑗
a rozptyl
𝛾(0) = 𝐸𝑌 2
𝑡 = 𝐷𝑌𝑡.
Dále spočtěme
𝐸𝑌𝑡 𝜀𝑡 = 𝐸
⎛
⎝
∞∑︁
𝑗=0
𝜓 𝑗 𝜀𝑡−𝑗
⎞
⎠ 𝜀𝑡 =
∞∑︁
𝑗=0
𝜓 𝑗 𝐸𝜀𝑡−𝑗 𝜀𝑡 =
∞∑︁
𝑗=0
𝜓 𝑗 𝜎2
𝜀 𝛿(𝑗) = 𝜎2
𝜀 ,
kde 𝛿(𝑗) =
{︃
1 𝑗 = 0,
0 𝑗𝑖𝑛𝑎𝑘.
Vraťme se k rovnici (A1), pak po dosazení 𝐸𝑌𝑡 𝜀𝑡 = 𝜎2
𝜀 a 𝛾(0) = 𝐸𝑌 2
𝑡 dostaneme
𝛾(0) = 𝜙1 𝛾(1) + · · · + 𝜙 𝑝 𝛾(𝑝) + 𝜎2
𝜀 . (A2)
Podělme obě strany rovnice (A2) výrazem 𝛾(0) > 0 a protože pro autokorelaci platí 𝜌(𝑘) = 𝛾(𝑘)
𝛾(0) , dostaneme
𝜌(0)
⏟ ⏞
=1
= 𝜙1 𝜌(1) + · · · + 𝜙 𝑝 𝜌(𝑝) + 𝜎2
𝜀
𝛾(0)
a odtud již plyne, že
𝐷𝑌𝑡 = 𝛾(0) = 𝜎2
𝜀
1−𝜙1 𝜌(1)−···−𝜙 𝑝 𝜌(𝑝) .
Při výpočtu autokovariance (nebo autokorelace ACF) budeme předpokládat, že 𝑘 > 0, neboť 𝛾(0) = 𝐷𝑌𝑡 již
jsme spočítali. Rovnici
𝑌𝑡 = 𝜙1 𝑌𝑡−1 + · · · + 𝜙 𝑝 𝑌𝑡−𝑝 + 𝜀𝑡
vynásobíme výrazem 𝑌𝑡−𝑘 a spočítáme střední hodnoty obou stran, tj.
𝐸𝑌𝑡 𝑌𝑡−𝑘 = 𝜙1 𝐸𝑌𝑡−1 𝑌𝑡−𝑘 + · · · + 𝜙 𝑝 𝐸𝑌𝑡−𝑝 𝑌𝑡−𝑘 + 𝐸𝜀𝑡 𝑌𝑡−𝑘. (A3)
Připomeňme, že s využitím vztahu 𝐸𝑌𝑡 = 0, je
𝛾(𝑘) = 𝐶(𝑌𝑡, 𝑌𝑡−𝑘) = 𝐸(𝑌𝑡 − 𝐸𝑌𝑡)(𝑌𝑡−𝑘 − 𝐸𝑌𝑡−𝑘) = 𝐸𝑌𝑡 𝑌𝑡−𝑘.
Spočtěme
𝐸𝑌𝑡−𝑘 𝜀𝑡 = 𝐸
(︃
∞∑︀
𝑗=0
𝜓 𝑗 𝜀𝑡−𝑗−𝑘
)︃
𝜀𝑡 =
∞∑︀
𝑗=0
𝜓 𝑗 𝐸𝜀𝑡−𝑗−𝑘 𝜀𝑡 =
∞∑︀
𝑗=0
𝜓 𝑗 𝜎2 𝛿 𝑗+𝑘
⏟ ⏞
=0
= 0.
Vraťme se k rovnici (A3), pak po dosazení 𝐸𝑌𝑡 𝜀𝑡 = 0 a 𝛾(𝑘) = 𝐸𝑌𝑡 𝑌𝑡−𝑘 dostaneme
𝛾(𝑘) = 𝜙1 𝛾(𝑘 − 1) + · · · + 𝜙 𝑝 𝛾(𝑘 − 𝑝) (A4)
RNDr. Marie Forbelská, Ph.D. 53
Podělme obě strany rovnice (A4) výrazem 𝛾(0) a protože 𝜌(𝑘) = 𝛾(𝑘)
𝛾(0) , dostaneme tzv. Yuleovy-Walkerovy
rovnice.
𝜌(𝑘) = 𝜙1 𝜌(𝑘 − 1) + · · · + 𝜙 𝑝 𝜌(𝑘 − 𝑝) 𝑘 ≥ 1 (A5)
Explicitní vyjádření autokorelační funkce procesu 𝐴𝑅(𝑝)
Při explicitním vyjádření autokorelační funkce procesu vyjdeme
z Yuleo-Walkerových rovnic
𝜌(𝑘) = 𝜙1 𝜌(𝑘 − 1) + · · · + 𝜙 𝑝 𝜌(𝑘 − 𝑝) 𝑘 ≥ 1.
Označme
𝐵𝜌(𝑘) = 𝜌(𝑘 − 1), přičemž 𝜌(0) = 1 a 𝜌(−𝑗) = 𝜌(𝑗)
a hledejme řešení tzv. homogenní diferenční rovnice
𝜌(𝑘) − 𝜙1 𝜌(𝑘 − 1) − · · · − 𝜙 𝑝 𝜌(𝑘 − 𝑝) = 0 𝑘 ≥ 1 tj. Φ(𝐵)𝜌(𝑘) = 0 .
Poznámka: Řešení homogenní diferenční rovnice
Mějme polynom Φ(𝑧) = 𝜙0 − 𝜙1 𝑧 − · · · − 𝜙 𝑝 𝑧 𝑝 a nechť 1
𝜆 𝑗
jsou jeho kořeny,
tj. Φ
(︁
1
𝜆 𝑗
)︁
= 0. Pak platí
𝜙0 − 𝜙1 𝑧 − · · · − 𝜙 𝑝 𝑧 𝑝
= 𝜙 𝑝
∏︁
𝑗
(︁
𝑧 − 1
𝜆 𝑗
)︁
= 𝜙0
∏︁
𝑗
(1 − 𝜆 𝑗 𝑧),
v našem případě 𝜙0 = 1 a 𝜙 𝑝 ̸= 0.
(1) Nechť 1
𝜆 𝑗
je kořen polynomu Φ(𝑧), pak 𝜆 𝑘
𝑗 je řešením Φ(𝐵)𝜌(𝑘) = 0.
Důkaz:
Φ(𝐵)𝜆 𝑘
𝑗 = (1 − 𝜙1 𝐵 − · · · − 𝜙 𝑝 𝐵 𝑝
)𝜆 𝑘
𝑗 = 𝜆 𝑘
𝑗 − 𝜙1 𝜆 𝑘−1
𝑗 − · · · − 𝜙 𝑝 𝜆 𝑘−𝑝
𝑗
= 𝜆 𝑘
𝑗
(︂
1 − 𝜙1
1
𝜆 𝑗
− · · · − 𝜙 𝑝
1
𝜆 𝑝
𝑗
)︂
= Φ
(︁
1
𝜆 𝑗
)︁
𝜆 𝑘
𝑗 = 0.
nebo ekvivalentně: jestliže uvažujeme faktorizaci Φ(𝐵) = 𝜙0
∏︀
𝑖(1 − 𝜆𝑖 𝐵), tak mezi faktory je i člen
(1 − 𝜆 𝑗 𝐵) a platí
(1 − 𝜆 𝑗 𝐵)𝜆 𝑘
𝑗 = 𝜆 𝑘
𝑗 − 𝜆 𝑗 𝐵(𝜆 𝑘
𝑗 ) = 𝜆 𝑘
𝑗 − 𝜆 𝑗 · 𝜆 𝑘−1
𝑗 = 0.
(2) Nechť 1
𝜆1
, . . . , 1
𝜆 𝑝
jsou různé jednoduché kořeny, pak
𝑐1 𝜆 𝑘
1 + · · · + 𝑐 𝑝 𝜆 𝑘
𝑝
jsou řešením homogenní diferenční rovnice a 𝑐1, . . . , 𝑐 𝑝 jsou konstanty, které jsou určeny počátečními
podmínkami.
(3) Je-li kořen 1
𝜆 𝑗
dvojnásobný kořen, pak
𝜆 𝑘
𝑗 a 𝑘𝜆 𝑘
𝑗
jsou řešeními Φ(𝐵)𝜌(𝑘) = 0.
Důkaz: Díky faktorizaci můžeme psát Φ(𝐵) = (1 − 𝜆 𝑗 𝐵)2 ∏︀
𝑘̸= 𝑗(1 − 𝜆 𝑘 𝐵). Pak
(1 − 𝜆 𝑗 𝐵)2
𝜆 𝑘
𝑗 = (1 − 2𝜆 𝑗 𝐵 + 𝜆2
𝑗 𝐵2
)𝜆 𝑘
𝑗 = 𝜆 𝑘
𝑗 − 2𝜆 𝑗 𝜆 𝑘−1
𝑗 + 𝜆2
𝑗 𝜆 𝑘−2
𝑗 = 0
(1 − 𝜆 𝑗 𝐵)2
𝑘𝜆 𝑘
𝑗 = (1 − 2𝜆 𝑗 𝐵 + 𝜆2
𝑗 𝐵2
)𝑘𝜆 𝑘
𝑗
= 𝑘𝜆 𝑘
𝑗 − 2𝜆 𝑗(𝑘 − 1)𝜆 𝑘−1
𝑗 + 𝜆2
𝑗 (𝑘 − 2)𝜆 𝑘−2
𝑗
= 𝑘𝜆 𝑘
𝑗 − 2𝑡𝜆 𝑘
𝑗 + 𝑘𝜆 𝑘
𝑗 + 2𝜆 𝑘
𝑗 − 2𝜆 𝑘
𝑗 𝑡 = 0.
(4) Analogicky dostaneme: je-li kořen 1
𝜆 𝑗
𝑟-tého řádu, pak
𝜆 𝑘
𝑗 , 𝑘𝜆 𝑘
𝑗 , . . . , 𝑘 𝑟−1
𝜆 𝑘
𝑗
jsou řešeními Φ(𝐵)𝜌(𝑘) = 0.
54 M5201 Stochastické modely časových řad
Shrneme-li tedy předchozí, za předpokladu, že 1
𝜆1
, . . . , 1
𝜆 𝑚
jsou různé kořeny s násobnostmi 𝑝1, . . . , 𝑝 𝑚, přičemž
𝑝 = 𝑝1 + · · · + 𝑝 𝑚, pak řešení homogenní diferenční rovnice Φ(𝐵)𝜌(𝑘) = 0 je tvaru
𝜌(𝑘) =
𝑚∑︁
𝑗=1
⎛
⎝
𝑝 𝑗−1
∑︁
𝑠=0
𝑐 𝑗𝑠 𝑘 𝑠
⎞
⎠ 𝜆 𝑘
𝑗 ,
kde 𝑐 𝑗𝑠 jsou konstanty, které jsou určeny počátečními podmínkami. Dále položme 𝜆 𝑗 = 𝑟 𝑗 𝑒𝑖𝜃 𝑗 . Pak máme
𝜌(𝑘) =
𝑚∑︁
𝑗=1
⎛
⎝
𝑝 𝑗−1
∑︁
𝑠=0
𝑐 𝑗𝑠 𝑘 𝑠
⎞
⎠ 𝑟 𝑘
𝑗 𝑒𝑖𝑘𝜃 𝑗
,
Vzhledem k tomu, že platí
|𝜆 𝑗| = 𝑟 𝑗 < 1,
dostáváme odtud, že 𝜌(𝑘) klesá pro 𝑘 → ∞ exponenciálně k nule, tj.
𝜌(𝑘) −−−→
𝑘→∞
0,
což je velmi důležitá identifikační vlastnost autoregresních 𝐴𝑅(𝑝) procesů.
RNDr. Marie Forbelská, Ph.D. 55
1.6. Invertibilita. Víme, že kauzální autoregresní proces konečného řádu 𝑝 lze vyjádřit pomocí MA procesu
nekonečného řádu, tj. 𝐴𝑅(𝑝) ≡ 𝑀 𝐴(∞). Zajímá nás, za jakých podmínek můžeme MA proces konečného
řádu vyjádřit pomocí autoregresního procesu nekonečného řádu, tj. 𝑀 𝐴(𝑞) ≡ 𝐴𝑅(∞). Nejprve si všimneme
jednoduchého případu, a to 𝑀 𝐴(1) procesu.
𝑌𝑡 = 𝜀𝑡 + 0.5𝜀𝑡−1, 𝜀𝑡 ∼ 𝑁(0, 1)
0 50 100 150 200 250 300
−3
−2
−1
0
1
2
3
𝑌𝑡 = 𝜀𝑡 − 0.5𝜀𝑡−1, 𝜀𝑡 ∼ 𝑁(0, 1)
0 50 100 150 200 250 300
−4
−3
−2
−1
0
1
2
3
𝑌𝑡 = 𝜀𝑡 + 0.85𝜀𝑡−1, 𝜀𝑡 ∼ 𝑁(0, 1)
0 50 100 150 200 250 300
−4
−3
−2
−1
0
1
2
3
𝑌𝑡 = 𝜀𝑡 − 0.25𝜀𝑡−1, 𝜀𝑡 ∼ 𝑁(0, 1)
0 50 100 150 200 250 300
−3
−2
−1
0
1
2
3
4
Obrázek 4. Ukázky MA procesů prvního řádu
56 M5201 Stochastické modely časových řad
MA proces prvního řádu:
𝑌𝑡 ∼ 𝑀 𝐴(1) : 𝑌𝑡 = 𝜀𝑡 + 𝜃1 𝜀𝑡−1, 𝜀𝑡 ∼ 𝑊 𝑁(0, 𝜎2
𝜀 ) .
(a) Nejprve předpokládejme, že
|𝜃1|
ozn.
= |𝜃| < 1 .
Využijeme-li vztahu
𝑌𝑡 = 𝜀𝑡 + 𝜃𝜀𝑡−1 ⇒ 𝜀𝑡 = 𝑌𝑡 + 𝜃𝜀𝑡−1,
můžeme postupně upravovat
𝜀𝑡 = 𝑌𝑡 + 𝜃𝜀𝑡−1 = 𝑌𝑡 + 𝜃 (𝑌𝑡−1 + 𝜃𝜀𝑡−2)
= 𝑌𝑡 + 𝜃𝑌𝑡−1 + 𝜃2
𝜀𝑡−2
...
=
𝑘∑︁
𝑗=0
𝜃 𝑗
𝑌𝑡−𝑗 + 𝜃 𝑘+1
𝜀𝑡−𝑘−1
a
⃦
⃦
⃦
⃦
⃦
⃦
𝜀𝑡 −
𝑘∑︁
𝑗=0
𝜃 𝑗
𝑌𝑡−𝑗
⃦
⃦
⃦
⃦
⃦
⃦
2
= 𝐸
⃒
⃒
⃒
⃒
⃒
⃒
𝜀𝑡 −
𝑘∑︁
𝑗=0
𝜃 𝑗
𝑌𝑡−𝑗
⃒
⃒
⃒
⃒
⃒
⃒
2
= 𝐸
⃒
⃒
⃒ 𝜃 𝑘+1
𝜀𝑡−𝑘−1
⃒
⃒
⃒
2
= 𝜃2(𝑘+1)
𝜎2
𝜀 −−−→
𝑘→∞
0,
tedy
𝜀𝑡 =
∞∑︁
𝑗=0
𝜃 𝑗
𝑌𝑡−𝑗 pro |𝜃| < 1.
(b) Za předpokladu, že platí
|𝜃1|
ozn.
= |𝜃| > 1
a s využitím vztahu
𝜀𝑡−1 = 1
𝜃 𝑌𝑡 − 1
𝜃 𝜀𝑡
můžeme opět postupně upravovat
𝜀𝑡 = 1
𝜃 𝑌𝑡+1+ 1
𝜃 𝜀𝑡+1
= 1
𝜃 𝑌𝑡+1+ 1
𝜃
(︁
1
𝜃 𝑌𝑡+2+ 1
𝜃 𝜀𝑡+2
)︁
...
=
𝑘+1∑︁
𝑗=1
1
𝜃 𝑗 𝑌𝑡+𝑗 + 1
𝜃 𝑘+1 𝜀𝑡+𝑘+1.
I když posloupnost
𝑁∑︁
𝑗=1
1
𝜃 𝑗 𝑌𝑡+𝑗
konverguje pro 𝑁 → ∞ také k 𝜀𝑡, tento rozvoj nemá praktický smysl, neboť 𝜀𝑡 je vyjadřena pomocí budoucích
hodnot {𝑌 𝑠, 𝑠 > 𝑡}.
RNDr. Marie Forbelská, Ph.D. 57
(c) Nakonec si všimněme dalšího důležitého faktu, a to že pokud platí
|𝜃| > 1 ,
a uvažujeme-li dva procesy
(1) 𝑌𝑡 = 𝜀𝑡 + 𝜃𝜀𝑡−1 𝜀𝑡 ∼ 𝑊 𝑁(0, 𝜎2),
(2) 𝑋𝑡 = 𝜂𝑡 + 1
𝜃 𝜂𝑡−1 𝜂𝑡 ∼ 𝑊 𝑁(0, 𝜃2 𝜎2),
pak oba dva procesy mají stejné první a druhé momenty, neboť
𝐸𝑌𝑡 = 𝐸 (𝜀𝑡 + 𝜃𝜀𝑡−1) = 𝐸𝜀𝑡 + 𝜃𝐸𝜀𝑡−1 = 0,
𝐸𝑋𝑡 = 𝐸
(︁
𝜂𝑡 + 1
𝜃 𝜂𝑡−1
)︁
= 𝐸𝜂𝑡 + 1
𝜃 𝐸𝜂𝑡−1 = 0,
a také autokovarianční funkce obou procesů se rovnají
𝛾 𝑌 (𝑘) = 𝐸𝑌𝑡 𝑌𝑡+𝑘 = 𝐸 (𝜀𝑡 + 𝜃𝜀𝑡−1) (𝜀𝑡+𝑘 + 𝜃𝜀𝑡+𝑘−1)
= 𝐸𝜀𝑡 𝜀𝑡+𝑘 + 𝜃𝐸𝜀𝑡 𝜀𝑡+𝑘−1 + 𝜃𝐸𝜀𝑡−1 𝜀𝑡+𝑘 + 𝜃2
𝐸𝜀𝑡−1 𝜀𝑡+𝑘−1
=
⃒
⃒
⃒
⃒
pokud: 𝑡 = 𝑡 + 𝑘 𝑡 = 𝑡 + 𝑘 − 1 𝑡 − 1 = 𝑡 + 𝑘 𝑡 − 1 = 𝑡 + 𝑘 − 1
pak: 𝑘 = 0 𝑘 = 1 𝑘 = −1 𝑘 = 0
⃒
⃒
⃒
⃒
=
⎧
⎪⎪⎨
⎪⎪⎩
𝜎2 + 𝜃2 𝜎2 = 𝜎2(1 + 𝜃2) 𝑘 = 0
𝜃𝜎2 𝑘 = ±1
0 jinak
𝛾 𝑋(𝑘) = 𝐸𝑋𝑡 𝑋𝑡+𝑘 = 𝐸
(︁
𝜂𝑡 + 1
𝜃 𝜂𝑡−1
)︁ (︁
𝜂𝑡+𝑘 + 1
𝜃 𝜂𝑡+𝑘−1
)︁
= 𝐸𝜂𝑡 𝜂𝑡+𝑘 + 1
𝜃 𝐸𝜂𝑡 𝜂𝑡+𝑘−1 + 1
𝜃 𝐸𝜂𝑡−1 𝜂𝑡+𝑘 + 1
𝜃2 𝐸𝜂𝑡−1 𝜂𝑡+𝑘−1
=
⎧
⎪⎪⎨
⎪⎪⎩
𝜃2 𝜎2 + 1
𝜃2 𝜃2 𝜎2 = 𝜎2(1 + 𝜃2) 𝑘 = 0
1
𝜃 𝜃2 𝜎2 = 𝜃𝜎2 𝑘 = ±1
0 jinak.
I když obě invertibilní i neinvertibilní MA reprezentace generují procesy se stejnými momenty prvního
a druhého řádu, z praktických důvodů dáváme přednost procesu invertibilnímu, neboť nepozorovatelné
veličiny 𝜀𝑡 můžeme odhadnout pomocí přítomných a minulých hodnot pozorovatelných veličin
{𝑋 𝑠, 𝑠 < 𝑡},
kdežto u neinvertibilních MA reprezentací nepozorovatelné veličiny 𝜀𝑡 neodhadneme, neboť nemáme ještě
k dispozici budoucí hodnoty
{𝑌 𝑠, 𝑠 > 𝑡}.
Nyní již můžeme podat definici invertibility.
Definice 1.11. ARMA proces 𝑌𝑡 ∼ 𝐴𝑅𝑀 𝐴(𝑝, 𝑞) se nazývá invertibilní, jestliže existuje absolutně konvergentní
posloupnost reálných čísel 𝜋 = {𝜋 𝑗}∞
𝑗=0 (tj.
∑︀∞
𝑗=0 |𝜋 𝑗| < ∞,) tak, že
𝜀𝑡 =
∞∑︁
𝑗=0
𝜋 𝑗 𝑌𝑡−𝑗, tj. zkráceně 𝑌𝑡 ∼ 𝐴𝑅(∞) : 𝜀𝑡 = 𝜋(𝐵)𝑌𝑡.
Dále vyšetřeme, za jakých podmínek je invertibilní MA proces řádu 𝑞.
MA proces řádu 𝑞:
58 M5201 Stochastické modely časových řad
𝑌𝑡 ∼ 𝑀 𝐴(𝑞) : 𝑌𝑡 = 𝜀𝑡 + 𝜃1 𝜀𝑡−1 + · · · + 𝜃 𝑞 𝜀𝑡−𝑞 𝜀𝑡 ∼ 𝑊 𝑁(0, 𝜎2
𝜀 ) .
Naprosto analogickým postupem jako v případě kauzálního 𝐴𝑅(𝑝) procesu, lze ukázat, že všechny kořeny Θ(𝑧)
musí ležet vně jednotkového kruhu. Proveďme tedy nejprve rozklad polynomu Θ(𝑧) = 1 + 𝜃1 𝑧 + · · · + 𝜃 𝑞 𝑧 𝑞 na
součin kořenových činitelů
Θ(𝑧) = (1 − 𝜆1 𝑧) 𝑟1
. . . (1 − 𝜆 𝑘 𝑧) 𝑟 𝑘
,
kde 𝑧01 = 1
𝜆1
, . . . , 𝑧0𝑘 = 1
𝜆 𝑘
jsou rozdílné (reálné či komplexní) kořeny polynomu Θ(𝑧), 𝑟1, . . . , 𝑟 𝑘 je jejich
násobnost (přičemž platí 𝑟1 +· · ·+ 𝑟 𝑘 = 𝑞). Nyní budeme hledat taková absolutně konvergentní 𝜋 = {𝜋 𝑗}∞
𝑗=0(tj.
∑︀∞
𝑗=0 |𝜋 𝑗| < ∞), aby
𝜀𝑡 =
∞∑︁
𝑗=0
𝜓 𝑗 𝑌𝑡−𝑗
byl invertibilní proces. Pokud použijeme operátor zpětného chodu, můžeme psát:
Θ(𝐵)𝑌𝑡 = 𝜀𝑡,
přitom hledáme 𝜋(𝐵) takové, aby platilo
𝜋(𝐵)Θ(𝐵) = 1 nebo 𝜋(𝑧)Θ(𝑧) = 1 čili 𝜋(𝑧) =
1
Θ(𝑧)
.
Z věty o rozkladu na částečné zlomky dostáváme (pokud pro názornost předpokládáme, že všechny kořeny jsou
jednoduché)
1
Θ(𝑧)
=
1
(1 − 𝜆1 𝑧) . . . (1 − 𝜆 𝑝 𝑧)
=
𝑐1
1 − 𝜆1 𝑧
+ · · · +
𝑐 𝑝
1 − 𝜆 𝑝 𝑧
pro vhodná 𝑐1, . . . , 𝑐 𝑝. Pokud pro 𝑘 = 1, . . . , 𝑝 platí |𝜆 𝑘 𝑧| < 1 , můžeme psát
𝑐 𝑘
1 − 𝜆 𝑘 𝑧
= 𝑐 𝑘
∞∑︁
𝑗=0
(𝜆 𝑘 𝑧) 𝑗
a dokázali jsme najít konvergentní řadu
𝜋(𝑧) =
∞∑︁
𝑗=0
𝜋 𝑗 𝑧 𝑗
=
𝑝∑︁
𝑘=1
𝑐 𝑘
∞∑︁
𝑗=0
𝜆 𝑗
𝑘 𝑧 𝑗
=
∞∑︁
𝑗=0
(︁
𝑐1 𝜆 𝑗
1 + · · · + 𝑐 𝑝 𝜆 𝑗
𝑝
)︁
𝑧 𝑗
,
přičemž
𝜋 𝑗 = 𝑐1 𝜆 𝑗
1 + · · · + 𝑐 𝑝 𝜆 𝑗
𝑝,
neboť 𝜋(𝑧) = 1
Θ(𝑧) je holomorfní pro |𝑧| ≤ 1 právě když
|𝜆1| < 1, . . . , |𝜆 𝑝| < 1 ⇔
⃒
⃒
⃒ 1
𝜆1
⃒
⃒
⃒ > 1
⏟ ⏞
|𝑧01|>1
, . . . ,
⃒
⃒
⃒ 1
𝜆 𝑝
⃒
⃒
⃒ > 1
⏟ ⏞
|𝑧0𝑝|>1
,
tedy všechny kořeny polynomu Θ(𝑧) musí ležet vně jednotkového kruhu.
Na závěr tohoto odstavce ještě spočítejme střední hodnotu, rozptyl, autokovarianční funkci a také spektrální
hustotu 𝑀 𝐴(𝑞) procesu. Protože 𝑀 𝐴(𝑞) proces je lineárním procesem, je vždy slabě stacionární, proto můžeme
počítat
𝐸𝑌𝑡 = 𝐸(𝜀𝑡 + 𝜃1 𝜀𝑡−1 + · · · + 𝜃 𝑞 𝜀𝑡−𝑞) = 0
𝐷𝑌𝑡 = 𝐷(𝜀𝑡 + 𝜃1 𝜀𝑡−1 + · · · + 𝜃 𝑞 𝜀𝑡−𝑞) = 𝜎2
𝜀 (1 + 𝜃2
1 + · · · + 𝜃2
𝑞 )
𝛾(𝑡) = 𝐶(𝑌 𝑠, 𝑌 𝑠+𝑡) = 𝐸𝑌 𝑠 𝑌 𝑠+𝑡 =
𝑞∑︁
𝑗=0
𝑞∑︁
ℎ=0
𝜃 𝑗 𝜃 𝑠 𝐸𝜀 𝑠−𝑗 𝜀 𝑠+𝑡−ℎ =
⃒
⃒
⃒
⃒
𝑠 − 𝑗 = 𝑠 + 𝑡 − ℎ
ℎ = 𝑗 + 𝑡
⃒
⃒
⃒
⃒ = 𝜎2
𝜀
𝑞∑︁
𝑗=0
𝜃 𝑗 𝜃 𝑗+𝑡
RNDr. Marie Forbelská, Ph.D. 59
Protože 𝜃0 = 1 a 𝜃 𝑗 = 0 pro 𝑗 > 𝑞, dostáváme
𝛾(𝑡) =
⎧
⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎨
⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎩
𝜎2
𝜀 (1 + 𝜃2
1 + · · · + 𝜃2
𝑞−2 + 𝜃2
𝑞−1 + 𝜃2
𝑞 ) pro 𝑡=0
𝜎2
𝜀 (𝜃1 + 𝜃1 𝜃2 + · · · + 𝜃 𝑞−2 𝜃 𝑞−1 + 𝜃 𝑞−1 𝜃 𝑞) 𝑡=1
𝜎2
𝜀 (𝜃2 + 𝜃1 𝜃3 + · · · + 𝜃 𝑞−2 𝜃 𝑞) 𝑡=2
...
...
𝜎2
𝜀 (𝜃 𝑞−1 + 𝜃1 𝜃 𝑞) 𝑡= 𝑞−1
𝜎2
𝜀 𝜃 𝑞 𝑡= 𝑞
0 jinak
Autokorelační funkce je pak rovna
𝜌(𝑡) =
⎧
⎪⎪⎨
⎪⎪⎩
1 𝑡 = 0
1
1+𝜃2
1+···+𝜃2
𝑞
∑︀ 𝑞−𝑡
𝑗=0 𝜃 𝑗 𝜃 𝑗+𝑡 1 ≤ 𝑡 ≤ 𝑞, 𝜃0 ≡ 1
0 jinak
tedy, pro 𝑡 > 𝑞 je autokorelační funkce nulová, což je velmi důležitá identifikační vlastnost 𝑀 𝐴(𝑞) procesů.
Díky tomu, že 𝑀 𝐴(𝑞) proces je lineárním procesem, spektrální hustota je rovna
𝑓 𝑌 (𝜔) = 𝜎2
𝜀
2𝜋
⃒
⃒
⃒Θ
(︁
𝑒−𝑖𝜔
)︁⃒
⃒
⃒
2
.
Autokorelační funkce 𝜌(𝑡)
pro 𝑌𝑡 = 𝜀𝑡 − 0.4𝜀𝑡−1 + 0.2𝜀𝑡−2 − 0.3𝜀𝑡−3
−5 −4 −3 −2 −1 0 1 2 3 4 5
−0.5
0
0.5
1
Spektrální hustota 𝑓 𝑀 𝐴(3)(𝜔)
pro 𝑌𝑡 = 𝜀𝑡 − 0.4𝜀𝑡−1 + 0.2𝜀𝑡−2 − 0.3𝜀𝑡−3
−3 −2 −1 0 1 2 3
0.1
0.2
0.3
0.4
0.5
Autokorelační funkce 𝜌(𝑡)
pro 𝑌𝑡 = 𝜀𝑡 − 0.2𝜀𝑡−1 + 0.1𝜀𝑡−2 + 0.3𝜀𝑡−3
−5 −4 −3 −2 −1 0 1 2 3 4 5
−0.2
0
0.2
0.4
0.6
0.8
1
1.2
Spektrální hustota 𝑓 𝑀 𝐴(3)(𝜔)
pro 𝑌𝑡 = 𝜀𝑡 − 0.2𝜀𝑡−1 + 0.1𝜀𝑡−2 + 0.3𝜀𝑡−3
−3 −2 −1 0 1 2 3
0.05
0.1
0.15
0.2
0.25
0.3
Obrázek 5. Ukázky autokorelačních funkcí a spektrálních hustot pro 𝑀 𝐴(3) procesy.
1.7. Vícenásobná reprezentace 𝑀 𝐴(𝑞) procesů. Mějme MA proces řádu 𝑞:
𝑌𝑡 ∼ 𝑀 𝐴(𝑞) : 𝑌𝑡 = 𝜀𝑡 + 𝜃1 𝜀𝑡−1 + · · · + 𝜃 𝑞 𝜀𝑡−𝑞 𝜀𝑡 ∼ 𝑊 𝑁(0, 𝜎2
𝜀 ).
Proveďme tedy rozklad polynomu Θ(𝑧) = 1 + 𝜃1 𝑧 + · · · + 𝜃 𝑞 𝑧 𝑞 na součin kořenových činitelů
Φ(𝑧) =
∏︁
𝑗
(1 − 𝜆 𝑗 𝑧),
60 M5201 Stochastické modely časových řad
Pak (protože 𝑀 𝐴(𝑞) proces je lineárním procesem) autokovarianční generující funkce je rovna
𝐺 𝑌 (𝑧) = Θ(𝑧)Θ
(︁
𝑧−1
)︁
𝜎2
𝜀 .
Dále platí
(1 − 𝜆 𝑗 𝑧)(1 − 𝜆 𝑗 𝑧−1
) = 1 − 𝜆 𝑗 𝑧 − 𝜆 𝑗 𝑧−1
+ 𝜆2
𝑗 = 𝜆2
𝑗 (𝜆−2
𝑗 − 𝜆−1
𝑗 𝑧 − 𝜆−1
𝑗 𝑧−1
+ 1)
= 𝜆2
𝑗
(︃
1 −
1
𝜆 𝑗
𝑧
)︃ (︃
1 −
1
𝜆 𝑗
𝑧−1
)︃
Tudíž
𝐺 𝑌 (𝑧) = 𝜎2
𝜀 Θ(𝑧)Θ
(︁
𝑧−1
)︁
= 𝜎2
𝜀
∏︁
𝑗
(1 − 𝜆 𝑗 𝑧)
∏︁
𝑗
(1 − 𝜆 𝑗 𝑧−1
)
= 𝜎2
𝜀
∏︁
𝑗
𝜆2
𝑗
⏟ ⏞
𝜎2
*
∏︁
𝑗
(︃
1 −
1
𝜆 𝑗
𝑧
)︃
⏟ ⏞
Θ*(𝑧)
∏︁
𝑗
(︃
1 −
1
𝜆 𝑗
𝑧−1
)︃
⏟ ⏞
Θ*(𝑧−1)
= 𝜎2
*Θ*(𝑧)Θ*(𝑧−1
)
Takže proces
𝑌 *
𝑡 ∼ 𝑀 𝐴(𝑞) : 𝑌𝑡 = 𝜀*
𝑡 + 𝜃*
1 𝜀*
𝑡−1 + · · · + 𝜃*
𝑞 𝜀*
𝑡−𝑞 𝜀*
𝑡 ∼ 𝑊 𝑁(0, 𝜎2
*)
má stejnou autokovarianční generující funkcí
𝐺 𝑌 (𝑧) = 𝜎2
*Θ*(𝑧)Θ*(𝑧−1
)
a jsou proto z hlediska prvních dvou momentů nerozlišitelné.
Obecně můžeme dostat 2 𝑞 různých procesů s funkcí
Φ*𝑠(𝑧) =
𝑞∏︁
𝑗=1
(1 − 𝜆±1
𝑗 𝑧) 𝑠 = 1, . . . , 2 𝑞
Mezi všemi těmito procesy pouze jediný je invertibilní, a to ten, pro kterého platí
𝜆𝑖𝑛𝑣𝑒𝑟𝑡
𝑗 =
{︃
𝜆 𝑗 |𝜆 𝑗| < 1,
𝜆−1
𝑗 |𝜆 𝑗| ≥ 1.
Takže podmínka invertibility zajišťuje identifikovatelnost 𝑀 𝐴(𝑞) procesu z hlediska prvních dvou momentů.
Dříve než uvedeme nutnou a postačující podmínku pro kauzalitu a invertibilitu 𝐴𝑅𝑀 𝐴(𝑝, 𝑞) procesů, vyšetřeme
problematiku společných kořenů Φ(𝑧) a Θ(𝑧).
1.8. Společné kořeny polynomů Φ(𝑧) a Θ(𝑧). Mějme
𝑌𝑡 ∼ 𝐴𝑅𝑀 𝐴(𝑝, 𝑞) : 𝑌𝑡 − 𝜙1 𝑌𝑡−1 − · · · − 𝜙 𝑝 𝑌𝑡−𝑝 = 𝜀𝑡 + 𝜃1 𝜀𝑡−1 + · · · + · · · 𝜃 𝑞 𝜀𝑡−𝑞,
kde 𝜀𝑡 ∼ 𝑊 𝑁(0, 𝜎2
𝜀 ) a předpokládejme že Φ(𝑧) a Θ(𝑧) mají společný kořen 1
𝜆. Pak můžeme psát
Φ(𝑧) = (1 − 𝜆𝑧)(1 − 𝜙*
1 𝑧 − · · · − 𝜙*
𝑝−1 𝑧 𝑝−1
) = (1 − 𝜆𝑧)Φ*
(𝑧)
Θ(𝑧) = (1 − 𝜆𝑧)(1 + 𝜃*
1 𝑧 + · · · + 𝜃*
𝑞−1 𝑧 𝑞−1
) = (1 − 𝜆𝑧)Θ*
(𝑧)
tj.
(1 − 𝜆𝐵)Φ*
(𝐵)𝑌𝑡 = (1 − 𝜆𝐵)Θ*
(𝐵)𝜀𝑡.
Pokud obě strany rovnice vydělíme výrazem (1 − 𝜆𝐵), dostaneme
𝑌𝑡 ∼ 𝐴𝑅𝑀 𝐴(𝑝 − 1, 𝑞 − 1) : Φ*
(𝐵)𝑌𝑡 = Θ*
(𝐵)𝜀𝑡.
Takže podmínka, že
Φ(𝑧) a Θ(𝑧) nemají společné kořeny
zajišťuje, že řády ARMA procesů nelze již snižovat.
RNDr. Marie Forbelská, Ph.D. 61
1.9. Nutná a postačující podmínka kauzality a invertibility ARMA procesu. V předchozích
odstavcích jsme ukázali, že platí
𝑌𝑡 ∼ 𝐴𝑅(𝑝) : Φ(𝐵)𝑌𝑡 = 𝜀𝑡, Φ(𝑧) ̸= 0 pro ∀𝑧 ∈ C ∧ |𝑧|≤ 1 ⇔ 𝐴𝑅(𝑝) je kauzální
𝑌𝑡 ∼ 𝑀𝐴(𝑞) : 𝑌𝑡 =Θ(𝐵)𝜀𝑡, Θ(𝑧)̸=0 pro ∀𝑧 ∈ C ∧ |𝑧|≤ 1 ⇔ 𝑀𝐴(𝑞) je invertibilní.
Naprosto analogickým způsobem lze dokázat obecnější tvrzení:
Věta 1.12. Nechť Φ(𝐵) a Θ(𝐵) nemají společné kořeny. Pak
(i) 𝑌𝑡 ∼ 𝐴𝑅𝑀 𝐴(𝑝, 𝑞) : Φ(𝐵)𝑌𝑡 = Θ(𝐵)𝜀𝑡 je kauzální ⇔ Φ(𝑧) ̸= 0 pro ∀𝑧 ∈ C ∧|𝑧| ≤ 1.
(ii) 𝑌𝑡 ∼ 𝐴𝑅𝑀 𝐴(𝑝, 𝑞) : Φ(𝑧)𝑌𝑡 = Θ(𝐵)𝜀𝑡 je invertibilní ⇔ Θ(𝑧) ̸= 0 pro ∀𝑧 ∈ C ∧|𝑧| ≤ 1.
Znamená to tedy, že 𝑌𝑡 ∼ 𝐴𝑅𝑀 𝐴(𝑝, 𝑞) je kauzálním a invertibilním 𝐴𝑅𝑀 𝐴 procesem, jestliže všechny
kořeny polynomů Φ(𝑧) a Θ(𝑧) leží vně jednotkového kruhu a koeficienty 𝜓 𝑗 a 𝜋 𝑗 jsou určeny ze vztahů
Ψ(𝑧) =
∞∑︁
𝑗=0
𝜓 𝑗 𝑧 𝑗
=
Φ(𝑧)
Θ(𝑧)
pro |𝑧| ≤ 1
𝜋(𝑧) =
∞∑︁
𝑗=0
𝜋 𝑗 𝑧 𝑗
=
Θ(𝑧)
Φ(𝑧)
pro |𝑧| ≤ 1.
V dalším budeme uvažovat pouze takové
𝑌𝑡 ∼ 𝐴𝑅𝑀 𝐴(𝑝, 𝑞) : Φ(𝐵)𝑌𝑡 = Θ(𝐵)𝜀𝑡
procesy, které splňují následující podmínky
(P1) Φ(𝐵) a Θ(𝐵) nemají společné kořeny.
(P2) 𝑌𝑡 ∼ 𝐴𝑅𝑀 𝐴(𝑝, 𝑞) je kauzální.
(P3) 𝑌𝑡 ∼ 𝐴𝑅𝑀 𝐴(𝑝, 𝑞) je invertibilní.
1.10. Střední hodnota, rozptyl, autokovarianční a autokorelační funkce procesů 𝐴𝑅𝑀 𝐴(𝑝, 𝑞).
Střední hodnota
Vzhledem ke kauzalitě 𝐴𝑅𝑀 𝐴(𝑝, 𝑞) procesu můžeme počítat
𝐸𝑌𝑡 = 𝐸
∞∑︁
𝑗=0
𝜓 𝑗 𝜀𝑡−𝑗 =
∞∑︁
𝑗=0
𝜓 𝑗 𝐸𝜀𝑡−𝑗 = 0
Rozptyl
Při odvození rozptylu nejprve rovnici
𝑌𝑡 = 𝜙1 𝑌𝑡−1 + · · · + 𝜙 𝑝 𝑌𝑡−𝑝 + 𝜀𝑡 + 𝜃1 𝜀𝑡−1 + · · · + 𝜃 𝑞 𝜀𝑡−𝑞
vynásobme výrazem 𝑌𝑡 a spočtěme střední hodnoty obou stran, tj.
𝐸𝑌 2
𝑡 = 𝜙1 𝐸𝑌𝑡−1 𝑌𝑡 + · · · + 𝜙 𝑝 𝐸𝑌𝑡−𝑝 𝑌𝑡 + 𝐸𝜀𝑡 𝑌𝑡 + 𝜃1 𝐸𝜀𝑡−1 𝑌𝑡 + · · · + 𝜃 𝑞 𝐸𝜀𝑡−𝑞 𝑌𝑡. (A6)
Spočtěme pro 𝑖 = 0, 1, . . . , 𝑞
𝐸𝜀𝑡−𝑖 𝑌𝑡 = 𝐸𝜀𝑡−𝑖
⎛
⎝
∞∑︁
𝑗=0
𝜓 𝑗 𝜀𝑡−𝑗
⎞
⎠ =
∞∑︁
𝑗=0
𝜓 𝑗 𝐸𝜀𝑡−𝑖 𝜀𝑡−𝑗 = 𝜓𝑖 𝜎2
𝜀 (přičemž 𝜓0 = 1).
Po dosazení do rovnice (A6) dostaneme
𝛾(0) − 𝜙1 𝛾(1) − · · · − 𝜙 𝑝 𝛾(𝑝) = 𝜎2
𝜀 (1 + 𝜃1 𝜓1 + . . . + 𝜃 𝑞 𝜓 𝑞) (A7).
Podělme obě strany rovnice (A7) výrazem 𝛾(0). Vzhledem k tomu, že 𝜌(𝑘) = 𝛾(𝑘)
𝛾(0) , dostaneme
1 − 𝜙1 𝜌(1) − · · · − 𝜙 𝑝 𝜌(𝑝) =
𝜎2
𝜀 (1 + 𝜃1 𝜓1 + . . . + 𝜃 𝑞 𝜓 𝑞)
𝛾(0)
takže
𝐷𝑌𝑡 = 𝛾(0) =
𝜎2
𝜀 (1 + 𝜃1 𝜓1 + . . . + 𝜃 𝑞 𝜓 𝑞)
1 − 𝜙1 𝜌(1) − · · · − 𝜙 𝑝 𝜌(𝑝)
.
62 M5201 Stochastické modely časových řad
Autokovarianční a autokorelační funkce (ACF)
Při výpočtu autokovariance rovnici
𝑌𝑡 − 𝜙1 𝑌𝑡−1 − · · · − 𝜙 𝑝 𝑌𝑡−𝑝 = 𝜀𝑡 + 𝜃1 𝜀𝑡−1 + · · · + 𝜃 𝑞 𝜀𝑡−𝑞
vynásobíme výrazem 𝑌𝑡−𝑘 a spočítáme střední hodnoty obou stran, takže dostaneme
𝛾(𝑘) − 𝜙1 𝛾(𝑘 − 1) − · · · − 𝜙 𝑝 𝛾(𝑘 − 𝑝) = 𝐸𝑌𝑡−𝑘 𝜀𝑡 + 𝜃1 𝐸𝑌𝑡−𝑘 𝜀𝑡−1 + · · · + 𝜃 𝑞 𝐸𝑌𝑡−𝑘 𝜀𝑡−𝑞 (A8).
Nejprve je třeba si uvědomit, že pro 𝑠 ≥ 0 platí
𝐸𝜀𝑡 𝑌𝑡−𝑠 = 𝐸
⎛
⎝ 𝜀𝑡
∞∑︁
𝑗=0
𝜓 𝑗 𝜀𝑡−𝑠−𝑗
⎞
⎠ =
∞∑︁
𝑗=0
𝜓 𝑗 𝐸𝜀𝑡 𝜀𝑡−𝑠−𝑗 = 0.
Spočtěme pro 𝑖 = 0, 1, . . . , 𝑞
𝐸𝜀𝑡−𝑖 𝑌𝑡−𝑘 = 𝐸𝜀𝑡−𝑖
⎛
⎝
∞∑︁
𝑗=0
𝜓 𝑗 𝜀𝑡−𝑗−𝑘
⎞
⎠ =
∞∑︁
𝑗=0
𝜓 𝑗 𝐸𝜀𝑡−𝑖 𝜀𝑡−𝑗−𝑘
=
⃒
⃒
⃒
⃒
𝑡 − 𝑖 = 𝑡 − 𝑗 − 𝑘
𝑗 = 𝑖 − 𝑘
⃒
⃒
⃒
⃒
=
{︃
𝜎2
𝜀 𝜓𝑖−𝑘 𝑘 ≤ 𝑖 přičemž 𝜓0 = 1 ⇒ 𝑘 ≤ 𝑞
0 𝑘 > 𝑖 neboť 𝜓 𝑗 = 0 pro 𝑗 < 0
Uvážíme-li, že 𝜓 𝑗 = 0 pro 𝑗 < 0, potom pro 0 ≤ 𝑘 ≤ max(𝑝, 𝑞 + 1) platí
𝛾(𝑘) − 𝜙1 𝛾(𝑘 − 1) − · · · − 𝜙 𝑝 𝛾(𝑘 − 𝑝) = 𝜎2
𝜀 (𝜃 𝑘 + 𝜃 𝑘+1 𝜓1 + · · · + 𝜃 𝑞 𝜓 𝑞−𝑘) (A9)
a pro 𝑘 > max(𝑝, 𝑞 + 1) platí
𝛾(𝑘) − 𝜙1 𝛾(𝑘 − 1) − · · · − 𝜙 𝑝 𝛾(𝑘 − 𝑝) = 0 .
Podělme obě strany rovnice (A9) výrazem 𝛾(0). Dostaneme
𝜌(𝑘) − 𝜙1 𝜌(𝑘 − 1) − · · · − 𝜙 𝑝 𝜌(𝑘 − 𝑝) =
𝜎2
𝜀 (𝜃 𝑘 + 𝜃 𝑘+1 𝜓1 + · · · + 𝜃 𝑞 𝜓 𝑞−𝑘)
𝛾(0)
resp.
𝜌(𝑘) − 𝜙1 𝜌(𝑘 − 1) − · · · − 𝜙 𝑝 𝜌(𝑘 − 𝑝) = 0.
Nechť např.
𝑞 + 1 > 𝑝.
Pak máme více rovnic pro určení počátečních 𝑝 podmínek. V tomto případě prvních 𝑞− 𝑝+1 autokovariančních
koeficientů jsou určeny z prvních 𝑞 − 𝑝 + 1 podmínek.
Obecné řešení homogenní diferenční rovnice
𝜌(𝑘) − 𝜙1 𝜌(𝑘 − 1) − · · · − 𝜙 𝑝 𝜌(𝑘 − 𝑝) = 0 tj. Φ(𝐵)𝜌(𝑘) = 0
je tvaru
𝜌(𝑘) =
𝑚∑︁
𝑗=1
⎛
⎝
𝑝 𝑗−1
∑︁
𝑠=0
𝑐 𝑗𝑠 𝑘 𝑠
⎞
⎠ 𝜆 𝑘
𝑗 ,
kde
1
𝜆1
, . . . , 1
𝜆 𝑚
jsou různé kořeny s násobnostmi
𝑝1, . . . , 𝑝 𝑚,
přičemž
𝑝 = 𝑝1 + · · · + 𝑝 𝑚
a 𝑐 𝑗𝑠 je právě 𝑝 konstant, které jsou určeny počátečními podmínkami.
RNDr. Marie Forbelská, Ph.D. 63
1.11. Spektrální hustota 𝐴𝑅𝑀 𝐴(𝑝, 𝑞) procesů.
Věta 1.13 (Spektrální hustota 𝐴𝑅𝑀 𝐴(𝑝, 𝑞) procesů). Nechť Φ(𝐵)𝑌𝑡 = Θ(𝐵)𝜀𝑡 je kauzální a invertibilní
𝐴𝑅𝑀 𝐴(𝑝, 𝑞) proces, přičemž Φ(𝑧) a Θ(𝑧) nemají společné kořeny. Pak spektrální hustota 𝐴𝑅𝑀 𝐴(𝑝, 𝑞) procesu
je rovna
𝑓 𝑌 (𝜔) = 𝜎2
𝜀
2𝜋
⃒
⃒Θ
(︀
𝑒−𝑖𝜔
)︀⃒
⃒2
|Φ (𝑒−𝑖𝜔)|2 pro 𝜔 ∈ ⟨−𝜋, 𝜋⟩.
Důkaz. Kauzalita značí, že existuje absolutně konvergentní posloupnost reálných čísel 𝜓 = {𝜓 𝑗}∞
𝑗=0 (tj.
∑︀∞
𝑗=0 |𝜓 𝑗| < ∞) taková, že platí
𝑌𝑡 =
∞∑︁
𝑗=0
𝜓 𝑗 𝜀𝑡−𝑗 kde 𝜀𝑡 ∼ 𝑊 𝑁(0, 𝜎2
𝜀 ).
Víme, že spektrální hustota bílého šumu je rovna
𝑓 𝜀(𝜔) = 𝜎2
𝜀
2𝜋 kde 𝜔 ∈ ⟨−𝜋, 𝜋⟩.
Protože 𝑌𝑡 je lineárním procesem, víme, že má spektrální hustotu
𝑓 𝑌 (𝜔) =
⃒
⃒
⃒Ψ
(︁
𝑒−𝑖𝜔
)︁⃒
⃒
⃒
2
𝑓 𝜀(𝜔) =
⃒
⃒
⃒Ψ
(︁
𝑒−𝑖𝜔
)︁⃒
⃒
⃒
2 𝜎2
𝜀
2𝜋 kde 𝜔 ∈ ⟨−𝜋, 𝜋⟩.
Také
Θ(𝐵)𝜀𝑡
jakožto lineární proces má spektrální hustotu tvaru
⃒
⃒
⃒Θ
(︁
𝑒−𝑖𝜔
)︁⃒
⃒
⃒
2 𝜎2
𝜀
2𝜋 pro 𝜔 ∈ ⟨−𝜋, 𝜋⟩.
Rovněž
Φ(𝐵)𝑌𝑡
jakožto lineární filtr má také spektrální hustotu, a ta je rovna
⃒
⃒
⃒Φ
(︁
𝑒−𝑖𝜔
)︁⃒
⃒
⃒
2
𝑓 𝑌 (𝜔) pro 𝜔 ∈ ⟨−𝜋, 𝜋⟩.
Protože platí
Φ(𝐵)𝑌𝑡 = Θ(𝐵)𝜀𝑡,
musí také platit
⃒
⃒
⃒Φ
(︁
𝑒−𝑖𝜔
)︁⃒
⃒
⃒
2
𝑓 𝑌 (𝜔) =
⃒
⃒
⃒Θ
(︁
𝑒−𝑖𝜔
)︁⃒
⃒
⃒
2 𝜎2
𝜀
2𝜋 pro 𝜔 ∈ ⟨−𝜋, 𝜋⟩.
Odtud již dostáváme tvrzení věty
𝑓 𝑌 (𝜔) = 𝜎2
𝜀
2𝜋
⃒
⃒Θ
(︀
𝑒−𝑖𝜔
)︀⃒
⃒2
|Φ (𝑒−𝑖𝜔)|2 pro 𝜔 ∈ ⟨−𝜋, 𝜋⟩.
64 M5201 Stochastické modely časových řad
Na závěr tohoto odstavce jsou vykresleny příklady tří realizací AR, MA a ARMA procesů spolu s jejich
teoretickými spektrálními hustotami.
𝐴𝑅(2) : 𝑌𝑡 = 0.5𝑌𝑡−1 + 0.2𝑌𝑡−2 + 𝜀𝑡, 𝜀𝑡 ∼ 𝑁(0, 1)
0 50 100 150 200 250 300
−4
−2
0
2
4
𝑀 𝐴(2) : 𝑌𝑡 = 𝜀𝑡 − 0.5𝜀𝑡−1 − 0.2𝜀𝑡−1, 𝜀𝑡 ∼ 𝑁(0, 1)
0 50 100 150 200 250 300
−4
−2
0
2
4
𝐴𝑅𝑀 𝐴(2, 2) : 𝑌𝑡 = 0.5𝑌𝑡−1 + 0.2𝑌𝑡−2 + 𝜀𝑡 − 0.4𝜀𝑡−1 + 0.3𝜀𝑡−1, 𝜀𝑡 ∼ 𝑁(0, 1)
0 50 100 150 200 250 300
−4
−2
0
2
4
6
Obrázek 6. Ukázky realizací AR, MA a ARMA procesů
𝑓 𝐴𝑅(𝜔) = 𝜎2
𝜀
2𝜋
1
|Φ(𝑒−𝑖𝜔)|2
−3 −2 −1 0 1 2 3
0.2
0.4
0.6
0.8
1
1.2
1.4
1.6
𝑓 𝑀 𝐴(𝜔) = 𝜎2
𝜀
2𝜋
⃒
⃒Θ
(︀
𝑒−𝑖𝜔
)︀⃒
⃒2
−3 −2 −1 0 1 2 3
0.05
0.1
0.15
0.2
0.25
0.3
𝑓 𝐴𝑅𝑀 𝐴(𝜔) = 𝜎2
𝜀
2𝜋
|Θ( 𝑒−𝑖𝜔
)|
2
|Φ(𝑒−𝑖𝜔)|2
−3 −2 −1 0 1 2 3
0.2
0.4
0.6
0.8
1
1.2
1.4
pro 𝜔 ∈ ⟨−𝜋, 𝜋⟩.
Obrázek 7. Ukázky spektrálních hustot AR, MA a ARMA procesů.
RNDr. Marie Forbelská, Ph.D. 65
1.12. Grafické ukázky AR, MA, ARMA procesů spolu s ACF funkcí a spektrální hustotou.
Pomocí následujících příkladů ukážeme na simulovaných datech typické vlastnosti ACF a spektrálních hustot
vybraných ARMA procesů.
Příklad 1.1. ACF a spektrální hustota pro AR(1) proces s kladnou hodnotou 𝜙1 = 0.5. Všimněme
si, že ACF hodnoty jsou všechny kladné a velmi rychle klesají k nule.
𝐴𝑅(1) : 𝑌𝑡 = 0.5𝑌𝑡−1 + 𝜀𝑡, 𝜀𝑡 ∼ 𝑁(0, 1)
0 50 100 150 200 250 300
−4
−3
−2
−1
0
1
2
3
4
ACF
−10 −8 −6 −4 −2 0 2 4 6 8 10
0
0.2
0.4
0.6
0.8
1
𝑓 𝐴𝑅(𝜔) = 𝜎2
𝜀
2𝜋
1
|Φ(𝑒−𝑖𝜔)|2
−3 −2 −1 0 1 2 3
0.1
0.2
0.3
0.4
0.5
0.6
Obrázek 8. Simulovaná data, ACF a spektrální hustota pro 𝐴𝑅(1) : 𝑌𝑡 = 0.5𝑌𝑡−1 + 𝜀𝑡, 𝜀𝑡 ∼ 𝑁(0, 1).
Příklad 1.2. ACF a spektrální hustota pro AR(1) proces se zápornounou hodnotou 𝜙1 = −0.5.
V tomto případě ACF hodnoty střídají znaménka a velmi rychle klesají k nule.
𝐴𝑅(1) : 𝑌𝑡 = −0.5𝑌𝑡−1 + 𝜀𝑡, 𝜀𝑡 ∼ 𝑁(0, 1)
0 50 100 150 200 250 300
−4
−3
−2
−1
0
1
2
3
4
ACF
−10 −8 −6 −4 −2 0 2 4 6 8 10
−0.6
−0.4
−0.2
0
0.2
0.4
0.6
0.8
1
𝑓 𝐴𝑅(𝜔) = 𝜎2
𝜀
2𝜋
1
|Φ(𝑒−𝑖𝜔)|2
−3 −2 −1 0 1 2 3
0.1
0.2
0.3
0.4
0.5
0.6
Obrázek 9. Simulovaná data, ACF a spektrální hustota pro 𝐴𝑅(1) : 𝑌𝑡 = −0.5𝑌𝑡−1 + 𝜀𝑡, 𝜀𝑡 ∼ 𝑁(0, 1).
66 M5201 Stochastické modely časových řad
Příklad 1.3. ACF a spektrální hustota pro AR(1) proces s kladnou hodnotou 𝜙1 = 0.95 blízkou
k 1. Všimněme si, že ACF hodnoty jsou opět všechny kladné, ale mnohem pomaleji klesají k nule.
𝐴𝑅(1) : 𝑌𝑡 = 0.95𝑌𝑡−1 + 𝜀𝑡, 𝜀𝑡 ∼ 𝑁(0, 1)
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
qq
q
q
q
q
q
q
q
q
q
qq
q
qq
q
q
q
q
qq
q
qq
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
qq
q
q
q
q
q
q
q
q
q
qq
q
qq
q
q
q
qq
qqq
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qqq
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
qqq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qqq
qq
q
q
q
q
q
q
q
q
q
q
q
q
qq
qq
qq
q
q
q
0 50 100 150 200 250 300
−4
−2
0
2
4
6
8
ACF
−30 −20 −10 0 10 20 30
0.2
0.4
0.6
0.8
1.0 𝑓 𝐴𝑅(𝜔) = 𝜎2
𝜀
2𝜋
1
|Φ(𝑒−𝑖𝜔)|2
−3 −2 −1 0 1 2 3
0
10
20
30
40
50
60
Obrázek 10. Simulovaná data, ACF a spektrální hustota pro 𝐴𝑅(1) : 𝑌𝑡 = 0.95𝑌𝑡−1 + 𝜀𝑡, 𝜀𝑡 ∼ 𝑁(0, 1).
Příklad 1.4. ACF a spektrální hustota pro AR(1) proces se zápornou hodnotou 𝜙1 = −0.95 blízkou
k −1. ACF hodnoty střídají znaménka a mnohem pomaleji klesají k nule.
𝐴𝑅(1) : 𝑌𝑡 = 0.95𝑌𝑡−1 + 𝜀𝑡, 𝜀𝑡 ∼ 𝑁(0, 1)
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
0 50 100 150 200 250 300
−6
−4
−2
0
2
4
6
ACF
−30 −20 −10 0 10 20 30
−1.0
−0.5
0.0
0.5
1.0 𝑓 𝐴𝑅(𝜔) = 𝜎2
𝜀
2𝜋
1
|Φ(𝑒−𝑖𝜔)|2
−3 −2 −1 0 1 2 3
0
10
20
30
40
50
60
Obrázek 11. Simulovaná data, ACF a spektrální hustota pro 𝐴𝑅(1) : 𝑌𝑡 = 0.95𝑌𝑡−1 + 𝜀𝑡, 𝜀𝑡 ∼ 𝑁(0, 1).
RNDr. Marie Forbelská, Ph.D. 67
Příklad 1.5. ACF a spektrální hustota pro MA(2) proces se záporným a kladným koeficientem.
Počet nenulových ACF hodnot souvisí s řádem modelu.
𝑀 𝐴(2) : 𝑌𝑡 = 𝜀𝑡 − 0.2279𝜀𝑡−1 + 0.2488𝜀𝑡−2, 𝜀𝑡 ∼ 𝑁(0, 1)
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
qq
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
0 50 100 150 200 250 300
−3
−2
−1
0
1
2
3
ACF
−30 −20 −10 0 10 20 30
−0.2
0.0
0.2
0.4
0.6
0.8
1.0
𝑓 𝑀 𝐴(𝜔) = 𝜎2
𝜀
2𝜋
⃒
⃒Θ
(︀
𝑒−𝑖𝜔
)︀⃒
⃒2
−3 −2 −1 0 1 2 3
0.10
0.15
0.20
0.25
0.30
0.35
Obrázek 12. Simulovaná data, ACF a spektrální hustota pro 𝑀 𝐴(2) : 𝑌𝑡 = 𝜀𝑡 − 0.2279𝜀𝑡−1 +
0.2488𝜀𝑡−2, 𝜀𝑡 ∼ 𝑁(0, 1).
Příklad 1.6. ACF a spektrální hustota pro MA(4) proces s kladnými koeficienty. Počet nenulových
ACF hodnot souvisí pro MA proces s řádem modelu.
𝑀 𝐴(4) : 𝑌𝑡 = 𝜀𝑡 + 0.8𝜀𝑡−1 + 0.2𝜀𝑡−4, 𝜀𝑡 ∼ 𝑁(0, 1)
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
qq
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
qq
0 50 100 150 200 250 300
−2
0
2
4
ACF
−30 −20 −10 0 10 20 30
0.0
0.2
0.4
0.6
0.8
1.0
𝑓 𝑀 𝐴(𝜔) = 𝜎2
𝜀
2𝜋
⃒
⃒Θ
(︀
𝑒−𝑖𝜔
)︀⃒
⃒2
−3 −2 −1 0 1 2 3
0.0
0.1
0.2
0.3
0.4
0.5
0.6
Obrázek 13. Simulovaná data, ACF a spektrální hustota pro 𝑀 𝐴(4) : 𝑌𝑡 = 𝜀𝑡 + 0.8𝜀𝑡−1 +
0.2𝜀𝑡−4, 𝜀𝑡 ∼ 𝑁(0, 1).
68 M5201 Stochastické modely časových řad
Příklad 1.7. ACF a spektrální hustota pro MA(12) proces s kladnými koeficienty. Počet nenulových
ACF hodnot souvisí pro MA proces s řádem modelu.
𝑀 𝐴(12) : 𝑌𝑡 = 𝜀𝑡 + 0.8𝜀𝑡−1 + 0.2𝜀𝑡−12, 𝜀𝑡 ∼ 𝑁(0, 1)
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
qq
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
0 50 100 150 200 250 300
−4
−2
0
2
4
ACF
−30 −20 −10 0 10 20 30
0.0
0.2
0.4
0.6
0.8
1.0
𝑓 𝑀 𝐴(𝜔) = 𝜎2
𝜀
2𝜋
⃒
⃒Θ
(︀
𝑒−𝑖𝜔
)︀⃒
⃒2
−3 −2 −1 0 1 2 3
0.0
0.1
0.2
0.3
0.4
0.5
0.6
Obrázek 14. Simulovaná data, ACF a spektrální hustota pro 𝑀 𝐴(12) : 𝑌𝑡 = 𝜀𝑡 + 0.8𝜀𝑡−1 +
0.2𝜀𝑡−12, 𝜀𝑡 ∼ 𝑁(0, 1).
Příklad 1.8. ACF a spektrální hustota pro ARMA(1,1) proces s kladnými koeficienty, kde 𝜙1 = 0.5.
Průběh ACF je charakterizován především AR částí procesu, proto hodnoty ACF rychle klesají k nule.
𝐴𝑅𝑀 𝐴(1, 1) : 𝑌𝑡 = 0.5𝑌𝑡−1 + 𝜀𝑡 + 0.5𝜀𝑡−1, 𝜀𝑡 ∼ 𝑁(0, 1)
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
qq
q
q
q
q
q
qq
q
q
q
q
qq
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
0 50 100 150 200 250 300
−2
0
2
4
ACF
−30 −20 −10 0 10 20 30
0.0
0.2
0.4
0.6
0.8
1.0
𝑓 𝐴𝑅𝑀 𝐴(𝜔) = 𝜎2
𝜀
2𝜋
|Θ( 𝑒−𝑖𝜔
)|
2
|Φ(𝑒−𝑖𝜔)|2
−3 −2 −1 0 1 2 3
0.0
0.2
0.4
0.6
0.8
1.0
1.2
1.4
Obrázek 15. Simulovaná data, ACF a spektrální hustota pro 𝐴𝑅𝑀 𝐴(1, 1) : 𝑌𝑡 = 0.5𝑌𝑡−1 +
𝜀𝑡 + 0.5𝜀𝑡−1, 𝜀𝑡 ∼ 𝑁(0, 1).
RNDr. Marie Forbelská, Ph.D. 69
Příklad 1.9. ACF a spektrální hustota pro ARMA(2,1) proces s kladnými koeficienty. Průběh ACF
je charakterizován především AR částí procesu, proto hodnoty ACF rychle klesají k nule.
𝐴𝑅𝑀 𝐴(2, 1) : 𝑌𝑡 = 0.2𝑌𝑡−1 + 0.7𝑌𝑡−1 + 𝜀𝑡 + 0.5𝜀𝑡−1, 𝜀𝑡 ∼ 𝑁(0, 1)
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
qqq
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
0 50 100 150 200 250 300
−3
−2
−1
0
1
2
3
ACF
−30 −20 −10 0 10 20 30
0.0
0.2
0.4
0.6
0.8
1.0
𝑓 𝐴𝑅𝑀 𝐴(𝜔) = 𝜎2
𝜀
2𝜋
|Θ( 𝑒−𝑖𝜔
)|
2
|Φ(𝑒−𝑖𝜔)|2
−3 −2 −1 0 1 2 3
0
1
2
3
4
Obrázek 16. Simulovaná data, ACF a spektrální hustota pro 𝐴𝑅𝑀 𝐴(2, 1) : 𝑌𝑡 = 0.2𝑌𝑡−1 +
0.7𝑌𝑡−1 + 𝜀𝑡 + 0.5𝜀𝑡−1, 𝜀𝑡 ∼ 𝑁(0, 1).
Příklad 1.10. ACF a spektrální hustota pro ARMA(1,2) proces se zápornou hodnotou 𝜙1 = −0.75
a dalšími kladnými i zápornými koeficienty. Průběh ACF je charakterizován především AR částí procesu,
proto hodnoty ACF mění znaménko a rychle klesají k nule.
𝐴𝑅𝑀 𝐴(1, 2) : 𝑌𝑡 = −0.75𝑌𝑡−1 + 𝜀𝑡 − 𝜀𝑡−1 + 0.25𝜀𝑡−2, 𝜀𝑡 ∼ 𝑁(0, 1)
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qqq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
0 50 100 150 200 250 300
−5
0
5
ACF
−30 −20 −10 0 10 20 30
−0.5
0.0
0.5
1.0
𝑓 𝐴𝑅𝑀 𝐴(𝜔) = 𝜎2
𝜀
2𝜋
|Θ( 𝑒−𝑖𝜔
)|
2
|Φ(𝑒−𝑖𝜔)|2
−3 −2 −1 0 1 2 3
0
2
4
6
8
10
12
Obrázek 17. Simulovaná data, ACF a spektrální hustota pro 𝐴𝑅𝑀 𝐴(1, 2) : 𝑌𝑡 = −0.75𝑌𝑡−1 +
𝜀𝑡 − 𝜀𝑡−1 + 0.25𝜀𝑡−2, 𝜀𝑡 ∼ 𝑁(0, 1).
70 M5201 Stochastické modely časových řad
Příklad 1.11. ACF a spektrální hustota pro ARMA(1,3) se zápornou hodnotou 𝜙1 = −0.6 a dalšími
kladnými i zápornými koeficienty. Průběh ACF je charakterizován především AR částí procesu, proto
hodnoty ACF mění znaménko a rychle klesají k nule.
𝐴𝑅𝑀 𝐴(1, 3) : 𝑌𝑡 = −0.6𝑌𝑡−1 + 𝜀𝑡 − 0.7𝜀𝑡−1 + 0.4𝜀𝑡−2 + 0.4𝜀𝑡−3, 𝜀𝑡 ∼ 𝑁(0, 1)
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
0 50 100 150 200 250 300
−6
−4
−2
0
2
4
ACF
−30 −20 −10 0 10 20 30
−0.5
0.0
0.5
1.0
𝑓 𝐴𝑅𝑀 𝐴(𝜔) = 𝜎2
𝜀
2𝜋
|Θ( 𝑒−𝑖𝜔
)|
2
|Φ(𝑒−𝑖𝜔)|2
−3 −2 −1 0 1 2 3
0.0
0.5
1.0
1.5
2.0
2.5
Obrázek 18. Simulovaná data, ACF a spektrální hustota pro 𝐴𝑅𝑀 𝐴(1, 3) : 𝑌𝑡 = −0.6𝑌𝑡−1+
𝜀𝑡 − 0.7𝜀𝑡−1 + 0.4𝜀𝑡−2 + 0.4𝜀𝑡−3, 𝜀𝑡 ∼ 𝑁(0, 1).
Příklad 1.12. ACF a spektrální hustota pro ARMA(2,2) proces s kladnými i zápornými koeficienty.
Průběh ACF je charakterizován především AR částí procesu, hodnoty ACF mění znaménko a rychle
klesají k nule.
𝐴𝑅𝑀 𝐴(2, 2) : 𝑌𝑡 = 0.8897𝑌𝑡−1 − 0, 4858𝑌𝑡−2 + 𝜀𝑡 − 0.2279𝜀𝑡−1 + 0.2488𝜀𝑡−2, 𝜀𝑡 ∼ 𝑁(0, 1)
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
qq
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
0 50 100 150 200 250 300
−3
−2
−1
0
1
2
3
4
ACF
−30 −20 −10 0 10 20 30
−0.2
0.0
0.2
0.4
0.6
0.8
1.0
𝑓 𝐴𝑅𝑀 𝐴(𝜔) = 𝜎2
𝜀
2𝜋
|Θ( 𝑒−𝑖𝜔
)|
2
|Φ(𝑒−𝑖𝜔)|2
−3 −2 −1 0 1 2 3
0.1
0.2
0.3
0.4
0.5
0.6
0.7
Obrázek 19. Simulovaná data, ACF a spektrální hustota pro 𝐴𝑅𝑀 𝐴(2, 2) : 𝑌𝑡 = 0.8897𝑌𝑡−1 −
0, 4858𝑌𝑡−2 + 𝜀𝑡 − 0.2279𝜀𝑡−1 + 0.2488𝜀𝑡−2, 𝜀𝑡 ∼ 𝑁(0, 1).
RNDr. Marie Forbelská, Ph.D. 71
1.13. Stacionární sezónní modely. Dosud jsme se zabývaly vztahy mezi náhodnými veličinami náhodného
procesu, které se v čase vyskytovaly v nejbližším okolí.
. . . , 𝑌𝑡, 𝑌𝑡+1, 𝑌𝑡+2, . . . .
Pokud náhodný proces je charakterizován sezónními fluktuacemi, je třeba věnovat pozornost závislostem mezi
časovými veličinami, které jsou od sebe vzáleny v krocích, které souvisejí s délkou sezónny 𝐿.
. . . , 𝑌𝑡, 𝑌𝑡+𝐿, 𝑌𝑡+2𝐿, . . . .
Nejprve zavedeme sezóní diferenční operátor délky 𝐿 > 0:
Δ 𝐿 𝑌𝑡 =𝑌𝑡 − 𝑌𝑡−𝐿 = (1 − 𝐵 𝐿)𝑌𝑡
Δ2
𝐿 𝑌𝑡 =Δ 𝐿(Δ 𝐿 𝑌𝑡) = Δ 𝐿(𝑌𝑡−𝑌𝑡− 𝐿)
=(𝑌𝑡−𝑌𝑡− 𝐿)−(𝑌𝑡− 𝐿−𝑌𝑡−2𝐿)
=𝑌𝑡−2𝑌𝑡− 𝐿+𝑌𝑡−2𝐿 = (1−𝐵 𝐿)2 𝑌𝑡
...
Δ 𝐷
𝐿 𝑌𝑡 =(1 − 𝐵 𝐿) 𝐷 𝑌𝑡
Abychom co nejlépe porozumněli konstrukci sezónních modelů v Boxově Coxově metodologii, tak například
uspořádejme měsíční data (𝐿 = 12) pro 𝑟 roků náhodné veličiny náhodného procesu do následující tabulky.
Rok Leden Únor · · · Prosinec
1 𝑌1 𝑌2 · · · 𝑌12
2 𝑌13 𝑌14 · · · 𝑌24
...
...
...
...
...
𝑟 𝑌1+12(𝑟−1) 𝑌2+12(𝑟−1) · · · 𝑌12+12(𝑟−1)
Pro každý sloupec samostatně uvažujme 𝐴𝑅𝑀 𝐴(𝑃, 𝑄) model stejného typu:
𝑌 𝑗+12𝑡 = 𝜋1 𝑌 𝑗+12(𝑡−1) + · · · + 𝜋 𝑃 𝑌 𝑗+12(𝑡−1)+
𝜂 𝑗+12𝑡 + 𝜓1 𝜂 𝑗+12(𝑡−1) + · · · + 𝜓 𝑄 𝜂 𝑗+12(𝑡−1)
Protože všech 12 náhodných procesů je stejného typu, můžeme psát
𝜋(𝐵12
)𝑌𝑡 = Ψ(𝐵12
)𝜂𝑡.
Jestliže 12 bílých šumů stejného typu {𝜂1+12𝑡} ∼ 𝑊 𝑁(0, 𝜎2
𝜂)
{𝜂2+12𝑡} ∼ 𝑊 𝑁(0, 𝜎2
𝜂)
...
...
...
{𝜂12+12𝑡} ∼ 𝑊 𝑁(0, 𝜎2
𝜂)
sekvenčně zatřídíme podle času do sebe a vytvoříme tak jediný náhodný proces
{𝜂*
𝑡 , 𝑡 = 0, ±1, ±2, . . .},
nedostaneme většinou bílý šum, což je způsobeno tím, že
𝐸𝜂*
𝑡 𝜂*
𝑡+ℎ = 0 pouze pokud ℎ jsou násobky 𝐿 = 12
𝐸𝜂*
𝑡 𝜂𝑡+ℎ ̸= 0 pro ostatní ℎ.
Proto proces 𝜂𝑡 uvažujme obecně jako 𝐴𝑅𝑀 𝐴(𝑝, 𝑞) proces
Φ(𝐵)𝜂*
𝑡 = Θ(𝐵)𝜀𝑡, 𝜀𝑡 ∼ 𝑊 𝑁(0, 𝜎2
𝜀 ).
Celkově dostaneme tzv. stacionární sezónní smíšený SARMA model:
Φ(𝐵)𝜋(𝐵 𝐿
)𝑌𝑡 = Θ(𝐵)Ψ(𝐵 𝐿
)𝜀𝑡 ∼ 𝑆𝐴𝑅𝑀 𝐴(𝑝, 𝑞) × (𝑃, 𝑄) 𝐿
kde
∙ Φ(𝐵) = 1 − 𝜙1 𝐵 − · · · − 𝜙 𝑝 𝐵 𝑝
∙ 𝜋(𝐵 𝐿) = 1 − 𝜋1 𝐵 𝐿 − · · · − 𝜋 𝑃 𝐵 𝑃 𝐿
∙ Θ(𝐵) = 1 + 𝜃1 𝐵 + · · · + 𝜃 𝑞 𝐵 𝑝
∙ Ψ(𝐵 𝐿) = 1 + 𝜓1 𝐵 𝐿 + · · · + 𝜓 𝑄 𝐵 𝑄𝐿
72 M5201 Stochastické modely časových řad
Důležitými speciálními případy jsou tzv. homogenní sezónní modely
∙ MA homogenní sezónní model
𝑌𝑡 = Θ(𝐵)Ψ(𝐵 𝐿
)𝜀𝑡 ∼ 𝑆𝐴𝑅𝑀 𝐴(0, 𝑞) × (0, 𝑄) 𝐿.
∙ AR homogenní sezónní model
Φ(𝐵)𝜋(𝐵 𝐿
)𝑌𝑡 = 𝜀𝑡 ∼ 𝑆𝐴𝑅𝑀 𝐴(𝑝, 0) × (𝑃, 0) 𝐿
Na závěr tohoto odstavce si ještě všimněme, že 𝑆𝐴𝑅𝑀 𝐴 model je speciálním případem 𝐴𝑅𝑀 𝐴 modelu.
Uvažujme například 𝑆𝐴𝑅𝑀 𝐴(1, 0) × (1, 0)12 model
Φ(𝐵)𝜋(𝐵12)𝑌𝑡 = 𝜀𝑡
(1 − 𝜙1 𝐵)(1 − 𝜋1 𝐵12)𝑌𝑡 = 𝜀𝑡
(1 − 𝜙1 𝐵 − 𝜋1 𝐵12 + 𝜙1 𝜋1 𝐵13)𝑌𝑡 = 𝜀𝑡
𝑌𝑡 − 𝜙1 𝑌𝑡−1 − 𝜋1 𝑌𝑡−12 + 𝜙1 𝜋1 𝑌𝑡−13 = 𝜀𝑡
Vidíme, že jde vlastně o 𝐴𝑅(13), ve kterém
∙ 10 koeficientů je nulových,
∙ tři zbývající nenulové koeficienty tvoří koeficienty 𝐴𝑅(13) procesu.
Zobecníme–li předchozí příklad, dostáváme, že model 𝑆𝐴𝑅𝑀 𝐴(𝑝, 𝑞)×(𝑃, 𝑄) 𝐿 je také 𝐴𝑅𝑀 𝐴(𝑝+ 𝑃 𝐿, 𝑄𝐿+ 𝑞)
modelem s dodatečnými podmínkami na 𝐴𝑅 a 𝑀 𝐴 koeficienty.
1.14. Ukázky SARMA modelů spolu s ACF a spektrálními hustotami.
Příklad 1.13. „Čistě“ sezónní homogenní model s 𝑀 𝐴 částí : 𝑌𝑡 = Ψ(𝐵12)𝜀𝑡. První příklad je spíše
hypotetický, neboť uvažujeme v něm proces 𝜂*
𝑡 jako bílý šum.
𝑆𝐴𝑅𝑀 𝐴(0, 0)(0, 1)12 : 𝑌𝑡 = (1 − 0.95𝐵12)𝜀𝑡 : 𝑌𝑡 = 𝜀𝑡 − 0.95𝜀𝑡−12, 𝜀𝑡 ∼ 𝑁(0, 1)
qq
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qqq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
0 50 100 150 200 250 300
−4
−2
0
2
ACF
−60 −40 −20 0 20 40 60
−0.5
0.0
0.5
1.0
𝑓 𝑆𝑀 𝐴(𝜔) = 𝜎2
𝜀
2𝜋
⃒
⃒Ψ
(︀
𝑒−𝑖12𝜔
)︀⃒
⃒2
−3 −2 −1 0 1 2 3
0.0
0.1
0.2
0.3
0.4
0.5
0.6
Obrázek 20. Simulovaná data, ACF a spektrální hustota pro 𝑆𝐴𝑅𝑀 𝐴(0, 0)(0, 1)12 : 𝑌𝑡 =
(1 − 0.95𝐵12)𝜀𝑡 : 𝑌𝑡 = 𝜀𝑡 − 0.95𝜀𝑡−12, 𝜀𝑡 ∼ 𝑁(0, 1).
RNDr. Marie Forbelská, Ph.D. 73
Příklad 1.14. „Čistě“ sezónní homogenní model s 𝐴𝑅 částí : 𝜋(𝐵12)𝑌𝑡 = 𝜀𝑡. Také tento příklad s AR
částí je opět spíše hypotetický, neboť uvažujeme v něm proces 𝜂*
𝑡 jako bílý šum.
𝑆𝐴𝑅𝑀 𝐴(0, 0)(1, 0)12 : (1 − 0.95𝐵12)𝑌𝑡 = 𝜀𝑡 : 𝑌𝑡 = 0.95𝑌𝑡−12 + 𝜀𝑡, 𝜀𝑡 ∼ 𝑁(0, 1)
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
qqq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
0 50 100 150 200 250 300
−5
0
5
ACF
−60 −40 −20 0 20 40 60
0.0
0.2
0.4
0.6
0.8
1.0
𝑓 𝑆𝐴𝑅(𝜔) = 𝜎2
𝜀
2𝜋
1
|𝜋(𝑒−𝑖12𝜔)|2
−3 −2 −1 0 1 2 3
0
10
20
30
40
50
60
Obrázek 21. Simulovaná data, ACF a spektrální hustota pro 𝑆𝐴𝑅𝑀 𝐴(0, 0)(1, 0)12 : (1 −
0.95𝐵12)𝑌𝑡 = 𝜀𝑡 : 𝑌𝑡 = 0.95𝑌𝑡−12 + 𝜀𝑡, 𝜀𝑡 ∼ 𝑁(0, 1).
Příklad 1.15. „Čistě“ sezónní homogenní model s 𝐴𝑅 částí : 𝜋(𝐵12)𝑌𝑡 = 𝜀𝑡. Také tento příklad s AR
částí vyššího řádu je opět spíše hypotetický, neboť v něm proces 𝜂*
𝑡 jako bílý šum.
𝑆𝐴𝑅𝑀 𝐴(0, 0)(2, 0)12 : (1 − 0.3𝐵12 + 0.1𝐵24)𝑌𝑡 = 𝜀𝑡 : 𝑌𝑡 = 0.3𝑌𝑡−12 − 0.1𝑌𝑡−24 + 𝜀𝑡, 𝜀𝑡 ∼ 𝑁(0, 1)
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
qq
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qqq
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
0 50 100 150 200 250 300
−3
−2
−1
0
1
2
3
ACF
−60 −40 −20 0 20 40 60
0.0
0.2
0.4
0.6
0.8
1.0
𝑓 𝑆𝐴𝑅(𝜔) = 𝜎2
𝜀
2𝜋
1
|𝜋(𝑒−𝑖12𝜔)|2
−3 −2 −1 0 1 2 3
0.10
0.15
0.20
0.25
Obrázek 22. Simulovaná data, ACF a spektrální hustota pro 𝑆𝐴𝑅𝑀 𝐴(0, 0)(2, 0)12 : (1 −
0.3𝐵12 + 0.1𝐵24)𝑌𝑡 = 𝜀𝑡 : 𝑌𝑡 = 0.3𝑌𝑡−12 − 0.1𝑌𝑡−24 + 𝜀𝑡, 𝜀𝑡 ∼ 𝑁(0, 1).
74 M5201 Stochastické modely časových řad
Příklad 1.16. Sezónní homogenní model s 𝑀 𝐴 částí : 𝑌𝑡 = Θ(𝐵)Ψ(𝐵12)𝜀𝑡. V tomto případě je ACF
charakterizovaná konečným počtem nenulových hodnot, vidíme zde i roli délky sezóny 𝐿 = 12.
𝑆𝐴𝑅𝑀 𝐴(0, 1)(0, 1)12 : 𝑌𝑡 = (1 + 0.9𝐵)(1 − 0.4𝐵12)𝜀𝑡 : 𝑌𝑡 = 𝜀𝑡 + 0.9𝜀𝑡−1 − 0.4𝜀𝑡−12 − 0.36𝜀𝑡−13, 𝜀𝑡 ∼ 𝑁(0, 1)
q
q
q
q
q
qqq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
0 50 100 150 200 250 300
−4
−2
0
2
4
ACF
−60 −40 −20 0 20 40 60
−0.2
0.0
0.2
0.4
0.6
0.8
1.0
𝑓 𝑆𝑀 𝐴(𝜔) = 𝜎2
𝜀
2𝜋
⃒
⃒Θ
(︀
𝑒−𝑖𝜔
)︀⃒
⃒2⃒
⃒Ψ
(︀
𝑒−𝑖12𝜔
)︀⃒
⃒2
−3 −2 −1 0 1 2 3
0.0
0.2
0.4
0.6
0.8
1.0
Obrázek 23. Simulovaná data, ACF a spektrální hustota pro 𝑆𝐴𝑅𝑀 𝐴(0, 1)(0, 1)12 : 𝑌𝑡 =
(1 + 0.9𝐵)(1 − 0.4𝐵12)𝜀𝑡 : 𝑌𝑡 = 𝜀𝑡 + 0.9𝜀𝑡−1 − 0.4𝜀𝑡−12 − 0.36𝜀𝑡−13, 𝜀𝑡 ∼ 𝑁(0, 1).
Příklad 1.17. Sezónní homogenní model s 𝑀 𝐴 částí : 𝑌𝑡 = Θ(𝐵)Ψ(𝐵12)𝜀𝑡. V tomto případě je ACF
charakterizovaná konečným počtem nenulových hodnot, vidíme zde i roli délky sezóny 𝐿 = 12.
𝑆𝐴𝑅𝑀 𝐴(0, 1)(0, 1)12 : 𝑌𝑡 = (1 + 0.9𝐵)(1 + 0.4𝐵12)𝜀𝑡 : 𝑌𝑡 = 𝜀𝑡 + 0.9𝜀𝑡−1 + 0.4𝜀𝑡−12 + 0.36𝜀𝑡−13, 𝜀𝑡 ∼ 𝑁(0, 1)
q
qqq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
qq
q
q
q
qq
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
qq
qq
qq
qq
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
qq
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
0 50 100 150 200 250 300
−4
−2
0
2
4
ACF
−60 −40 −20 0 20 40 60
0.0
0.2
0.4
0.6
0.8
1.0
𝑓 𝑆𝑀 𝐴(𝜔) = 𝜎2
𝜀
2𝜋
⃒
⃒Θ
(︀
𝑒−𝑖𝜔
)︀⃒
⃒2⃒
⃒Ψ
(︀
𝑒−𝑖12𝜔
)︀⃒
⃒2
−3 −2 −1 0 1 2 3
0.0
0.2
0.4
0.6
0.8
1.0
Obrázek 24. Simulovaná data, ACF a spektrální hustota pro 𝑆𝐴𝑅𝑀 𝐴(0, 1)(0, 1)12 : 𝑌𝑡 =
(1 + 0.9𝐵)(1 + 0.4𝐵12)𝜀𝑡 : 𝑌𝑡 = 𝜀𝑡 + 0.9𝜀𝑡−1 + 0.4𝜀𝑡−12 + 0.36𝜀𝑡−13, 𝜀𝑡 ∼ 𝑁(0, 1).
RNDr. Marie Forbelská, Ph.D. 75
Příklad 1.18. Sezónní homogenní model s 𝐴𝑅 částí : Φ(𝐵)𝜋(𝐵12)𝑌𝑡 = 𝜀𝑡, kde 𝜙1 = 0.5 a 𝜋1 = 0.7.
V tomto případě nabývají ACF kladných hodnot a rychle klesají k nule. Vidíme zde i roli délky sezóny 𝐿 = 12.
𝑆𝐴𝑅𝑀 𝐴(1, 0)(1, 0)12 : (1 − 0.5𝐵)(1 − 0.7𝐵12)𝑌𝑡 = 𝜀𝑡 : 𝑌𝑡 = 0.5𝑌𝑡−1 + 0.7𝑌𝑡−12 − 0.35𝑌𝑡−13 + 𝜀𝑡, 𝜀𝑡 ∼ 𝑁(0, 1)
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
qq
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
0 50 100 150 200 250 300
−2
0
2
4
ACF
−60 −40 −20 0 20 40 60
0.0
0.2
0.4
0.6
0.8
1.0
𝑓 𝑆𝐴𝑅(𝜔) = 𝜎2
𝜀
2𝜋
1
|Φ(𝑒−𝑖𝜔)|2
1
|𝜋(𝑒−𝑖12𝜔)|2
−3 −2 −1 0 1 2 3
0
1
2
3
4
5
6
7
Obrázek 25. Simulovaná data, ACF a spektrální hustota pro 𝑆𝐴𝑅𝑀 𝐴(1, 0)(1, 0)12 : (1 −
0.5𝐵)(1 − 0.7𝐵12)𝑌𝑡 = 𝜀𝑡 : 𝑌𝑡 = 0.5𝑌𝑡−1 + 0.7𝑌𝑡−12 − 0.35𝑌𝑡−13 + 𝜀𝑡, 𝜀𝑡 ∼ 𝑁(0, 1).
Příklad 1.19. Sezónní homogenní model s 𝐴𝑅 částí : Φ(𝐵)𝜋(𝐵12)𝑌𝑡 = 𝜀𝑡, kde 𝜙1 = 0.9 a 𝜋1 = 0.7.
V tomto případě nabývají ACF kladných hodnot a již pomaleji klesají k nule. Vidíme zde i roli délky sezóny
𝐿 = 12.
𝑆𝐴𝑅𝑀 𝐴(1, 0)(1, 0)12 : (1 − 0.9𝐵)(1 − 0.7𝐵12)𝑌𝑡 = 𝜀𝑡 : 𝑌𝑡 = 0.9𝑌𝑡−1 + 0.7𝑌𝑡−12 − 0.63𝑌𝑡−13 + 𝜀𝑡, 𝜀𝑡 ∼ 𝑁(0, 1)
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qqq
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
qqq
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
qq
q
q
q
qq
q
q
q
qq
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
qq
q
q
q
q
q
q
q
q
qq
qq
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
qq
q
q
q
qq
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
qq
qq
q
q
q
q
q
qqq
q
q
q
qq
q
q
q
q
qq
q
q
q
qq
q
qq
q
q
q
q
q
qq
q
q
q
q
q
0 50 100 150 200 250 300
−5
0
5
ACF
−60 −40 −20 0 20 40 60
0.2
0.4
0.6
0.8
1.0
𝑓 𝑆𝐴𝑅(𝜔) = 𝜎2
𝜀
2𝜋
1
|Φ(𝑒−𝑖𝜔)|2
1
|𝜋(𝑒−𝑖12𝜔)|2
−3 −2 −1 0 1 2 3
0
50
100
150
Obrázek 26. Simulovaná data, ACF a spektrální hustota pro 𝑆𝐴𝑅𝑀 𝐴(1, 0)(1, 0)12 : (1 −
0.9𝐵)(1 − 0.7𝐵12)𝑌𝑡 = 𝜀𝑡 : 𝑌𝑡 = 0.9𝑌𝑡−1 + 0.7𝑌𝑡−12 − 0.63𝑌𝑡−13 + 𝜀𝑡, 𝜀𝑡 ∼ 𝑁(0, 1).
76 M5201 Stochastické modely časových řad
Příklad 1.20. Sezónní smíšený model: Φ(𝐵)𝜋(𝐵12)𝑌𝑡 = Θ(𝐵)Ψ(𝐵12)𝜀𝑡, kde 𝜙1 = 0.5 a 𝜋1 = 0.7, 𝜃1 a 𝜓1
mají opačná znaménka. V tomto případě nabývají ACF kladných hodnot a rychle klesají k nule. Vidíme zde i
roli délky sezóny 𝐿 = 12.
𝑆𝐴𝑅𝑀 𝐴(1, 1)(1, 1)12 : (1 − 0.5𝐵)(1 − 0.7𝐵12)𝑌𝑡 = (1 + 0.9𝐵)(1 − 0.4𝐵12)𝜀𝑡
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
qq
q
q
q
q
qq
q
q
q
q
q
q
qq
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
qqq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
qq
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
0 50 100 150 200 250 300
−4
−2
0
2
4
ACF
−60 −40 −20 0 20 40 60
0.0
0.2
0.4
0.6
0.8
1.0
𝑓 𝑆𝐴𝑅𝑀 𝐴(𝜔) = 𝜎2
𝜀
2𝜋
|Θ( 𝑒−𝑖𝜔
)|
2
|Φ(𝑒−𝑖𝜔)|2
|Ψ( 𝑒−𝑖12𝜔
)|
2
|𝜋(𝑒−𝑖12𝜔)|2
−3 −2 −1 0 1 2 3
0
2
4
6
8
Obrázek 27. Simulovaná data, ACF a spektrální hustota pro 𝑆𝐴𝑅𝑀 𝐴(1, 1)(1, 1)12 : (1 −
0.5𝐵)(1 − 0.7𝐵12)𝑌𝑡 = (1 + 0.9𝐵)(1 − 0.4𝐵12)𝜀𝑡.
Příklad 1.21. Sezónní smíšený model: Φ(𝐵)𝜋(𝐵12)𝑌𝑡 = Θ(𝐵)Ψ(𝐵12)𝜀𝑡, kde 𝜙1 = 0.5 a 𝜋1 = 0.7, 𝜃1 a 𝜓1
mají stejná znaménka. V tomto případě nabývají ACF kladných hodnot a rychle klesají k nule. Vidíme zde i
roli délky sezóny 𝐿 = 12.
𝑆𝐴𝑅𝑀 𝐴(1, 1)(1, 1)12 : (1 − 0.5𝐵)(1 − 0.7𝐵12)𝑌𝑡 = (1 + 0.9𝐵)(1 + 0.4𝐵12)𝜀𝑡
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
qq
qq
q
qqq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
qq
q
q
q
q
q
q
q
q
qq
q
q
q
0 50 100 150 200 250 300
−5
0
5
ACF
−60 −40 −20 0 20 40 60
0.0
0.2
0.4
0.6
0.8
1.0
𝑓 𝑆𝐴𝑅𝑀 𝐴(𝜔) = 𝜎2
𝜀
2𝜋
|Θ( 𝑒−𝑖𝜔
)|
2
|Φ(𝑒−𝑖𝜔)|2
|Ψ( 𝑒−𝑖12𝜔
)|
2
|𝜋(𝑒−𝑖12𝜔)|2
−3 −2 −1 0 1 2 3
0
10
20
30
40
50
Obrázek 28. Simulovaná data, ACF a spektrální hustota pro 𝑆𝐴𝑅𝑀 𝐴(1, 1)(1, 1)12 : (1 −
0.5𝐵)(1 − 0.7𝐵12)𝑌𝑡 = (1 + 0.9𝐵)(1 + 0.4𝐵12)𝜀𝑡.
RNDr. Marie Forbelská, Ph.D. 77
Příklad 1.22. Sezónní smíšený model: Φ(𝐵)𝜋(𝐵12)𝑌𝑡 = Θ(𝐵)Ψ(𝐵12)𝜀𝑡, kde 𝜙1 = 0.9 a 𝜋1 = 0.7, 𝜃1 a 𝜓1
mají opačná znaménka. V tomto případě nabývají ACF kladných hodnot a již pomaleji klesají k nule. Vidíme
zde i roli délky sezóny 𝐿 = 12.
𝑆𝐴𝑅𝑀 𝐴(1, 1)(1, 1)12 : (1 − 0.9𝐵)(1 − 0.7𝐵12)𝑌𝑡 = (1 + 0.9𝐵)(1 − 0.4𝐵12)𝜀𝑡
q
q
q
qqq
qq
q
qq
qq
q
q
q
q
q
q
qq
q
qq
q
q
q
qq
q
q
qq
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
qqq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
qq
qq
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
qq
q
q
qq
qqq
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
qq
q
q
q
qqqqq
q
q
qq
q
qq
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
qq
qq
qq
q
q
qqq
q
q
qq
q
q
q
q
q
q
qqq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qqq
q
q
q
q
q
qq
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
qq
qq
qq
qq
qq
q
q
0 50 100 150 200 250 300
−10
−5
0
5
10
ACF
−60 −40 −20 0 20 40 60
0.2
0.4
0.6
0.8
1.0
𝑓 𝑆𝐴𝑅𝑀 𝐴(𝜔) = 𝜎2
𝜀
2𝜋
|Θ( 𝑒−𝑖𝜔
)|
2
|Φ(𝑒−𝑖𝜔)|2
|Ψ( 𝑒−𝑖12𝜔
)|
2
|𝜋(𝑒−𝑖12𝜔)|2
−3 −2 −1 0 1 2 3
0
50
100
150
200
Obrázek 29. Simulovaná data, ACF a spektrální hustota pro 𝑆𝐴𝑅𝑀 𝐴(1, 1)(1, 1)12 : (1 −
0.9𝐵)(1 − 0.7𝐵12)𝑌𝑡 = (1 + 0.9𝐵)(1 − 0.4𝐵12)𝜀𝑡.
Příklad 1.23. Sezónní smíšený model: Φ(𝐵)𝜋(𝐵12)𝑌𝑡 = Θ(𝐵)Ψ(𝐵12)𝜀𝑡, kde 𝜙1 = 0.9 a 𝜋1 = 0.7, 𝜃1 a 𝜓1
mají stejná znaménka. V tomto případě nabývají ACF kladných hodnot a již pomaleji klesají k nule. Vidíme
zde i roli délky sezóny 𝐿 = 12.
𝑆𝐴𝑅𝑀 𝐴(1, 1)(1, 1)12 : (1 − 0.9𝐵)(1 − 0.7𝐵12)𝑌𝑡 = (1 + 0.9𝐵)(1 + 0.4𝐵12)𝜀𝑡
q
q
q
q
q
q
q
q
q
q
qq
qq
q
q
qq
q
q
q
qqq
q
q
q
qqq
qqq
q
q
q
q
q
q
q
q
qq
q
q
qq
q
qq
q
q
q
q
qq
q
qq
q
q
q
q
q
q
q
qq
qq
q
q
q
q
q
q
q
qq
qqq
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
qq
qq
q
q
qq
q
q
q
q
q
q
qq
q
q
q
q
q
qq
q
q
q
qq
q
q
q
q
q
qq
qq
q
q
q
q
q
q
qq
q
q
qq
q
qqq
q
q
q
q
qq
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
qq
qq
q
qq
q
q
q
q
q
q
q
q
q
q
qqq
qqq
q
q
q
qq
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qqq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
0 50 100 150 200 250 300
−20
−10
0
10
20
ACF
−60 −40 −20 0 20 40 60
0.4
0.6
0.8
1.0
𝑓 𝑆𝐴𝑅𝑀 𝐴(𝜔) = 𝜎2
𝜀
2𝜋
|Θ( 𝑒−𝑖𝜔
)|
2
|Φ(𝑒−𝑖𝜔)|2
|Ψ( 𝑒−𝑖12𝜔
)|
2
|𝜋(𝑒−𝑖12𝜔)|2
−3 −2 −1 0 1 2 3
0
200
400
600
800
1000
1200
Obrázek 30. Simulovaná data, ACF a spektrální hustota pro 𝑆𝐴𝑅𝑀 𝐴(1, 1)(1, 1)12 : (1 −
0.9𝐵)(1 − 0.7𝐵12)𝑌𝑡 = (1 + 0.9𝐵)(1 + 0.4𝐵12)𝜀𝑡.
78 M5201 Stochastické modely časových řad
2. Nejlepší lineární predikce ve stacionárních 𝐴𝑅𝑀 𝐴 procesech
Nechť {𝑌𝑡, 𝑡 ∈ Z} ∈ 𝐿2(Ω, 𝒜, 𝑃) je stacionární proces se střední hodnotou 𝜇 𝑌 a autokovarianční funkcí
𝛾 𝑌 (𝑡). Pak náhodný proces {𝑌𝑡 − 𝜇 𝑌 , 𝑡 ∈ Z} má nulovou střední hodnotu (tj. je centrován) a má stejnou
autokovarianční funkci 𝛾 𝑌 (𝑡).
Uvažujme nejlepší lineární predikci ̂︀𝑌𝑡 pomocí 𝑌𝑡−1, . . . , 𝑌𝑡−𝑛, 𝑛 ≥ 1 (viz definice 2.6 v odstavci 2), která
je ortogonální projekcí
̂︀𝑌𝑡 = 𝑃 𝑠𝑝{1,𝑌 𝑡−1,...,𝑌 𝑡−𝑛}(𝑌𝑡).
Lze snadno ukázat,že platí
̂︀𝑌𝑡 = 𝑃 𝑠𝑝{1,𝑌 𝑡−1,...,𝑌 𝑡−𝑛}(𝑌𝑡) = 𝜇 𝑌 + 𝑃 𝑠𝑝{𝑌 𝑡−1,...,𝑌 𝑡−𝑛}(𝑌𝑡).
Takže bez újmy na obecnosti můžeme dále uvažovat pouze centrované stacionární procesy {𝑌𝑡, 𝑡 ∈ Z}, pro které
platí
̂︀𝑌𝑡 = 𝑃 𝑠𝑝{1,𝑌 𝑡−1,...,𝑌 𝑡−𝑛}(𝑌𝑡) = 𝑃 𝑠𝑝{𝑌 𝑡−1,...,𝑌 𝑡−𝑛}(𝑌𝑡).
Nejprve definujme jednokrokovou predikci.
Definice 2.1. Nechť {𝑌𝑡, 𝑡 ∈ Z} ∈ 𝐿2(Ω, 𝒜, 𝑃) je centrovaný stacionární proces. Označme pro 𝑛 ≥ 1
ℳ 𝑛 = 𝑠𝑝{𝑌1, . . . , 𝑌 𝑛}.
Pak jednokroková (lineární) predikce je definována vztahem
̂︀𝑌 𝑛+1 = ̂︀𝑌 𝑛+1|𝑛 =
{︃
0 (= 𝜇 𝑌 ) 𝑛 = 0,
𝑃 𝑠𝑝{𝑌1,...,𝑌 𝑛}(𝑌 𝑛+1) = 𝑃ℳ 𝑛 (𝑌 𝑛+1) 𝑛 ≥ 1.
Protože pro 𝑛 ≥ 1 ̂︀𝑌 𝑛+1 ∈ ℳ 𝑛, pak platí
̂︀𝑌 𝑛+1 = 𝜑 𝑛,1 𝑌 𝑛 + · · · + 𝜑 𝑛,𝑛 𝑌1
a 𝜑 𝑛,1, . . . , 𝜑 𝑛,𝑛 minimalizují
‖𝑌 𝑛+1 − ̂︀𝑌 𝑛+1‖2
= 𝐸|𝑌 𝑛+1 − ̂︀𝑌 𝑛+1|2
.
Podle projekční věty pro každé 𝑋 ∈ 𝐿2(Ω, 𝒜, 𝑃) a pro každé 𝑌 ∈ ℳ 𝑛 platí
⟨𝑋 − ̂︀𝑋, 𝑌 ⟩ = ⟨𝑋, 𝑌 ⟩ − ⟨ ̂︀𝑋, 𝑌 ⟩ = 0 ⇒ ⟨𝑋, 𝑌 ⟩ = ⟨ ̂︀𝑋, 𝑌 ⟩ což je 𝐸𝑋𝑌 = 𝐸 ̂︀𝑋𝑌 ,
takže jestliže pro 𝑗 = 1, . . . , 𝑛 položíme 𝑋 = 𝑌 𝑛+1 a 𝑌 = 𝑌 𝑛+1−𝑗, pak musí platit
𝐸𝑌 𝑛+1 𝑌 𝑛+1−𝑗 = 𝐸 ̂︀𝑌 𝑛+1 𝑌 𝑛+1−𝑗
𝛾(𝑗) = 𝐸
(︃
𝑌 𝑛+1−𝑗
𝑛∑︁
𝑖=1
𝜑 𝑛,𝑖 𝑌 𝑛+1−𝑖
)︃
=
𝑛∑︁
𝑖=1
𝜑 𝑛,𝑖 𝐸𝑌 𝑛+1−𝑖 𝑌 𝑛+1−𝑗
=
𝑛∑︁
𝑖=1
𝜑 𝑛,𝑖 𝛾(𝑖 − 𝑗)
což lze maticově zapsat takto
⎛
⎜
⎜
⎜
⎝
𝛾(1)
𝛾(2)
...
𝛾(𝑛)
⎞
⎟
⎟
⎟
⎠
=
⎛
⎜
⎜
⎜
⎝
𝛾(0) 𝛾(1) · · · 𝛾(𝑛 − 1)
𝛾(1) 𝛾(0) · · · 𝛾(𝑛 − 2)
...
...
...
...
𝛾(𝑛 − 1) 𝛾(𝑛 − 2) · · · 𝛾(0)
⎞
⎟
⎟
⎟
⎠
⎛
⎜
⎜
⎜
⎝
𝜑 𝑛,1
𝜑 𝑛,2
...
𝜑 𝑛,𝑛
⎞
⎟
⎟
⎟
⎠
tj.
𝛾 𝑛 = Γ 𝑛 𝜑 𝑛.
Projekční věta zaručuje existenci právě jednoho řešení ̂︀𝑌 𝑛+1 ∈ ℳ 𝑛 pro nějaké 𝜑 𝑛 ∈ R 𝑛 (kterých obecně
může být více, jejich výsledkem je však pouze jediné ̂︀𝑌 𝑛+1). Jestliže Γ 𝑛 je regulární, máme právě jediné 𝜑 𝑛 ∈ R 𝑛
a platí
𝜑 𝑛 = Γ−1
𝑛 𝛾 𝑛 .
Následující věta dává postačující podmínku k tomu, aby pro každé 𝑛 ∈ N byla Γ 𝑛 regulární maticí.
RNDr. Marie Forbelská, Ph.D. 79
Věta 2.2. Jestliže platí
𝛾(0) > 0 a 𝛾(ℎ) −−−→
ℎ→∞
0,
pak kovarianční matice
Γ 𝑛 = (𝛾(𝑖 − 𝑗)) 𝑛
𝑖,𝑗=1
je regulární pro každé 𝑛 ∈ N.
Důkaz. Tento důkaz se provádí sporem, viz Brockwel, Davis (1987), str. 160-161.
Důsledek 2.3. Označme
Y 𝑛 = (𝑌 𝑛, . . . , 𝑌1)′
.
Jestliže platí 𝛾(0) > 0 a 𝛾(ℎ) −−−→
ℎ→∞
0, pak nejlepší lineární predikce ̂︀𝑌 𝑛+1 náhodné veličiny 𝑌 𝑛+1 je tvaru
̂︀𝑌 𝑛+1 = 𝜑 𝑛,1 𝑌 𝑛+· · ·+𝜑 𝑛,𝑛 𝑌1 tj. ̂︀𝑌 𝑛+1 = 𝜑′
𝑛Y 𝑛 přičemž 𝜑 𝑛 =Γ−1
𝑛 𝛾 𝑛 .
Střední kvadratická chyba je rovna
𝑣 𝑛 = 𝑀 𝑆𝐸(̂︀𝑌 𝑛+1) = 𝐸(𝑌 𝑛+1 − ̂︀𝑌 𝑛+1)2
= 𝛾(0) − 𝛾′
𝑛Γ−1
𝑛 𝛾 𝑛. (13)
Důkaz. Tvrzení týkající se tvaru nejlepší lineární predikce a vektoru 𝜑 𝑛 plynou z předchozích poznámek
a předešlé věty. Zbývá vypočítat střední kvadratickou chybu.
𝐸(𝑌 𝑛+1 − ̂︀𝑌 𝑛+1)2
= 𝐸(𝑌 𝑛+1 − 𝜑′
𝑛Y 𝑛)2
= 𝐸𝑌 2
𝑛+1 − 2𝐸
(︀
𝜑′
𝑛Y 𝑛 𝑌 𝑛+1
)︀
+ 𝐸
(︀
𝜑′
𝑛Y 𝑛
)︀2
.
Nejprve počítejme
𝐸Y 𝑛 𝑌 𝑛+1 = (𝐸𝑌 𝑛 𝑌 𝑛+1, 𝐸𝑌 𝑛−1 𝑌 𝑛+1, . . . , 𝐸𝑌1 𝑌 𝑛+1)′
= (𝛾(1), 𝛾(2), . . . , 𝛾(𝑛))′
= 𝛾 𝑛.
Dále si všimněme, že lze psát
(︀
𝜑′
𝑛Y 𝑛
)︀2
= 𝜑′
𝑛Y 𝑛Y′
𝑛 𝜑 𝑛
a počítejme
𝐸Y 𝑛Y′
𝑛 = 𝐸
⎡
⎢
⎢
⎢
⎣
⎛
⎜
⎜
⎜
⎝
𝑌 𝑛
𝑌 𝑛−1
...
𝑌1
⎞
⎟
⎟
⎟
⎠
(𝑌 𝑛, . . . , 𝑌1)
⎤
⎥
⎥
⎥
⎦
=
⎛
⎜
⎜
⎜
⎜
⎜
⎝
𝐸𝑌 2
𝑛 𝐸𝑌 𝑛 𝑌 𝑛−1 · · · 𝐸𝑌 𝑛 𝑌1
𝐸𝑌 𝑛−1 𝑌 𝑛 𝐸𝑌 2
𝑛−1 · · · 𝐸𝑌 𝑛−1 𝑌1
...
...
...
...
𝐸𝑌1 𝑌 𝑛 𝐸𝑌1 𝑌 𝑛−1 · · · 𝐸𝑌 2
1
⎞
⎟
⎟
⎟
⎟
⎟
⎠
=
⎛
⎜
⎜
⎜
⎝
𝛾(0) 𝛾(1) · · · 𝛾(𝑛 − 1)
𝛾(1) 𝛾(0) · · · 𝛾(𝑛 − 2)
...
...
...
...
𝛾(𝑛 − 1) 𝛾(𝑛 − 2) · · · 𝛾(0)
⎞
⎟
⎟
⎟
⎠
= Γ 𝑛
Takže můžeme pokračovat ve výpočtu střední kvadratické chyby
𝐸(𝑌 𝑛+1 − ̂︀𝑌 𝑛+1)2
= 𝐸𝑌 2
𝑛+1 − 2𝜑′
𝑛 𝐸Y 𝑛 𝑌 𝑛+1 + 𝜑′
𝑛 𝐸Y 𝑛Y′
𝑛 𝜑 𝑛
= 𝛾(0) − 2𝜑′
𝑛 𝛾 𝑛 + 𝜑′
𝑛Γ 𝑛 𝜑 𝑛
= 𝛾(0) − 2𝛾′
𝑛Γ−1
𝑛 𝛾 𝑛 + 𝛾′
𝑛Γ−1
𝑛 Γ 𝑛Γ−1
𝑛 𝛾 𝑛 = 𝛾(0) − 𝛾′
𝑛Γ−1
𝑛 𝛾 𝑛.
Nyní definujme ℎ-krokovou (lineární) predikci.
Definice 2.4. Nechť {𝑌𝑡, 𝑡 ∈ Z} ∈ 𝐿2(Ω, 𝒜, 𝑃) je centrovaný stacionární proces. Označme pro 𝑛 ≥ 1
ℳ 𝑛 = 𝑠𝑝{𝑌1, . . . , 𝑌 𝑛}.
Pak ℎ-kroková predikce je definována vztahem
̂︀𝑌 𝑛+ℎ = ̂︀𝑌 𝑛+ℎ|𝑛 =
{︃
0 (= 𝜇 𝑌 ) 𝑛, ℎ = 0,
𝑃 𝑠𝑝{𝑌1,...,𝑌 𝑛}(𝑌 𝑛+ℎ) = 𝑃ℳ 𝑛 (𝑌 𝑛+ℎ) 𝑛, ℎ ≥ 1.
80 M5201 Stochastické modely časových řad
Obdobným způsobem jako u jednokrokové predikce můžeme odvodit, že jestliže platí
𝛾(0) > 0 a 𝛾(ℎ) −−−→
ℎ→∞
0,
pak nejlepší lineární ℎ-kroková predikce ̂︀𝑌 𝑛+ℎ náhodné veličiny 𝑌 𝑛+ℎ je tvaru
̂︀𝑌 𝑛+ℎ = 𝜑
(ℎ)
𝑛,1 𝑌 𝑛 + · · · + 𝜑(ℎ)
𝑛,𝑛 𝑌1 tj. ̂︀𝑌 𝑛+ℎ =
(︁
𝜑(ℎ)
𝑛
)︁′
Y 𝑛
přičemž
𝜑(ℎ)
𝑛 = Γ−1
𝑛 𝛾(ℎ)
𝑛 a 𝛾(ℎ)
𝑛 = (𝛾(ℎ), 𝛾(ℎ + 1), . . . , 𝛾(ℎ + 𝑛 − 1))′
.
Střední kvadratická chyba je rovna
𝑣(ℎ)
𝑛 = 𝑀 𝑆𝐸(̂︀𝑌 𝑛+ℎ) = 𝐸(𝑌 𝑛+1 − ̂︀𝑌 𝑛+1)2
= 𝛾(0) −
(︁
𝜑(ℎ)
𝑛
)︁′
Γ−1
𝑛 𝜑(ℎ)
𝑛 .
V následujících odstavcích se především zaměříme na dvě rekurentní metody výpočtu nejlepší lineární
predikce.
2.1. Durbin-Levinsův algoritmus.
Věta 2.5 (Durbin-Levinsův algoritmus). Nechť {𝑌𝑡, 𝑡 ∈ Z} ∈ 𝐿2(Ω, 𝒜, 𝑃) je centrovaný stacionární proces
s autokovarianční funkcí 𝛾(ℎ) takovou, že 𝛾(0) > 0 a 𝛾(ℎ) −−−→
ℎ→∞
0. Jestliže ̂︀𝑌 𝑛+1 = 𝑃 𝑠𝑝{𝑌1,...,𝑌 𝑛}(𝑌 𝑛+1) =
𝜑 𝑛,1 𝑌 𝑛 + · · · + 𝜑 𝑛,𝑛 𝑌1 je nejlepší lineární predikce, pak pro koeficienty 𝜑 𝑛,𝑗 (𝑗 = 1, . . . , 𝑛) a střední kvadratické
chyby 𝑣 𝑛 = 𝐸
(︁
𝑌 𝑛+1 − ̂︀𝑌 𝑛+1
)︁2
platí následující vztahy
𝜑1,1 = 𝛾(1)
𝛾(0) = 𝜌(1) 𝑣0 = 𝛾(0) (14)
𝜑 𝑛,𝑛 =
[︀
𝛾(𝑛) − 𝜑′
𝑛−1 𝛾 𝑛−1
]︀
/𝑣 𝑛−1 (15)
𝜑(1)
𝑛 = 𝜑 𝑛−1 − 𝜑 𝑛,𝑛 𝜑*
𝑛−1 𝑣 𝑛 = 𝑣 𝑛−1
(︁
1 − 𝜑2
𝑛,𝑛
)︁
(16)
kde
𝜑 𝑛−1 = (𝜑 𝑛−1,1, . . . , 𝜑 𝑛−1,𝑛−1)′
𝜑*
𝑛−1 = (𝜑 𝑛−1,𝑛−1, . . . , 𝜑 𝑛−1,1)′
𝜑 𝑛 = (𝜑 𝑛,1, . . . , 𝜑 𝑛,𝑛−1, 𝜑 𝑛,𝑛)′
𝜑(1)
𝑛 = (𝜑 𝑛,1, . . . , 𝜑 𝑛,𝑛−1)′
Důkaz. Pro získání výše popsaného rekurentního výpočtu pro všechny složky predikce autor algoritmu
vyšel z myšlenky rozložit projekci na součet dvou ortogonálních projekcí
̂︀𝑌 𝑛+1 = 𝑃ℳ 𝑛 (𝑌 𝑛+1) = 𝑃ℳ 𝑛−1 (𝑌 𝑛+1) + 𝑃ℳ⊥
𝑛−1
(𝑌 𝑛+1),
kde
ℳ 𝑛 = 𝑠𝑝{𝑌1, . . . , 𝑌 𝑛}
ℳ 𝑛−1 = 𝑠𝑝{𝑌2, . . . , 𝑌 𝑛}
a
ℳ⊥
𝑛−1 = 𝑠𝑝{𝑌1 − 𝑃ℳ 𝑛−1 (𝑌1)}.
Vidíme, že ℳ⊥
𝑛−1 je ortogonální komplement ℳ 𝑛−1 v ℳ 𝑛.
Podrobný důkaz lze najít například v publikaci Forbelská(2009).
2.2. Důsledek Durbin-Levinsonova algoritmu.
Důsledek 2.6.
Nechť {𝑌𝑡, 𝑡 ∈ Z} ∈ 𝐿2(Ω, 𝒜, 𝑃) je centrovaný stacionární proces s autokovarianční funkcí 𝛾(ℎ), pro kterou
platí 𝛾(0) > 0 a 𝛾(ℎ) −−−→
ℎ→∞
0. Označme
ℳ 𝑛 = 𝑠𝑝{𝑌1, . . . , 𝑌 𝑛}
ℳ 𝑛−1 = 𝑠𝑝{𝑌2, . . . , 𝑌 𝑛}
a nejlepší lineární predikci
̂︀𝑌 𝑛+1 = 𝑃ℳ 𝑛 (𝑌 𝑛+1) = 𝜑 𝑛,𝑛 𝑌1 + 𝜑 𝑛,𝑛−1 𝑌2 + · · · + 𝜑 𝑛,1 𝑌 𝑛,
pak platí
𝜑 𝑛,𝑛 = 𝑅
(︀
𝑌 𝑛+1 − 𝑃ℳ 𝑛−1 (𝑌 𝑛+1), 𝑌1 − 𝑃ℳ 𝑛−1 (𝑌1)
)︀
. (17)
RNDr. Marie Forbelská, Ph.D. 81
Důkaz. Podrobný důkaz lze najít v publikaci Forbelská(2009).
2.3. Parciální autokorelační funkce (PACF).
Definice 2.7. Nechť {𝑌𝑡, 𝑡 ∈ Z} ∈ 𝐿2(Ω, 𝒜, 𝑃) je stacionární proces. Pak parciální autokorelační funkce
je definována vztahem
𝛼(1) = 𝑅(𝑌𝑡, 𝑌𝑡+1)
𝛼(𝑘) = 𝑅(𝑌𝑡 − ̂︀𝑌𝑡, 𝑌𝑡−𝑘 − ̂︀𝑌𝑡−𝑘) pro |𝑘| > 1
kde ̂︀𝑌𝑡, resp. ̂︀𝑌𝑡−𝑘 jsou nejlepší lineární predikce 𝑌𝑡 (resp. 𝑌𝑡−𝑘) pomocí
𝑌𝑡−𝑘+1, . . . , 𝑌𝑡−1.
Nejlepší lineární predikce ̂︀𝑌𝑡 a ̂︀𝑌𝑡−𝑘 jsou projekce ̂︀𝑌𝑡 = 𝑃ℳ 𝑘−1
(𝑌𝑡) a
̂︀𝑌𝑡−𝑘 = 𝑃ℳ 𝑘−1
(𝑌𝑡−𝑘), kde ℳ 𝑘−1 = 𝑠𝑝{𝑌𝑡−𝑘+1, . . . , 𝑌𝑡−1}. Přitom existují taková
𝜑 𝑘−1 = (𝜑 𝑘−1,1, . . . , 𝜑 𝑘−1,𝑘−1)′
,
že platí
̂︀𝑌𝑡 = 𝜑 𝑘−1,1 𝑌𝑡−1 + · · · + 𝜑 𝑘−1,𝑘−1 𝑌𝑡−𝑘+1
a také taková 𝜓 𝑘−1 = (𝜓 𝑘−1,1, . . . , 𝜓 𝑘−1,𝑘−1)′, že platí
̂︀𝑌𝑡−𝑘 = 𝜓 𝑘−1,1 𝑌𝑡−𝑘+1 + · · · + 𝜓 𝑘−1,𝑘−1 𝑌𝑡−1,
která minimalizují
𝐸(𝑌𝑡 − ̂︀𝑌𝑡)2
resp. 𝐸(𝑌𝑡−𝑘 − ̂︀𝑌𝑡−𝑘)2
,
přičemž (jak již víme z důkazu Durbin-Levinsonova algoritmu) platí
𝜑 𝑘−1,1 = 𝜓 𝑘−1,1, . . . , 𝜑 𝑘−1,𝑘−1 = 𝜓 𝑘−1,𝑘−1 tj. 𝜑 𝑘−1 = 𝜓 𝑘−1.
Celkově tedy, označíme-li
Y*
𝑘−1 = (𝑌𝑡−𝑘+1, . . . , 𝑌𝑡−1)′
Y 𝑘−1 = (𝑌𝑡−1, . . . , 𝑌𝑡−𝑘+1)′
tak dostaneme
𝑃ℳ 𝑛−1 (𝑌𝑡−𝑘) = 𝜑′
𝑘−1Y*
𝑘−1
𝑃ℳ 𝑛−1 (𝑌𝑡) = 𝜑′
𝑘−1Y 𝑘−1
Víme, že pokud pro autokovarianční funkci 𝛾(ℎ) platí 𝛾(0) > 0 a
𝛾(ℎ) −−−→
ℎ→∞
0, pak matice Γ 𝑘−1 je regulární a neznámé složky vektoru 𝜑 𝑘−1 jsou rovny
𝜑 𝑘−1 = Γ−1
𝑘−1 𝛾 𝑘−1.
Avšak podle důsledku 2.6 Durbin-Levinsonova algoritmu není třeba počítat inverzní matici Γ−1
𝑘−1, odtud 𝜑 𝑘−1,
následně ̂︀𝑌𝑡−𝑘 = 𝑃ℳ 𝑛−1 (𝑌𝑡−𝑘) a ̂︀𝑌𝑡 = 𝑃ℳ 𝑛−1 (𝑌𝑡) a nakonec korelační koeficient 𝛼(𝑘) = 𝑅(𝑌𝑡 − ̂︀𝑌𝑡, 𝑌𝑡−𝑘 − ̂︀𝑌𝑡−𝑘),
neboť platí
𝛼(𝑘) = 𝜑 𝑘,𝑘 = 𝑅
(︁
𝑌𝑡 − 𝑃ℳ 𝑘−1
(𝑌𝑡), 𝑌𝑡−𝑘 − 𝑃ℳ 𝑘−1
(𝑌𝑡−𝑘)
)︁
.
2.4. Inovační algoritmus. Základní myšlenkou Durbin-Levinsonova algoritmu je rozdělení
ℳ 𝑛 = 𝑠𝑝{𝑌 𝑛, . . . , 𝑌1}
na dva ortogonální podprostory
ℳ 𝑛−1 = 𝑠𝑝{𝑌 𝑛, . . . , 𝑌2} a ℳ⊥
𝑛−1 = 𝑠𝑝{𝑌1 − 𝑃ℳ 𝑛−1 (𝑌1)}.
Následující rekurentní algoritmus spočívá v dekompozici ℳ 𝑛 na 𝑛 ortogonálních Hilbertových podprostorů
pomocí Gram-Schmidtova algoritmu.
Rekurentní algoritmus lze aplikovat nejen na stacionární procesy, ale obecně na procesy s konečnými druhými
momenty. Pro jednoduchost předpokládejme, že jsou centrované. Nejprve zaveďme následujicí značení:
𝛾(𝑖, 𝑗) = 𝐸𝑋𝑖 𝑋 𝑗.
82 M5201 Stochastické modely časových řad
Stejně označme
ℳ 𝑛 = 𝑠𝑝{𝑌 𝑛, . . . , 𝑌1}
𝑣 𝑛 =
⃦
⃦
⃦ 𝑌 𝑛+1 − ̂︀𝑌 𝑛+1
⃦
⃦
⃦
2
.
Pokud označíme
̂︀𝑌 𝑛 =
{︃
0 (= 𝜇 𝑌 ) pro 𝑛 = 1
𝑃ℳ 𝑛−1 (𝑌 𝑛) pro 𝑛 = 2, 3, . . .
pak zřejmě
ℳ 𝑛 = 𝑠𝑝{𝑌 𝑛 − ̂︀𝑌 𝑛, . . . , 𝑌1 − ̂︀𝑌1} 𝑛 ≥ 1.
Definujme tzv. inovaci vztahem
𝑈 𝑛+1 = 𝑌 𝑛+1 − ̂︀𝑌 𝑛+1 = 𝑌 𝑛+1 −
𝑛∑︁
𝑗=1
𝜑 𝑛,𝑗 𝑌 𝑛+1−𝑗.
Označme
U 𝑛 = (𝑈1, . . . , 𝑈 𝑛)′
Y 𝑛 = (𝑌1, . . . , 𝑌 𝑛)′
̂︀Y 𝑛 = (̂︀𝑌1, . . . , ̂︀𝑌 𝑛)′
.
Pak lze psát
U 𝑛 = A 𝑛Y 𝑛,
kde matice A 𝑛 je dolní trojúhelníkovou maticí
A 𝑛 =
⎛
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎝
1 0 · · · · · · · · · 0
−𝜑1,1 1 0 · · · · · · 0
−𝜑2,2 −𝜑2,1 1 0 · · · 0
...
...
...
...
...
...
−𝜑 𝑛−2,𝑛−2 −𝜑 𝑛−2,𝑛−3 · · · −𝜑 𝑛−2,1 1 0
−𝜑 𝑛−1,𝑛−1 −𝜑 𝑛−1,𝑛−2 · · · · · · −𝜑 𝑛−1,1 1
⎞
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎠
.
Všimněme si, že determinant matice je roven 1, takže existuje inverzní matice
C 𝑛 = A−1
𝑛 ,
která je také dolní trojúhelníkovou maticí. Upravujme postupně
̂︀Y 𝑛 = Y 𝑛 − U 𝑛 = A−1
𝑛 U 𝑛 − U 𝑛 =
(︁
A−1
𝑛 − I 𝑛
)︁
U 𝑛 = 𝜃 𝑛U 𝑛,
kde
𝜃 𝑛 = C 𝑛 − I 𝑛 =
⎛
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎝
0 0 · · · · · · · · · 0
𝜃1,1 0 0 · · · · · · 0
𝜃2,2 𝜃2,1 0 0 · · · 0
...
...
...
...
...
...
𝜃 𝑛−2,𝑛−2 𝜃 𝑛−2,𝑛−3 · · · −𝜃 𝑛−2,1 0 0
𝜃 𝑛−1,𝑛−1 𝜃 𝑛−1,𝑛−2 · · · · · · 𝜃 𝑛−1,1 0
⎞
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎠
.
Protože
̂︀Y 𝑛 = 𝜃 𝑛U 𝑛 = 𝜃 𝑛(Y 𝑛 − ̂︀Y 𝑛)
a protože 𝜃 𝑛 je dolní trojúhelníkovou maticí, můžeme psát
̂︀𝑌 𝑛+1 =
{︃
0 𝑛 = 0
∑︀ 𝑛
𝑗=1 𝜃 𝑛,𝑗(𝑌 𝑛+1−𝑗 − ̂︀𝑌 𝑛+1−𝑗) 𝑛 = 1, 2, . . . .
RNDr. Marie Forbelská, Ph.D. 83
Věta 2.8. Nechť {𝑌𝑡, 𝑡 ∈ Z} je centrovaný náhodný proces s konečnými druhými momenty, přičemž kovarianční
matice (𝐸𝑌𝑖 𝑌 𝑗) 𝑛
𝑖,𝑗=1 = (𝛾(𝑖, 𝑗)) 𝑛
𝑖,𝑗=1 je regulární pro každé 𝑛 ∈ N. Pak pro jednokrokovou predikci platí
následující rekurentní vztahy
̂︀𝑌 𝑛+1 =
⎧
⎨
⎩
0 𝑛 = 0
𝑛∑︀
𝑗=1
𝜃 𝑛,𝑗
(︁
𝑌 𝑛+1−𝑗 − ̂︀𝑌 𝑛+1−𝑗
)︁
𝑛 = 1, 2, . . . (18)
𝑣0 = 𝛾(1, 1) (19)
𝜃 𝑛,𝑛−𝑘 = 𝑣−1
𝑘
⎡
⎣ 𝛾(𝑛 + 1, 𝑘 + 1) −
𝑘−1∑︁
𝑗=0
𝜃 𝑘,𝑘−𝑗 𝜃 𝑛,𝑛−𝑗 𝑣 𝑗
⎤
⎦ , 𝑘 = 0, . . . , 𝑛 − 1 (20)
𝑣 𝑛 = 𝛾(𝑛 + 1, 𝑛 + 1) −
𝑛−1∑︁
𝑗=0
𝜃2
𝑛,𝑛−𝑗 𝑣 𝑗 (21)
Důkaz. Podrobný důkaz lze najít například v publikaci Forbelská (2009).
Poznámka 2.9. Zatímco Durbin-Levinsův algoritmus dává koeficienty 𝜑 𝑛,𝑗 v reprezentaci
̂︀𝑌 𝑛+1 =
𝑛∑︁
𝑗=1
𝜑 𝑛,𝑗 𝑌 𝑛+1−𝑗 =
𝑛−1∑︁
𝑗=0
𝜑 𝑛,𝑛−𝑗 𝑌 𝑗+1,
inovační algoritmus dává koeficienty 𝜃 𝑛,𝑗 v ortogonálním rozvoji
̂︀𝑌 𝑛+1 =
𝑛∑︁
𝑗=1
𝜃 𝑛,𝑗
(︁
𝑌 𝑛+1−𝑗 − ̂︀𝑌 𝑛+1−𝑗
)︁
=
𝑛−1∑︁
𝑗=0
𝜃 𝑛,𝑛−𝑗
(︁
𝑌 𝑗+1 − ̂︀𝑌 𝑗+1
)︁
.
Poznámka 2.10. Inovační algoritmus dává „inovační reprezentaci“ samotných 𝑌 𝑛+1, neboť platí
Y 𝑛 = Y 𝑛 − ̂︀Y 𝑛 + ̂︀Y 𝑛 = (Y 𝑛 − ̂︀Y 𝑛) + (C 𝑛 − I 𝑛)(Y 𝑛 − ̂︀Y 𝑛) = C 𝑛(Y 𝑛 − ̂︀Y 𝑛).
a položíme-li 𝜃 𝑛,0 = 1, můžeme psát
𝑌 𝑛+1 =
𝑛∑︁
𝑗=0
𝜃 𝑛,𝑗
(︁
𝑌 𝑛+1−𝑗 − ̂︀𝑌 𝑛+1−𝑗
)︁
=
𝑛∑︁
𝑗=0
𝜃 𝑛,𝑛−𝑗
(︁
𝑌 𝑗+1 − ̂︀𝑌 𝑗+1
)︁
.
Tyto vztahy využijeme později při odvozování maximálně věrohodných odhadů neznámých parametrů 𝜃 𝑛,𝑗.
2.5. Jednokroková nejlepší lineární predikce v 𝐴𝑅(𝑝). Nejprve si všimněme, jaké vlastnosti má
predikce v případě autoregresních procesů řádu 𝑝.
Věta 2.11. Nechť {𝑌𝑡, 𝑡 ∈ Z} ∈ 𝐿2(Ω, 𝒜, 𝑃) je centrovaný nedegenerovaný kauzální 𝐴𝑅(𝑝) proces 𝑌𝑡 =
𝜙1 𝑌𝑡−1 + · · · + 𝜙 𝑝 𝑌𝑡−𝑝 + 𝜀𝑡. Pak pro nejlepší lineární predikci platí
̂︀𝑌 𝑛+1 =
⎧
⎪⎪⎨
⎪⎪⎩
0 𝑛 = 0
min(𝑛,𝑝)∑︀
𝑗=1
𝜙 𝑗 𝑌 𝑛+1−𝑗 𝑛 = 1, 2, . . .
.
Důkaz. Vzhledem k tomu, že autokovarianční funkce 𝛾(ℎ) exponenciálně klesá k nule, stačí předpokládat,
že proces není degenerovaný, tj. rozptyl 𝛾(0) > 0. Nejlepší lineární predikce podle definice je rovna
̂︀𝑌 𝑛+1 = ̂︀𝑌 𝑛+1|𝑛 =
{︃
0 (= 𝜇 𝑌 ) 𝑛 = 0,
𝑃 𝑠𝑝{𝑌1,...,𝑌 𝑛}(𝑌 𝑛+1) = 𝑃ℳ 𝑛 (𝑌 𝑛+1) 𝑛 ≥ 1.
Předpokládejme tedy, že 𝑛 ≥ 𝑝 a postupně upravujme
̂︀𝑌 𝑛+1 = 𝑃 𝑠𝑝{𝑌1,...,𝑌 𝑛}(𝑌 𝑛+1) = 𝑃 𝑠𝑝{𝑌1,...,𝑌 𝑛}(𝜙1 𝑌 𝑛 + · · · + 𝜙 𝑝 𝑌 𝑛+1−𝑝 + 𝜀 𝑛+1)
=
𝑝∑︁
𝑗=1
𝜙 𝑗 𝑃 𝑠𝑝{𝑌1,...,𝑌 𝑛}(𝑌 𝑛+1−𝑗) + 𝑃 𝑠𝑝{𝑌1,...,𝑌 𝑛}(𝜀 𝑛+1).
Připomeňme, že pro projekci v případě 𝑗 = 1, . . . , 𝑛 platí
𝑃 𝑠𝑝{𝑌1,...,𝑌 𝑛}(𝑌 𝑗) = 𝑌 𝑗, neboť 𝑌 𝑗 ∈ 𝑠𝑝{𝑌1, . . . , 𝑌 𝑛}.
84 M5201 Stochastické modely časových řad
Dále počítejme pro 𝑗 = 1, . . . , 𝑛 skalární součin
⟨𝜀 𝑛+1, 𝑌 𝑗⟩
𝑘𝑎𝑢𝑧𝑎𝑙.
= ⟨𝜀 𝑛+1,
∞∑︁
𝑘=1
𝜓 𝑗 𝜀 𝑗−𝑘⟩ =
∞∑︁
𝑘=1
𝜓 𝑗 𝐸(𝜀 𝑛+1 𝜀 𝑗−𝑘)
⏟ ⏞
=0
= 0,
tj. 𝜀 𝑛+1 ⊥ 𝑌1, . . . , 𝑌 𝑛, a 𝑃 𝑠𝑝{𝑌1,...,𝑌 𝑛}(𝜀 𝑛+1) = 0, takže
̂︀𝑌 𝑛+1 = 𝜙1 𝑌 𝑛 + · · · + 𝜙 𝑝 𝑌 𝑛+1−𝑝 jestliže 𝑛 ≥ 𝑝,
čímž dostáváme tvrzení věty.
Tedy v případě 𝐴𝑅(𝑝) procesu
𝑌𝑡 = 𝜙1 𝑌𝑡−1 + · · · + 𝜙 𝑝 𝑌𝑡−𝑝 + 𝜀𝑡
jsou koeficienty 𝜑 𝑛,1, . . . , 𝜑 𝑛,1 nejlepší lineární predikce pro 𝑛 ≥ 𝑝 rovny
𝜑 𝑛,1 = 𝜙1
...
𝜑 𝑛,𝑝 = 𝜙 𝑝
𝜑 𝑛,𝑝+1 = 0
...
𝜑 𝑛,𝑛 = 0
2.6. Vícekroková nejlepší lineární predikce v 𝐴𝑅(𝑝). Podle definice ℎ-kroková predikce je definována
vztahem
̂︀𝑌 𝑛+ℎ = ̂︀𝑌 𝑛+ℎ|𝑛 =
{︃
0 (= 𝜇 𝑌 ) 𝑛, ℎ = 0,
𝑃 𝑠𝑝{𝑌1,...,𝑌 𝑛}(𝑌 𝑛+ℎ) = 𝑃ℳ 𝑛 (𝑌 𝑛+ℎ) 𝑛, ℎ ≥ 1.
Počítejme postupně
̂︀𝑌 𝑛+2|𝑛 = 𝑃 𝑠𝑝{𝑌1,...,𝑌 𝑛}(𝑌 𝑛+2)
= 𝑃 𝑠𝑝{𝑌1,...,𝑌 𝑛}(𝜙1 𝑌 𝑛+1 + · · · + 𝜙 𝑝 𝑌 𝑛+2−𝑝 + 𝜀 𝑛+2)
=
𝑝∑︁
𝑗=1
𝜙 𝑗 𝑃 𝑠𝑝{𝑌1,...,𝑌 𝑛}(𝑌 𝑛+2−𝑗) + 𝑃 𝑠𝑝{𝑌1,...,𝑌 𝑛}(𝜀 𝑛+2)
⏟ ⏞
=0(viz předchozí důkaz)
= 𝜙1 𝑃 𝑠𝑝{𝑌1,...,𝑌 𝑛}(𝑌 𝑛+1) +
𝑝∑︁
𝑗=2
𝜙 𝑗 𝑃 𝑠𝑝{𝑌1,...,𝑌 𝑛}(𝑌 𝑛+2−𝑗)
⏟ ⏞
=𝑌 𝑛+2−𝑗
= 𝜙1
̂︀𝑌 𝑛+1|𝑛 + 𝜙2 𝑌 𝑛 + · · · + 𝜙 𝑝 𝑌 𝑛+2−𝑝
...
̂︀𝑌 𝑛+𝑝|𝑛 = 𝑃 𝑠𝑝{𝑌1,...,𝑌 𝑛}(𝑌 𝑛+𝑝)
= 𝑃 𝑠𝑝{𝑌1,...,𝑌 𝑛}(𝜙1 𝑌 𝑛+𝑝−1 + · · · + 𝜙 𝑝 𝑌 𝑛 + 𝜀 𝑛+𝑝)
= 𝜙1
̂︀𝑌 𝑛+𝑝−1|𝑛 + · · · + 𝜙 𝑝−1
̂︀𝑌 𝑛+1|𝑛 + 𝜙 𝑝 𝑌 𝑛
pro 𝑠 > 𝑝
̂︀𝑌 𝑛+𝑠|𝑛 = 𝑃 𝑠𝑝{𝑌1,...,𝑌 𝑛}(𝑌 𝑛+𝑠)
= 𝑃 𝑠𝑝{𝑌1,...,𝑌 𝑛}(𝜙1 𝑌 𝑛+𝑠−1 + · · · + 𝜙 𝑝 𝑌 𝑛+𝑠−𝑝 + 𝜀 𝑛+𝑠)
= 𝜙1
̂︀𝑌 𝑛+𝑠−1|𝑛 + · · · + 𝜙 𝑝
̂︀𝑌 𝑛+𝑠−𝑝|𝑛
2.7. PACF pro 𝐴𝑅(𝑝), 𝑀 𝐴(𝑞) a 𝐴𝑅𝑀 𝐴(𝑝, 𝑞).
Věta 2.12. Nechť {𝑌𝑡, 𝑡 ∈ Z} ∈ 𝐿2(Ω, 𝒜, 𝑃) je centrovaný nedegenerovaný kauzální 𝐴𝑅(𝑝) proces 𝑌𝑡 =
𝜙1 𝑌𝑡−1 + · · · + 𝜙 𝑝 𝑌𝑡−𝑝 + 𝜀𝑡. Pak platí
(1) 𝛼(𝑝) = 𝜙 𝑝
(2) 𝛼(𝑘) = 0 pro 𝑘 > 𝑝.
RNDr. Marie Forbelská, Ph.D. 85
Důkaz. Již dříve jsme ukázali, že v případě 𝐴𝑅(𝑝) procesu
𝑌𝑡 = 𝜙1 𝑌𝑡−1 + · · · + 𝜙 𝑝 𝑌𝑡−𝑝 + 𝜀𝑡
jsou koeficienty 𝜑 𝑛,1, . . . , 𝜑 𝑛,1 nejlepší lineární predikce pro 𝑛 ≥ 𝑝 rovny
𝜑 𝑛,1 = 𝜙1
...
𝜑 𝑛,𝑝 = 𝜙 𝑝
𝜑 𝑛,𝑝+1 = 0
...
𝜑 𝑛,𝑛 = 0
Tedy pokud přímo 𝑛 = 𝑝, tak podle důsledku Durbin–Lewinsonova algoritmu platí
𝛼(𝑝) = 𝜑 𝑝,𝑝 = 𝜙 𝑝.
Jestliže 𝑘 > 𝑝, pak je parciální autokorelační funkce nulová 𝛼(𝑘) = 0, což je velmi důležitá identifikační vlastnost
𝐴𝑅(𝑝) procesů.
Poznámka 2.13. Parciální autokorelační koeficienty 𝛼(1), . . . , 𝛼(𝑝 − 1) lze určit jako 𝜑1,1, . . . , 𝜑 𝑝−1,𝑝−1 z
Durbin–Levinsonova algoritmu.
Důsledek 2.14. Nechť {𝑌𝑡, 𝑡 ∈ Z} ∈ 𝐿2(Ω, 𝒜, 𝑃) je centrovaný nedegenerovaný invertibilní 𝑀 𝐴(𝑞) (resp.
𝐴𝑅𝑀 𝐴(𝑝, 𝑞)) proces. Pak neexistuje takové 𝑘0 ∈ N, že pro 𝑘 > 𝑘0 platí 𝛼(𝑘) = 0.
Důkaz. Využijeme toho, že proces 𝑀 𝐴(𝑞) (resp. 𝐴𝑅𝑀 𝐴(𝑝, 𝑞)) je invertibilní.
Pak existuje absolutně konvergentní posloupnost reálných čísel 𝜋 = {𝜋 𝑗}∞
𝑗=0
(tj.
∑︀∞
𝑗=0 |𝜋 𝑗| < ∞) taková, že
𝜀𝑡 =
∞∑︁
𝑗=0
𝜋 𝑗 𝑌𝑡−𝑗, tj. zkráceně 𝑌𝑡 ∼ 𝐴𝑅(∞) : 𝜀𝑡 = 𝜋(𝐵)𝑌𝑡,
tj. 𝑝 = ∞, takže podle předchozí věty nenajdeme 𝑘0 ∈ N takové, že pro 𝑘 > 𝑘0 platí 𝛼(𝑘) = 0.
2.8. Jednokroková nejlepší lineární predikce v 𝑀 𝐴(𝑞). Pro jednokrokovou predikci v případě 𝑀 𝐴(𝑞)
procesů je velmi užitečný inovační algoritmus. Nejprve uvedeme podrobně rekurentní vzorce pro stacionární
procesy, pro které platí
𝛾(𝑖, 𝑗) = 𝛾(𝑖 − 𝑗).
Predikci pomocí inovací lze vypočítat pomocí následujícího vzorce
̂︀𝑌 𝑛+1 =
{︃
0 𝑛 = 0
𝜃 𝑛,1
(︁
𝑌 𝑛− ̂︀𝑌 𝑛
)︁
· · · + · · · 𝜃 𝑛,𝑛
(︁
𝑌1− ̂︀𝑌1
)︁
𝑛 = 1, 2, . . .
,
přičemž pro
𝑛 = 0 𝑣0 = 𝛾(0),
dále
𝜃 𝑛,𝑛 = 𝛾(𝑛)
𝑣0
𝜃 𝑛,𝑛−1 = 𝛾(𝑛−1)
𝑣1
− 𝜃1,1 𝜃 𝑛,𝑛
𝑣0
𝑣1
𝜃 𝑛,𝑛−2 = 𝛾(𝑛−2)
𝑣2
− 𝜃2,2 𝜃 𝑛,𝑛
𝑣0
𝑣2
− 𝜃2,1 𝜃 𝑛,𝑛−1
𝑣1
𝑣2
...
𝜃 𝑛,2 = 𝛾(2)
𝑣 𝑛−2
− 𝜃 𝑛−2,𝑛−2 𝜃 𝑛,𝑛
𝑣0
𝑣 𝑛−2
− · · · − 𝜃 𝑛−2,1 𝜃 𝑛,3
𝑣 𝑛−3
𝑣 𝑛−2
⏟ ⏞
(𝑛−2) členů
𝜃 𝑛,1 = 𝛾(1)
𝑣 𝑛−1
− 𝜃 𝑛−1,𝑛−1 𝜃 𝑛,𝑛
𝑣0
𝑣 𝑛−1
− 𝜃 𝑛−1,𝑛−2 𝜃 𝑛,𝑛−1
𝑣1
𝑣 𝑛−1
− · · · − 𝜃 𝑛−1,1 𝜃 𝑛,2
𝑣 𝑛−2
𝑣 𝑛−1
⏟ ⏞
(𝑛−1) členů
86 M5201 Stochastické modely časových řad
a nakonec
𝑣 𝑛 = 𝛾(0) − 𝜃2
𝑛,𝑛 𝑣0 − · · · − −𝜃2
𝑛,1 𝑣 𝑛−1.
Vzhledem k tomu, že 𝑀 𝐴(𝑞) proces má autokovarianční funkci 𝛾(𝑘) = 0 pro 𝑘 > 𝑞, pak v případě, že 𝑛 > 𝑞
jsou koeficienty 𝜃 𝑛,𝑛 = 0, . . . , 𝜃 𝑛,𝑞+1 = 0 a teprve 𝜃 𝑛,𝑞 ̸= 0, . . . , 𝜃 𝑛,1 ̸= 0, takže nejlepší lineární predikce je tvaru
̂︀𝑌 𝑛+1 =
⎧
⎪⎪⎨
⎪⎪⎩
0 𝑛 = 0
min(𝑛,𝑞)∑︀
𝑗=1
𝜃 𝑛,𝑗
(︁
𝑌 𝑛+1−𝑗 − ̂︀𝑌 𝑛+1−𝑗
)︁
𝑛 = 1, 2, . . .
2.9. Nejlepší lineární predikce v 𝐴𝑅𝑀 𝐴(𝑝, 𝑞). Nechť {𝑌𝑡, 𝑡 ∈ Z} je kauzální a invertibilní 𝐴𝑅𝑀 𝐴
proces
{𝑌𝑡, 𝑡 ∈ Z} ∼ 𝐴𝑅𝑀 𝐴(𝑝, 𝑞) : Φ(𝐵)𝑌𝑡 = Θ(𝐵)𝜀𝑡 𝜀𝑡 ∼ 𝑊 𝑁(0, 𝜎2
𝜀 ).
Z kauzality vyplývá, že existuje posloupnost {𝜓 𝑗}∞
𝑗=0 taková, že
∑︀∞
𝑗=0 |𝜓 𝑗| < ∞ a platí
𝑌𝑡 =
∞∑︁
𝑗=0
𝜓 𝑗 𝜀𝑡−𝑗, tj. 𝑌𝑡 ∼ 𝑀 𝐴(∞),
takže pro |𝑧| ≤ 1 dostáváme
Ψ(𝑧) =
Θ(𝑧)
Φ(𝑧)
⇒ Φ(𝑧)Ψ(𝑧) = Θ(𝑧).
Koeficienty {𝜓 𝑗}∞
𝑗=0 se určí ze vztahu
(1−𝜙1 𝑧−𝜙2 𝑧2
−· · ·−𝜙 𝑝 𝑧 𝑝
)(𝜓0+𝜓1 𝑧+𝜓2 𝑧2
+· · · )=(1+𝜃1 𝑧+𝜃2 𝑧2
+· · ·+𝜃 𝑞 𝑧 𝑞
)
porovnáním koeficientů u mocnin proměnné 𝑧 , tj.
𝑧0 : 𝜓0 = 1 ⇒ 𝜓0 = 1
𝑧1 : 𝜓1 − 𝜙1 = 𝜃1 ⇒ 𝜓1 = 𝜃1 + 𝜙1
𝑧2 : 𝜓2 − 𝜙1 𝜓1 − 𝜙2 = 𝜃2 ⇒ 𝜓2 = 𝜃2 + 𝜙1 𝜓1 + 𝜙2
𝑧3 : 𝜓3 − 𝜙2 𝜓1 − 𝜙1 𝜓2 − 𝜙3 = 𝜃3 ⇒ 𝜓3 = 𝜃3 + 𝜙2 𝜓1 + 𝜙1 𝜓2 + 𝜙3
...
Obecně, položíme-li
𝜃 𝑗 = 0
𝜙 𝑗 = 0
pro
𝑗 > 𝑞
𝑗 > 𝑝
a označíme-li 𝑚 = 𝑚𝑎𝑥(𝑝, 𝑞), dostaneme
𝜓0 = 1
𝜓 𝑗 = 𝜃 𝑗 +
min(𝑗,𝑝)∑︀
𝑖=1
𝜙𝑖 𝜓 𝑗−𝑖 pro 1 ≤ 𝑗 ≤ 𝑚
𝜓 𝑗 =
𝑝∑︀
𝑖=1
𝜙𝑖 𝜓 𝑗−𝑖 pro 𝑗 > 𝑚
a vidíme, že pro 𝑗 > 𝑚 se koeficienty 𝜃 𝑘 neprosadí. Pokud bychom použili predikci pomocí inovací, bude vždy
pro 𝑛 > 𝑚 platit
̂︀𝑌 𝑛+1 =
𝑛∑︁
𝑗=1
𝜃 𝑛,𝑗
(︁
𝑌 𝑛+1−𝑗 − ̂︀𝑌 𝑛+1−𝑗
)︁
takže použijeme vždy 𝑛 předchozích inovací a ztrácíme tak výhodu, která byla u 𝑀 𝐴 procesu konečného řádu.
Nechceme-li o tuto výhodu přijít, ukázalo se, že díky jednoduché transformaci využijeme jednak možnosti
použít maximálně 𝑞 předchozích inovací a také toho, že díky 𝐴𝑅 části je proces lineární kombinací předchozích
𝑝 hodnot.
Položme nejprve
𝑚 = max(𝑝, 𝑞)
a definujme
𝑊𝑡 =
⎧
⎨
⎩
𝜎−1
𝜀 𝑌𝑡 1 ≤ 𝑡 ≤ 𝑚
𝜎−1
𝜀 Φ(𝐵)𝑌𝑡 = 𝜎−1
𝜀 (𝑌𝑡 − 𝜙1 𝑌𝑡−1 − · · · − 𝜙 𝑝 𝑌𝑡−𝑝) 𝑡 > 𝑚
RNDr. Marie Forbelská, Ph.D. 87
tedy pro 1 ≤ 𝑡 ≤ 𝑚 jde o 𝐴𝑅𝑀 𝐴(𝑝, 𝑞) proces s jednotkovým rozptylem a pro 𝑡 > 𝑚 jde o 𝑀 𝐴(𝑞) proces (opět
s jednotkovým rozptylem).
Zkoumejme jednokrokovou predikci tohoto transformovaného procesu. Zřejmě
ℳ 𝑛 = 𝑠𝑝{𝑌1, . . . , 𝑌 𝑛} = 𝑠𝑝{𝑊1, . . . , 𝑊 𝑛},
takže položíme-li
̂︁𝑊1 = 0 = 𝜇 𝑌 = 𝜇 𝑊 pro 𝑛 = 1,
pak pro 1 ≤ 𝑡 ≤ 𝑚
̂︁𝑊𝑡 = 𝑃 𝑠𝑝{𝑌1,...,𝑌 𝑡−1}(𝜎−1
𝜀 𝑌𝑡) = 𝜎−1
𝜀
̂︀𝑌𝑡
a pro 𝑡 > 𝑚
̂︁𝑊𝑡 = 𝑃 𝑠𝑝{𝑌1,...,𝑌 𝑡−1}(𝜎−1
𝜀 Φ(𝐵)𝑌𝑡)
= 𝜎−1
𝜀 𝑃 𝑠𝑝{𝑌1,...,𝑌 𝑡−1} (𝑌𝑡 − 𝜙1 𝑌𝑡−1 − · · · − 𝜙 𝑝 𝑌𝑡−𝑝)
= 𝜎−1
𝜀
(︁
̂︀𝑌𝑡 − 𝜙1 𝑌𝑡−1 − · · · − 𝜙 𝑝 𝑌𝑡−𝑝
)︁
.
Z předchozího také plyne, že
𝑊𝑡 − ̂︁𝑊𝑡 = 𝜎−1
𝜀 (𝑌𝑡 − ̂︀𝑌𝑡).
Použijeme-li inovační algoritmus na proces 𝑊𝑡, dostaneme
̂︁𝑊 𝑛+1 =
⎧
⎪⎪⎨
⎪⎪⎩
𝑛∑︀
𝑗=1
𝜃 𝑛,𝑗
(︁
𝑊 𝑛+1−𝑗 − ̂︁𝑊 𝑛+1−𝑗
)︁
1 ≤ 𝑛 ≤ 𝑚 − 1,
𝑞∑︀
𝑗=1
𝜃 𝑛,𝑗
(︁
𝑊 𝑛+1−𝑗 − ̂︁𝑊 𝑛+1−𝑗
)︁
𝑛 ≥ 𝑚.
Koeficienty 𝜃 𝑛,𝑗 se určí pomocí autokovarianční funkce procesu 𝑊𝑡 (viz inovační algoritmus). Zpětnou transformací
k původnímu procesu bude nejlepší lineární predikce o jeden krok dopředu rovna
̂︀𝑌 𝑛+1 =
⎧
⎪⎪⎪⎪⎪⎪⎨
⎪⎪⎪⎪⎪⎪⎩
0 𝑛 = 1
𝑛∑︀
𝑗=1
𝜃 𝑛,𝑗
(︁
𝑌 𝑛+1−𝑗 − ̂︀𝑌 𝑛+1−𝑗
)︁
1 ≤ 𝑛 ≤ 𝑚 − 1,
𝑝∑︀
𝑗=1
𝜙 𝑗 𝑌 𝑛+1−𝑗 +
𝑞∑︀
𝑗=1
𝜃 𝑛,𝑗
(︁
𝑌 𝑛+1−𝑗 − ̂︀𝑌 𝑛+1−𝑗
)︁
𝑛 ≥ 𝑚.
Při odvození predikce o ℎ > 1 kroků dopředu opět vyjdeme z transformovaného procesu 𝑊𝑡
̂︁𝑊 𝑛+ℎ|𝑛 =
⎧
⎨
⎩
𝑃 𝑠𝑝{𝑌1,...,𝑌 𝑛}(𝜎−1
𝜀 𝑌 𝑛+ℎ) 𝑛 + ℎ ≤ 𝑚,
𝑃 𝑠𝑝{𝑌1,...,𝑌 𝑛}
(︁
𝜎−1
𝜀 (𝑌 𝑛+ℎ −
∑︀ 𝑝
𝑗=1 𝜙 𝑗 𝑌 𝑛+ℎ−𝑗)
)︁
𝑛 + ℎ > 𝑚.
2.10. Yuleovy-Walkerovy rovnice a odhad parametrů v 𝐴𝑅(𝑝). Nechť {𝑌𝑡, 𝑡 ∈ Z} je centrovaný
kauzální autoregresní proces
𝐴𝑅(𝑝) : Φ(𝐵)𝑌𝑡 = 𝜀𝑡 𝜀𝑡 ∼ 𝑊 𝑁(0, 𝜎2
𝜀 ).
Vraťme se k Yuleovým-Walkerovým rovnicím
𝜌(0)
⏟ ⏞
=1
= 𝜙1 𝜌(1) + · · · + 𝜙 𝑝 𝜌(𝑝) + 𝜎2
𝜀
𝛾(0) ⇒ 𝜎2
𝜀 = 𝛾(0) [1 − 𝜙1 𝜌(1) − · · · − 𝜙 𝑝 𝜌(𝑝)]
𝜌(𝑘) = 𝜙1 𝜌(𝑘 − 1) + · · · + 𝜙 𝑝 𝜌(𝑘 − 𝑝) 𝑘 ≥ 1
Označíme-li
̂︀R 𝑝 = (̂︀𝜌(𝑖 − 𝑗)) 𝑝
𝑖,𝑗=1 ̂︀𝜌 𝑝 = (̂︀𝜌(1), . . . , ̂︀𝜌(𝑝))′
𝜑 𝑝 = (𝜙1, . . . , 𝜙 𝑝)′ ̂︀𝜑 𝑝 = ( ̂︀𝜙1, . . . , ̂︀𝜙 𝑝)′
a v Yuleových-Walkerových rovnicích nahradíme 𝜌(𝑘) odpovídajícími odhady ̂︀𝜌(𝑘), pak (pokud ̂︀𝛾(0) > 0)
dostaneme tzv. Yuleovy-Walkerovy odhady:
̂︀𝜑 𝑝 = ̂︀R−1
𝑝 ̂︀𝜌 𝑝
̂︀𝜎2
𝜀 = ̂︀𝛾(0)
(︁
1 − ̂︀𝜌′
𝑝
̂︀R−1
𝑝 ̂︀𝜌 𝑝
)︁ .
88 M5201 Stochastické modely časových řad
Věta 2.15. Nechť {𝑌𝑡, 𝑡 ∈ Z} je centrovaný kauzální autoregresní proces
𝐴𝑅(𝑝) : Φ(𝐵)𝑌𝑡 = 𝜀𝑡, kde 𝜀𝑡 ∼ 𝐼𝐼𝐷(0, 𝜎2
𝜀 ) a ̂︀𝜑 𝑝 je Yuleovův-Walkerův odhad 𝜑 𝑝 = (𝜙1, . . . , 𝜙 𝑝)′
, pak platí
√
𝑛
(︁
̂︀𝜑 𝑝 − 𝜑 𝑝
)︁
𝐴
∼ 𝑁 𝑝
(︁
O, 𝜎2
𝜀 Γ−1
𝑝
)︁
,
kde Γ 𝑝 = (𝛾(𝑖 − 𝑗)) 𝑝
𝑖,𝑗=1. Kromě toho platí
̂︀𝜎2
𝜀
𝑃
−→ 𝜎2
𝜀 .
Důkaz. viz Brockwell, Davis (1991, [5], str. 255–257).
Z předchozích tvrzení plyne, že odhady získané řešením Yuleových-Walkerových rovnic jsou asymptoticky
nestranné a lze pro ně konstruovat asymptotické intervaly spolehlivosti.
V praktických situacích však skutečný řád 𝑝 autoregresního procesu neznáme. V tom případě se využijí
tvrzení následující věty.
Věta 2.16. Nechť {𝑌𝑡, 𝑡 ∈ Z} je centrovaný kauzální autoregresní proces
𝐴𝑅(𝑝) : Φ(𝐵)𝑌𝑡 = 𝜀𝑡, kde 𝜀𝑡 ∼ 𝐼𝐼𝐷(0, 𝜎2
𝜀 ) a
̂︀𝜑 𝑚 =
(︁
̂︀𝜑 𝑚,1, . . . , ̂︀𝜑 𝑚,𝑚
)︁′
= ̂︀R−1
𝑚 ̂︀𝜌 𝑚, 𝑚 > 𝑝,
pak platí
√
𝑛
(︁
̂︀𝜑 𝑚 − 𝜑 𝑚
)︁
𝐴
∼ 𝑁 𝑚
(︁
O, 𝜎2
𝜀 Γ−1
𝑚
)︁
,
kde Γ 𝑚 = (𝛾(𝑖 − 𝑗)) 𝑚
𝑖,𝑗=1, 𝜑 𝑚 jsou koeficienty nejlepší lineární predikce 𝜑 𝑚Y 𝑚 = 𝒫 𝑠𝑝{𝑌 𝑚,...,𝑌1} 𝑌 𝑚+1, přičemž
Y 𝑚 = (𝑌 𝑚, . . . , 𝑌1)′, tj. 𝜑 𝑚 = R−1
𝑚 𝜌 𝑚, přičemž R 𝑚 = (𝜌(𝑖 − 𝑗)) 𝑚
𝑖𝑗=1.
Speciálně pro 𝑚 > 𝑝 platí
√
𝑛 𝜑 𝑚,𝑚
𝐴
∼ 𝑁(0, 1).
Důkaz. viz Brockwell, Davis (1991, [5], str. 255–257).
2.11. Předběžné odhady v 𝐴𝑅(𝑝) a Durbin-Levinsův algoritmus. Předpokládejme, že máme k dispozici
pozorování
𝑦1, . . . , 𝑦 𝑛
centrované stacionární posloupnosti
{𝑌𝑡, 𝑡 ∈ Z} ∼ 𝐴𝑅(𝑚) : Φ(𝐵)𝑌𝑡 = 𝜀𝑡 𝜀𝑡 ∼ 𝑊 𝑁(0, 𝜎2
𝜀 ).
Za předpokladu, že ̂︀𝛾(0) > 0, pak můžeme odhadnout neznámé parametry autoregresního modelu řádu
𝑚 < 𝑛 pomocí Yuleových-Walkerových rovnic. Odhadnutý 𝐴𝑅(𝑚) proces je tvaru
𝑌𝑡 − ̂︀𝜑 𝑚,1 𝑌𝑡−1 − · · · − ̂︀𝜑 𝑚,𝑚 𝑌𝑡−𝑚 = 𝜀𝑡 𝜀𝑡 ∼ 𝑊 𝑁(0, ̂︀𝑣 𝑚),
kde
̂︀𝜑 𝑚 =
(︁
̂︀𝜑 𝑚,1, . . . , ̂︀𝜑 𝑚,𝑚
)︁′
= ̂︀R−1
𝑚 ̂︀𝜌 𝑚
̂︀𝑣 𝑚 = ̂︀𝛾(0)
(︁
1 − ̂︀𝜌′
𝑚
̂︀R−1
𝑚 ̂︀𝜌 𝑚
)︁
.
Jestliže ̂︀𝛾(0) > 0, pak R1, R2, . . . nejsou singulární a můžeme využít Durbin-Levinsův algoritmus pro postupné
odhady autoregresních koeficientů ̂︀𝜑1, ̂︀𝜑2 a odhady variability bílého šumu ̂︀𝑣1, ̂︀𝑣2, . . . .
Věta 2.17 (Durbin-Levinsův algoritmus). Jestliže ̂︀𝛾(0) > 0, pak parametry ̂︀𝜑 𝑚,1, . . . , ̂︀𝜑 𝑚,𝑚 a ̂︀𝑣 𝑚 autoregresního
modelu
𝑌𝑡 − ̂︀𝜑 𝑚,1 𝑌𝑡−1 − · · · − ̂︀𝜑 𝑚,𝑚 𝑌𝑡−𝑚 = 𝜀𝑡 𝜀𝑡 ∼ 𝑊 𝑁(0, ̂︀𝑣 𝑚),
RNDr. Marie Forbelská, Ph.D. 89
pro 𝑚 = 1, . . . , 𝑛 − 1 lze získat rekurzivně ze vztahů
̂︀𝜑1,1 = ̂︀𝛾(1)
̂︀𝛾(0)
= ̂︀𝜌(1) ̂︀𝑣0 = ̂︀𝛾(0) (22)
̂︀𝜑 𝑚,𝑚 =
[︁
̂︀𝛾(𝑚) − ̂︀𝜑
′
𝑚−1 ̂︀𝛾 𝑚−1
]︁
/̂︀𝑣 𝑚−1 (23)
̂︀𝜑
(1)
𝑚 = ̂︀𝜑 𝑚−1 − ̂︀𝜑 𝑚,𝑚
̂︀𝜑
*
𝑚−1 ̂︀𝑣 𝑚 = ̂︀𝑣 𝑚−1
(︁
1 − ̂︀𝜑2
𝑚,𝑚
)︁
(24)
kde
̂︀𝜑 𝑚−1 = (̂︀𝜑 𝑚−1,1, . . . , ̂︀𝜑 𝑚−1,𝑚−1)′ ̂︀𝜑
*
𝑚−1 = (̂︀𝜑 𝑚−1,𝑚−1, . . . , ̂︀𝜑 𝑚−1,1)′
̂︀𝜑 𝑚 = (̂︀𝜑 𝑚,1, . . . , ̂︀𝜑 𝑚,𝑚−1, ̂︀𝜑 𝑚,𝑚)′ ̂︀𝜑
(1)
𝑚 = (̂︀𝜑 𝑚,1, . . . , ̂︀𝜑 𝑚,𝑚−1)′
2.12. Předběžné odhady v 𝑀 𝐴(𝑞) a inovační algoritmus. Jestliže chceme na základě pozorování
𝑦1, . . . , 𝑦 𝑛 centrované stacionární posloupnosti provést odhad 𝑀 𝐴(𝑚) (𝑚 = 1, 2, . . . , 𝑛 − 1) ve tvaru
𝑌𝑡 = 𝜀𝑡 + ̂︀𝜃 𝑚,1 𝜀𝑡−1 + · · · + ̂︀𝜃 𝑚,𝑚 𝜀𝑡−𝑚 𝜀𝑡 ∼ 𝑊 𝑁(0, ̂︀𝑣 𝑚),
můžeme využít inovační algoritmus.
Věta 2.18. Jestliže ̂︀𝛾(0) > 0, pak odhady parametrů 𝑀 𝐴 procesů lze provést pomocí následujících rekurentních
vztahů
̂︀𝑣0 = ̂︀𝛾(0)
̂︀𝜃 𝑚,𝑚−𝑘 = ̂︀𝑣−1
𝑘
⎡
⎣̂︀𝛾(𝑚 − 𝑘) −
𝑘−1∑︁
𝑗=0
̂︀𝜃 𝑚,𝑘−𝑗
̂︀𝜃 𝑚,𝑚−𝑗 ̂︀𝑣 𝑗
⎤
⎦ 𝑘 = 0, . . . , 𝑚 − 1
̂︀𝑣 𝑚 = ̂︀𝛾(0) −
𝑚−1∑︁
𝑗=0
𝜃2
𝑚,𝑚−𝑗 ̂︀𝑣 𝑗
Označme
̂︀𝜃 𝑚 =
(︁
̂︀𝜃 𝑚,1, . . . , ̂︀𝜃 𝑚,𝑚
)︁′
.
Pak platí věta
Věta 2.19. Nechť {𝑌𝑡, 𝑡 ∈ Z} je kauzální a invertibilní 𝐴𝑅𝑀 𝐴 proces
Φ(𝐵)𝑌𝑡 = Θ(𝐵)𝜀𝑡, 𝜀𝑡 ∼ 𝐼𝐼𝐷(0, 𝜎2
𝜀 ), 𝐸𝜀4
𝑡 < ∞ a 𝜓(𝑧) =
∑︀∞
𝑗=0 Ψ 𝑗 𝑧 𝑗 = Θ(𝑧)
Φ(𝑧) , |𝑧| ≤ 1. Pak pro libovolnou posloupnost
kladných celých čísel {𝑚(𝑛)}∞
𝑛=1 takovou, že 𝑚 < 𝑛, 𝑚 → ∞ a 𝑚 = 𝑜
(︁
𝑛
1
3
)︁
, když 𝑛 → ∞, pro každé 𝑘 platí
√
𝑛
(︁
̂︀𝜃 𝑚,1 − 𝜓1, ̂︀𝜃 𝑚,2 − 𝜓2, . . . , ̂︀𝜃 𝑚,𝑘 − 𝜓 𝑘,
)︁′ 𝐴
∼ 𝑁 𝑘(0, A),
kde A = (𝑎𝑖𝑗) 𝑘
𝑖,𝑗=1 a
𝑎𝑖𝑗 =
min(𝑖,𝑗)
∑︁
𝑟=1
𝜓𝑖−𝑟 𝜓 𝑗−𝑟.
Kromě toho platí
̂︀𝑣 𝑚
𝑃
−→ 𝜎2
𝜀 .
Důkaz. viz Brockwell, Davis (1991, [5], str. 239).
I když rekurentní odhady koeficientů 𝑀 𝐴 procesů pomocí inovačního algoritmu jsou analogické jako rekurentní
odhady koeficientů 𝐴𝑅 procesů pomocí Durbin-Levinsonova algoritmu, je mezi nimi přece jen jistý
rozdíl. Pro odhady ̂︀𝜑 𝑝 = (̂︀𝜑 𝑝,1, . . . , ̂︀𝜑 𝑝,𝑝)′ pomocí Durbin-Levinsonova algoritmu platí
̂︀𝜑 𝑝
𝑃
−→ 𝜑 𝑝,
avšak odhady ̂︀𝜃 𝑞 = (̂︀𝜃 𝑞,1, . . . , ̂︀𝜃 𝑞,𝑞)′ nekonvergují podle pravděpodobnosti k 𝜃 𝑞. Ke konvergenci podle pravděpodobnosti
je třeba odhad (̂︀𝜃 𝑚,1, . . . , ̂︀𝜃 𝑚,𝑞)′, kde posloupnost {𝑚(𝑛)}∞
𝑛=1 splňuje podmínky předchozí věty. Výběr
𝑚 (maximálně až do 𝑛
4 ) pro výběr pevné délky se volí tak, aby odhady (̂︀𝜃 𝑚,1, . . . , ̂︀𝜃 𝑚,𝑞)′ se stabilizovaly.
90 M5201 Stochastické modely časových řad
2.13. Předběžné odhady v 𝐴𝑅𝑀 𝐴(𝑝, 𝑞) procesu. Nechť {𝑌𝑡, 𝑡 ∈ Z} je kauzální a invertibilní 𝐴𝑅𝑀 𝐴
proces
{𝑌𝑡, 𝑡 ∈ Z} ∼ 𝐴𝑅𝑀 𝐴(𝑝, 𝑞) : Φ(𝐵)𝑌𝑡 = Θ(𝐵)𝜀𝑡 𝜀𝑡 ∼ 𝑊 𝑁(0, 𝜎2
𝜀 ).
Z kauzality vyplývá, že existuje posloupnost {𝜓 𝑗}∞
𝑗=0 taková, že
∑︀∞
𝑗=0 |𝜓 𝑗| < ∞ a platí 𝑌𝑡 =
∑︀∞
𝑗=0 𝜓 𝑗 𝜀𝑡−𝑗, tj.
pro |𝑧| ≤ 1 dostáváme
Ψ(𝑧) = Θ(𝑧)
Φ(𝑧) ⇒ Φ(𝑧)Ψ(𝑧) = Θ(𝑧).
Koeficienty {𝜓 𝑗}∞
𝑗=0 se určí ze vztahu
(1−𝜙1 𝑧−𝜙1 𝑧2−· · ·−𝜙 𝑝 𝑧 𝑝)(𝜓0+𝜓1 𝑧+𝜓2 𝑧2+· · · )=(1+𝜃1 𝑧+𝜃2 𝑧2+· · ·+𝜃 𝑞 𝑧 𝑞)
porovnáním koeficientů u mocnin proměnné 𝑧 , tj.
𝑧0 : 𝜓0 = 1 ⇒ 𝜓0 = 1
𝑧1 : 𝜓1 − 𝜙1 = 𝜃1 ⇒ 𝜓1 = 𝜃1 + 𝜙1
𝑧2 : 𝜓2 − 𝜙1 𝜓1 − 𝜙2 = 𝜃2 ⇒ 𝜓2 = 𝜃2 + 𝜙1 𝜓1 + 𝜙2
𝑧3 : 𝜓3 − 𝜙2 𝜓1 − 𝜙1 𝜓2 − 𝜙3 = 𝜃3 ⇒ 𝜓3 = 𝜃3 + 𝜙2 𝜓1 + 𝜙1 𝜓2 + 𝜙3
...
Obecně, položíme-li
𝜃 𝑗 = 0 pro 𝑗 > 𝑞
𝜙 𝑗 = 0 𝑗 > 𝑝
dostaneme
𝜓0 = 1
𝜓 𝑗 = 𝜃 𝑗 +
min(𝑗,𝑝)∑︀
𝑖=1
𝜙𝑖 𝜓 𝑗−𝑖
𝑗 = 1, 2, . . .
Za předběžné odhady 𝜓1, 𝜓2, . . . , 𝜓 𝑝+𝑞 použijeme inovační odhady
̂︀𝜃 𝑚,1, . . . , ̂︀𝜃 𝑚,𝑝+𝑞, jejichž asymptotické vlastnosti dává předchozí věta. Takže dostáváme
̂︁𝜎2
𝜀 = ̂︀𝑣 𝑚
a
̂︀𝜃 𝑚,𝑗 = 𝜃 𝑗 +
min(𝑗,𝑝)
∑︁
𝑖=1
𝜙𝑖
̂︀𝜃 𝑚,𝑗−𝑖 𝑗 = 1, 2, . . . , 𝑝 + 𝑞.
Nejprve uvažujeme rovnice pro 𝑗 = 𝑞 + 1, . . . , 𝑝 + 𝑞
⎛
⎜
⎜
⎜
⎜
⎜
⎜
⎝
̂︀𝜃 𝑚,𝑞+1
̂︀𝜃 𝑚,𝑞+2
...
̂︀𝜃 𝑚,𝑞+𝑝−1
̂︀𝜃 𝑚,𝑞+𝑝
⎞
⎟
⎟
⎟
⎟
⎟
⎟
⎠
=
⎛
⎜
⎜
⎜
⎜
⎜
⎜
⎝
̂︀𝜃 𝑚,𝑞
̂︀𝜃 𝑚,𝑞−1 · · · · · · ̂︀𝜃 𝑚,𝑞+1−𝑝
̂︀𝜃 𝑚,𝑞+1
̂︀𝜃 𝑚,𝑞
̂︀𝜃 𝑚,𝑞−1 · · · ̂︀𝜃 𝑚,𝑞+2−𝑝
...
...
...
...
...
̂︀𝜃 𝑚,𝑞+𝑝−2 · · · ̂︀𝜃 𝑚,𝑞+1
̂︀𝜃 𝑚,𝑞
̂︀𝜃 𝑚,𝑞−1
̂︀𝜃 𝑚,𝑞+𝑝−1 · · · · · · ̂︀𝜃 𝑚,𝑞+1
̂︀𝜃 𝑚,𝑞
⎞
⎟
⎟
⎟
⎟
⎟
⎟
⎠
⎛
⎜
⎜
⎜
⎜
⎜
⎜
⎝
𝜙1
𝜙2
...
𝜙 𝑝−1
𝜙 𝑝
⎞
⎟
⎟
⎟
⎟
⎟
⎟
⎠
.
Řešením těchto rovnic dostaneme odhady ̂︀𝜙1, . . . , ̂︀𝜙 𝑝. Nakonec získáme odhady ̂︀𝜃1, . . . , ̂︀𝜃 𝑞 ze vztahů
̂︀𝜃 𝑗 = ̂︀𝜃 𝑚,𝑗 −
min(𝑗,𝑝)
∑︁
𝑖=1
̂︀𝜙𝑖
̂︀𝜃 𝑚,𝑗−𝑖 𝑗 = 1, . . . , 𝑞.
Poznámka 2.20. Pro 𝑀 𝐴(𝑞) platí ̂︀𝜃 𝑗 = ̂︀𝜃 𝑚,𝑗 , neboť 𝑝 = 0.
2.14. Maximálně věrohodné odhady. Předpokládejme, že {𝑌𝑡, 𝑡 ∈ Z} je Gaussovský proces s nulovou
střední hodnotou a kovarianční funkcí
𝛾(𝑖, 𝑗) = 𝐸𝑋𝑖 𝑋 𝑗.
Označme
Y 𝑛 = (𝑌1, . . . , 𝑌 𝑛)′
a Γ 𝑛 = (𝛾(𝑖, 𝑗)) 𝑛
𝑖,𝑗=1 .
Věrohodnostní funkce náhodného vektoru Y 𝑛 je tvaru
𝐿(Γ 𝑛) = (2𝜋)−
𝑛
2 |Γ 𝑛|−
1
2 exp{−1
2Y′
𝑛Γ−1
𝑛 Y 𝑛}.
Dále označme
ℳ 𝑛 = 𝑠𝑝{𝑌 𝑛, . . . , 𝑌1}
RNDr. Marie Forbelská, Ph.D. 91
a
̂︀𝑌 𝑛 =
{︃
0 (= 𝜇 𝑌 ) pro 𝑛 = 1
𝑃ℳ 𝑛−1 (𝑌 𝑛) pro 𝑛 = 2, 3, . . .
pak zřejmě
ℳ 𝑛 = 𝑠𝑝{𝑌 𝑛 − ̂︀𝑌 𝑛, . . . , 𝑌1 − ̂︀𝑌1} 𝑛 ≥ 1.
Pro nejlepší lineární predikce použijme inovační algoritmus, podle kterého
̂︀𝑌 𝑛+1 =
{︃
0 𝑛 = 0
∑︀ 𝑛
𝑗=1 𝜃 𝑛,𝑗
(︁
𝑌 𝑛+1−𝑗 − ̂︀𝑌 𝑛+1−𝑗
)︁
𝑛 = 1, 2, . . .
přičemž střední kvadratickou chybu označme
𝑣 𝑛 =
⃦
⃦
⃦ 𝑌 𝑛+1 − ̂︀𝑌 𝑛+1
⃦
⃦
⃦
2
.
Označíme-li
̂︀Y 𝑛 = (̂︀𝑌1, . . . , ̂︀𝑌 𝑛)′
a
C 𝑛 =
⎛
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎝
1 0 · · · · · · · · · 0
𝜃1,1 1 0 · · · · · · 0
𝜃2,2 𝜃2,1 1 0 · · · 0
...
...
...
...
...
...
𝜃 𝑛−2,𝑛−2 𝜃 𝑛−2,𝑛−3 · · · −𝜃 𝑛−2,1 1 0
𝜃 𝑛−1,𝑛−1 𝜃 𝑛−1,𝑛−2 · · · · · · 𝜃 𝑛−1,1 1
⎞
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎠
,
pak můžeme psát
̂︀Y 𝑛 = (C 𝑛 − I 𝑛)(Y 𝑛 − ̂︀Y 𝑛).
Postupně upravujme
Y 𝑛 = Y 𝑛− ̂︀Y 𝑛+ ̂︀Y 𝑛 =(Y 𝑛− ̂︀Y 𝑛)+(C 𝑛−I 𝑛)(Y 𝑛− ̂︀Y 𝑛)=C 𝑛(Y 𝑛− ̂︀Y 𝑛).
Tento výsledek použijme při vyjádření varianční matice
Γ 𝑛 = 𝐸Y 𝑛Y′
𝑛 = 𝐸
[︁
C 𝑛(Y 𝑛 − ̂︀Y 𝑛)(Y 𝑛 − ̂︀Y 𝑛)′
C′
𝑛
]︁
= C 𝑛 𝐸
[︁
(Y 𝑛 − ̂︀Y 𝑛)(Y 𝑛 − ̂︀Y 𝑛)′
]︁
C′
𝑛
Nyní počítejme
𝐸
[︁
(Y 𝑛−̂︀Y 𝑛)(Y 𝑛−̂︀Y 𝑛)′
]︁
=
⎛
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎝
𝐸(𝑌1−̂︀𝑌1)2
⏟ ⏞
=𝑣0
𝐸(𝑌1−̂︀𝑌1)(𝑌2−̂︀𝑌2)
⏟ ⏞
=0
· · · 𝐸(𝑌1−̂︀𝑌1)(𝑌 𝑛−̂︀𝑌 𝑛)
⏟ ⏞
=0
𝐸(𝑌2−̂︀𝑌2)(𝑌1−̂︀𝑌1)
⏟ ⏞
=0
𝐸(𝑌2−̂︀𝑌2)2
⏟ ⏞
=𝑣1
· · · 𝐸(𝑌2−̂︀𝑌2)(𝑌 𝑛−̂︀𝑌 𝑛)
⏟ ⏞
=0
...
...
...
...
𝐸(𝑌 𝑛−̂︀𝑌 𝑛)(𝑌1−̂︀𝑌1)
⏟ ⏞
=0
· · · 𝐸(𝑌 𝑛−̂︀𝑌 𝑛)(𝑌 𝑛−1−̂︀𝑌 𝑛−1)
⏟ ⏞
=0
𝐸(𝑌 𝑛−̂︀𝑌 𝑛)2
⏟ ⏞
=𝑣 𝑛−1
⎞
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎠
= diag{𝑣0, . . . , 𝑣 𝑛−1} = D 𝑛.
Takže
Γ 𝑛 = C 𝑛D 𝑛C′
𝑛 .
Počítejme dále
Y′
𝑛Γ−1
𝑛 Y 𝑛 = (Y 𝑛 − ̂︀Y 𝑛)′
C′
𝑛
[︀
C 𝑛D 𝑛C′
𝑛
]︀−1
C 𝑛(Y 𝑛 − ̂︀Y 𝑛)
= (Y 𝑛 − ̂︀Y 𝑛)′
C′
𝑛
(︀
C′
𝑛
)︀−1
D−1
𝑛 C−1
𝑛 C 𝑛(Y 𝑛 − ̂︀Y 𝑛)
= (Y 𝑛 − ̂︀Y 𝑛)′
D−1
𝑛 (Y 𝑛 − ̂︀Y 𝑛)
=
𝑛∑︁
𝑗=1
(𝑌 𝑗 − ̂︀𝑌 𝑗)2
𝑣 𝑗−1
.
92 M5201 Stochastické modely časových řad
Dále zřejmě platí
|Γ 𝑛| = |C 𝑛D 𝑛C′
𝑛| = |C 𝑛|
⏟ ⏞
=1
|D 𝑛| |C′
𝑛|
⏟ ⏞
=1
= 𝑣0 𝑣1 · · · 𝑣 𝑛−1 .
Takže věrohodnostní funkce náhodného vektoru Y 𝑛 je tvaru
𝐿(Γ 𝑛) = (2𝜋)−
𝑛
2 (𝑣0 𝑣1 · · · 𝑣 𝑛−1)−
1
2 exp
⎧
⎨
⎩
−1
2
𝑛∑︁
𝑗=1
(𝑌 𝑗 − ̂︀𝑌 𝑗)2
𝑣 𝑗−1
⎫
⎬
⎭
.
Nechť {𝑌𝑡, 𝑡 ∈ Z} je kauzální a invertibilní 𝐴𝑅𝑀 𝐴 proces
{𝑌𝑡, 𝑡 ∈ Z} ∼ 𝐴𝑅𝑀 𝐴(𝑝, 𝑞) : Φ(𝐵)𝑌𝑡 = Θ(𝐵)𝜀𝑡 𝜀𝑡 ∼ 𝑁(0, 𝜎2
𝜀 ).
Ukazuje se (viz Brockwell, Davis, 1991, [5], str. 168–170), že k velkému zjednodušení jednokrokové predikce
dojde, pokud inovační algoritmus aplikujeme ne na 𝑌𝑡, ale na následující transformovaný proces
𝑊𝑡 =
{︃
𝜎−1
𝜀 𝑌𝑡 𝑡 = 1, . . . , 𝑚; 𝑚 = max(𝑝, 𝑞)
Φ(𝐵)𝑌𝑡 𝑡 > 𝑚.
Poznamenejme nejprve, že zřejmě
𝑠𝑝{𝑌1, . . . , 𝑌 𝑛} = 𝑠𝑝{𝑊1, . . . , 𝑊 𝑛} 𝑛 ≥ 1.
Označme
̂︁𝑊 𝑗+1 =
{︃
0 = ̂︀𝑌1 𝑗 = 0,
𝑃 𝑠𝑝{𝑊1,...,𝑊 𝑗}(𝑊 𝑗+1) 𝑗 ≥ 1.
Pak platí
̂︁𝑊𝑡 =
⎧
⎨
⎩
𝜎−1
𝜀
̂︀𝑌𝑡 𝑡 = 1, . . . , 𝑚; 𝑚 = max(𝑝, 𝑞),
𝜎−1
𝜀
[︁
̂︀𝑌𝑡 − 𝜙1 𝑌𝑡−1 − · · · − 𝜙 𝑝 𝑌𝑡−𝑝
]︁
𝑡 > 𝑚,
takže
𝑌𝑡 − ̂︀𝑌𝑡 = 𝜎 𝜀(𝑊𝑡 − ̂︁𝑊𝑡).
Při aplikaci inovačního algoritmu na 𝑊𝑡 dostaneme 𝜃 𝑛,𝑗 a střední kvadratické chyby, které označme 𝑟 𝑗.
Pak z předchozích vztahů vyplývá, že platí
̂︀𝑌 𝑛+1 =
⎧
⎨
⎩
∑︀ 𝑛
𝑗=1 𝜃 𝑛,𝑗(𝑌 𝑛+1−𝑗 − ̂︀𝑌 𝑛+1−𝑗) 1 ≤ 𝑛 < 𝑚,
𝜙1 𝑌 𝑛 + · · · + 𝜙 𝑝 𝑌 𝑛+1−𝑝 +
∑︀ 𝑞
𝑗=1 𝜃 𝑛,𝑗(𝑌 𝑛+1−𝑗 − ̂︀𝑌 𝑛+1−𝑗) 𝑛 ≥ 𝑚.
a
𝑣 𝑛 = 𝐸(𝑌 𝑛+1 − ̂︀𝑌 𝑛+1)2
= 𝜎2
𝜀 𝐸(𝑊 𝑛+1 − ̂︁𝑊 𝑛+1)2
= 𝜎2
𝜀 𝑟 𝑛 .
Takže věrohodnostní funkce náhodného vektoru Y 𝑛 je tvaru
𝐿(𝜑, 𝜃, 𝜎2
𝜀 ) = (2𝜋𝜎2
𝜀 )−
𝑛
2 (𝑟0 𝑟1 · · · 𝑟 𝑛−1)−
1
2 exp
⎧
⎨
⎩
− 1
2𝜎2
𝜀
𝑛∑︁
𝑗=1
(𝑌 𝑗 − ̂︀𝑌 𝑗)2
𝑟 𝑗−1
⎫
⎬
⎭
.
Pokud položíme
𝜕 ln 𝐿
𝜕𝜎2
𝜀
= 0,
a budeme předpokládat, že ̂︀𝑌 𝑗 a 𝑟 𝑗 jsou nezávislé na 𝜎2
𝜀 , dostaneme
̂︁𝜎2
𝜀 = 1
𝑛 𝑆(̂︀𝜑, ̂︀𝜃) ,
kde
𝑆(̂︀𝜑, ̂︀𝜃) =
𝑛∑︁
𝑗=1
(𝑌 𝑗 − ̂︀𝑌 𝑗)2
𝑟 𝑗−1
a ̂︀𝜑 a ̂︀𝜃 jsou hodnoty, které minimalizují tzv. redukovaný logaritmus věrohodnostní funkce
𝑙(̂︀𝜑, ̂︀𝜃) = ln
(︁
1
𝑛 𝑆(̂︀𝜑, ̂︀𝜃)
)︁
+ 1
𝑛
𝑛∑︁
𝑗=1
ln 𝑟 𝑗−1 .
RNDr. Marie Forbelská, Ph.D. 93
Poznámka 2.21. Alternativou k maximalizaci 𝐿(𝜑, 𝜃, 𝜎2
𝜀 ) je minimalizace váženého součtu čtverců
𝑆(𝜑, 𝜃) =
𝑛∑︁
𝑗=1
(𝑌 𝑗 − ̂︀𝑌 𝑗)2
𝑟 𝑗−1
,
přičemž
˜𝜎2
𝜀 =
1
𝑛 − 𝑝 − 𝑞
𝑆(˜𝜑, ˜𝜃)
a platí
𝑆(˜𝜑, ˜𝜃)
˜𝜎2
𝜀
𝐴
∼ 𝜒2
(𝑛 − 𝑝 − 𝑞).
(viz Brockwell, Davis, 1991, [5], S8.9).
Takto získané odhady se nazývají odhady metodou nejmenších čtverců. což vede k systému nelineárních
rovnic.
Pokud chceme zkoumat asymptotické vlastnosti maximálně věrohodných odhadů, musíme zesílit
předpoklady: nechť {𝑌𝑡, 𝑡 ∈ Z} je kauzální a invertibilní 𝐴𝑅𝑀 𝐴 proces
{𝑌𝑡, 𝑡 ∈ Z} ∼ 𝐴𝑅𝑀 𝐴(𝑝, 𝑞) : Φ(𝐵)𝑌𝑡 = Θ(𝐵)𝜀𝑡 𝜀𝑡 ∼ 𝐼𝐼𝐷(0, 𝜎2
𝜀 )
a nechť Φ(𝑧) a Θ(𝑧) nemají společné kořeny.
Pak, označíme-li maximálně věrohodný odhad neznámých parametrů
𝛽 = (𝜑′
, 𝜃′
, 𝜎2
𝜀 )′
symbolem
̂︀𝛽 𝑀 𝐿𝐸 = (̂︀𝜑
′
, ̂︀𝜃
′
, ̂︁𝜎2
𝜀 )′
,
platí
√
𝑛
(︁
̂︀𝛽 𝑀 𝐿𝐸 − 𝛽
)︁
𝐴
∼ 𝑁 𝑛+𝑝+1(0, 𝑉 (𝛽)),
kde
𝑉 (𝛽) = 𝜎2
𝜀
(︃
𝐸U𝑡U′
𝑡 𝐸U𝑡V′
𝑡
𝐸V𝑡U′
𝑡 𝐸V𝑡V𝑡
)︃−1
,
přičemž
U𝑡 = (𝑈𝑡, . . . , 𝑈𝑡+1−𝑝)′
V𝑡 = (𝑉𝑡, . . . , 𝑉𝑡+1−𝑞)′
a {𝑈𝑡, 𝑡 ∈ Z} i {𝑉𝑡, 𝑡 ∈ Z} jsou autoregresní procesy
Φ(𝐵)𝑈𝑡 = 𝜀𝑡
Θ(𝐵)𝑉𝑡 = 𝜀𝑡
(viz Brockwell, Davis, 1991, [5], S8.9).
KAPITOLA 4
Nestacionární jednorozměrné náhodné procesy
Až dosud jsme uvažovali pouze o procesech (slabě) stacionárních. V reálných situacích se však se stacionárními
procesy setkáváme pouze zřídka.
Obecně rozlišujeme dva druhy nestacionarity ∙ ve střední hodnotě,
∙ v rozptylu.
1. Procesy nestacionární ve střední hodnotě
1.1. Úvod.
Nejprve je třeba vysvětlit a odlišit pojmy, a to deterministický a stochastický trend.
Deterministický trend:
pokud nestacionaritu ve střední hodnotě chápeme jako funkci času, pak k jeho modelování
můžeme použít například
polynomický trend: 𝑓(𝑡) = 𝛽0 + 𝛽1 𝑡 + · · · + 𝛽 𝑑 𝑡 𝑑,
periodický trend: 𝑓(𝑡) = 𝜇 +
∑︀ 𝑝
𝑗=1(𝛼 𝑗 𝑐𝑜𝑠𝜆 𝑗 𝑡 + 𝛽 𝑗 𝑠𝑖𝑛𝜆 𝑗 𝑡).
Stochastický trend:
U 𝐴𝑅𝑀 𝐴 procesů jsem požadovali, aby všechny kořeny polynomu
Φ(𝑧) = 1 − 𝜙1 𝑧 − · · · − 𝜙 𝑝 𝑧 𝑝
ležely vně jednotkové kružnice, tj. aby proces byl kauzální.
Pokud však nějaký kořen leží
∙ na jednotkové kružnici,
mluvíme o procesu nestacionárním se stochastickým trendem,
∙ uvnitř jednotkové kružnice,
mluvíme o procesu nestacionárním explozivního typu.
1.2. Stacionární procesy kolem deterministického trendu.
Jestliže pro náhodný proces platí vztah
𝑌𝑡 = 𝑓(𝑡) + 𝜂𝑡, kde 𝜂𝑡 ∼ 𝐴𝑅𝑀 𝐴(𝑝, 𝑞),
pak odečtením deterministického trendu dostaneme stacionární proces
𝑌𝑡 − 𝑓(𝑡) = 𝜂𝑡, kde 𝜂𝑡 ∼ 𝐴𝑅𝑀 𝐴(𝑝, 𝑞).
Jako příklad můžeme uvést týdenní časovou řadu s počty úmrtí na kardiovaskulární choroby s deterministickou
funkcí ve tvaru
𝑓(𝑡) = 𝛽0 + 𝛽1 𝑡 + 𝛽2 𝑡2
+ 𝛽3 𝑡3
⏟ ⏞
trend
+ 𝛼1 cos(2𝜋𝑡/52) + 𝛼2 sin(2𝜋𝑡/52)
⏟ ⏞
sezónnost
95
96 M5201 Stochastické modely časových řad
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
qq
q
q
qq
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qqq
q
q
q
q
q
q
q
qqq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qqq
q
q
q
q
q
q
qq
q
qq
q
q
q
q
q
q
q
q
q
qq
q
qq
qq
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
qqq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
qq
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
qq
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
qq
qq
q
q
q
q
q
q
q
q
q
qq
q
q
q
qq
q
q
q
qq
q
q
q
q
q
q
qq
q
q
qq
q
q
q
qq
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
qq
qq
q
qq
q
q
q
q
qqqq
q
q
q
q
qq
q
q
qqq
q
q
qq
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
qq
qq
q
q
q
qq
q
q
q
q
qq
qqq
q
q
q
q
q
qq
q
q
q
qq
q
q
q
q
q
q
q
qqq
q
q
q
q
qq
q
q
q
q
q
q
q
q
qqq
q
q
q
q
q
q
q
qq
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
Time
mortality
1970 1972 1974 1976 1978 1980
708090100110120130
Obrázek 1. Ukázka stacionárního náhodného procesu kolem deterministického trendu.
Této třídě náhodných procesů se také někdy říká integrované procesy řádu nula, popř. se nazývají
trendově stacionární a píše se
𝑌𝑡 ∼ 𝐼(0).
Ihned vidíme, že 𝐴𝑅𝑀 𝐴(𝑝, 𝑞) procesy jsou integrovanými procesy řádu nula, neboť v tom případě
𝑓(𝑡) ≡ 0,
pro centrované stacionární náhodné procesy, popřípadě
𝑓(𝑡) ≡ 𝜇 < ∞
pro necentrované stacionární náhodné procesy.
K modelování nestaconarity ve střední hodnotě chápané jako funkci času se využívají regresní modely,
které vycházejí z rozkladu (dekompozice) časové řady na několik složek.
Dekompozicí časové řady rozumíme rozklad časové řady na deterministickou a náhodnou složku,
která má v případě
aditivního modelu tvar 𝑌𝑡 = 𝑇 𝑟𝑡 + 𝑆𝑧𝑡 + 𝜀𝑡,
multiplikativního modelu 𝑌𝑡 = 𝑇 𝑟𝑡 · 𝑆𝑧𝑡 · 𝜀𝑡.
Jednotlivé složky
𝑇 𝑟𝑡, 𝑆𝑧𝑡 trend a sezónní složka mají deterministický charakter
𝜀𝑡 náhodné fluktuace mají stochastický charakter,
přičemž {𝜀𝑡, 𝑡 ∈ Z} je bílý šum s nulovou střední hodnotou 𝐸𝜀𝑡 = 0, který je nekorelovaný, tj.
𝐶(𝜀𝑡, 𝜀 𝑠) = 𝐸𝜀𝑡 𝜀 𝑠 =
{︃
0 𝑠 ̸= 𝑡,
𝐷𝜀𝑡 = 𝜎2 𝑠 = 𝑡.
Značíme 𝜀 ∼ ℒ 𝑛(0, 𝜎2
I 𝑛),
kde pro 𝑛 ∈ N, 𝑡 ∈ Z je 𝑛-rozměrný vektor 𝜀 tvaru 𝜀=(𝜀𝑡, 𝜀𝑡+1, . . . , 𝜀𝑡+𝑛−1)′, přičemž vždy 𝐸𝜀=0=(0, . . . , 0)′ a
varianční matice 𝐷𝜀 = (𝐶(𝜀𝑖, 𝜀 𝑗)) 𝑛
𝑖,𝑗=1 = 𝜎2I 𝑛, kde I 𝑛 je jednotková matice. Pokud navíc budeme předpokládat
normalitu, budeme značit 𝜀𝑡 ∼ 𝑁(0, 𝜎2), popř. 𝜀 ∼ 𝑁 𝑛(0, 𝜎2I 𝑛).
RNDr. Marie Forbelská, Ph.D. 97
1.2.1. Obecné lineární regresní modely a metoda nejmenších čtverců. Mějme regresní model plné hod-
nosti:
Y = X𝛽 + 𝜀 ∧ ℎ(X) = ℎ(X′
X) = 𝑝 + 1 = 𝑘 ∧ 𝑛 > 𝑝 + 1 ∧ 𝜀 ∼ ℒ 𝑛(0, 𝜎2
I 𝑛)
s vektorem závisle proměnných Y = (𝑌1, . . . , 𝑌 𝑛)′
maticí plánu X = (𝑥𝑖𝑗) 𝑖 = 1, . . . , 𝑛; 𝑗 = 0, . . . , 𝑝
vektorem chyb 𝜀 = (𝜀1, . . . , 𝜀 𝑛)′, kde 𝐸𝜀 = 0; 𝐷𝜀 = 𝜎2I 𝑛.
Tento model se také nazývá regresní model plné hodnosti s pevným plánem, neboť regresory 𝑥𝑖𝑗
(𝑖 = 1, . . . , 𝑛, 𝑗 = 1, . . . , 𝑘) jsou nenáhodné, tj. pevně dané.
Podmínka 𝐷𝜀 = 𝜎2I 𝑛 znamená, že náhodné veličiny 𝑌1, . . . , 𝑌 𝑛 mají různé střední hodnoty (které jsou
známou funkcí regresorů) a stejné rozptyly - mluvíme o homogenitě rozptylu.
Odhad neznámých parametrů 𝛽 provedený metodou nejmenších čtverců je řešením normálních rovnic
X′
X𝛽 = X′
Y
a platí:
̂︀𝛽 =
(︀
X′
X
)︀−1
X′
Y.
Označme
 ̂︀Y = X^𝛽 = X
(︀
X′
X
)︀−1
X′
⏟ ⏞
H
Y = HY
 ^𝜀 = Y − ̂︀Y = (I − H⏟ ⏞
M
)Y = MY = M(X𝛽 + 𝜀)) = MX⏟ ⏞
=0
𝛽 + M𝜀 = (I − H)𝜀
 𝑠2 = 𝑆𝑆𝐸
𝑛−𝑝−1 = 1
𝑛−𝑝−1(Y−̂︀Y)′(Y−̂︀Y)= 1
𝑛−𝑝−1 ^𝜀′
^𝜀= 1
𝑛−𝑝−1
̂︀Y′(I−H) ̂︀Y= 1
𝑛−𝑝−1 𝜀′(I−H)𝜀
Pak platí (viz např. Zvára, K.: Regresní analýza. Praha. Academia. 1989):
« 𝐸 ̂︀𝛽 = 𝛽,
« 𝐸𝑠2 = 𝐸(𝑆𝑆𝐸)
𝑛−𝑝−1 = 𝜎2, tj. 𝑠2 je nestranným odhadem rozptylu, 𝐷̂︀𝛽 = 𝜎2(X′X)−1.
Platí-li navíc
 𝜀 ∼ 𝑁 𝑛(0, 𝜎2I 𝑛) ,
pak
« Y ∼ 𝑁 𝑛(X𝛽, 𝜎2 𝐼 𝑛)
« ̂︀𝜀 ∼ 𝑁 𝑛(O, 𝜎2(I − H))
« ̂︀𝛽 ∼ 𝑁 𝑝+1(𝛽, 𝜎2(X′X)−1)
« 𝑆𝑆𝐸
𝜎2 ∼ 𝜒2(𝑛 − 𝑝 − 1)
« 𝛽 a 𝑠2 jsou stochasticky nezávislé
« 𝑇 𝑗 =
^𝛽 𝑗−𝛽 𝑗
√
𝑠2 𝑣 𝑗𝑗
∼ 𝑡(𝑛 − 𝑝 − 1), kde (X′X)−1 = (𝑣𝑖𝑗)𝑖,𝑗=0,...,𝑝
« 𝐹 = 1
𝑞𝑠2 (^𝛽2 − 𝛽2)′ 𝑊−1(^𝛽2 − 𝛽2) ∼ 𝐹(𝑞, 𝑛 − 𝑝 − 1),
kde (X′X)−1 =
(︂
V U
U W
)︂
, 𝛽=
(︂
𝛽1
𝛽2
)︂
, ^𝛽=
(︃
̂︀𝛽1
̂︀𝛽2
)︃
a ℎ(W)= 𝑞
« 𝑇 = c′ ^𝛽−c′ 𝛽√
𝑠2c′(X′X)−1c
∼ 𝑡(𝑛 − 𝑝 − 1), kde c = (𝑐0, 𝑐1, . . . , 𝑐 𝑝)′ a 𝐸(c′ ̂︀𝛽) = c′ 𝛽
« Označme 𝑖-tý řádek matice plánu X jako x′
𝑖 = (𝑥𝑖0, . . . , 𝑥𝑖𝑝), pak
𝑌𝑖 = x′
𝑖 𝛽 + 𝜀𝑖 ∼ 𝑁(x′
𝑖 𝛽, 𝜎2
),
̂︀𝑌𝑖 = x′
𝑖
̂︀𝛽 ∼ 𝑁(x′
𝑖 𝛽, 𝜎2
x′
𝑖(X′
X)−1
x𝑖)
𝑌𝑖 − ̂︀𝑌𝑖 = x′
𝑖(𝛽 − ̂︀𝛽) + 𝜀𝑖 ∼ 𝑁(0, 𝜎2
(1 + x′
𝑖(X′
X)−1
x𝑖)).
V následující tabulce uvádíme horní a dolní meze příslušných intervalů spolehlivosti:
98 M5201 Stochastické modely časových řad
Intervaly spolehlivosti
pro parametry 𝛽 𝑗 dolní mez 𝛽 𝑗 − 𝑡1− 𝛼
2
(𝑛−𝑝−1)𝑠
√
𝑣 𝑗𝑗
(𝑗 = 0, . . . , 𝑝) horní mez 𝛽 𝑗 + 𝑡1− 𝛼
2
(𝑛−𝑝−1)𝑠
√
𝑣 𝑗𝑗
pro střední hodnotu predikce dolní mez x′
𝑖
̂︀𝛽 − 𝑡1− 𝛼
2
(𝑛−𝑝−1)𝑠
√︀
x′
𝑖(X′X)−1x 𝑖
𝐸̂︀𝑌 𝑖 = 𝐸x′
𝑖
̂︀𝛽 =x′
𝑖 𝛽 (𝑖 = 1, . . . , 𝑛) horní mez x′
𝑖
̂︀𝛽 + 𝑡1− 𝛼
2
(𝑛−𝑝−1)𝑠
√︀
x′
𝑖(X′X)−1x 𝑖
pro predikci dolní mez x′
𝑖
̂︀𝛽 − 𝑡1− 𝛼
2
(𝑛−𝑝−1)𝑠
√︀
1+x′
𝑖(X′X)−1x 𝑖
̂︀𝑌 𝑖 = x′
𝑖
̂︀𝛽 (𝑖 = 1, . . . , 𝑛) horní mez x′
𝑖
̂︀𝛽 + 𝑡1− 𝛼
2
(𝑛−𝑝−1)𝑠
√︀
1+x′
𝑖(X′X)−1x 𝑖
kde 𝑡1− 𝛼
2
(𝑛−𝑝−1) je 1− 𝛼
2 kvantil Studentova rozdělení o 𝑛−𝑝−1 stupních volnosti
Až doposud jsme uvažovali lineární regresní model plné hodnosti. V některých situacích je však vhodné
použít model s neúplnou hodností,
tj. ℎ(X) = 𝑟 < 𝑘 ≤ 𝑛.
V tom případě systém normálních rovnic má nekonečně mnoho řešení, takže žádný vektor středních hodnot
𝐸Y = 𝜇 = X𝛽
neurčuje jednoznačně vektor 𝛽.
Není však vyloučeno, že existují nějaké lineární kombinace vektoru 𝛽, jejichž hodnoty jsou vektorem
středních hodnot 𝜇 ∈ ℳ(X) určeny jednoznačně. Ukazuje se (viz Anděl, 1978), že těmito hledanými vektory
jsou (nestranně lineárně) odhadnutelné parametrické funkce 𝜃 = c′ 𝛽. Jejich důležitou vlastností je, že jsou
to právě lineární kombinace řádků matice X, tj. c ∈ ℳ(X′). Pokud máme vektor 𝜃 = (𝜃1, . . . , 𝜃 𝑚)′, 𝑚 ∈ N,
jehož složky jsou odhadnutelné, jde o odhadnutelný vektor parametrů.
Dá se ukázat (viz Anděl, 1978), že nejlepším nestranným lineárním odhadem odhadnutelné parametrické
funkce 𝜃 = c′ 𝛽 je ^𝜃 = c′ ̂︀𝛽, kde ̂︀𝛽 je libovolné řešení normálních rovnic. Odtud je ihned vidět, že vektor středních
hodnot 𝜇 = 𝐸Y = X𝛽 je vždy odhadnutelný a jeho nejlepší nestranný lineární odhad je tvaru
̂︀𝜇 = X(X′
X)- X′
Y = HY.
Platí-li navíc
 Y ∼ 𝑁 𝑛(X𝛽, 𝜎2I 𝑛) ,
pak (viz Anděl, 1978)
« Statistika 𝑆 𝑒/𝜎2 = 1
𝜎2 (Y−X̂︀𝛽)′(Y−X̂︀𝛽) = 1
𝜎2 Y′[I 𝑛−H]Y ∼ 𝜒2(𝑛 − 𝑟).
« Statistika 𝑠2 = 𝑆 𝑒
𝑛−𝑟 je nestranným odhadem parametru 𝜎2.
« Vektor ̂︀𝛽 = (X′X)-X′Y a 𝑠2 jsou nezávislé.
« Statistika 𝑇 = c′̂︀𝛽−c′ 𝛽
𝑠
√
c′(X′X)
-c
∼ 𝑡(𝑛 − 𝑟).
Někdy musíme vzít současně se základním lineárním modelem v úvahu i několik speciálních případů tohoto
modelu, kterým se říká podmodely nebo submodely.
Mějme náhodný vektor Y = (𝑌1, . . . , 𝑌 𝑛)′ a předpokládejme, že platí model 𝑀 a jsou dány další dva
submodely 𝑀1 a 𝑀2, přičemž pro 𝑛≥ 𝑘≥ 𝑟≥ 𝑟1 ≥ 𝑟2 máme
 𝑀 : Y ∼ 𝑁 𝑛(X𝛽, 𝜎2I 𝑛), X je typu 𝑛 × 𝑘, ℎ(X)= 𝑟, 𝛽 je typu 𝑘 × 1
 𝑀1 : Y ∼ 𝑁 𝑛(U𝛽1, 𝜎2I 𝑛), U je typu 𝑛 × 𝑘1, ℎ(U)= 𝑟1, 𝛽1 je typu 𝑘1 × 1
 𝑀2 : Y ∼ 𝑁 𝑛(T𝛽2, 𝜎2I 𝑛), T je typu 𝑛 × 𝑘2, ℎ(T)= 𝑟2, 𝛽2 je typu 𝑘2 × 1
Položme ̂︀𝜇1 = U(U′U)-U′Y a ̂︀𝜇2 = T(T′T)-T′Y, pak (viz Anděl, 1978)
« platí-li model 𝑀1 ⇒ 𝐹1 = (̂︀𝜇 −̂︀𝜇1)′(̂︀𝜇 −̂︀𝜇1)
𝑟−𝑟1
1
𝑠2 ∼ 𝐹(𝑟 − 𝑟1, 𝑛 − 𝑟),
« platí-li model 𝑀2 ⇒ 𝐹2 = (̂︀𝜇1−̂︀𝜇2)′(̂︀𝜇1−̂︀𝜇2)
𝑟1−𝑟2
1
𝑠2 ∼ 𝐹(𝑟1 − 𝑟2, 𝑛 − 𝑟).
Koeficient determinace
RNDr. Marie Forbelská, Ph.D. 99
Předpokládejme, že v regresním modelu
𝑀 : Y = X𝛽 + 𝜀 kde 𝜀 ∼ 𝑁(0, 𝜎2
I 𝑛)
matice plánu X (typu 𝑛 × (𝑝 + 1)) má v prvním sloupci vektor jedniček. Pak velmi důležitou roli v regresní
analýza hraje tzv. nulový (minimální) model, což je model ve tvaru
𝑀0 : 𝑌𝑖 = 𝛽0 + 𝜖𝑖 = 𝜇 + 𝜖𝑖, kde 𝜖𝑖 ∼ 𝑖𝑖𝑑 𝑁(0, 𝜎2
𝜖 ), tj. 𝜖 ∼ 𝑁(0, 𝜎2
𝜖 I 𝑛).
Označíme–li matici plánu nulového modelu symbolem X0 = 1 𝑛, kde 1 𝑛 je jednotkový vektor, pak řešením
normálních rovnic dostaneme
X′
0X0 𝛽0 = X0Y ⇒ 1′
𝑛1 𝑛 𝛽0 = 1 𝑛Y ⇒ 𝑛𝛽0 = 𝑛𝑌 ⇒ ̂︀𝛽0 = ̂︀𝜇 = 𝑌 .
Bývá zvykem v regresní analýze označovat
𝑆𝑆𝐸 =(Y− ̂︀Y)′(Y− ̂︀Y)=(Y−X𝛽)′(Y−X𝛽)=
𝑛∑︀
𝑖=1
(𝑌𝑖− ^𝑌𝑖)2 Sum of Squares, Error
𝑆𝑆𝑇 =(Y− ̂︀Y0)′(Y− ̂︀Y0)=(Y−𝑌 1 𝑛)′(Y−𝑌 1 𝑛)=
𝑛∑︀
𝑖=1
(𝑌𝑖−𝑌 )2 Sum of Squares, Total
𝑆𝑆𝑅 = ( ̂︀Y − 𝑌 1 𝑛)′( ̂︀Y − 𝑌 1 𝑛) =
𝑛∑︀
𝑖=1
( ^𝑌𝑖−𝑌 )2 Sum of Squares, Regression
Pak nestrannými odhady rozptylu 𝜎2
𝜖 v minimálním modelu 𝑀0 a 𝜎2 ve výchozím modelu 𝑀 jsou v tomto
značení
̂︀𝜎2
𝜖 = 𝑆𝑆𝑇
𝑛−1 a ̂︀𝜎2
= 𝑆𝑆𝐸
𝑛−𝑝−1.
Protože minimální model 𝑀0 je podmodelem výchozího modelu 𝑀 , tak lze dokázat, že platí
𝑆𝑆𝑅 = 𝑆𝑆𝑇 − 𝑆𝑆𝐸 ⇒ 𝑆𝑆𝑇 = 𝑆𝑆𝑅 + 𝑆𝑆𝐸 .
Koeficient determinace 𝑅2 je vlastně výběrový korelační koeficient mezi Y a ̂︀Y a ukazuje, jak velký díl
výchozí variability hodnot závisle proměnné (charakterizované výrazem 𝑆𝑆𝑇) se podařilo vysvětlit uvažovanou
regresní závislostí. Nevysvětlená variabilita je dána reziduálním součtem čtverců 𝑆𝑆𝐸.
S využitím vztahu
𝑛∑︀
𝑖=1
𝑌𝑖 =
𝑛∑︀
𝑖=1
̂︀𝑌𝑖 se dá ukázat, že
𝑅2
(Y, ̂︀Y) =
[︁∑︀ 𝑛
𝑖=1(𝑌𝑖 − 𝑌 )(̂︀𝑌𝑖 − 𝑌 )
]︁2
∑︀ 𝑛
𝑖=1(𝑌𝑖 − 𝑌 )2
∑︀ 𝑛
𝑖=1(̂︀𝑌𝑖 − 𝑌 )2
=
[︁
(Y − 𝑌 1 𝑛)′( ̂︀Y − 𝑌 1 𝑛)
]︁2
(Y − 𝑌 1 𝑛)′(Y − 𝑌 1 𝑛)( ̂︀Y − 𝑌 1 𝑛)′( ̂︀Y − 𝑌 1 𝑛)
=
{[(Y − ̂︀Y) + ( ̂︀Y − 𝑌 1 𝑛)]′( ̂︀Y − 𝑌 1 𝑛)}2
(Y − 𝑌 1 𝑛)′(Y − 𝑌 1 𝑛)( ̂︀Y − 𝑌 1 𝑛)′( ̂︀Y − 𝑌 1 𝑛)
=
[( ̂︀Y − 𝑌 1 𝑛)′( ̂︀Y − 𝑌 1 𝑛)]2
(Y − 𝑌 1 𝑛)′(Y − 𝑌 1 𝑛)( ̂︀Y − 𝑌 1 𝑛)′( ̂︀Y − 𝑌 1 𝑛)
=
( ̂︀Y − 𝑌 1 𝑛)′( ̂︀Y − 𝑌 1 𝑛)
(Y − 𝑌 1 𝑛)′(Y − 𝑌 1 𝑛)
=
𝑆𝑆𝑅
𝑆𝑆𝑇
= 1 −
𝑆𝑆𝐸
𝑆𝑆𝑇
= 𝑅2
Označíme–li vychýlené varianty odhadů příslušných rozptylů symboly
̃︀𝜎2
𝜖 = 𝑆𝑆𝑇
𝑛 a ̃︀𝜎2
= 𝑆𝑆𝐸
𝑛 ,
pak můžeme psát
𝑅2
= 1 − 𝑆𝑆𝐸/𝑛
𝑆𝑆𝑇/𝑛 = 1 − ̃︀𝜎2
̃︀𝜎2
𝜖
.
100 M5201 Stochastické modely časových řad
Nahradíme–li v tomto vzorci vychýlené odhady rozptylů nevychýlenými, dostaneme tzv. upravený (adjustovaný)
koeficient determinace
𝑅2
𝑎𝑑𝑗 = 1 − ̂︀𝜎2
̂︀𝜎2
𝜖
= 1 − 𝑛−1
𝑛−𝑝−1(1 − 𝑅2
).
S ohledem na rozklad celkové sumy 𝑆𝑆𝑇 na součet dvou složek 𝑆𝑆𝑅 a 𝑆𝑆𝐸 bývá zvykem jako výstup regresní
analýzy nabízet tzv. ANOVA tabulku ve formě
Source 𝑑𝑓 𝑆𝑆 𝑀 𝑆 𝐹 p-valule
Total 𝑛 − 1 𝑆𝑆𝑇
Regression 𝑝 𝑆𝑆𝑅 𝑀 𝑆𝑅 = 𝑆𝑆𝑅
𝑝
𝑀 𝑆𝑅
𝑀 𝑆𝐸 𝑃
(︁
𝐹 > 𝑀 𝑆𝑅
𝑀 𝑆𝐸
)︁
Residual 𝑛 − 𝑝 − 1 𝑆𝑆𝐸 𝑀 𝑆𝐸 = 𝑆𝑆𝐸
𝑛−𝑝−1
Statistika 𝐹 má za platnosti nulové hypotézy (𝛽1, . . . , 𝛽 𝑝)′ = (0, . . . , 0)′ 𝐹– rozdělení o 𝑝 a 𝑛 − 𝑝 − 1 stupních
volnosti.
Příklad 1.1.
Regresní přímka v klasickém lineárním regresním modelu
Klasickým speciálním případem lineárního modelu je jednoduchá lineární regrese, kdy předpokládáme,
že nezávislé náhodné veličiny 𝑌𝑖 (𝑖 = 1, . . . , 𝑛) mají normální rozdělení
𝑌𝑖 ∼ 𝑁(𝜇𝑖 = 𝛽0 + 𝛽1 𝑥𝑖, 𝜎2
),
kde 𝑥𝑖 jsou dané konstanty, které nejsou všechny stejné. Rozptyly 𝑌𝑖 jsou stejné, kdežto střední hodnoty lze
vyjádřit jako lineární funkci známých konstant 𝑥𝑖 pomocí neznámých parametrů 𝛽0, 𝛽1.
V tomto případě
Y =
⎛
⎜
⎝
𝑌1
...
𝑌 𝑛
⎞
⎟
⎠ , matice plánu: X =
⎛
⎜
⎝
1 𝑥1
...
...
1 𝑥 𝑛
⎞
⎟
⎠ , 𝜀 =
⎛
⎜
⎝
𝜀1
...
𝜀 𝑛
⎞
⎟
⎠ ∼ 𝑁 𝑛(0, 𝜎2
I 𝑛).
−1 −0.5 0 0.5 1 1.5
−4
−2
0
2
4
6
X
Y
Obrázek 2. Ukázka klasického regresního modelu s homogenním rozptylem.
1.2.2. Rozšířený lineární regresní model a vážená metoda nejmenších čtverců. Následující věta ukazuje,
jakým způsobem lze lineární regresní model rozšířit i na případ, kdy rozptyl není homogenní.
Věta 1.1. Mějme regresní model, ve kterém Y = X𝛽 + 𝜀, 𝜀 ∼ ℒ 𝑛(0, 𝜎2V), V > 0, a hodnost matice
ℎ(X) = 𝑘 (tj. V je pozitivně definitní), pak odhad pomocí metody nejmenších čtverců je roven
̂︀𝛽 = (X′V−1X)−1X′V−1Y.
Důkaz. Jelikož jsme předpokládali, že V > 0, tj. V je pozitivně definitní, takže existuje V−1
2 , která je
symetrická a regulární. Proto
ℎ(V−1
2 X) = ℎ(X) = 𝑘 = ℎ(X′
V−1
X) = ℎ(X′
V−1
2 V−1
2 X)
RNDr. Marie Forbelská, Ph.D. 101
takže X′V−1X je regulární. Položme
Z = V−1
2 Y, F = V−1
2 X, 𝜂 = V−1
2 𝜀.
Pak z
Y = X𝛽 + 𝜀
plyne, že
V−1
2 Y = V−1
2 X𝛽 + V−1
2 𝜀,
tj.
Z = F𝛽 + 𝜂.
Pak
𝐸𝜂 = 𝐸V−1
2 𝜀 = V−1
2 𝐸𝜀⏟ ⏞
=0
= 0
a
𝐷𝜂 = 𝐷(V−1
2 𝜀) = 𝜎2
V−1
2 VV−1
2 = 𝜎2
V−1
2 V
1
2 V
1
2 V−1
2 = 𝜎2
I 𝑛
a tento model již splňuje předpoklady klasického regresního modelu, ve kterém odhad vektoru neznámých
parametrů metodou nejmenších čtverců je roven
̂︀𝛽 = (F′
F)−1
F′
Z = (X′
V−1
2 V−1
2 X)−1
X′
V−1
2 V− 1
2 Y = (X′
V−1
X)−1
X′
V−1
Y.
Poznámka 1.2. Nejčastěji se matice V uvažuje ve tvaru
V = diag{𝑣1, . . . , 𝑣 𝑛},
tj. jde o diagonální matici. Položíme-li
W = V−1
= 𝑑𝑖𝑎𝑔{ 1
𝑣1
, . . . , 1
𝑣 𝑛
} = 𝑑𝑖𝑎𝑔{𝑤1, . . . , 𝑤 𝑛},
přičemž prvky 𝑤1, . . . , 𝑤 𝑛 se nazývají váhami (tedy čím je rozptyl větší, tím je váha pozorování menší). Pak
odhad neznámých parametrů metodou nejmenších čtverců:
̂︀𝛽 = (X′
WX)−1
X′
WY
se nazývá vážená metoda nejmenších čtverců.
Polynomický a trigonometrický trend
Z velkého okruhu trendových funkcí, které vedou k lineárnímu regresnímu modelu, se zaměříme na
J polynomický trend: 𝑓(𝑡) = 𝛽0 + 𝛽1 𝑡 + · · · + 𝛽 𝑝 𝑡 𝑝
J trigonometrický trend: 𝑓(𝑡) = 𝜇 +
∑︀ 𝑝
𝑗=1(𝛼 𝑗 𝑐𝑜𝑠𝜆 𝑗 𝑡 + 𝛽 𝑗 𝑠𝑖𝑛𝜆 𝑗 𝑡)
V případě polynomického trendu, matice plánu je tvaru
X =
⎛
⎜
⎝
1 𝑡1 𝑡2
1 · · · 𝑡 𝑝
1
...
...
...
...
...
1 𝑡 𝑛 𝑡2
𝑛 · · · 𝑡 𝑝
𝑛
⎞
⎟
⎠ .
Kromě neznámých parametrů 𝛽 = (𝛽0, . . . , 𝛽 𝑝)′ zbývá určit vhodný stupeň polynomu 𝑝. Pro odhad stupně
polynomu se nabízí 2 intuitivní metody
(1) „od nejnižšího stupně k nejvyššímu“: začneme se stupněm 𝑝 = 0, postupně stupeň zvyšujeme a testujeme
hypotézu
𝐻0 : 𝛽 𝑝 = 0 proti alternativě 𝐻1 : 𝛽 𝑝 ̸= 0
pomocí statistiky (viz Anděl)
𝑇 𝑝 =
^𝛽 𝑝 − 𝛽 𝑝
√︁
𝑠2
𝑘 𝑣 𝑝𝑝
∼ 𝑡(𝑛 − 𝑝 − 1), kde
(︀
X′
X
)︀−1
= (𝑣𝑖𝑗) 𝑝
𝑖,𝑗=0.
Jestliže 𝐻0 zamítneme ⇒ zvyšujeme stupeň polynomu.
(2) „od maximálního stupně dolů“: zvolme 𝑝 = 𝑝 𝑚𝑎𝑥. Testujeme opět
𝐻0 : 𝛽 𝑝 = 0 proti alternativě 𝐻1 : 𝛽 𝑝 ̸= 0
pomocí 𝑇 𝑝. Jestliže 𝐻0 nezamítneme ⇒ snižujeme stupeň polynomu.
Obě metody nedávají uspokojivé výsledky (viz Anderson(1971)).
102 M5201 Stochastické modely časových řad
Penalizační metoda odhadu počtu regresních koeficientů
Předpokládejme, že 𝑘0 je skutečný počet regresních parametrů. Lze ukázat, že platí
𝐸(𝑠2
𝑘) > 𝜎2 pro 𝑘 < 𝑘0
𝐸(𝑠2
𝑘) = 𝜎2 𝑘 ≥ 𝑘0
Zůstává problém, jak z grafu hodnot 𝑠2
𝑘 určit právě tu hodnotu 𝑘0, od níž počínaje již graf dostává vodorovný
charakter. Tento problém se řeší zavedením tzv. penalizační funkce a např. Anděl navrhuje místo hodnot 𝑠2
𝑘
použít její modifikaci
𝐴 𝑘 = 𝑠2
𝑘(1 + 𝑘𝑤 𝑛).
Penalizační funkce 𝑤 𝑛
­ nesmí být příliš velká - aby nezkreslila klesající charakter 𝑠2
𝑘 pro 𝑘 < 𝑘0;
­ nesmí být příliš malá - aby z hodnot 𝑠2
𝑘 oscilujících kolem 𝜎2 vytvořila pro 𝑘 ≥ 0 rostoucí posloupnost;
Za odhad ^𝑘 se bere hodnota 𝑘 ∈ {0, 1, . . . , 𝑘 𝑚𝑎𝑥}, pro kterou 𝐴 𝑘 nabývá svého minima. Konstanta 𝑘 𝑚𝑎𝑥 je
maximální počet parametrů, které jsme ochotni uvažovat a o němž jsme si jisti, že splňuje podmínku 𝑘0 ≤ 𝑘 𝑚𝑎𝑥.
Za dosti obecných podmínek týkajících se rozumné volby hodnot 𝑡𝑖 lze ukázat (Geweke a Meese(1981),
Anděl a kol.(1981)), že
pokud 𝑤 𝑛 > 0 ∧ 𝑤 𝑛 −−−→
𝑛→∞
0 ∧ 𝑛𝑤 𝑛 −−−→
𝑛→∞
∞ ⇒ ^𝑘 → 𝑘0 podle pravděpodobnosti.
V praxi se osvědčilo volit
𝑤 𝑛 =
1
4
√
𝑛
,
tj.
𝐴 𝑘 = 𝑠2
𝑘
(︂
1 +
𝑘
4
√
𝑛
)︂
.
Další kriteria pro určení počtu regresních koeficientů
Akaikeovo infor. kritérium (1972) 𝐴𝐼𝐶 𝑘 = ln 𝑠2
𝑘 + 2𝑘
𝑛 nadhodnocuje 𝑘0
Swarz (1978) a Rissanen (1978) 𝑆𝑅 𝑘 = ln 𝑠2
𝑘 + 𝑘 ln 𝑛
𝑛
Hannan a Quinn (1979) 𝐻𝑄 𝑘 = ln 𝑠2
𝑘 + 2𝑘𝑐 ln ln 𝑛
𝑛 𝑐 > 1; obvykle 𝑐 = 2 nebo 3.
Příklad 1.2. Průměrné roční průtoky vody v řece Nigeru v Coulicouro (Mali) v letech 1907 až 1957
(převzato z knihy Anděl, J.: Statistická analýza časových řad, Praha SNTL 1976)
Na následujícím obrázku jsou znázorněna vstupní data, která vykazují výrazný trend.
Prumerne rocni prutoky vody v rece Nigeru v Coulicoure (Mali) v letech 1907 az 1957
1910 1920 1930 1940 1950
304050607080
Obrázek 3. Vstupní data: Průměrné roční průtoky vody v řece Nigeru v Coulicouro (Mali) v letech 1907 až
1957. Data jsou uvedena v kubických stopách za sekundu (krát 10−3
).
Časovou řadu budeme chtít modelovat pomocí polynomického trendu, proto nejprve pomocí různých penalizačních
kritérií odhadneme vhodný stupeň polynomu.
RNDr. Marie Forbelská, Ph.D. 103
q
q
q
q
q
q
q
q q q
2 4 6 8 10
80100120140160
S_k (Mean Square Error)
k
3
4
5
6
7
q
opt = 7
q
q
q
q
q
q q
q
q
q
2 4 6 8 10
250300350400
A_k
k
q
opt = 1
q
q
q
q
q
q
q
q
q
q
2 4 6 8 10
4.74.84.95.05.15.2
AIC_k
k
q
opt = 7
q
q
q
q
q
q
q
q
q
q
2 4 6 8 10
4.95.05.15.25.3
SR_k
q
opt = 7
q
q
q
q
q
q q
q
q
q
2 4 6 8 10
5.25.35.45.5
HQ_k(c=2)
q
opt = 6
q
q q
q
q
q
q
q
q
q
2 4 6 8 10
5.45.65.86.0
HQ_k(c=3)
q
opt = 1
Obrázek 4. Penalizační kritéria pro výběr vhodného stupně polynomu pro průměrné roční
průtoky vody v řece Nigeru v Coulicouro (Mali).
Optimálním stupněm se jeví polynom šestého či sedmého řadu.
Na dalším obrázku vykresleme trendové funkce reprezentované různými stupni polynomu.
Prumerne rocni prutoky vody v rece Nigeru v Coulicoure (Mali) v letech 1907 az 1957
1910 1920 1930 1940 1950
304050607080
dgr = 1
dgr = 3
dgr = 6
dgr = 7
Obrázek 5. Polynomické trendy řádu jedna, tři, šest a sedm pro průměrné roční průtoky vody
v řece Nigeru v Coulicouro (Mali).
trigonometrický trend
104 M5201 Stochastické modely časových řad
Je-li 𝑓(𝑡) periodická funkce s periodou 𝑇, pak frekvencí rozumíme veličinu 𝜆 = 2𝜋
𝑇 .
Uvažujme model:
𝑌𝑖 = 𝑓(𝑡𝑖) + 𝜀𝑖 𝐸𝜀𝑖 = 0; 𝐷𝜀𝑖 = 𝜎2
; 𝐶(𝜀𝑖, 𝜀 𝑗) = 0; 𝑖 ̸= 𝑗; 𝑖, 𝑗 = 1, . . . , 𝑛
kde (a) 𝑓(𝑡𝑖) = 𝜇 +
∑︀ 𝑝
𝑗=1(𝛼 𝑗 𝑐𝑜𝑠𝜆 𝑗 𝑡𝑖 + 𝛽 𝑗 𝑠𝑖𝑛𝜆 𝑗 𝑡𝑖)
nebo (b) 𝑓(𝑡𝑖) = 𝜇 +
∑︀ 𝑝
𝑗=1 𝛾 𝑗 𝑐𝑜𝑠(𝜆 𝑗 𝑡𝑖 + 𝜔 𝑗) 𝛾 𝑗 =
√︁
𝛼2
𝑗 + 𝛽2
𝑗 , 𝜔 𝑗 = arctan
𝛽 𝑗
𝛼 𝑗
.
Jde o nelineární regresní model vzhledem k (3𝑝 + 1) neznámých parametrů:
(a) 𝛼1, . . . , 𝛼 𝑝 𝛽1, . . . , 𝛽 𝑝 𝜇 𝜆1, . . . , 𝜆 𝑝
(b) 𝛾1, . . . , 𝛾 𝑝 𝜇 𝜆1, . . . , 𝜆 𝑝 𝜔1, . . . , 𝜔 𝑝
Odhad vektoru neznámých parametrů pomocí metody nejmenších čtverců minimalizuje výraz
(a) 𝑆(𝜇, 𝛼1, . . . , 𝛼 𝑝, 𝛽1, . . . , 𝛽 𝑝, 𝜆1, . . . , 𝜆 𝑝) =
∑︀ 𝑛
𝑖=1 (𝑌𝑖 − 𝑓(𝑡𝑖))
2
(b) 𝑆(𝜇, 𝛾1, . . . , 𝛾 𝑝, 𝜔1, . . . , 𝜔 𝑝, 𝜆1, . . . , 𝜆 𝑝) =
∑︀ 𝑛
𝑖=1 (𝑌𝑖 − 𝑓(𝑡𝑖))
2
Numericky lze systém nelineárních rovnic řešit např. pomocí Gauss-Newtonovy metody.
Lineární model pro známé frekvence
Situace se zjednoduší, pokud frekvence 𝜆1, . . . , 𝜆 𝑝 jsou známé.
Pak model (a) je lineární a matice plánu je tvaru:
X 𝑛×(2𝑝+1) =
⎛
⎜
⎝
1 𝑐11 𝑠12 · · · 𝑐 𝑝1 𝑠 𝑝1
...
...
...
...
...
...
1 𝑐1𝑛 𝑠1𝑛 · · · 𝑐 𝑝𝑛 𝑠 𝑝𝑛
⎞
⎟
⎠ , kde
𝑐 𝑗𝑖 = cos 𝜆 𝑗 𝑡𝑖
𝑠 𝑗𝑖 = sin 𝜆 𝑗 𝑡𝑖
pro
𝑗 = 1, . . . , 𝑝
𝑖 = 1, . . . , 𝑛
Pokud 𝑛 = 2𝑚 + 1
𝑡𝑖 = 𝑖
𝜆 𝑗 = 2𝜋𝑗
𝑛 pro některá 𝑗 ∈ {1, . . . , 𝑚}
počítejme postupně
(1) Pro 𝑘 = ±1, ±2, . . . platí
𝑛∑︁
𝑡=1
𝑒𝑖𝑘𝜆 𝑗 𝑡
=
𝑛∑︁
𝑡=1
(cos 𝑘𝜆 𝑗 𝑡 + 𝑖 sin 𝑘𝜆 𝑗 𝑡) =
𝑒𝑖𝑘𝜆 𝑗
(1 − 𝑒𝑖𝑘𝜆 𝑗 𝑛
)
1 − 𝑒𝑖𝑘𝜆 𝑗
=
𝑒𝑖𝑘 2𝜋𝑗
𝑛
1 − 𝑒𝑖𝑘 2𝜋𝑗
𝑛
(1 − 𝑒𝑖2𝜋𝑘𝑗
⏟ ⏞
=1
) = 0
Protože tedy
𝑛∑︁
𝑡=1
cos 𝑘𝜆 𝑗 𝑡 + 𝑖
𝑛∑︁
𝑡=1
sin 𝑘𝜆 𝑗 𝑡 = 0,
pak platí
𝑛∑︁
𝑡=1
cos 𝑘𝜆 𝑗 𝑡 =
𝑛∑︁
𝑡=1
cos 𝑘 2𝜋𝑗
𝑛 𝑡 =
𝑛∑︁
𝑡=1
sin 𝑘𝜆 𝑗 𝑡 =
𝑛∑︁
𝑡=1
sin 𝑘 2𝜋𝑗
𝑛 𝑡 = 0 (𝑘 = ±1, ±2, . . .) (25)
(2) S využitím vztahu sin 𝛼 cos 𝛼 = 1
2 sin 2𝛼 a (25) dostaneme
𝑛∑︁
𝑡=1
𝑐 𝑗𝑡 𝑠 𝑗𝑡 =
𝑛∑︁
𝑡=1
cos 𝜆 𝑗 𝑡 sin 𝜆 𝑗 𝑡 = 1
2
𝑛∑︁
𝑡=1
sin 2𝛼 𝑗 𝑡 = 0.
(3) Protože cos2
𝛼 = 1
2 (1 + cos 2𝛼), pak
𝑛∑︁
𝑡=1
𝑐2
𝑗𝑡 =
𝑛∑︁
𝑡=1
cos2
𝜆 𝑗 𝑡 = 1
2
𝑛∑︁
𝑡=1
(1 + cos 2𝛼) =
𝑛
2
.
(4) Obdobně, protože sin2
𝛼 = 1
2 (1 − sin 2𝛼), pak
𝑛∑︁
𝑡=1
𝑠2
𝑗𝑡 =
𝑛∑︁
𝑡=1
sin2
𝜆 𝑗 𝑡 = 1
2
𝑛∑︁
𝑡=1
(1 − sin 2𝛼) =
𝑛
2
.
RNDr. Marie Forbelská, Ph.D. 105
(5) Použijeme-li vztah 1
2 (cos 2𝛼 + cos 2𝛽) = cos(𝛼 + 𝛽) cos(𝛼 − 𝛽), pak pro
𝑛∑︁
𝑡=1
𝑐 𝑗𝑡 𝑐ℎ𝑡 =
𝑛∑︁
𝑡=1
cos 2𝜋𝑗
𝑛 𝑡 cos 2𝜋ℎ
𝑛 𝑡
nejprve vypočteme 𝛼 a 𝛽 ze vztahů
𝛼 + 𝛽 = 2𝜋𝑗
𝑛 𝑡
𝛼 − 𝛽 = 2𝜋ℎ
𝑛 𝑡
⇒
2𝛼 = 2𝜋(𝑗+ℎ)
𝑛 𝑡 (sečtením rovnic)
2𝛽 = 2𝜋(𝑗−ℎ)
𝑛 𝑡 (odečtením rovnic)
takže pro 𝑗 ̸= ℎ platí
𝑛∑︁
𝑡=1
𝑐 𝑗𝑡 𝑐ℎ𝑡 = 1
2
𝑛∑︁
𝑡=1
cos 2𝜋(𝑗+ℎ)
𝑛 𝑡
⏟ ⏞
=0
+1
2
𝑛∑︁
𝑡=1
cos 2𝜋(𝑗−ℎ)
𝑛 𝑡
⏟ ⏞
=0
= 0.
(6) Protože 1
2 (cos 2𝛼 − cos 2𝛽) = sin(𝛼 + 𝛽) sin(𝛽 − 𝛼), pak pro
𝑛∑︁
𝑡=1
𝑠 𝑗𝑡 𝑠ℎ𝑡 =
𝑛∑︁
𝑡=1
sin 2𝜋𝑗
𝑛 𝑡 sin 2𝜋ℎ
𝑛 𝑡
nejprve vypočteme 𝛼 a 𝛽 ze vztahů
𝛼 + 𝛽 = 2𝜋𝑗
𝑛 𝑡
𝛽 − 𝛼 = 2𝜋ℎ
𝑛 𝑡
⇒
2𝛽 = 2𝜋(𝑗+ℎ)
𝑛 𝑡 (sečtením rovnic)
2𝛼 = 2𝜋(𝑗−ℎ)
𝑛 𝑡 (odečtením rovnic)
takže pro 𝑗 ̸= ℎ platí
𝑛∑︁
𝑡=1
𝑠 𝑗𝑡 𝑠ℎ𝑡 = 1
2
𝑛∑︁
𝑡=1
cos 2𝜋(𝑗−ℎ)
𝑛 𝑡
⏟ ⏞
=0
−1
2
𝑛∑︁
𝑡=1
cos 2𝜋(𝑗+ℎ)
𝑛 𝑡
⏟ ⏞
=0
= 0.
(7) Analogicky, protože 1
2 (sin 2𝛼 + sin 2𝛽) = sin(𝛼 + 𝛽) cos(𝛼 − 𝛽), pak pro 𝑗 ̸= ℎ platí
𝑛∑︁
𝑡=1
𝑠 𝑗𝑡 𝑐ℎ𝑡 = 1
2
𝑛∑︁
𝑡=1
sin 2𝜋(𝑗+ℎ)
𝑛 𝑡
⏟ ⏞
=0
+1
2
𝑛∑︁
𝑡=1
sin 2𝜋(𝑗−ℎ)
𝑛 𝑡
⏟ ⏞
=0
= 0.
Nyní, jestliže využijeme předchozích vztahů, můžeme spočítat matici
X′
X(2𝑝+1)×(2𝑝+1) =
⎛
⎜
⎜
⎜
⎜
⎝
𝑛 0 · · · 0
0 𝑛
2
...
...
... 0
0 0 · · · 𝑛
2
⎞
⎟
⎟
⎟
⎟
⎠
a odtud velmi snadno z normálních rovnic dostaneme odhady neznámých parametrů ve tvaru
^𝜇 = 1
𝑛
𝑛∑︁
𝑡=1
𝑌 𝑡
^𝛼 𝑗 = 2
𝑛
𝑛∑︁
𝑡=1
𝑌 𝑡 cos 𝜆 𝑗 𝑡 𝑗 = 1, . . . , 𝑝.
^𝛽 𝑗 = 2
𝑛
𝑛∑︁
𝑡=1
𝑌 𝑡 sin 𝜆 𝑗 𝑡
Neznámé parametry modelu (b) získáme ze vztahů
^𝛾 𝑗 =
√︁
^𝛼2
𝑗 + ^𝛽2
𝑗
𝑗 = 1, . . . , 𝑝.
^𝜔 𝑗 = arctan
^𝛽 𝑗
^𝛼 𝑗
Pokud časová řada vykazuje (po odečtení např. lineárního trendu) přibližně periodické chování, je třeba rozhodnout,
které frekvence se na tvorbě periodického trendu výrazně uplatňují. Pro nalezení významných period je výhodné užít
metod spektrální analýzy časových řad.
106 M5201 Stochastické modely časových řad
Příklad 1.3. Průměrné roční průtoky vody v řece Nigeru v Coulicouro (Mali) v letech 1907 až 1957
(převzato z knihy Anděl, J.: Statistická analýza časových řad, Praha SNTL 1976)
1907 1917 1927 1937 1947 1957
20
30
40
50
60
70
80
90
Obrázek 6. Vstupní data spolu s lineárním a trigonomickým trendem (s periodou délky 25.5 roků). Data jsou
uvedena v kubických stopách za sekundu (krát 10−3
).
Pro známou frekvenci (získanou pomocí metody skrytých period, viz skripta Forbelská, 2009)
𝜆 =
2𝜋
𝑇
=
2𝜋
25.5
= 0.2464
budeme uvažovat regresní model tvaru
𝑌 𝑡 = 𝑎 + 𝑏𝑡 + 𝛼 cos(𝜆𝑡) + 𝛽 sin(𝜆𝑡) + 𝜀 𝑡, 𝜀 𝑡 ∼ 𝑁(0, 𝜎2
)
nebo ekvivalentní model
𝑌 𝑡 = 𝑎 + 𝑏𝑡 + 𝛾 cos(𝜆𝑡 + 𝜔) + 𝜀 𝑡, 𝜀 𝑡 ∼ 𝑁(0, 𝜎2
)
s maticí plánu
X =
⎛
⎜
⎝
1 𝑡1 cos(𝜆𝑡1) sin(𝜆𝑡1)
...
...
...
...
1 𝑡 𝑛 cos(𝜆𝑡 𝑛) sin(𝜆𝑡 𝑛)
⎞
⎟
⎠ a vektorem neznámých parametrů 𝛽 =
⎛
⎜
⎜
⎝
𝑎
𝑏
𝛼
𝛽
⎞
⎟
⎟
⎠ .
Pomocí metody nejmenších čtverců obdržíme odhady
̂︀𝑎 = 54.2645 ̂︀𝛼 = 9.0107 ̂︀𝛾 = 2.4084
̂︀𝑏 = 0.2101 ̂︀𝛽 = −8.1678 ̂︀𝜔 = −1.277
,
přitom první pozorování konané v roce 1907 odpovídá 𝑡 = 1.
RNDr. Marie Forbelská, Ph.D. 107
1.3. Diferenčně stacionární náhodné procesy.
Nestacionární proces obsahující stochastický trend lze převést na stacionární diferencováním.
Zaveďme proto tzv. diferenční operátor:
Δ𝑌 𝑡 = 𝑌 𝑡 − 𝑌 𝑡−1 = (1 − 𝐵)𝑌 𝑡
Δ2
𝑌 𝑡 = Δ(Δ𝑌 𝑡) = Δ(𝑌 𝑡 − 𝑌 𝑡−1)
= (𝑌 𝑡 − 𝑌 𝑡−1) − (𝑌 𝑡−1 − 𝑌 𝑡−2)
= 𝑌 𝑡 − 2𝑌 𝑡−1 + 𝑌 𝑡−2 = (1 − 𝐵)2
𝑌 𝑡
...
Δ 𝑑
𝑌 𝑡 = (1 − 𝐵) 𝑑
𝑌 𝑡.
Nestacionární proces se stochastickým trendem nazýváme integrovaným smíšeným modelem a značíme
𝐴𝑅𝐼𝑀 𝐴(𝑝, 𝑑, 𝑞) .
Formálně jej zapíšeme pomocí operátoru zpětného chodu takto:
𝐴𝑅𝐼𝑀 𝐴(𝑝, 𝑑, 𝑞) : Φ(𝐵)(1 − 𝐵) 𝑑
𝑌 𝑡 = Θ(𝐵)𝜀 𝑡
a položíme-li
𝑊 𝑡 = (1 − 𝐵) 𝑑
𝑌 𝑡,
pak 𝑊 𝑡 je stacionární 𝐴𝑅𝑀 𝐴(𝑝, 𝑞).
Zvláštní případy 𝐴𝑅𝐼𝑀 𝐴(𝑝, 𝑑, 𝑞)
𝑝 𝑑 𝑞 Zkratka Název
0 𝐼𝑀 𝐴(𝑑, 𝑞) Integrovaný proces klouzavých součtů
0 0 𝑀 𝐴(𝑞) Proces klouzavých součtů
0 𝐴𝑅𝐼(𝑝, 𝑑) Integrovaný autoregresní proces
0 0 𝐴𝑅(𝑝) Autoregresní proces
0 0 𝐼(𝑑) Integrovaný proces
0 1 0 𝐼(1) Náhodná procházka (random walk)
1.3.1. Integrované procesy řádu jedna.
Nejprve popišme různé varianty náhodné procházky.
„Čistá“ náhodná procházka (pure random walk, random walk without drift):
𝑌 𝑡 = 𝑌 𝑡−1 + 𝜀 𝑡 kde 𝜀 𝑡 ∼ 𝑉 𝑊(0, 𝜎2
𝜀 ) (26)
Jestliže použijeme rekurentní vzorec (26) opakovaně, dostaneme
𝑌 𝑡 =
∞∑︁
𝑠=1
𝜀 𝑡−𝑠 (27)
Proces „čisté“ náhodné procházky je limitním případem procesu 𝐴𝑅(1), kde 𝜙1 = 1, takže
(𝑎) hodnoty 𝐴𝐶𝐹 = 𝜌(𝑘) budou klesat velmi pomalu (lineárně),
(𝑏) hodnoty 𝑃 𝐴𝐶𝐹 = 𝛼(𝑘) jsou logicky velmi podobné procesu AR(1).
Protože jeden kořen polynomu leží na jednotkové kružnici, tak se také diferenčně stacionárním procesům říká procesy
s jednotkovým kořenem.
108 M5201 Stochastické modely časových řad
0 50 100 150 200
−50510
Obrázek 7. Čistá náhodná procházka 𝑌𝑡 = 𝑌𝑡−1 + 𝜀𝑡, kde 𝜀𝑡 ∼ 𝑁(0, 1).
Nyní předpokládejme, že proces má počátek v čase 𝑡 = 0 a 𝑌0 = 𝑦0 je počáteční deterministická podmínka. Pak
𝑌 𝑡 = 𝑦0 +
𝑡−1∑︁
𝑠=0
𝜀 𝑡−𝑠 (28)
(𝑎) 𝐸𝑌 𝑡 = 𝑦0
(𝑏) 𝐷𝑌 𝑡 = 𝐷
(︂
𝑦0 +
𝑡−1∑︀
𝑠=0
𝜀 𝑡−𝑠
)︂
= 𝐷
(︂ 𝑡−1∑︀
𝑠=0
𝜀 𝑡−𝑠
)︂
nekorel.
=
𝑡−1∑︀
𝑠=0
𝐷𝜀 𝑡−𝑠 = 𝑡𝜎2
𝜀 tj. rozptyl je funkcí času.
Náhodná procházka s deterministickým trendem, (také se říká s posunutím, vychýlená) (Random Walk with Drift):
V praxi se používá následující modifikace:
𝑌 𝑡 = 𝛽 + 𝑌 𝑡−1 + 𝜀 𝑡, 𝛽 ∈ R.
Potom, pokud budeme postupně upravovat, dostaneme
𝑌 𝑡 = 𝛽 + 𝑌 𝑡−1 + 𝜀 𝑡 = 𝑌 𝑡−2 + 2𝛽 + 𝜀 𝑡 + 𝜀 𝑡−1 = · · · = 𝑧0 + 𝛽 · 𝑡
⏟ ⏞
deterministický
lineární trend
+
𝑡−1∑︁
𝑠=0
𝜀 𝑡−𝑠
⏟ ⏞
stochastický trend
.
Takto vytvořený náhodný proces obsahuje jak deterministický, tak stochastický trend.
RNDr. Marie Forbelská, Ph.D. 109
0 50 100 150 200
01020304050
Obrázek 8. Vychýlená náhodná procházka 𝑌𝑡 = 𝛽 + 𝑌𝑡−1 + 𝜀𝑡, kde 𝜀𝑡 ∼ 𝑁(0, 1), 𝛽 = 0.3
Čistá náhodná procházka a vychýlená náhodná procházka se od sebe výrazně liší. Čistá náhodná procházka mívá
cyklický průběh, kdežto v náhodné procházce s posunutím převládá deterministický trend nad stochastickým trendem a
není již přítomen specifický cyklický průběh.
0 50 100 150 200
10203040
I(0)
I(1)
det. trend
Obrázek 9. Srovnání stochastického procesu kolem deterministického trendu (tj. proces 𝐼(0))
s procesem se stochastickým trendem (tj. proces 𝐼(1)). Deterministický trend: 𝑦𝑡 = 𝛼 + 𝛽𝑡
(𝛼 = 5, 𝛽 = 0.1), 𝐼(0) : 𝑌𝑡 = 𝑦𝑡 + 𝜂𝑡, kde 𝜂𝑡 = 𝜙𝜂𝑡−1 + 𝜀𝑡 ∼ 𝐴𝑅(1) (𝜙 = 0.3), 𝐼(1) : 𝑌𝑡 = 𝑦𝑡 + 𝜉𝑡,
kde 𝜉𝑡 = 𝜉𝑡−1 + 𝜀𝑡 a 𝜀𝑡 ∼ 𝑁(0, 1).
1.3.2. Integrované procesy řádu 𝑑.
Operátor
𝜈(𝐵) = Φ(𝐵)(1 − 𝐵) 𝑑
110 M5201 Stochastické modely časových řad
se někdy nazývá zobecněný autoregresní operátor.
Pokud 𝜈(𝐵) chápeme jako polynom v proměnné 𝐵, pak vzhledem ke kauzalitě modelu
(1 − 𝐵) 𝑑
𝑊 𝑡 = Θ(𝐵)𝜀 𝑡 má 𝜈(𝐵) právě 𝑝 kořenů ležících vně jednotkového kruhu a 𝑑 kořenů rovných 1.
V praxi se nejprve diferencováním časové řady získá stacionární řada 𝑊 𝑡 a pro ni se vybuduje proces 𝐴𝑅𝑀 𝐴(𝑝, 𝑞).
Pokud jsme původně měli 𝑌1, . . . , 𝑌 𝑛, po diferencování zůstanou 𝑊 𝑑+1, . . . , 𝑊 𝑛.
Poznámka 1.3. Tvary 𝐴𝐶𝐹 = 𝜌(𝑘) a 𝑃 𝐴𝐶𝐹 = 𝛼(𝑘) procesů 𝐴𝑅𝐼𝑀 𝐴(𝑝, 𝑑, 𝑞) a náhodné procházky 𝐼(1) jsou
prakticky totožné. Přítomnost jednotkových kořenů způsobuje „zakrytí“ téměř všech identifikačních detailů těchto
funkcí.
Poznámka 1.4. 𝐴𝑅𝐼𝑀 𝐴(𝑝, 𝑑, 𝑞) nemá smysl centrovat, neboť platí:
Δ 𝑑
(𝑌 𝑡 − ¯𝑌 ) = Δ 𝑑
𝑌 𝑡.
Poznámka 1.5. Kromě trendů vyžadujících stochastické modelování mohou ARIMA modely zachytit i čistě deterministické
trendy, pokud provedeme takovéto zobecnění 𝐴𝑅𝐼𝑀 𝐴(𝑝, 𝑑, 𝑞) modelů:
𝐴𝑅𝐼𝑀 𝐴(𝑝, 𝑑, 𝑞) : Φ(𝐵)(1 − 𝐵) 𝑑
𝑌 𝑡 = 𝛽 + Θ(𝐵)𝜀 𝑡 𝛽 ∈ R;,
Pak této definici vyhovují procesy tvaru:
𝛽0 + 𝛽1 𝑡 + · · · + 𝛽 𝑑 𝑡 𝑑
⏟ ⏞
polynomický trend řádu d
+ 𝑌 𝑡.
s využitím poznatků o diferencování polynomů lze totiž psát:
Φ(𝐵)(1 − 𝐵) 𝑑
(𝛽0 + 𝛽1 𝑡 + · · · + 𝛽 𝑑 𝑡 𝑑
+ 𝑌 𝑡) =
Φ(𝐵)(𝑑!𝛽 𝑑)
⏟ ⏞
𝛽=(1−𝜙1−···−𝜙 𝑝)𝑑!𝛽 𝑑
+ Φ(𝐵)(1 − 𝐵) 𝑑
𝑌 𝑡 = 𝛽 + Θ(𝐵)𝜀 𝑡.
1.4. Modelování sezónnosti.
Sezónnost je v Box-Jenkinsonově metodologii stejně jako trend modelována stochasticky.
Nejprve zaveďme sezónní diferenční operátor o délce 𝐿 > 0:
Δ 𝐿 𝑌 𝑡 = 𝑌 𝑡 − 𝑌 𝑡−𝐿 = (1 − 𝐵 𝐿
)𝑌 𝑡
Δ2
𝐿 𝑌 𝑡 = Δ 𝐿(Δ 𝐿 𝑌 𝑡) = Δ 𝐿(𝑌 𝑡 −𝑌 𝑡− 𝐿)
= (𝑌 𝑡 −𝑌 𝑡− 𝐿)−(𝑌 𝑡− 𝐿 −𝑌 𝑡−2𝐿)
= 𝑌 𝑡 −2𝑌 𝑡− 𝐿 +𝑌 𝑡−2𝐿 = (1−𝐵 𝐿
)2
𝑌 𝑡
...
Δ 𝐷
𝐿 𝑌 𝑡 = (1 − 𝐵 𝐿
) 𝐷
𝑌 𝑡
Při konstrukci se uvažuje způsobem, který budeme demonstrovat pomocí následujícího příkladu:
Nechť časová řada {𝑌 𝑡} vykazuje sezónnost o délce 𝐿 = 12.
(1) Zkonstruujeme nejprve 𝐴𝑅𝐼𝑀 𝐴(𝑃1, 𝐷1, 𝑄1) model pro řadu lednových měření, tj. pro {𝑆1
𝑡 = 𝐵12
𝑌 𝑡}
𝜋1(𝐵12
)Δ 𝐷1
12 𝑌 𝑡 = Ψ1(𝐵12
)𝜂
(1)
𝑡 ∼ 𝐴𝑅𝐼𝑀 𝐴(𝑃1, 𝐷1, 𝑄1)
kde časový index 𝑡 odpovídá lednovým obdobím a o 𝜂 𝑡 se budeme zajímat později.
Přitom
𝜋1(𝐵12
) = 1 − 𝜋1,1 𝐵12
− · · · − 𝜋1,𝑃1
𝐵12·𝑃1
je tzv. sezónní autoregresní operátor 𝑆𝐴𝑅(𝑃1)
Ψ1(𝐵12
) = 1 + 𝜓1,1 𝐵12
+ · · · + 𝜓1,𝑄1
𝐵12·𝑄1
je tzv. sezónní operátor klouzavých součtů 𝑆𝑀 𝐴(𝑄1)
Δ 𝐷1
12 = (1 − 𝐵 𝐿
) 𝐷1
je tzv. sezónní diferenční operátor 𝑆𝐼(𝐷1)
(2) Podobné modely zkonstruujeme pro ostatní měsíce:
𝜋2(𝐵12
)Δ 𝐷2
12 𝑌 𝑡 = Ψ2(𝐵12
)𝜂
(2)
𝑡 ∼ 𝐴𝑅𝐼𝑀 𝐴(𝑃2, 𝐷2, 𝑄2)
...
𝜋12(𝐵12
)Δ 𝐷12
12 𝑌 𝑡 = Ψ12(𝐵12
)𝜂
(12)
𝑡 ∼ 𝐴𝑅𝐼𝑀 𝐴(𝑃12, 𝐷12, 𝑄12)
RNDr. Marie Forbelská, Ph.D. 111
(3) Předpokládejme přitom, že tyto modely jsou pro jednotlivé měsíce přibližně stejné, tj.
𝑃1 ≈ · · · ≈ 𝑃12 ≈ 𝑃
𝑄1 ≈ · · · ≈ 𝑄12 ≈ 𝑄
𝐷1 ≈ · · · ≈ 𝐷12 ≈ 𝐷
𝜋1(𝐵12
) ≈ · · · ≈ 𝜋12(𝐵12
) ≈ 𝜋(𝐵12
)
Ψ1(𝐵12
) ≈ · · · ≈ Ψ12(𝐵12
) ≈ Ψ(𝐵12
)
(4) Náhodné veličiny 𝜂
(𝑗)
𝑡 (𝑗 = 1, . . . , 12) by však v těchto modelech měly být pro různé měsíce mezi sebou
korelované, neboť by měl existovat např. vztah mezi lednovými a únorovými hodnotami. Předpokládejme
proto, že také řada 𝜂 𝑡 je popsána modelem 𝐴𝑅𝐼𝑀 𝐴(𝑝, 𝑑, 𝑞) tvaru
Φ(𝐵)Δ 𝑑
𝜂 𝑡 = Θ(𝐵)𝜀 𝑡 ∼ 𝐴𝑅𝐼𝑀 𝐴(𝑝, 𝑑, 𝑞)
kde 𝜀 𝑡 ∼ 𝑊 𝑁(0, 𝜎2
) je bílý šum.
(5) Spojme předchozí dva modely do jediného tzv. multiplikativního sezónního modelu řádu(𝑝, 𝑑, 𝑞) ×
(𝑃, 𝐷, 𝑄) 𝐿
Φ(𝐵)𝜋(𝐵 𝐿
)Δ 𝑑
Δ 𝐷
𝐿 𝑌 𝑡 = Θ(𝐵)Ψ(𝐵 𝐿
)𝜀 𝑡 ∼ 𝑆𝐴𝑅𝐼𝑀 𝐴(𝑝, 𝑑, 𝑞) × (𝑃, 𝐷, 𝑄) 𝐿 𝐿 = 12.
Příklad 1.4. Model 𝑆𝐴𝑅𝐼𝑀 𝐴(0, 1, 1) × (0, 1, 1)12 má tvar:
ΔΔ12 𝑌 𝑡 = (1 − 𝐵)(1 − 𝐵12
)𝑌 𝑡 = (1 + 𝜃1 𝐵)(1 + 𝜓1 𝐵12
)𝜀 𝑡,
nebo ekvivalentně
𝑌 𝑡 − 𝑌 𝑡−1 − 𝑌 𝑡−12 + 𝑌 𝑡−13 = 𝜀 𝑡 + 𝜃1 𝜀 𝑡−1 + 𝜓1 𝜀 𝑡−12 + 𝜃1 𝜓1 𝜀 𝑡−13.
Poznámka 1.6. Existují také aditivní sezónní modely, které se však používají jen zřídka. Jako příklad lze uvést
model
𝑌 𝑡 = 𝜀 𝑡 + 𝜃1 𝜀 𝑡−1 + 𝜃12 𝜀 𝑡−12 + 𝜃13 𝜀 𝑡−13.
1.4.1. Výstavba sezónních modelů. Označme řád běžného diferencování na odstranění trendu jako 𝑑 a 𝐷 jako řád
diferencování na odstranění sezónnosti. V praktických situacích většinou 𝑑 = 0, 1, 2 a 𝐷 = 0, 1. Dále nechť 𝐿 je délka
sezóny.
Výstavba sezónních modelů probíhá ve třech stejných fázích jako pro modely 𝐴𝑅𝐼𝑀 𝐴. Všimněme si pouze FÁZE IDENTIFI
neboť ostatní dvě fáze jsou totožné.
(1) Odhad parametrů 𝑑, 𝐷 :
(a) Provede se studium odhadnuté autokorelační funkce 𝐴𝐶𝐹 = ^𝛾(𝑘), neboť identifikuje přítomnost trendu.
Doporučuje se prozkoumat 4𝐿 hodnot ^𝛾(𝑘).
¾ Určení 𝐷 : Má-li funkce ^𝜌(𝑘) v bodech 𝐿, 2𝐿, 3𝐿 . . . lokální maxima, pak (bez ohledu na její
průběh mezi těmito časovými body) je nutné položit 𝐷 = 1.
To plyne z toho, že hodnoty ^𝜌(𝐿), ^𝜌(2𝐿), ^𝜌(3𝐿), . . . představují odhadnuté hodnoty autokorelační
funkce pro řady {𝑆 𝑗
𝑡 = 𝐵 𝐿
𝑌 𝑡}, 𝑗 = 1, . . . , 𝐿 modelu
𝜋(𝐵 𝐿
)Δ 𝐷
𝐿 𝑌 𝑡 = Ψ(𝐵 𝐿
)𝜂 𝑡 ∼ 𝐴𝑅𝐼𝑀 𝐴(𝑃, 𝐷, 𝑄),
přičemž nestacionaritě tohoto ARIMA modelu odpovídá pomalý pokles autokorelační funkce
^𝜌(𝐿), ^𝜌(2𝐿), ^𝜌(3𝐿), . . ., tj. tuto řadu je nutno diferencovat (s krokem 𝐿) a pokládáme 𝐷 = 1.
¾ Určení 𝑑 : Jestliže funkce 𝑟 𝑘 klesá mezi body 𝑗𝐿 a (𝑗 + 1)𝐿 pouze přibližně lineárně, je třeba
provést také běžné diferencování.
(b) Čísla 𝑑, 𝐷 se také někdy určují tak, že se hledá nejmenší číslo mezi odhadnutými hodnotami
^𝜎2
𝑌 , ^𝜎2
Δ𝑌 𝑡
, ^𝜎Δ 𝐿 𝑌 𝑡
, ^𝜎Δ2
𝐿
𝑌 𝑡
, . . .
rozptylů dané řady a jejich diferencí.
(2) Odhad parametrů 𝑝, 𝑃, 𝑞, 𝑄 :
Po určení řádu 𝑑 a 𝐷 zkonstruujeme řadu 𝑊 𝑡 = Δ 𝑑
Δ 𝐷
𝐿 𝑌 𝑡,
pro kterou je nutné identifikovat model tvaru
Φ(𝐵)𝜋(𝐵 𝐿
)𝑊 𝑡 = Θ(𝐵)Ψ(𝐵 𝐿
)𝜀 𝑡 ∼ 𝑆𝐴𝑅𝐼𝑀 𝐴(𝑝, 0, 𝑞) × (𝑃, 0, 𝑄) 𝐿.
Pro tento účel se použije odhadnutá 𝐴𝐶𝐹 = ^𝜌(𝑘) a 𝑃 𝐴𝐶𝐹 = ^𝛼(𝑘) řady 𝑊 𝑡.
(a) MA–Homogenní modely
112 M5201 Stochastické modely časových řad
« Jestliže 𝐴𝐶𝐹 funkce ^𝜌(𝑘) je zhruba významně nenulová v bodech
1, . . . , 𝑞
𝐿 − 𝑞, . . . , 𝐿 + 𝑞
2𝐿 − 𝑞, . . . , 2𝐿 + 𝑞
...
𝑄𝐿 − 𝑞, . . . , 𝑄𝐿 + 𝑞
přičemž mezi těmito body se neodlišují významně od nuly
« a funkce ^𝛼(𝑘) v jednotlivých úsecích mezi body 𝑗𝐿 a (𝑗 + 1)𝐿 vždy v absolutní hodnotě klesá
(geometricky nebo po sinusoidě s geometricky klesající amplitudou) a zároveň klesá, když ji sledujeme
v bodech 𝐿, 2𝐿, 3𝐿, . . . ,
pak položíme
𝑝 = 0 a 𝑃 = 0,
tj. budeme identifikovat odpovídající model pro řadu 𝑊 𝑡 jako
𝑊 𝑡 = Θ(𝐵)Ψ(𝐵 𝐿
)𝜀 𝑡 ∼ 𝑆𝐴𝑅𝐼𝑀 𝐴(0, 0, 𝑞) × (0, 0, 𝑄) 𝐿
a tedy model pro řadu 𝑌 𝑡 jako
Δ 𝑑
Δ 𝐷
𝐿 𝑌 𝑡 = Θ(𝐵)Ψ(𝐵 𝐿
)𝜀 𝑡 ∼ 𝑆𝐴𝑅𝐼𝑀 𝐴(0, 𝑑, 𝑞) × (0, 𝐷, 𝑄) 𝐿.
(b) AR–Homogenní modely
« Jestliže naopak funkce ^𝜌(𝑘) klesá v absolutní hodnotě (geometricky nebo po sinusoidě s geometricky
klesající amplitudou) v úsecích mezi body 𝑗𝐿 a (𝑗 + 1)𝐿 a zároveň klesá, když ji sledujeme v
bodech 𝐿, 2𝐿, 3𝐿, . . .
« a funkce ^𝛼(𝑘) je zhruba významně nenulová v bodech
1, . . . , 𝑝
𝐿, . . . , 𝐿 + 𝑝
2𝐿, . . . , 2𝐿 + 𝑝
...
𝑃 𝐿, . . . , 𝑃 𝐿 + 𝑝
přičemž mezi těmito body se neodlišují významně od nuly,
pak položíme
𝑞 = 0 a 𝑄 = 0,
tj. budeme identifikovat odpovídající model pro řadu 𝑊 𝑡 jako
Φ(𝐵)𝜋(𝐵 𝐿
)𝑊 𝑡 = 𝜀 𝑡 ∼ 𝑆𝐴𝑅𝐼𝑀 𝐴(𝑝, 0, 0) × (𝑃, 0, 0) 𝐿
a tedy model pro řadu 𝑌 𝑡 jako
Φ(𝐵)𝜋(𝐵 𝐿
)Δ 𝑑
Δ 𝐷
𝐿 𝑌 𝑡 = 𝜀 𝑡 ∼ 𝑆𝐴𝑅𝐼𝑀 𝐴(𝑝, 𝑑, 0) × (𝑃, 𝐷, 0) 𝐿.
(c) Nehomogenní modely typu
𝑆𝐴𝑅𝐼𝑀 𝐴(𝑝, 𝑑, 0) × (0, 𝐷, 𝑄) 𝐿 nebo 𝑆𝐴𝑅𝐼𝑀 𝐴(0, 𝑑, 𝑞) × (𝑃, 𝐷, 0) 𝐿
se většinou nepoužívají, neboť obvykle vedou při srovnání s předchozími tzv. homogenní modely
𝑆𝐴𝑅𝐼𝑀 𝐴(0, 𝑑, 𝑞) × (0, 𝐷, 𝑄) 𝐿 nebo 𝑆𝐴𝑅𝐼𝑀 𝐴(𝑝, 𝑑, 0) × (𝑃, 𝐷, 0) 𝐿
k odhadu neúnosně velkého počtu parametrů.
(d) Identifikace obecných modelů
𝑆𝐴𝑅𝐼𝑀 𝐴(𝑝, 𝑑, 𝑞) × (𝑃, 𝐷, 𝑄) 𝐿,
v nichž čísla 𝑝, 𝑞, 𝑃 a 𝑄 mohou být vesměs nenulová, je již dosti komplikovanou záležitostí a obvykle zde
hodně záleží na zkušenostech statistika, který analýzu provádí.
RNDr. Marie Forbelská, Ph.D. 113
1.5. Exponenciální vyrovnávání. Exponenciální vyrovnávání, které zavedl Brown, vychází z polynomiální lokální
vážené metody nejmenších čtverců, kde váhy jednotlivých čtverců uvnitř asymetrického okénka (tj. výřezu časové řady)
se směrem do minulosti exponenciálně snižují – odtud název metody.
Uvažujeme-li asymetrické vyhlazovací okno pouze směrem do minulosti, pak pro každé 𝑡, 𝜏 = 0, 1, . . . dostaneme
regresní model tvaru
𝑌 𝑡−𝜏 =
𝑚∑︁
𝑗=0
(−𝜏) 𝑗
𝛽 𝑗(𝑡)+𝜀 𝑡−𝜏 , 𝐸𝜀 𝑡−𝜏 =0; 𝐸𝜀 𝑞 𝜀 𝑠 =0, 𝑞 ̸= 𝑠; 𝐷𝜀 𝑡−𝜏 = 𝛼−𝜏
𝜎2
; 𝛼 ∈ (0, 1).
tj. matice vah je rovna
W = 𝑑𝑖𝑎𝑔{𝑤1, . . . , 𝑤 𝑛, . . .} = 𝑑𝑖𝑎𝑔{𝛼0
, 𝛼1
, . . . , 𝛼 𝜏
. . .}.
Odhad parametrů 𝛽 metodou nejmenších vážených čtverců (neboť rozptyly nejsou konstantní) je dán vzorcem:
^𝛽 = (X′
WX)−1
X′
WY
kde
X′
WX=
⎛
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎝
∞∑︀
𝜏=0
𝛼 𝜏
∞∑︀
𝜏=0
(−𝜏)1 𝛼 𝜏 · · ·
∞∑︀
𝜏=0
(−𝜏) 𝑚 𝛼 𝜏
∞∑︀
𝜏=0
(−𝜏)1 𝛼 𝜏
∞∑︀
𝜏=0
(−𝜏)2 𝛼 𝜏 · · ·
∞∑︀
𝜏=0
(−𝜏) 𝑚+1 𝛼 𝜏
...
...
...
...
∞∑︀
𝜏=0
(−𝜏) 𝑚 𝛼 𝜏
∞∑︀
𝜏=0
(−𝜏) 𝑚+1 𝛼 𝜏 · · ·
∞∑︀
𝜏=0
(−𝜏)2𝑚 𝛼 𝜏
⎞
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎠
, X′
WY=
⎛
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎝
∞∑︀
𝜏=0
𝛼 𝜏 𝑌 𝑡−𝜏
∞∑︀
𝜏=0
(−𝜏)1 𝛼 𝜏 𝑌 𝑡−𝜏
...
∞∑︀
𝜏=0
(−𝜏) 𝑚 𝛼 𝜏 𝑌 𝑡−𝜏
⎞
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎠
.
Tento přístup založený na vážené polynomiální metodě nejmenších čtverců se nazývá Brownův přístup.
Značení:
Pro dobrou srozumitelnost zavedeme následující značení. Nechť {𝑌 𝑡, 𝑡 ∈ Z} je náhodná posloupnost, její realizace v časových
okamžicích 𝑡1, 𝑡2, . . . , 𝑡 𝑛 označme 𝑦1, 𝑦2, ..., 𝑦 𝑛. Symbolem ^𝑦 𝑡|𝑘 označme odhad hodnoty 𝑌 𝑡 v čase 𝑡 na základě
hodnot do časového okamžiku 𝑘 včetně.
 Jestliže 𝑘 < 𝑡, pak ^𝑦 𝑡|𝑘 nazýváme predikcí,
 pokud 𝑘 = 𝑡, ^𝑦 𝑡|𝑡 nazýváme filtrací
 a je-li 𝑘 = 𝑛 > 𝑡, pak ^𝑦 𝑡|𝑛 nazýváme vyrovnáním (smoothing).
Jednoduché exponenciální vyrovnávání
Exponenciální vyrovnávání pro 𝑚 = 0 se nazývá jednoduché exponenciální vyrovnávání. Použijeme–li označení ^𝛽0(𝑡) =
𝑏0(𝑡) a uvážíme–li, že pro 𝛼 ∈ (0, 1) je
∞∑︀
𝜏=0
𝛼 𝜏
= 1
1−𝛼 , dostaneme
𝑏 𝑜(𝑡)
∞∑︁
𝜏=0
𝛼 𝜏
=
∞∑︁
𝜏=0
𝛼 𝜏
𝑌 𝑡−𝜏 ⇒ 𝑏0(𝑡) = ^𝑌 𝑡 = (1 − 𝛼)
∞∑︁
𝜏=0
𝛼 𝜏
𝑌 𝑡−𝜏
Abychom získali rekurentní vztah, upravujme
^𝑌 𝑡 = (1 − 𝛼)
∑︀∞
𝜏=0 𝛼 𝜏
𝑌 𝑡−𝜏 = (1 − 𝛼)𝑌 𝑡 + (1 − 𝛼)
∑︀∞
𝜏=1 𝛼 𝜏
𝑌 𝑡−𝜏 =
⃒
⃒
⃒
⃒
𝑠𝑢𝑏𝑠𝑡.
𝑘 = 𝜏 − 1
⃒
⃒
⃒
⃒
= (1 − 𝛼)𝑌 𝑡 + (1 − 𝛼)
∑︀∞
𝑘=0 𝛼 𝑘+1
𝑌 𝑡−1−𝑘
= (1 − 𝛼)𝑌 𝑡 + 𝛼 (1 − 𝛼)
∞∑︁
𝑘=0
𝛼 𝑘
𝑌 𝑡−1−𝑘
⏟ ⏞
^𝑌 𝑡−1
= (1 − 𝛼)𝑌 𝑡 + 𝛼 ^𝑌 𝑡−1
Protože predikce o 𝜏 (𝜏 > 0) kroků dopředu pro jednoduché exponenciální vyrovnávání je rovna
^𝑌 𝑡+𝜏|𝑡 = ^𝑌 𝑡 = 𝑏0(𝑡),
114 M5201 Stochastické modely časových řad
můžeme předchozí rekurentní vztah přepsat pro realizace a dále upravovat
^𝑦 𝑡+1|𝑡 = (1 − 𝛼)𝑦 𝑡 + 𝛼^𝑦 𝑡|𝑡−1
= (1 − 𝛼)𝑦 𝑡 + 𝛼^𝑦 𝑡|𝑡−1 + ^𝑦 𝑡|𝑡−1 − ^𝑦 𝑡|𝑡−1
= ^𝑦 𝑡|𝑡−1 + (1 − 𝛼) (𝑦 𝑡 − ^𝑦 𝑡|𝑡−1)
⏟ ⏞
chyba predikce ^𝜀 𝑡|𝑡−1
a o rekurentním vzorci s chybou predikce ^𝜀 𝑡|𝑡−1 se říká, že je ve formě korekce chyby předpovědi (error correction form).
Ad hoc přístupy Holta a Winterse
Pokud chceme na základě pozorování 𝑦1, . . . , 𝑦 𝑡 sestrojit předpověď budoucí hodnoty 𝑦 𝑡+1 v čase 𝑡 + 1, označme ji
̂︀𝑦 𝑡+1|𝑡, pak nejjednodušším odhadem může být obyčejmý průměr. Tato předpověď je vhodná, pokud hodnoty časové řady
náhodně kolísají kolem střední hodnoty, která se v čase nemění. Jako rozumější se však jeví použít pro predikci budoucí
hodnoty ve větší míře pozorování, která jsou časově nejbliže. Pak se nabízejí vážené průměry
̂︀𝑦 𝑡+1|𝑡 =
𝑡−1∑︁
𝑗=0
𝑤 𝑗,𝑡 𝑦 𝑡−𝑗, (29)
kde součet vah je roven jedné, tj.
∑︀ 𝑛
𝑗=0 𝑤 𝑗,𝑡 = 1.
Exponenciální vyrovnávání je založeno na myšlence použití vah, které do minulosti klesají exponenciálně.
S využitím vztahu
𝑡−1∑︁
𝑗=0
𝛼 𝑗
=
1 − 𝛼 𝑡
1 − 𝛼
, pro 𝛼 ∈ (0, 1) , (30)
chceme-li, aby součet vah, které exponenciálně klesají, byl roven jedné, položíme
𝑤 𝑗,𝑡 =
1 − 𝛼
1 − 𝛼 𝑡
𝛼 𝑗
. (31)
Protože pro 𝑡 → ∞ konvergují váhy 𝑤 𝑗,𝑡 → 𝑤 𝑗 = (1−𝛼)𝛼 𝑗
, můžeme uvažovat jednokrokovou předpověď ze všech minulých
pozorování ve tvaru
̂︀𝑦 𝑡+1|𝑡 = (1 − 𝛼)
∞∑︁
𝑗=0
𝛼 𝑗
𝑦 𝑡−𝑗, pro 𝛼 ∈ (0, 1) . (32)
Analogicky jako u Brownova přístupu odvodíme rekurentní vztahy
̂︀𝑦 𝑡+1|𝑡 = (1 − 𝛼)𝑦 𝑡 + (1 − 𝛼)
∞∑︁
𝑗=1
𝛼 𝑗
𝑦 𝑡−𝑗
= (1 − 𝛼)𝑦 𝑡 + 𝛼(1 − 𝛼)
∞∑︁
𝑘=0
𝛼 𝑘
𝑦 𝑡−1−𝑘
= (1 − 𝛼)𝑦 𝑡 + 𝛼̂︀𝑦 𝑡|𝑡−1
Obdobně získáme i tvar využívající korekci chyby předpovědi
̂︀𝑦 𝑡+1|𝑡 = (1 − 𝛼)𝑦 𝑡 + 𝛼̂︀𝑦 𝑡|𝑡−1 + ̂︀𝑦 𝑡|𝑡−1 − ̂︀𝑦 𝑡|𝑡−1
= ̂︀𝑦 𝑡|𝑡−1 + (1 − 𝛼)(𝑦 𝑡 − ̂︀𝑦 𝑡|𝑡−1)
= ̂︀𝑦 𝑡|𝑡−1 + (1 − 𝛼)̂︀𝜀 𝑡|𝑡−1
Na tomto ad-hoc přístupu se nám podařilo ukázat, že se v podstatě jedná o jednoduché exponenciální vyrovnávání,
které přepokládá model
𝑌 𝑡 = 𝛽0(𝑡) + 𝜀 𝑡
s lokální hladinou 𝛽0(𝑡).
Použijeme-li značení obvyklá pro tento přístup, kdy váhy mají tvar
𝑤 𝑗 = 𝛽(1 − 𝛽) 𝑗
, (33)
tj. 𝛼 = 1 − 𝛽, místo 𝛽0(𝑡), píšeme 𝐿 𝑡 (level). Odvozené vztahy v novém značení:
̂︀𝑦 𝑡+1|𝑡 = 𝛽𝑦 𝑡 + (1 − 𝛽)̂︀𝑦 𝑡|𝑡−1 = ̂︀𝑦 𝑡|𝑡−1 + 𝛽̂︀𝜀 𝑡|𝑡−1 (34)
𝐿 𝑡+1 = 𝐿 𝑡 + 𝛽̂︀𝜀 𝑡+1|𝑡 (35)
Holtovo exponenciální vyrovnávání
RNDr. Marie Forbelská, Ph.D. 115
Oproti jednoduchému exponenciálnímu vyrovnávání Holtova metoda předpokládá lokálně lineární trend, jehož koeficienty
𝛽0(𝑡) i 𝛽1(𝑡) se v čase mění. Hodnota časové řady v okamžiku 𝑡 je určena jednak její úrovní 𝛽0(𝑡), jednak směrnicí
𝛽1(𝑡). V Holtově metodě se úroveň v čase 𝑡 značí symbolem 𝐿 𝑡 (zkratka pro level) a směrnice jako 𝑇 𝑡 (zkratka pro trend).
Úroveň 𝐿 𝑡 je zároveň vyrovnanou hodnotou realizace 𝑦 𝑡 v okamžiku 𝑡. Směrnice lokálně lineárního trendu 𝑇 𝑡 (někdy
se mluvíme krátce o trendu) vyjadřuje očekávanou změnu úrovně časové řady při jednotkové časové změně. Pokud chceme
pomocí Holtovy metody přepovídat hodnotu časové řady o ℎ > 0 jednotek dopředu, položíme
̂︀𝑦 𝑡+ℎ|𝑡 = 𝐿 𝑡 + 𝑇 𝑡ℎ . (36)
Takže, je-li ℎ = 1, dostaneme jednokrokovou předpověď jako
̂︀𝑦 𝑡+1|𝑡 = 𝐿 𝑡 + 𝑇 𝑡 . (37)
Protože by přibližně mělo platit, že realizace 𝑦 𝑡+1 ≈ 𝐿 𝑡+1, pak se jeví vhodné získat 𝐿 𝑡+1, jako konvexní lineární kombinaci
hodnot (𝐿 𝑡 + 𝑇 𝑡) a 𝑦 𝑡+1. V Holtově metodologii bývá zvykem místo 𝛼 ∈ (0, 1) používat 𝛽 = 1 − 𝛼, takže konvexní lineární
kombinace bude mít tvar
𝐿 𝑡+1 = (1 − 𝛽)(𝐿 𝑡 + 𝑇 𝑡) + 𝛽𝑦 𝑡+1 . (38)
Hodnota 𝛽 se nazývá vyrovnávací konstanta pro úroveň řady.
Analogickou úvahu použijeme i pro směrnici trendu 𝑇 𝑡. Z přepokladu, že řada má lokálně lineární trend vyplývá, že
by přibližně mělo platit
𝑇 𝑡+1 ≈ 𝑇 𝑡,
ale zároveň má také smysl očekávat, že směrnice trendu je přibližně rozdílem sousedních úrovní, tj.
𝑇 𝑡+1 ≈ 𝐿 𝑡+1 − 𝐿 𝑡 .
Novou hodnotu směrnice 𝑇 𝑡+1 budeme uvažovat jako konvexní lineární kombinaci
𝑇 𝑡+1 = (1 − 𝛾)𝑇 𝑡 + 𝛾(𝐿 𝑡+1 − 𝐿 𝑡), kde 𝛾 ∈ (0, 1) (39)
𝛾 je tzv. vyrovnávací konstanta pro lineární růst (pro směrnici).
Na závěr odstavce ještě ukážeme přepsání předchozích rekurentních vztahů do chybového tvaru.
𝐿 𝑡+1 = (1 − 𝛽)(𝐿 𝑡 + 𝑇 𝑡) + 𝛽𝑦 𝑡+1 = (1 − 𝛽)(𝐿 𝑡 + 𝑇 𝑡) + 𝛽𝑦 𝑡+1 + 𝛽̂︀𝑦 𝑡+1|𝑡 − 𝛽̂︀𝑦 𝑡+1|𝑡
= 𝛽 (𝑦 𝑡+1 − ̂︀𝑦 𝑡+1|𝑡)
⏟ ⏞
̂︀𝜀 𝑡+1|𝑡
+(1 − 𝛽)(𝐿 𝑡 + 𝑇 𝑡) + 𝛽 ̂︀𝑦 𝑡+1|𝑡
⏟ ⏞
𝐿 𝑡+𝑇 𝑡
= 𝛽̂︀𝜀 𝑡+1|𝑡 + 𝐿 𝑡 + 𝑇 𝑡
𝑇 𝑡+1 = (1 − 𝛾)𝑇 𝑡 + 𝛾(𝐿 𝑡+1 − 𝐿 𝑡) = 𝑇 𝑡 − 𝛾𝑇 𝑡 + 𝛾 𝐿 𝑡+1
⏟ ⏞
𝐿 𝑡+𝑇 𝑡+𝛽̂︀𝜀 𝑡+1|𝑡
−𝛾𝐿 𝑡
= 𝑇 𝑡 − 𝛾𝑇 𝑡 + 𝛾(𝐿 𝑡 + 𝑇 𝑡 + 𝛽̂︀𝜀 𝑡+1|𝑡) − 𝛾𝐿 𝑡
= 𝑇 𝑡 + 𝛾𝛽̂︀𝜀 𝑡+1|𝑡 .
Holtovo-Wintersovo exponenciální vyrovnávání
V případě, kdy časová řada má sezonní charakter, nevystačíme se žádnou z předchozích metod. Rozšíření Holtovy metody
na sezónní časové řady je známo jako Holtova–Wintersova metoda. Autorem je Holtův student Peter R. Winters.
Holtova-Wintersova metoda je založena na třech vyrovnávacích konstantách. Jedna je pro hladinu, druhá pro trend
a třetí pro sezónnost. Dle charakteru dat využívá aditivní nebo multiplikativní notaci.
Uvažujme časovou řadu s lokálně lineárním trendem a sezónností s periodou 𝑝 ≥ 2. Stejně jako u Holtovy metody
označme symbolem 𝐿 𝑡 úroveň v čase 𝑡, symbolem 𝑇 𝑡 směrnici lokálně lineárního trendu a symbolem 𝑆 𝑡 sezónní výkyv
čase 𝑡. Součet úrovně 𝐿 𝑡 s hodnotou sezónního výkyvu 𝑆 𝑡 představuje v okamžiku 𝑡 vyrovnanou hodnotu realizace 𝑦 𝑡.
Předpověď hodnoty časové řady o ℎ > 0 jednotek dopředu je pak dána vztahem
̂︀𝑦 𝑡+ℎ|𝑡 = 𝐿 𝑡 + 𝑆 𝑡−𝑝+ℎ + 𝑇 𝑡ℎ, (40)
takže v případě jednokrokové predikce platí
̂︀𝑦 𝑡+1|𝑡 = 𝐿 𝑡 + 𝑆 𝑡+1−𝑝 + 𝑇 𝑡 (41)
Protože by mělo přibližně platit
𝑦 𝑡+1 ≈ 𝐿 𝑡+1 + 𝑆 𝑡+1−𝑝
116 M5201 Stochastické modely časových řad
a
𝐿 𝑡+1 ≈ 𝐿 𝑡 + 𝑇 𝑡,
má smysl získat úroveň 𝐿 𝑡+1 jako konvexní lineární kombinaci hodnot (𝐿 𝑡 + 𝑆 𝑡)
a (𝑦 𝑡+1 − 𝑆 𝑡+1−𝑝), tj.
𝐿 𝑡+1 = (1 − 𝛽)(𝐿 𝑡 + 𝑇 𝑡) + 𝛽(𝑦 𝑡+1 − 𝑆 𝑡+1−𝑝). (42)
Protože řada má lokálně lineární trend, mělo by přibližně platit
𝑇 𝑡+1 ≈ 𝑇 𝑡,
ale zároveň lze směrnici lokálně lineárního trendu vyjádřit pomocí rozdílu sousedních hladin
𝑇 𝑡+1 ≈ 𝐿 𝑡+1 − 𝐿 𝑡.
Oba předchozí vztahy využijeme při konstrukci směrnice lokálně linárního trendu díky konvexní linární kombinaci
𝑇 𝑡+1 = (1 − 𝛾)𝑇 𝑡 + 𝛾(𝐿 𝑡+1 − 𝐿 𝑡),
kde 𝛾 ∈ (0, 1) se nazývá vyrovnávací konstanta pro směrnici trendu. Pro sezónní výkyvy musí platit vztah
𝑆 𝑡+1 ≈ 𝑆 𝑡+1−𝑝 ,
a také
𝑆 𝑡+1 ≈ 𝑦 𝑡+1 − 𝐿 𝑡+1
Tedy označíme-li symbolem 𝛿 ∈ (0, 1) vyrovnávací konstantu pro sezónní výkyvy, pak
𝑆 𝑡+1 = (1 − 𝛿)𝑆 𝑡+1−𝑝 + 𝛿(𝑦 𝑡+1 − 𝐿 𝑡+1)
Na závěr odstavce odvodíme rekuretní vztahy v chybové formě. Tedy upravujme
𝐿 𝑡+1 = (1 − 𝛽)(𝐿 𝑡 + 𝑇 𝑡)𝛽(𝑦 𝑡+1 − 𝑆 𝑡+1−𝑝)
= (1 − 𝛽)(𝐿 𝑡 + 𝑇 𝑡) + 𝛽(𝑦 𝑡+1 − 𝑆 𝑡+1−𝑝) + 𝛽̂︀𝑦 𝑡+1|𝑡 − 𝛽̂︀𝑦 𝑡+1|𝑡
= 𝛽(𝑦 𝑡+1 − ̂︀𝑦 𝑡+1|𝑡) + 𝐿 𝑡 + 𝑇 𝑡 − 𝛽𝐿 𝑡 + −𝛽𝑇 𝑡 − 𝛽𝑆 𝑡+1−𝑝 + 𝛽 ̂︀𝑦 𝑡+1|𝑡
⏟ ⏞
𝐿 𝑡+𝑆 𝑡+1−𝑝+𝑇 𝑡
= 𝐿 𝑡 + 𝑇 𝑡 + 𝛽̂︀𝜀 𝑡+1|𝑡
𝑇 𝑡+1 = (1 − 𝛾)𝑇 𝑡 + 𝛾(𝐿 𝑡+1 − 𝐿 𝑡) = 𝑇 𝑡 − 𝛾𝑇 𝑡 + 𝛾 𝐿 𝑡+1
⏟ ⏞
𝐿 𝑡+𝑇 𝑡+𝛽̂︀𝜀 𝑡+1|𝑡
−𝐿 𝑡
= 𝑇 𝑡 − 𝛾𝑇 𝑡 + 𝛾(𝐿 𝑡 + 𝑇 𝑡 + 𝛽̂︀𝜀 𝑡+1|𝑡 − 𝛾𝐿 𝑡)
= 𝑇 𝑡 + 𝛾𝛽̂︀𝜀 𝑡+1|𝑡
𝑆 𝑡+1 = (1 − 𝛿)𝑆 𝑡+1−𝑝 + 𝛿(𝑦 𝑡+1 − 𝐿 𝑡+1)
= 𝑆 𝑡+1−𝑝 − 𝛿(𝑆 𝑡+1−𝑝 − 𝑦 𝑡+1) − 𝛿(𝐿 𝑡 + 𝑇 𝑡 + 𝛽̂︀𝜀 𝑡+1|𝑡)
= 𝑆 𝑡+1−𝑝 + 𝛿𝑦 𝑡+1 − 𝛿(𝐿 𝑡 + 𝑇 𝑡 + 𝑆 𝑡+1−𝑝) − 𝛿𝛽̂︀𝜀 𝑡+1|𝑡
= 𝑆 𝑡+1−𝑝 + 𝛿(1 − 𝛽)̂︀𝜀 𝑡+1|𝑡.
RNDr. Marie Forbelská, Ph.D. 117
Příklad 1.5. Pro demonstraci exponenciálního vyrovnávání zvolíme měsíční časovou řadu s počty nezaměstnaných
mladých žen ve věku od 16 do 19 let v USA od ledna 1961 do srpna 2002.
1960 1970 1980 1990 2000
300400500600700800900
Obrázek 10. Vstupní data pro časovou řadu: Počet nezaměstnaných mladých žen ve věku od 16
do 19 let v USA od ledna 1961 do srpna 2002
Na načtená data vyzkoušíme Holtův–Wintersenův model se všemi komponentami, ve kterém odhady parametrů mají
hodnoty
̂︀𝛽 = 0.3568 ̂︀𝛾 = 0.0206 ̂︀𝛿 = 0.2020
Hodnoty sezónních složek vykreslíme do grafu.
q
q
q
q
q
q
q
q
q
q
q
q
2 4 6 8 10 12
0510
Obrázek 11. Hodnoty sezónních složek
Výsledné exponenciální vyrovnáníní je znázorněno na následujícím grafu.
118 M5201 Stochastické modely časových řad
Holt−Winters filtering
1970 1980 1990 2000
200400600800
Obrázek 12. Holtovo–Wintersonovo exponenciální vyrovnávání pro časovou řadu: Počet nezaměstnaných
mladých žen ve věku od 16 do 19 let v USA od ledna 1961 do srpna 2002
2. PROCESY NESTACIONÁRNÍ V ROZPTYLU
Není-li splněna podmínka neměnnosti rozptylu v čase, je proces nestacionární v rozptylu. Takovýto proces je
ovšem třeba nejprve vhodně transformovat. Vysvětleme si stručně pojem transformace stabilizující rozptyl.
Situace nestabilního rozptylu nastává především v případě, kdy náhodná veličina 𝑌 𝑡 má rozdělení, které závisí na
jediném parametru 𝜗 𝑡, který obecně nemusí mít pro všechna 𝑡 stejnou hodnotu. Předpokládejme, že tento parametr je
zvolen tak, aby platilo
𝐸 𝜇 𝑡 𝑌 𝑡 = 𝜇 𝑡.
Ve většině případů (ne však u normálního rozdělení) na 𝜇 𝑡 závisí i rozptyl veličiny 𝑌 𝑡, takže můžeme psát
𝐷 𝜇 𝑡
𝑌 𝑡 = 𝜎2
(𝜇 𝑡).
Přitom 𝜎(𝜇 𝑡) bývá obvykle hladká funkce proměnné 𝜇 𝑡.
Protože 𝜇 𝑡 může souviset s časem 𝑡, není splněna podmínka neměnnosti rozptylu v čase. Vzniká tedy otázka, zda lze
najít netriviální funkci 𝑔 tak, aby náhodná veličina
𝑍 𝑡 = 𝑔(𝑌 𝑡)
měla rozptyl nezávisející na 𝜇 𝑡. (Požadavkem netriviality se vylučují konstantní funkce 𝑔, které by vedly k veličinám
s nulovým rozptylem).
Uvedená úloha v obecném případě nemá řešení. Používá se však určitých aproximací, které se ukázaly velmi užitečné.
Pokud se zabýváme jen dostatečně hladkými funkcemi 𝑔, z Taylorova rozvoje dostaneme aproximaci
𝑔(𝑌 𝑡) ≈ 𝑔(𝜇 𝑡) + 𝑔′
(𝜇 𝑡)(𝑌 𝑡 − 𝜇 𝑡).
Potom střední hodnotu lze aproximovat takto
𝐸 𝜇 𝑡
𝑔(𝑌 𝑡) ≈ 𝐸 [𝑔(𝜇 𝑡) + 𝑔′
(𝜇 𝑡)(𝑌 𝑡 − 𝜇 𝑡)] = 𝑔(𝜇 𝑡)
a rozptyl
𝐷 𝜇 𝑡 [𝑔(𝑌 𝑡)] ≈ [𝑔′
(𝑌 𝑡)]
2
𝐷 𝜇 𝑡 𝑌 𝑡 = [𝑔′
(𝜇 𝑡)]
2
𝜎2
(𝜇 𝑡).
Chceme, aby po transformaci byl rozptyl konstantní a nezávisel na střední hodnotě, tj.
𝑐2
= 𝐷 𝜇 𝑡
[𝑔(𝑌 𝑡)] = [𝑔′
(𝜇 𝑡)]
2
𝜎2
(𝜇 𝑡) ⇒ 𝑔′
(𝜇 𝑡) =
𝑐
𝜎(𝜇 𝑡)
,
RNDr. Marie Forbelská, Ph.D. 119
kde 𝑐 je nějaká konstanta. Odtud snadno dostaneme tvar transformace stabilizující rozptyl
𝑔(𝜇 𝑡) = 𝑐
∫︁
1
𝜎(𝜇 𝑡)
𝑑𝜇 𝑡 + 𝐾.
Konstanty 𝑐 a 𝐾 se volí tak, aby funkce 𝑔 vypočtená podle předchozího vzorce měla výhodný tvar.
Ukázalo se, že funkce 𝑔 vypočtená podle předchozího vzorce nejen výrazně stabilizuje rozptyl, takže rozptyl 𝐷 𝜇 𝑡 𝑔(𝑌 𝑡)
závisí na 𝜇 𝑡 jen velmi málo, ale zároveň také rozdělení náhodné veličiny 𝑍 𝑡 = 𝑔(𝑌 𝑡) bývá již velmi blízké normálnímu,
i když třeba samotné rozdělení veličiny 𝑌 𝑡 je výrazně nenormální.
2.0.1. Mocninné transformace. Pro přehlednost vynechejme index 𝑡 a uvažujme kladnou náhodnou veličinu 𝑋 z rozdělení,
které závisí na parametru 𝜇 se střední hodnotou
𝐸 𝜇 𝑋 = 𝜇
(pokud tomu tak není, provede se vhodná reparametrizace) a rozptylem
𝐷 𝜇 𝑋 = 𝜎2
(𝜇) = (𝜎𝜇 𝜗
)2
, 𝜎, 𝜗 ∈ R,
tj.
𝑋 ∼ ℒ(𝜇, 𝜎2
𝜇2𝜗
).
Podle obecného vzorce se transformace stabilizující rozptyl vypočítá takto:
𝑔(𝜇) =
∫︁
𝑐𝑑𝜇
𝜎(𝜇)
+ 𝐾 =
𝑐
𝜎
∫︁
𝑑𝜇
𝜇 𝜗
+ 𝐾 =
{︃
𝑐
𝜎 ln |𝜇| + 𝐾 𝜗 = 1,
𝑐
1−𝜗 𝜇1−𝜗
+ 𝐾 𝜗 ̸= 1.
.
Položme v dalším
𝜆 = 1 − 𝜗
a tento parametr nazvěme transformačním parametrem pro mocninnou transformaci.
Různou volbou 𝑐 a 𝐾 dostaneme následující často užívané transformace
¾ Box-Coxova mocninná transformace pro kladné náhodné veličiny při volbě
𝑐 = 𝜎 a 𝐾 =
{︃
0 𝜆 = 0 ⇒ 𝜗 = 1,
− 1
𝜆 = − 1
1−𝜃 𝜆 ̸= 0 ⇒ 𝜗 ̸= 1,
a odtud
𝑔(𝑋) = 𝑋(𝜆)
=
{︃
ln 𝑋 𝜆 = 0 (𝜗 = 1),
𝑋 𝜆
−1
𝜆 𝜆 ̸= 0 (𝜗 ̸= 1).
.
¾ Box-Coxova mocninná transformace s posunutím se použije v případě, že hodnoty náhodné veličiny
nejsou kladné. Nalezneme proto takové reálné číslo 𝑎 tak, aby pro všechny realizace platilo 𝑥 + 𝑎 > 0 a transformace
bude mít tvar:
𝑔(𝑋 + 𝑎) = (𝑋 + 𝑎)(𝜆)
=
{︃
ln(𝑋 + 𝑎) 𝜆 = 0 (𝜗 = 1),
(𝑋+𝑎) 𝜆
−1
𝜆 𝜆 ̸= 0 (𝜗 ̸= 1).
.
¾ Mocninná transformace se znaménkem lze opět použít v případě, že náhodné veličiny nejsou kladné:
𝑔(𝑋) = sign(𝑋)|𝑋|(𝜆)
=
{︃
sign(𝑋) ln |𝑋| 𝜆 = 0 (𝜗 = 1),
sign(𝑋)|𝑋| 𝜆
−1
𝜆 𝜆 ̸= 0 (𝜗 ̸= 1).
2.0.2. Odhad transformačního parametru mocninné transformace.
¾ Parametrický přístup pomocí metody maximální věrohodnosti.
Mějme nezávislé realizace náhodné veličiny
𝑋 ∼ ℒ(𝜇 𝑋, 𝜎2
𝑋 𝜇2𝜗
𝑋 ).
Předpokládejme, že existuje takové 𝜆 = 1 − 𝜗, že transformovaný náhodný vektor
Y = (𝑌1 = 𝑔(𝑋1), . . . , 𝑌 𝑛 = 𝑔(𝑋 𝑛))
′
je výběr z normálního rozdělení se střední hodnotou 𝜇 a rozptylem 𝜎2
. Označme y = (𝑦1, . . . , 𝑦 𝑛)′
realizaci
náhodného výběru. Hledejme maximum věrohodnostní funkce pro 𝜃 = (𝜇, 𝜎2
)′
, tj. pro funkci
𝐿(𝜇, 𝜎2
) =
𝑛∏︁
𝑖=1
[︃
−
1
√
2𝜋𝜎2
exp
{︃
1
2
(︂
𝑦𝑖 − 𝜇
𝜎
)︂2
}︃]︃
= (2𝜋𝜎2
)− 𝑛
2 exp
{︃
−
1
2
𝑛∑︁
𝑖=1
(︂
𝑦𝑖 − 𝜇
𝜎
)︂2
}︃
,
120 M5201 Stochastické modely časových řad
což je stejná úloha jako hledat maximum logaritmu věrohodnostní funkce
𝑙(𝜇, 𝜎2
) = ln 𝐿(𝜇, 𝜎2
) = −
𝑛
2
ln(2𝜋) −
𝑛
2
ln(𝜎2
) −
1
2
𝑛∑︁
𝑖=1
(︂
𝑦𝑖 − 𝜇
𝜎
)︂2
.
Maxima nalezneme, položíme-li 𝜕𝑙
𝜕𝜇 = 0 a 𝜕𝑙
𝜕𝜎2 = 0.
0 =
𝜕𝑙
𝜕𝜇
=
2
2𝜎2
𝑛∑︁
𝑖=1
(𝑦𝑖 − 𝜇)
0 =
𝜕𝑙
𝜕𝜎2
= −
𝑛
2𝜎2
+
1
2𝜎4
𝑛∑︁
𝑖=1
(𝑦𝑖 − 𝜇)2
a odtud pak dostaneme
^𝜇 =
1
𝑛
𝑛∑︁
𝑖=1
𝑦𝑖 = ¯𝑦,
̂︀𝜎2
=
1
𝑛
𝑛∑︁
𝑖=1
(𝑦𝑖 − ¯𝑦)2
= 𝑠2
.
Upravme nyní logaritmus věrohodnostní funkce takto:
𝑙(𝜇, 𝜎2
) = −
𝑛
2
ln(2𝜋) −
𝑛
2
ln(𝜎2
) −
1
2𝜎2
𝑛∑︁
𝑖=1
[(𝑦𝑖 − ¯𝑦) + (¯𝑦 − 𝜇)]
2
= −
𝑛
2
ln(2𝜋) −
𝑛
2
ln(𝜎2
) −
1
2𝜎2
{︃ 𝑛∑︁
𝑖=1
(𝑦𝑖 − ¯𝑦)2
+ 𝑛(¯𝑦 − 𝜇)2
}︃
= −
𝑛
2
ln(2𝜋) −
𝑛
2
ln(𝜎2
) −
1
2𝜎2
[︀
𝑛𝑠2
+ 𝑛(¯𝑦 − 𝜇)2
]︀
Nyní dokažme, že funkce 𝑙(𝜇, 𝜎2
) nabývá v bodě (^𝜇, ^𝜎2
) = (¯𝑦, 𝑠2
) svého maxima. Platí
𝑙(¯𝑦, 𝑠2
) = −
𝑛
2
ln(2𝜋) −
𝑛
2
ln(𝑠2
) −
𝑛
2
,
Ověřme, zda platí nerovnost
𝑙(𝜇, 𝜎2
)
?
≤ 𝑙(¯𝑦, 𝑠2
)
− 𝑛
2 ln(2𝜋) − 𝑛
2 ln(𝜎2
) − 𝑛𝑠2
+𝑛(¯𝑦−𝜇)2
2𝜎2
?
≤ − 𝑛
2 ln(2𝜋) − 𝑛
2 ln(𝑠2
) − 𝑛
2
−1
2 ln(𝜎2
) − 𝑠2
2𝜎2 − (¯𝑦−𝜇)2
2𝜎2
?
≤ − 𝑛
2 ln(𝑠2
) − 1
2
0
?
≤
⎡
⎢
⎢
⎢
⎣
(︂
𝑠2
2𝜎2
−
1
2
)︂
−ln
𝑠
𝜎
⏟ ⏞
1. člen
⎤
⎥
⎥
⎥
⎦
+
(¯𝑦−𝜇)2
2𝜎2
⏟ ⏞
≥0
Protože pro všechna kladná 𝑥 = 𝑠
𝜎 > 0 platí ln 𝑥 < 𝑥2
−1
2 , je první i druhý člen nezáporný a nerovnost platí.
Celkově jsme tedy dostali, že
max
𝜇,𝜎2
𝑙(𝜇, 𝜎2
) = 𝑙(¯𝑦, 𝑠2
) = −
𝑛
2
ln(2𝜋) −
𝑛
2
ln(𝑠2
) −
𝑛
2
a
max
𝜇,𝜎2
𝐿(𝜇, 𝜎2
) = 𝐿(¯𝑦, 𝑠2
) =
(︀
2𝜋𝑠2
)︀− 𝑛
2
𝑒− 𝑛
2 .
Nyní toto maximum vyjádřeme v původních proměnných 𝑥𝑖, kdy
𝑦𝑖 = 𝑔(𝑥𝑖) =
{︃
ln 𝑥𝑖 𝜆 = 0,
𝑥 𝜆
𝑖 −1
𝜆 𝜆 ̸= 0.
Nejprve vypočtěme jakobián této transformace:
|𝐽| =
𝑛∏︁
𝑖=1
⃒
⃒
⃒
⃒
𝑑𝑦𝑖
𝑑𝑥𝑖
⃒
⃒
⃒
⃒ =
𝑛∏︁
𝑖=1
𝜆𝑥 𝜆−1
𝑖
𝜆
=
𝑛∏︁
𝑖=1
𝑥 𝜆−1
𝑖 .
RNDr. Marie Forbelská, Ph.D. 121
Pak
max
𝜇,𝜎2
𝐿(𝜇, 𝜎2
, 𝜆) =
(︀
2𝜋𝑠2
(𝜆)
)︀− 𝑛
2
𝑒− 𝑛
2 |𝐽|
=
(︀
2𝜋𝑠2
(𝜆)
)︀− 𝑛
2
𝑒− 𝑛
2
𝑛∏︁
𝑖=1
𝑥 𝜆−1
𝑖
=
(︀
2𝜋𝑠2
(𝜆)
)︀− 𝑛
2
𝑒− 𝑛
2
𝑛∏︁
𝑖=1
𝑒(𝜆−1) ln 𝑥 𝑖
max
𝜇,𝜎2
𝑙(𝜇, 𝜎2
, 𝜆) = −
𝑛
2
ln(2𝜋) −
𝑛
2
ln(𝑠2
(𝜆)) −
𝑛
2
+ (𝜆 − 1)
𝑛∑︁
𝑖=1
ln 𝑥𝑖.
Nyní hledejme maximum funkce 𝑙(^𝜇, ^𝜎2
, 𝜆) = 𝑙(¯𝑦, 𝑠2
, 𝜆) pro parametr 𝜆. Protože maximum vzhledem k 𝜆 nezávisí
na konstantách, budeme maximalizovat funkci
𝑙*
(𝜆) = −
𝑛
2
ln(𝑠2
(𝜆)) + (𝜆 − 1)
𝑛∑︁
𝑖=1
ln 𝑥𝑖.
Teoretickým odvozením maximálně věrohodného odhadu parametru 𝜆 se zde již dále nebudeme zabývat,
ale ukážeme si jednodušší přístup, který pro ekvidistantní hodnoty 𝜆1 < 𝜆2 < · · · < 𝜆 𝑚 (pro dostatečně velké
𝑚) ze vhodně zvoleného intervalu (𝜆*
1, 𝜆*
2), (kde 𝜆*
1, 𝜆*
2 ∈ R, 𝜆*
1 < 𝜆*
2) vypočítá hodnoty 𝑙*
(𝜆) a hledá argument
^𝜆 maxima těchto hodnot.
Ve své práci Box a Cox (1964) odvodili asymptotické rozdělení statistiky
𝐾 = −2
[︁
𝑙*
(𝜆) − 𝑙*
(^𝜆)
]︁
𝐴
∼ 𝜒2
(1),
takže můžeme zkonstruovat jednostranný asymptotický interval spolehlivosti pro parametr 𝜆
1 − 𝛼 = 𝑃
(︀
𝐾 < 𝜒2
1−𝛼(1)
)︀
= 𝑃
(︁
−2
[︁
𝑙*
(𝜆) − 𝑙*
(^𝜆)
]︁
< 𝜒2
1−𝛼(1)
)︁
= 𝑃
⎛
⎜
⎜
⎝𝑙*
(^𝜆) −
1
2
𝜒2
1−𝛼(1)
⏟ ⏞
=𝐷 𝛼
≤ 𝑙*
(𝜆)
⎞
⎟
⎟
⎠ ,
tj. všechna 𝜆 splňující nerovnost
𝑙*
(𝜆) ≥ 𝐷 𝛼
leží v intervalu spolehlivosti a jsou tedy přijatelná.
Testování hypotéz typu 𝐻0 : 𝜆 = 𝜆0 proti alternativě 𝐻1 : 𝜆 > 𝜆0:
(1) Budeme testovat hypotézu
𝐻1
0 : 𝜆 = 1.
Pokud hypotézu nezamítneme, tj. 𝑙*
(1) ≥ 𝐷 𝛼, nemusíme data transformovat.
(2) Pokud předchozí hypotézu zamítneme, můžeme testovat další
hypotézu
𝐻2
0 : 𝜆 = 0.
Pokud 𝐻2
0 nezamítneme, tj. 𝑙*
(0) ≥ 𝐷 𝛼 ∧ 𝑙*
(1) < 𝐷 𝛼, transformace bude tvaru
𝑦𝑖 = ln 𝑥𝑖.
Pokud však se 𝑙*
(0) < 𝐷 𝛼 ∧ 𝑙*
(1) < 𝐷 𝛼, provedeme transformaci
𝑦𝑖 =
𝑥
^𝜆
𝑖 − 1
^𝜆
.
¾ Jednoduchý algoritmus v praktických úlohách
(1) Algoritmus nejprve zkontroluje vstupní data tak, aby byla nezáporná, tj. případně přičte kladnou kon-
stantu.
(2) Upravený vektor dat rozdělí na krátké úseky o délce 4 až 12 údajů.
(3) V každém úseku dat se provede pokud možno robustní odhad střední hodnoty ^𝜇𝑖 (průměr, medián) a
robustní odhad variability ^𝜎2
𝑖 (např. max-min, interkvartilové rozpětí).
122 M5201 Stochastické modely časových řad
(4) Protože předpokládáme, že platí
𝜎(𝜇) = 𝜎𝜇 𝜗
pak logaritmovanáním dostaneme vztah
ln(𝜎(𝜇)) = ln 𝜎⏟ ⏞
𝑎
+𝜗 ln(𝜇),
takže neznámé 𝜗 můžeme odhadnout pomocí metody nejmenších čtverců díky hodnotám
𝑧𝑖 = ln(̂︀𝜎𝑖) a 𝑢𝑖 = ln ^𝜇𝑖
v regresním modelu
𝑧𝑖 = 𝑎 + 𝜗𝑢𝑖 + 𝜀𝑖 𝜀𝑖 ∼ 𝑊 𝑁(0, 𝜎2
𝜀 ).
(5) Pro odhad ̂︀𝜗 = 1 − ^𝜆 pomocí t-statistiky zkonstruujeme interval spolehlivosti 𝐼(̂︀𝜗).
– Pokud tento interval bude obsahovat nulu, tj. 0 ∈ 𝐼(̂︀𝜗) data se nebudou transformovat.
– Pokud 0 /∈ 𝐼(̂︀𝜗) ∧ 1 ∈ 𝐼(̂︀𝜗), volí se logaritmická transformace
𝑦𝑖 = ln 𝑥𝑖.
– Jinak se volí mocninná transformace
𝑦𝑖 =
𝑥
^𝜆
𝑖 − 1
^𝜆
.
Příklad 2.6.
V Nové Anglii probíhalo na březích a na dnech jezer (zhruba před 12 600 roky po dobu asi 6000 let) během jarního
tání ledovců ukládání vrstev písku a bahna do vrstviček zvaných varvy. Pomocí tloušťky ročních sedimentů se například
odhaduje teplota. Na obrázku jsou znázorněny tloušťky ročních sedimentů v Massachusetts za 634 roků (před 11.834
roky).
Paleoclimatic Glacial Varves
Time
varve
0 100 200 300 400 500 600
050100150
Obrázek 13. Časová řada ročních sedimentů v Massachusetts za 634 roků
Vidíme, že rozdíly v tloušťkách se zvyšují v závislosti na jejich velikosti, takže vstupní data bude nutné transformovat.
Pomocí metody maximální věrohodnosti provedeme odhad parametru 𝜆.
RNDr. Marie Forbelská, Ph.D. 123
−2 −1 0 1 2
−4400−4200−4000−3800
λ
log−Likelihood
95%
Obrázek 14. Maximálně věrohodný odhad parametru ̂︀𝜆 𝑀 𝐿𝐸 = −0.1103, interval spolehlivosti
(−0.2132, −0.0074) neobsahuje nulu.
Na dalším grafu jsou znázorněna již transformovaná data pomocí parametru ̂︀𝜆 𝑀 𝐿𝐸 = −0.1103.
Time
transformedvarve
0 100 200 300 400 500 600
1.52.02.53.03.54.0
Obrázek 15. Boxova–Coxova transformace dat pro ̂︀𝜆 𝑀 𝐿𝐸 = −0.1103.
Odhad neznámého parametru 𝜆 provedeme ještě pomocí jednoduchého algoritmu, který byl zmíněn na konci odstavce.
124 M5201 Stochastické modely časových řad
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
2.5 3.0 3.5 4.0
1.01.52.02.53.03.54.0
logLocation
logVariability
b = 1.076656, lambda = −0.076656, CI = (−0.281182 , 0.127869)
seglen = 8, location = median, variability = iqr
LINEAR GROWTH OF VARIANCE (logarithmic transform): transx = log(x)
Obrázek 16. Graf znázorňující odhad parametru 𝜆 pomocí jednoduchého regresního modelu.
Vidíme, že výsledek jednoduchého algoritmu navrhuje logaritmickou transformaci dat. Z interpretačního hlediska je
tato transformace vhodnější než transformace pomocí ̂︀𝜆 𝑀 𝐿𝐸 = −0.1103.
Proto se podívejme, jak se data logaritmickou transformací změnila.
Time
log(varve)
0 100 200 300 400 500 600
2345
Obrázek 17. Boxova–Coxova transformace dat pro ̂︀𝜆 = 0.
KAPITOLA 5
Stacionární a nestacionární vícerozměrné náhodné procesy
Analýza jedné časové řady vytržené ze souvislosti s ostatními časovými řadami není postačující. Sledujeme-li například
výdaje domácnosti, tak jistě závisí nejen na výdajích za minulý měsíc, ale i na příjmu domácnosti, investicích, úrokové
míře, atd.
Proto je velmi důležitá analýza vícerozměrných časových řad.
Rozšíření jednorozměrných náhodných procesů na vícerozměrné není nijak obtížně, pouze jednorozměrné náhodné
veličiny 𝑌 𝑡 nahradíme vícerozměrnými náhodnými vektory Y 𝑡 = (𝑌1,𝑡, . . . , 𝑌 𝑚,𝑡)′
.
Střední hodnotou náhodného procesu {Y 𝑡, 𝑡 ∈ 𝑇} budeme rozumět vektor
𝜇 𝑡 = (𝜇1,𝑡, . . . , 𝜇 𝑚,𝑡)′
= 𝐸Y 𝑡 = (𝐸𝑌1,𝑡, . . . , 𝐸𝑌 𝑚,𝑡)′
,
varianční matice bude definována vztahem
D 𝑡 = 𝐷Y 𝑡 = 𝐸(Y 𝑡 − 𝐸Y 𝑡)(Y 𝑡 − 𝐸Y 𝑡)′
,
autokovarianční matice bude matice
Γ 𝑠,𝑡 = 𝐶(Y 𝑠, Y 𝑡) = 𝐸(Y 𝑠 − 𝐸Y 𝑠)(Y 𝑡 − 𝐸Y 𝑡)′
.
Pokud proces bude slabě stacionární, pak pro ∀𝑡, 𝑠 ∈ 𝑇 musí platit
𝐸Y 𝑡 = 𝜇 𝑡 a Γ 𝑠,𝑡 = Γ0,|𝑠−𝑡|.
Obdobně jako v jednorozměrném případě budeme psát
Γ 𝑠,𝑡 = Γ 𝑠−𝑡 a D 𝑡 = 𝐷Y 𝑡 = Γ0.
Pro vícerozměrný bílý šum
{𝜀 𝑡, 𝑡 ∈ 𝑇} ∼ 𝑊 𝑁(0, Σ 𝜀)
musí platit
𝐸𝜀 𝑡 = 0
𝐷𝜀 𝑡 = 𝐸𝜀 𝑡 𝜀′
𝑡 = Σ 𝜀
𝐶(𝜀 𝑠, 𝜀 𝑡) = 𝐸𝜀 𝑠 𝜀′
𝑡 = 0 𝑠 ̸= 𝑡
1. Vícerozměrné Box–Jenkinsonovy modely
Forma, kterou popisujeme mnohorozměrné (vektorové) náhodné procesy, je analogická jednorozměrnému případu.
Nejobecnějším modelem je vektorový sezónní smíšený model – 𝑉 𝑆𝐴𝑅𝐼𝑀 𝐴(𝑝, 𝑑, 𝑞, 𝑃, 𝐷, 𝑄), který je tvaru
Φ(𝐵)𝜋(𝐵 𝐿
)(I − I𝐵) 𝑑
(I − I𝐵 𝐿
) 𝐷
Y 𝑡 = Θ(𝐵)Ψ(𝐵 𝐿
)𝜀 𝑡 ∼ 𝑉 𝑆𝐴𝑅𝐼𝑀 𝐴(𝑝, 𝑑, 𝑞) × (𝑃, 𝐷, 𝑄) 𝐿
kde I𝐵Y 𝑡 = Y 𝑡−1
I𝐵 𝐿
Y 𝑡 = Y 𝑡−𝐿
(I − I𝐵)Y 𝑡 = Y 𝑡 − Y 𝑡−1
(I − I𝐵 𝐿
)Y 𝑡 = Y 𝑡 − Y 𝑡−𝐿
a Φ(𝐵) = I − Φ1 𝐵 − Φ2 𝐵2
− · · · − Φ 𝑝 𝐵 𝑝
Θ(𝐵) = I + Θ1 𝐵 + Θ2 𝐵2
+ · · · + Θ 𝑞 𝐵 𝑞
𝜋(𝐵) = I − 𝜋1 𝐵 𝐿
− 𝜋2 𝐵2𝐿
− · · · − 𝜋 𝑃 𝐵 𝑃 𝐿
Ψ(𝐵) = I + Ψ1 𝐵 𝐿
+ Ψ2 𝐵2𝐿
+ · · · + Ψ 𝑄 𝐵 𝑄𝐿
Tak například rekurentní vztahy
𝑌1,𝑡 = 𝜑11 𝑌1,𝑡−1 + 𝜑12 𝑌2,𝑡−1 + 𝜀1,𝑡
𝑌2,𝑡 = 𝜑21 𝑌1,𝑡−1 + 𝜑22 𝑌2,𝑡−1 + 𝜀2,𝑡
lze vyjádtřit maticově (︂
𝑌1,𝑡
𝑌2,𝑡
)︂
=
(︂
𝜑11 𝜑12
𝜑21 𝜑22
)︂ (︂
𝑌1,𝑡−1
𝑌2,𝑡−1
)︂
+
(︂
𝜀1,𝑡
𝜀2,𝑡
)︂
tj.
Y 𝑡 = Φ1Y 𝑡−1 + 𝜀 𝑡 ∼ 𝑉 𝐴𝑅(1)
Podmínky kauzality a invertibility u 𝑉 𝐴𝑅𝑀 𝐴 procesů lze vyslovit následujícím způsobem:
Kritérium kauzality det Φ(𝑧) ̸= 0 pro všechna 𝑧 ∈ C tak, že |𝑧| ≤ 1
Kritérium invertibility det Θ(𝑧) ̸= 0 pro všechna 𝑧 ∈ C tak, že |𝑧| ≤ 1
125
126 M5201 Stochastické modely časových řad
Poznámka 1.1. Podmínku kauzality lze formulovat ekvivalentně také tak, že všechna vlastní čísla matice
A =
⎛
⎜
⎜
⎜
⎜
⎜
⎝
Φ1 Φ2 · · · Φ 𝑝−1 Φ 𝑝
I 𝑚 0 · · · 0 0
0 I 𝑚 · · · 0 0
...
...
...
...
...
0 0 · · · I 𝑚 0
⎞
⎟
⎟
⎟
⎟
⎟
⎠
𝑚𝑝×𝑚𝑝
jsou v absolutní hodnotě menší než 1.
Příklad 1.1. Uvažujme dvourozměrný náhodný proces typu 𝑉 𝐴𝑅(2)
Y 𝑡 = Φ1Y 𝑡−1 + Φ2Y 𝑡−2 + 𝜀 𝑡,
kde
Φ1 =
(︂
0.5 0.2
−0.2 −0.5
)︂
a Φ2 =
(︂
−0.3 −0.7
−0.1 0.3
)︂
Pro ilustraci znázorníme simulovaná data, která se řídí tímto modelem
−3−2−10123
Y[1]
−3−2−101234
0 50 100 150 200
Y[2]
Obrázek 1. Simulovaná data 𝑉 𝐴𝑅(2) modelu.
Simulovaná data naznačují, že jde o stacionární proces, což lze ověřit tak, že vypočítáme absolutní hodnoty vlastních
čísel matice modelu
A =
(︂
Φ1 Φ2
I2 0
)︂
=
⎛
⎜
⎜
⎝
0.5 0.2 −0.3 −0.7
−0.2 −0.5 −0.1 0.3
1 0 0 0
0 1 0 0
⎞
⎟
⎟
⎠ .
Získané hodnoty
|𝜆1| = 0.818 |𝜆2| = 0.597 |𝜆3| = 0.572 |𝜆4| = 0.572
zajišťují, že jde o stacionární proces.
RNDr. Marie Forbelská, Ph.D. 127
2. Modelování vícerozměrných časových řad pomocí kointegrace
Při modelování vícerozměrných časových řad je účelné rozlišovat mezi
¾ krátkodobými vztahy mezi časovými řadami, které časem mizí, a
¾ dlouhodobými vztahy, které mají dlouhodobé trvání.
Připomeňme dva typické příklady náhodných procesů nejprve s krátkou a pak s dlouhou pamětí.
Kauzální 𝐴𝑅(1) proces:
(1 − 𝜙𝐵)𝑌 𝑡 = 𝜀 𝑡, kde |𝜙| < 1.
Vzhledem k tomu, že uvažujeme kauzální proces, musí existovat taková posloupnost reálných čísel
{𝜓 𝑗}
∞
𝑗=0
𝐴𝑅(1)
=
{︀
𝜙 𝑗
}︀∞
𝑗=0
,
že
𝑌 𝑡 =
∞∑︁
𝑗=0
𝜙 𝑗
𝜀 𝑡−𝑗 ∼ 𝑀 𝐴(∞),
ve které se váhy
𝜓 𝑗 = 𝜙 𝑗
bílého šumu exponenciálně snižují. Bílý šum se interpretuje jako posloupnost nekorelovaných (popř. nezávislých)
„šoků“ a v tomto případě vidíme, že vliv „šoků“, které se udály v minulosti, velmi rychle slábne, takže
jde o proces s krátkou pamětí.
Poznamenejme, že tuto vlastnost krátké paměti mají všechny kauzální 𝐴𝑅(𝑝), invertibilní 𝑀 𝐴(𝑞) a kauzální a
invertibilní 𝐴𝑅𝑀 𝐴(𝑝, 𝑞) procesy. Skutečnost, že jde o stacionární posloupnost, budeme zkráceně značit symbolem
𝐼(0) a řekneme, že jde o integrované procesy řádu nula.
Náhodná procházka 𝐼(1):
(1 − 𝐵)𝑌 𝑡 = 𝜀 𝑡
je limitním případem 𝐴𝑅(1) procesu, kdy 𝜙 = 1, tj.
𝑌 𝑡 = 𝑌 𝑡−1 + 𝜀 𝑡 =
∞∑︁
𝑗=0
𝜀 𝑡−𝑗,
takže všechny „šoky“ mají stejnou váhu
𝜓 𝑗 = 1
a vliv minulých „šoků“ nemizí – mají dlouhou paměť. Totéž platí pro všechny integrované procesy, tj. pro takové
procesy, které po diferencování se stanou stacionárními, což symbolicky označíme jako 𝐼(𝑑).
Všimněme si dále vztahů, které se týkají lineárních kombinací 𝐼(𝑑) procesů.
Platí (zřejmě)
(1) {𝑋 𝑡} ∼ 𝐼(0) ⇒ {𝑎 + 𝑏𝑋 𝑡} ∼ 𝐼(0)
(2) {𝑋 𝑡} ∼ 𝐼(1) ⇒ {𝑎 + 𝑏𝑋 𝑡} ∼ 𝐼(1)
(3)
{𝑋 𝑡} ∼ 𝐼(0)
{𝑌 𝑡 } ∼ 𝐼(0)
}︂
⇒ {𝑎𝑋 𝑡 + 𝑏𝑌 𝑡} ∼ 𝐼(0)
(4)
{𝑋 𝑡} ∼ 𝐼(1)
{𝑌 𝑡 } ∼ 𝐼(0)
}︂
⇒ {𝑎𝑋 𝑡 + 𝑏𝑌 𝑡} ∼ 𝐼(1)
(5)
{𝑋 𝑡} ∼ 𝐼(1)
{𝑌 𝑡 } ∼ 𝐼(1)
}︂
obecně
⇒ {𝑎𝑋 𝑡 + 𝑏𝑌 𝑡} ∼ 𝐼(1)
Poslední vlastnost však pro některá {𝑋 𝑡} a {𝑌 𝑡} nemusí platit. Může totiž existovat jejich lineární kombinace, která je
již stacionární, tj. {𝑎𝑋 𝑡 + 𝑏𝑌 𝑡} ∼ 𝐼(0). Proto Engle a Granger (1987) zavedli pojen kointegrace, která se týká dvou (či
více) integrovaných procesů.
Problematika dlouhodobých vztahů souvisí s pojmem rovnovážný stav (ekvilibrium), který chápeme jako stav,
ke kterému je systém neustále přitahován.
Při konstrukci modelů časových řad je logické vycházet z předpokladu, že vývoj jednotlivých řad spjatých teoreticky
zdůvodněným vztahem se v dlouhodobém časovém horizontu nerozchází. Pokud odklon směrů vývoje časových řad je pouze
128 M5201 Stochastické modely časových řad
krátkodobý, časem se vytrácí a existuje mez, za kterou nemůže jít, potom říkáme, že časové řady jsou v rovnovážném
stavu (ekvilibriu).
Příkladem může být cena podobných potravin v různých zemích, poptávka po penězích a hodnota peněz, krátkodobé
a dlouhodobé úrokové míry apod.
Obecně hledáme-li rovnovážný stav mezi proměnnými, které jsou složky 𝑚-rozměrného vektoru
Y 𝑡 = (𝑌1,𝑡, . . . , 𝑌 𝑚,𝑡)′
, chceme najít vektor 𝛽 takový, aby platilo
𝛽′
Y 𝑡 = 0 v každém čase 𝑡.
V praxi tolerujeme krátkodobé odchylky od rovnovážného stavu, které značíme v čase 𝑡 jako
𝑍 𝑡 = 𝛽′
Y 𝑡.
Hledáme tedy vektor 𝛽 takový, že odchylky od rovnováhy {𝑍 𝑡, 𝑡 ∈ Z} tvoří stacionární proces s nulovou střední
hodnotou a konečným rozptylem.
Ukazuje se, že tohoto dlouhodobě rovnovážného stavu lze dosáhnout i v případě, že jednotlivé veličiny jsou integrované.
Kointegrace je vhodným nástrojem k analýze těchto vztahů.
Tímto tématem se intenzivně zabýval nositel Nobelovy ceny z ekonomii Clive Granger. Základní myšlenky jsou shrnuty
v článku Granger & Engle (1987), kde je i následující obecná definice pojmu kointegrace.
Definice 2.1. Nechť 𝑏, 𝑑 ∈ N a 𝑑 ≥ 𝑏. Řekneme, že složky 𝑚–rozměrného náhodného procesu {Y 𝑡, 𝑡 ∈ Z} jsou
kointegrované řadu 𝑑, 𝑏, jestliže
(i) všechny složky Y 𝑡 jsou 𝐼(𝑑) a
(ii) existuje nenulový vektor 𝛽 = (𝛽1, . . . , 𝛽 𝑚)′
takový, že složky lineární kombinace 𝑍 𝑡 = 𝛽′
Y 𝑡 jsou 𝐼(𝑑 − 𝑏).
Vektor 𝛽 se nazývá kointegrační vektor. Kointegraci budeme značit
Y 𝑡 ∼ 𝐶𝐼(𝑑, 𝑏).
Je zřejmé, že kointegrační vektor není jednoznačný. Stačí jej vynásobit nenulovou konstantou a opět dostáváme
kointegrační vektor. Pro dimenze 𝑚 > 2 může obecně existovat více nezávislých kointegračních vektorů. Existuje-li 𝑟
(𝑟 ≤ 𝑚 − 1) takových nezávislých vektorů, pak se 𝑟 se nazývá řád kointegrace.
V dalším se seznámíme s různými modely kointegrovaných časových řad, z nichž některé umožňují modelovat pouze
jeden kointegrační vektor (tzv. jednorovnicové modely).
Příklad 2.2. Uvažujme dvourozměrný náhodný proces {Y 𝑡 = (𝑌1,𝑡, 𝑌2,𝑡)′
, 𝑡 ∈ Z}, který je (pro 𝜆 ̸= 0) definovaný vztahy
𝑌1,𝑡 = 𝛼𝑌2,𝑡 + 𝜀1,𝑡
𝑌2,𝑡 = 𝑌2,𝑡−1 + 𝜀2,𝑡
tj.
𝑌1,𝑡 − 𝛼𝑌2,𝑡 = 𝜀1,𝑡
𝑌2,𝑡 − 𝑌2,𝑡−1 = 𝜀2,𝑡
což lze vyjádřit maticově takto
(︂
1 −𝛼
0 1
)︂ (︂
𝑌1,𝑡
𝑌2,𝑡
)︂
−
(︂
0 0
0 1
)︂ (︂
𝑌1,𝑡−1
𝑌2,𝑡−1
)︂
=
(︂
𝜀1,𝑡
𝜀2,𝑡
)︂
,
Všimněme si, že tento proces není v obvyklé (tzv. redukované) formě, kde Φ0 = I 𝑚, ale v tzv. strukturální VAR formě
(SVAR model),tj.
Φ0Y 𝑡 − Φ*
1Y 𝑡−1 = 𝜀 𝑡 ∼ 𝑆𝑉 𝐴𝑅(1).
Podíváme-li se na jednorozměrný proces {𝑌2,𝑡, 𝑡 ∈ Z}, vidíme, že jde o náhodnou procházku, tj 𝑌2,𝑡 ∼ 𝐼(1). Také je
zřejmé (viz první rovnice), že i 𝑌1,𝑡 ∼ 𝐼(1). Hned z první rovnice vidíme, jak bude vypadat kointegrační vektor, neboť
𝑌1,𝑡 − 𝛼𝑌2,𝑡 = 𝜀1,𝑡 ∼ 𝑊 𝑁(0, 𝜎 𝜀1
2) ∼ 𝐼(0),
takže vektor Y 𝑡 = (𝑌1,𝑡, 𝑌2,𝑡) je kointegrovaný řádu 𝐶𝐼(1, 1) s kointegračním vektorem
𝛽 = (1, −𝛼)′
.
Pro názornost vykreslíme simulovaná data, která se řídí tímto modelem, a to pro dvě různé hodnoty parametru 𝛼.
RNDr. Marie Forbelská, Ph.D. 129
0 20 40 60 80 100
0510152025
Obrázek 2. Simulovaná data 𝐶𝐼(1, 1) procesu pro dvě hodnoty 𝛼 ∈ {0.5, 0.85}. Tlustá čára
se týká procesu {𝑌2,𝑡, 𝑡 ∈ Z}, proces {𝑌1,𝑡, 𝑡 ∈ Z} reprezentují dvě řady, čárkovaná čára se týká
hodnoty 𝛼 = 0.85 a tenká čára hodnoty 𝛼 = 0.5.
2.1. Jednorovnicové modely.
2.1.1. Statický regresní model kointegrovaných veličin. Uvažujme nejprve obecně (𝑚 + 1)–rozměrný náhodný proces
{Z 𝑡 = (𝑌 𝑡, X′
𝑡)′
, 𝑡 ∈ Z}. Jedním z možných přístupů, jak modelovat vzájemný vztah mezi 𝑌 𝑡 a X 𝑡, je použití tzv.
statického regresního modelu
𝑌 𝑡 = 𝑐 + 𝛽X 𝑡 + 𝜀 𝑡 𝜀 𝑡 ∼ 𝑊 𝑁(0, 𝜎2
𝜀 ).
Tyto jednoduché modely jsou velmi oblíbené. Jejich konstrukci je však třeba provádět obezřetně, neboť jejich použití
má smysl jedině v případě kointegrovaných procesů 𝐶𝐼(1, 1). Při použití nekointegrovaných nestacionárních časových
řad může vzniknout situace, která se nazývá zdánlivá, resp. nesmyslná regrese (anglicky spurious regression).
Uvažujme pro jednoduchost případ, kdy 𝑚 = 2. Může se totiž stát, že i když {𝑋 𝑡} i {𝑌 𝑡} věcně nesouvisí, přesto
v regresním modelu, kde jedna řada vystupuje v pozici nezávisle proměnné, druhá v pozici závisle proměnné, je index
determinace 𝑅2
velmi vysoký, také 𝐹-test i všechny 𝑡-testy ukazují na vhodnost regresního modelu.
Typický případ zdánlivé regrese budeme demonstrovat na následujícím příkladu.
Příklad 2.3. Uvažujme dvourozměrný náhodný proces {Y 𝑡 = (𝑌1,𝑡, 𝑌2,𝑡)′
, 𝑡 ∈ Z}, který je definovaný vztahy
𝑌1,𝑡 = 𝛼1 + 𝑌1,𝑡−1 + 𝜀1,𝑡
𝑌2,𝑡 = 𝛼2 + 𝑌2,𝑡−1 + 𝜀2,𝑡
takže jde o dvě náhodné procházky s posunutím, které spolu nijak nesouvisí. Pro názornost vykresleme simulovaná data.
130 M5201 Stochastické modely časových řad
0 50 100 150 200
050100150
Obrázek 3. Ukázka dvou nesouvisejících vychýlených náhodných procházek 𝑌 𝑗,𝑡 = 𝛼 𝑗 +𝑌 𝑗,𝑡−1+
𝜀 𝑗,𝑡 , kde 𝜀 𝑗,𝑡 ∼ 𝑁(0, 1) (𝑗 = 1, 2), 𝛼1 = 0.8 (černá čára), 𝛼1 = 0.6 (šedá čára)
Pro simulovaná data uvažujme statickou regresi tvaru
𝑌1,𝑡 = 𝛽0 + 𝛽1 𝑌2,𝑡 + 𝜀 𝑡, kde 𝜀 𝑡 ∼ 𝑊 𝑁(0, 𝜎2
𝜀 ).
V následujících dvou tabulkách uvádíme výsledky statické regrese z hlediska odhadu parametrů a příslušných statistik.
Tabulka 𝑡–statistik pro koeficienty 𝛽0, 𝛽1
Estimate Std. Error t value 𝑃 𝑟(> |𝑡|)
(Intercept) 7.7569 0.5280 14.69 0.0000
y2 1.0765 0.0067 161.16 0.0000
Tabulka s výsledky 𝐹–testu
Df Sum Sq Mean Sq F value Pr(>F)
y2 1 359465.55 359465.55 25973.43 0.0000
Residuals 198 2740.27 13.84
𝑅2
= 0.992, 𝑅2
𝑎𝑑𝑗 = 0.992
Vidíme, že koeficienty 𝛽0, 𝛽1 se významně liší od nuly a také model se jeví jako velmi vhodný, neboť podle koeficientu
determinace 𝑅2
časová řada {𝑌2,𝑡} vysvětluje 99% variability časové řady {𝑌1,𝑡}, přestože obě dvě časové řady spolu
nesouvisí.
Výsledky regrese potvrzuje i grafická interpretace statické regrese.
qqqq
qq
q
q
qqqqq
q
qqqq
qqq
qqqqqqq
qqqqq
qqq
q
q
qqq
qqqqqqq
qqqqq
q
qqqqqqqqqqq qqqqq
qqqqqqqqqq
qqqqqqqqqqq
qqqqqq
q qqq
qqqq
qqqq
qqqqqqqq
qqq
qqqqqqqqqqqqqqqqq
qqq
qqq
q
qqqqqqq
qqqq
qq
qqqqqqqqqqqqqq
q
qq
qqqq
qqqq
qqq
qqqqqqq
qqqqqqqq
0 20 40 60 80 100 120 140
050100150
Y2
Y1
RNDr. Marie Forbelská, Ph.D. 131
Obrázek 4. Statický regresní model 𝑌1,𝑡 = 𝛽0 + 𝛽1 𝑌2,𝑡 + 𝜀𝑡 pro simulovaná data dvou nesouvisejících
vychýlených náhodných procházek. Jednotlivými body je proložena regresní přímka.
Protože pro tyto dva náhodné procesy neexistuje kointegrační vektor, reziduální složka nebude bílým šumem. Pro
testování autokorelace reziduí prvního řadu je používán Durbinův–Watsonův test.
Durbinův–Watsonův test autokorelace reziduí 1. řádu
Durbinova-Watsonova statistika je definována vztahem
𝐷𝑊 =
𝑛∑︀
𝑡=2
(𝑟 𝑡 − 𝑟 𝑡−1)2
𝑛∑︀
𝑡=1
𝑟2
𝑡
.
Protože platí (𝑎 − 𝑏)2
≤ 2𝑎2
+ 2𝑏2
, dostáváme
𝐷𝑊 ≤
2
𝑛∑︀
𝑡=2
𝑟2
𝑡 + 2
𝑛∑︀
𝑡=2
𝑟2
𝑡−1
𝑛∑︀
𝑡=1
𝑟2
𝑡
≤ 4 ⇒ 0 ≤ 𝐷𝑊 ≤ 4 .
Vzhledem k tomu, že 𝐸𝑟 = 0, bude pro větší hodnoty 𝑛 platit
𝑛∑︁
𝑡=2
𝑟2
𝑡
.
=
𝑛∑︁
𝑡=1
𝑟2
𝑡
.
=
𝑛−1∑︁
𝑡=1
𝑟2
𝑡+1.
Označme výběrový autokorelační koeficient:
^𝜌(1) =
̂︀𝐸(𝑟 𝑡 𝑟 𝑡+1)
√︁
̂︁𝐷𝑟 𝑡
̂︁𝐷𝑟 𝑡+1
=
𝑛−1∑︀
𝑡=1
𝑟 𝑡+1 𝑟 𝑡
√︃
𝑛−1∑︀
𝑡=1
𝑟2
𝑡
𝑛−1∑︀
𝑡=1
𝑟2
𝑡+1
⇒ 𝐷𝑊 ≈ 2(1 − ^𝜌1) nebo ^𝜌(1) ≈ 1 − 𝐷𝑊
2 .
Pokud budou rezidua málo korelovaná, hodnota 𝐷 se bude pohybovat kolem 2.
Kladná korelace způsobí, že 𝐷𝑊 ∈ (0, 2) a záporná korelace způsobí, že 𝐷𝑊 ∈ (2, 4).
Přesné rozdělení statistiky 𝐷𝑊 závisí na tvaru matice plánu X, proto jsou tabelovány intervaly 𝑑 𝐿 a 𝑑 𝑈 , ve
kterých se nachází kritické hodnoty (pro různá 𝑛, 𝑘 a 𝛼).
Dolní a horní hranice Durbinova-Watsonova testu na 5% hladině významnosti
k=1 k=2 k=3 k=4 k=5+
n 𝑑 𝐿 𝑑 𝑈 𝑑 𝐿 𝑑 𝑈 𝑑 𝐿 𝑑 𝑈 𝑑 𝐿 𝑑 𝑈 𝑑 𝐿 𝑑 𝑈
50 1.50 1.59 1.46 1.63 1.42 1.67 1.38 1.72 1.34 1.77
60 1.55 1.62 1.51 1.65 1.48 1.69 1.44 1.73 1.41 1.77
70 1.58 1.64 1.55 1.67 1.52 1.70 1.49 1.74 1.46 1.77
80 1.61 1.66 1.59 1.69 1.56 1.72 1.53 1.74 1.51 1.77
90 1.63 1.68 1.61 1.70 1.59 1.73 1.57 1.75 1.54 1.78
100+ 1.65 1.69 1.63 1.72 1.61 1.74 1.59 1.76 1.57 1.78
kde 𝑘 je počet nezávisle proměnných v regresní rovnici.
Pro rychlé posouzení autokorelace prvního řadu vystačíme s následující tabulkou:
Pokud hodnota Durbinovy-Watsonovy statistiky 𝐷𝑊 bude v mezích
0 až 𝑑 𝐿 𝑑 𝐿 až 𝑑 𝑈 𝑑 𝑈 až (4 − 𝑑 𝑈 ) (4 − 𝑑 𝑈 ) až (4 − 𝑑 𝐿) (4 − 𝑑 𝐿) až 4
Zamítáme Ani Nezamítáme Ani Zamítáme
𝐻0 nezamítáme nezamítáme 𝐻0
kladná ani nulovou ani negativní
autoko- nepřijímáme hypotézu nepřijímáme autorelace
𝐻0 𝐻0 𝐻0 korelace
132 M5201 Stochastické modely časových řad
Pro rezidua našeho statického regresního modelu vykreleme bodový graf mezi 𝑟 𝑡−1 a 𝑟 𝑡 a vypočítejme hodnotu
Durbinovy–Watsonovy statistiky.
q
q
q
qq
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q qq
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q q
q
q
q
q
q
q
q
q
q q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q q
q q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qqq
q
q
q
q
qq
q
q
q
q
q
qq
q
−5 0 5 10
−50510
rt−1
rt
DW = 0.17 rho1 = 0.91 p−value = 0
Obrázek 5. Bodový graf mezi 𝑟𝑡−1 a 𝑟𝑡 pro statický regresní model 𝑌1,𝑡 = 𝛽0 + 𝛽1 𝑌2,𝑡 + 𝜀𝑡
pro simulovaná data dvou nesouvisejících vychýlených náhodných procházek. Jednotlivými body
je proložena regresní přímka.
Vidíme, že rezidua vykazují významnou pozitivní autokorelaci. Navíc jsme prováděli regresi pro dvě časové řady, které
spolu vůbec nesouvisí.
V literatuře (viz Arlt, 1997) je uveden empirický poznatek o souvislosti mezi vysokými hodnotami 𝐹–statistik modelů,
jako i 𝑡–statistik regresních koeficientů a nízkými hodnotami Durbinovy-Watsonovy (DW) statistiky reziduí u zdánlivé
regrese. Je to natolik charakteristická vlastnost zdánlivé regrese, že Granger a Newbold (1974) navrhli, aby splnění
nerovnosti:
𝑅2
> 𝐷𝑊
tj. když koeficient determinace je větší než DW statistika, bylo určitým indikátorem nebezpečí existence zdánlivé regrese.
Příklad 2.4. Vrátíme se k příkladu, kde vystupuje dvourozměrný kointegrovaný náhodný proces {Y 𝑡 = (𝑌1,𝑡, 𝑌2,𝑡)′
, 𝑡 ∈
Z} ∼ 𝐶𝐼(1, 1), který je (pro 𝜆 ̸= 0) definovaný vztahy
𝑌1,𝑡 = 𝛼𝑌2,𝑡 + 𝜀1,𝑡
𝑌2,𝑡 = 𝑌2,𝑡−1 + 𝜀2,𝑡
Pro simulovaná data uvažujme statickou regresi tvaru
𝑌1,𝑡 = 𝛽0 + 𝛽1 𝑌2,𝑡 + 𝜀 𝑡 kde 𝜀 𝑡 ∼ 𝑊 𝑁(0, 𝜎2
𝜀 ).
V následujících tabulkách uvádíme výsledky statické regrese z hlediska odhadu parametrů a příslušných statistik, a
to pro dvě různé hodnoty parametru 𝛼 ∈ {0.85, 0.5}.
Tabulka 𝑡–statistik pro koeficienty 𝛽0, 𝛽1 pro 𝛼 = 0.85
Estimate Std. Error t value Pr(>|t|)
(Intercept) 0.0570 0.1819 0.31 0.7547
y2 0.8684 0.0141 61.64 0.0000
Tabulka s výsledky 𝐹–testu pro 𝛼 = 0.85
Df Sum Sq Mean Sq F value Pr(>F)
y2 1 4688.54 4688.54 3800.08 0.0000
Residuals 98 120.91 1.23
𝑅2
= 0.975, 𝑅2
𝑎𝑑𝑗 = 0.975
Tabulka 𝑡–statistik pro koeficienty 𝛽0, 𝛽1 pro 𝛼 = 0.5
Estimate Std. Error t value Pr(>|t|)
(Intercept) 0.0570 0.1819 0.31 0.7547
y2 0.5184 0.0141 36.80 0.0000
Tabulka s výsledky 𝐹–testu pro 𝛼 = 0.5
Df Sum Sq Mean Sq F value Pr(>F)
y2 1 1670.84 1670.84 1354.23 0.0000
Residuals 98 120.91 1.23
𝑅2
= 0.933, 𝑅2
𝑎𝑑𝑗 = 0.932
RNDr. Marie Forbelská, Ph.D. 133
Vidíme, že koeficienty 𝛽1 se významně liší od nuly a také oba modely se jeví jako velmi vhodné, neboť podle koeficientu
determinace 𝑅2
časová řada {𝑌2,𝑡} vysvětluje 97.5% (pro 𝜆 = 0.85) a 93.2% (pro 𝜆 = 0.5) variability časové řady {𝑌1,𝑡}.
Dále si všimněme, jak byl pomocí statické regrese poměrně dobře odhadnut parametr 𝛼 pomocí parametru 𝛽1.
Na následujícím obrázku jsou vykresleny pro dvě různé hodnoty parametru 𝛼 ∈ {0.85, 0.5} výsledky statické regrese.
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q q
q
q
q
q
q q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
0 5 10 15 20 25
0510152025
Y2
Y1
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q q q
q
q
q
q q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
Obrázek 6. Statický regresní model pro simulovaná data 𝐶𝐼(1, 1) procesu pro dvě hodnoty
𝛼 ∈ {0.5, 0.85}. Černá kolečka reprezentují dvojice {𝑌2,𝑡, 𝑌1,𝑡}100
𝑡=1 pro hodnotu parametru 𝛼 =
0.85 a šedá kolečka pro hodnotu parametru 𝛼 = 0.5. Jednotlivými body je proložena regresní
přímka. Pro první model byl odhad parametr 𝛽1 roven hodnotě 0.868, v druhém případě hodnotě
0.518.
Pro rezidua obou statických regresních modelů vykreleme bodové grafy mezi 𝑟 𝑡−1 a 𝑟 𝑡 a vypočítejme hodnoty
Durbinovy–Watsonovy statistiky.
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
−2 −1 0 1 2
−2−1012
rt−1
rt
DW = 2.05 rho1 = −0.02 p−value = 0.89824
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
−2 −1 0 1 2
−2−1012
rt−1
rt
DW = 2.05 rho1 = −0.02 p−value = 0.89824
Obrázek 7. Bodové grafy mezi 𝑟𝑡−1 a 𝑟𝑡 pro oba statický regresní modely. Jednotlivými body
je proložena regresní přímka.
Vidíme, že zamítáme hypotézu o autokorelaci prvního řadu, neboť hodnota 𝐷𝑊 statistiky je velmi blízká ke dvojce.
Výsledek testu odpovídá faktu, že jsme model navrhli tak, že platí
𝑌1,𝑡 = 𝛼𝑌2,𝑡 + 𝜀1,𝑡 𝜀1,𝑡 ∼ 𝑊 𝑁(0, 𝜎2
).
134 M5201 Stochastické modely časových řad
Kromě toho platí
𝑅2
< 𝐷𝑊,
což nesignalizuje vznik zdánlivé regrese. Tento regresní model je správný, statisticky korektní a existující.
Připomeňme, že zdánlivá regrese nemůže nastat v případě, kdy oba dva procesy jsou stacionární (tj. jde o procesy
𝐼(0)), nabízí se myšlenka nestacionární procesy 𝐼(𝑑) s 𝑑 ≥ 1 nejprve diferencovat a pak je použít ve statické regresi.
Jenže touto cestou nelze postupovat, protože se tím ztrácí důležité informace o dlouhodobém vztahu {𝑋 𝑡} a {𝑌 𝑡}.
Je vidět, že právě snaha konstruovat regresní model tak, aby
¾ respektoval jak krátkodobé, tak dlouhodobé vztahy
¾ a přitom se vyvarovat zdánlivé, nesmyslné (angl. spurious) regrese
vedla k zavedení pojmu kointegrace a k závěru, že v regresi je třeba používat nediferencované časové řady, které však
musí splnit určitou podmínku, a to aby byly kointegrované.
Závěr. Uveďme tři důvody, proč lze považovat princip kointegrace za ústřední myšlenku modelování integrovaných časových
řad.
(1) Stacionární lineární kombinaci integrovaných (tj. nestacionárních) procesů (jde o jakýsi složený proces) lze
chápat jako odhad ekvilibria, které spojuje uvažované procesy. Ekvilibrium je v tomto případě střední
hodnota této lineární kombinace obou procesů.
(2) Regrese obsahující integrované (tj. nestacionární) procesy má smysl pouze tehdy, pokud jsou procesy kointegrované
(tj. jsou spjaté společným stochastickým trendem, jinak má každá časová řada jiný směr vývoje).
Test kointegrace dvou náhodných procesů je zároveň metoda odlišení mezi pravou regresí a zdánlivou regresí.
(3) Skupinu kointegrovaných procesů lze popsat (kromě jiných modelů) také pomocí tzv. error-correction
modelu. Tento model obsahuje parametry, které charakterizují míru vychýlení systému od dlouhodobě se
prosazujícího ekvilibria.
2.2. Dynamická regresse. Uvažujme nejprve, že
{𝑋 𝑡}, {𝑌 𝑡} ∼ 𝐼(0).
Jejich vztah může být modelován pomocí regresního modelu
𝑌 𝑡 = 𝑐 + 𝛽𝑋 𝑡 + 𝑢 𝑡,
přičemž mohou nastat dva případy (𝑎) 𝑢 𝑡 ∼ 𝑊 𝑁(0, 𝜎2
𝑢) · · · jde o korektní regresní model
(𝑏) 𝑢 𝑡 ∼ 𝐴𝑅(𝑝), tj. 𝑢 𝑡 = 𝜙1 𝑢 𝑡−1 + · · · + 𝜙 𝑝 𝑢 𝑡−𝑝 + 𝜀 𝑡, 𝜀 𝑡 ∼ 𝑊 𝑁(0, 𝜎2
𝜀 ).
Ad (b): pokud pro odhad parametrů 𝑐 a 𝛽 použijeme klasickou metodu nejmenších čtverců, tj. ̂︀𝑐 𝑂𝐿𝑆 a ̂︀𝛽 𝑂𝐿𝑆, pak odhady
sice budou nestranné, ale nebudou vydatné (nebudou mít nejmenší rozpyl).
Pokud např.
𝑢 𝑡 ∼ 𝐴𝑅(1) tj. 𝑢 𝑡 = 𝜙𝑢 𝑡−1 + 𝜀 𝑡, kde |𝜙| < 1 a 𝜙 > 0,
pak nekorektní OLS nabízí směrodatné odchylky odhadů, které jsou menší než ve skutečnosti, což v tomto případě může
vést k zamítnutí nulové hypotézy, i když tomu tak být nemá.
Problém autokorelovaných reziduí lze řešit pomocí tzv. dynamické regrese. Vraťme se k jednoduchému příkladu
𝑌 𝑡 = 𝑐 + 𝛽𝑋 𝑡 + 𝑢 𝑡
⏟ ⏞
(*1)
, kde 𝑢 𝑡 = 𝜙𝑢 𝑡−1 + 𝜀 𝑡
⏟ ⏞
(*2)
, 𝜀 𝑡 ∼ 𝑊 𝑁(0, 𝜎2
𝜀 ).
Budeme se snažit dostat regresní rovnici, ve které bude místo chybového 𝐴𝑅(1) procesu bílý šum. Proto postupně
upravujme
z rovnice (*2) 𝜀 𝑡 = 𝑢 𝑡 − 𝜙𝑢 𝑡−1 (*2𝑏)
z rovnice (*1) 𝑢 𝑡 = 𝑌 𝑡 − 𝑐 − 𝛽𝑋 𝑡 (*1𝑏)
Dosadíme-li vztah (*1𝑏) do vztahu (*2𝑏), dostaneme
𝜀 𝑡 = 𝑌 𝑡 − 𝑐 − 𝛽𝑋 𝑡 − 𝜙(𝑌 𝑡−1 − 𝑐 − 𝛽𝑋 𝑡−1)
a odtud pak
𝑌 𝑡 = 𝑐(1 − 𝜙) + 𝜙𝑌 𝑡−1 + 𝛽𝑋 𝑡 − 𝜙𝛽𝑋 𝑡−1 + 𝜀 𝑡, 𝜀 𝑡 ∼ 𝑊 𝑁(0, 𝜎2
𝜀 ).
Tento model se nazývá Autoregressive Distributed Lag Model (někdy se značí ADL, častěji ARDL) a píšeme
𝑌 𝑡 ∼ 𝐴𝑅𝐷𝐿(𝑝, 𝑞) ≡ 𝐴𝑅𝐷𝐿(𝑝, 𝑞; 𝑘) s 𝑝 = 1, 𝑞 = 1 a 𝑘 = 1 (počet vysvětlujících proměnných)
Pořád zůstává otázka, jak parametricky popsat dlouhodobě rovnovážný stav (tj. ekvilibrium) mezi endogenní (tj.
závislou) a exogenní (tj. nezávislou, vysvětlující) proměnnou.
RNDr. Marie Forbelská, Ph.D. 135
Vraťme se k příkladu
𝑌 𝑡 = 𝑐 + 𝛽𝑋 𝑡 + 𝑢 𝑡
kde
(a) 𝑢 𝑡 ∼ 𝑊 𝑁(0, 𝜎2
𝑢) s 𝐸𝑢 𝑡 = 0, 𝐷𝑢 𝑡 = 𝜎2
𝑢. Pak
𝐸𝑌 𝑡 = 𝑐 + 𝛽𝐸𝑋 𝑡,
takže dlouhodobě se prosazující vztah je dán parametrem 𝛽 , který se pak nazývá dlouhodobý multiplikátor
(long-run multiplier).
(b) v případě dynamické regrese, kdy např.
𝑢 𝑡 = 𝜙𝑢 𝑡−1 + 𝜀 𝑡 s 𝜀 𝑡 ∼ 𝑊 𝑁(0, 𝜎2
𝜀 )
a
𝑌 𝑡 = 𝑐(1 − 𝜙) + 𝜙𝑌 𝑡−1 + 𝛽𝑋 𝑡 − 𝜙𝛽𝑋 𝑡−1 + 𝜀 𝑡
přepišme předchozí vztah pomocí operátoru zpětného chodu
(1 − 𝜙𝐵)𝑌 𝑡 = 𝑐(1 − 𝜙) + 𝛽(1 − 𝜙𝐵)𝑋 𝑡 + 𝜀 𝑡.
Protože předpokládáme, že
𝐸𝑌 𝑡 = 𝐸𝑌 𝑡−𝑙 a 𝐸𝑋 𝑡 = 𝐸𝑋 𝑡−𝑙,
dostaneme
(1 − 𝜙)𝐸𝑌 𝑡 = 𝑐(1 − 𝜙) + 𝛽(1 − 𝜙)𝐸𝑋 𝑡,
takže
𝐸𝑌 𝑡 = 𝑐
(1 − 𝜙)
(1 − 𝜙)
+ 𝛽
(1 − 𝜙)
(1 − 𝜙)
𝐸𝑋 𝑡 = 𝑐 + 𝛽𝐸𝑋 𝑡
a parametrem 𝛽 je opět dlouhodobý multiplikátor (long-run multiplier).
Přepišme nyní model
𝑌 𝑡 = 𝑐(1 − 𝜙) + 𝜙𝑌 𝑡−1 + 𝛽𝑋 𝑡 − 𝜙𝛽𝑋 𝑡−1 + 𝜀 𝑡
trochu jinak. Proto upravujme
𝑌 𝑡 − 𝑌 𝑡−1 = 𝑐(1 − 𝜙) + (𝜙 − 1)𝑌 𝑡−1 + 𝛽(𝑋 𝑡 − 𝑋 𝑡−1) − 𝛽(𝜙 − 1)𝑋 𝑡−1 + 𝜀 𝑡
Δ𝑌 𝑡 = 𝑐(1 − 𝜙) + 𝛽Δ𝑋 𝑡
⏟ ⏞
modeluje krátkodobý vztah
+ (𝜙 − 1)(
error correction
⏞ ⏟
𝑌 𝑡−1 − 𝛽𝑋 𝑡−1)
⏟ ⏞
modeluje dlouhodobý vztah
+𝜀 𝑡
Vztah na posledním řádku se nazývá modelem korekce chyby (anglicky Error Correction Model, EC–model či
ECM).
Dlouhodobý vztah mezi časovými řadami je vyjádřen regresorem (𝑌 𝑡−1 − 𝛽𝑋 𝑡−1), který obsahuje dlouhodobý multiplikátor
𝛽 . Zbytek modelu popisuje krátkodobý vztah mezi časovými řadami.
Parametr 𝜙 − 1 vyjadřuje míru odlišnosti krátkodobého vztahu od vztahu prosazujícího se dlouhodobě. Lze ho
interpretovat jako rychlost, s jakou se krátkodobé vychýlení od rovnovážného stavu ztratí, nebo jakou silou se prosazuje
rovnovážný vztah mezi časovými řadami.
Nyní uvažujme obecný 𝐴𝑅𝐷𝐿(𝑝, 𝑞; 𝑘) model s 𝑘 vysvětlujícími proměnnými ve tvaru:
𝛼 𝑝(𝐵)𝑌 𝑡 = 𝑐 +
𝑘∑︁
𝑖=1
𝛽 𝑖𝑞(𝐵)𝑋𝑖,𝑡 + 𝑢 𝑡,
kde
𝛼 𝑝(𝐵) = 1 − 𝛼1 𝐵 − · · · − 𝛼 𝑝 𝐵 𝑝
𝛽 𝑖𝑞(𝐵) = 1 + 𝛽𝑖,1 𝐵 + · · · + 𝛽𝑖,𝑞 𝐵 𝑞
𝑝𝑟𝑜 𝑖 = 1, . . . , 𝑘.
Tento model lze ve středních hodnotách vyjádřit následujícím způsobem:
𝛼 𝑝(1) 𝐸𝑌 𝑡 = 𝑐 +
𝑘∑︀
𝑖=1
𝛽 𝑖𝑞(1) 𝐸𝑋𝑖,𝑡
𝐸𝑌 𝑡 = 𝑐*
+
𝑘∑︀
𝑖=1
𝛽*
𝑖 𝐸𝑋𝑖,𝑡 kde 𝑐*
= 1
𝛼 𝑝(1) , 𝛽*
𝑖 =
𝛽 𝑖𝑞(1)
𝛼 𝑝(1) .
136 M5201 Stochastické modely časových řad
Budeme se nyní snažit i tento model vyjádřit v ECM formě. Všimněme si, že lze pro 𝑖 = 1, . . . , 𝑘 psát (za předpokladu,
že položíme 𝛽𝑖,0 = 1)
𝛽 𝑖𝑞(𝐵)𝑋𝑖𝑡 =
𝑞∑︁
𝑗=1
𝛽𝑖,𝑗 𝐵 𝑗
𝑋𝑖,𝑡 = 𝛽𝑖,0 𝑋 𝑡+𝛽𝑖,1 𝑋 𝑡 +𝛽𝑖,2 𝑋 𝑡 +· · · +𝛽𝑖,𝑞−2 𝑋 𝑡 + 𝛽𝑖,𝑞−1 𝑋 𝑡 +𝛽𝑖,𝑞 𝑋 𝑡
−𝛽𝑖,1 𝑋 𝑡 −𝛽𝑖,2 𝑋 𝑡 −· · · −𝛽𝑖,𝑞−2 𝑋 𝑡 − 𝛽𝑖,𝑞−1 𝑋 𝑡 −𝛽 𝑞 𝑋 𝑡
+𝛽𝑖,1 𝑋 𝑡−1+𝛽𝑖,2 𝑋 𝑡−1+· · · +𝛽𝑖,𝑞−2 𝑋 𝑡−1 + 𝛽𝑖,𝑞−1 𝑋 𝑡−1 +𝛽𝑖,𝑞 𝑋 𝑡−1
−𝛽𝑖,2 𝑋 𝑡−1−· · · +𝛽𝑖,𝑞−2 𝑋 𝑡−1 − 𝛽𝑖,𝑞−1 𝑋 𝑡−1 −𝛽𝑖,𝑞 𝑋 𝑡−1
...
...
+𝛽𝑖,𝑞−2 𝑋 𝑡−𝑞+2+−𝛽𝑖,𝑞−1 𝑋 𝑡−𝑞+2+𝛽𝑖,𝑞 𝑋 𝑡−𝑞+2
− 𝛽𝑖,𝑞−1 𝑋 𝑡−𝑞+2−𝛽𝑖,𝑞 𝑋 𝑡−𝑞+2
+ 𝛽𝑖,𝑞−1 𝑋 𝑡−𝑞+1+𝛽𝑖,𝑞 𝑋 𝑡−𝑞+1
−𝛽𝑖,𝑞 𝑋 𝑡−𝑞+1
+𝛽𝑖,𝑞 𝑋 𝑡−𝑞
Tedy můžeme psát
𝛽 𝑖𝑞(𝐵)𝑋𝑖𝑡 =
𝑞∑︁
𝑗=1
𝛽𝑖,𝑗 𝐵 𝑗
𝑋𝑖,𝑡 = 𝛽*
𝑖,0 𝑋 𝑡 +
𝑞∑︁
𝑗=0
𝛽*
𝑖,𝑗Δ𝑋 𝑡−𝑗,
kde
𝛽*
𝑖,0 =
𝑞∑︁
𝑗=0
𝛽𝑖,𝑗 = 𝛽 𝑖𝑞(1)
a pro ℎ = 1, . . . , 𝑞
𝛽*
𝑖,ℎ = −
𝑞∑︁
𝑗=ℎ
𝛽𝑖,𝑗.
Zcela analogicky provedeme
𝛼 𝑝(𝐵)𝑌 𝑡 = (1 −
𝑝∑︁
𝑗=1
𝛼 𝑗 𝐵 𝑗
)𝑌 𝑡 = 𝑌 𝑡 −
𝑝∑︁
𝑗=1
𝛼 𝑗 𝐵 𝑗
𝑌 𝑡
= 𝑌 𝑡 −
𝑝∑︁
𝑗=1
𝛼 𝑗 𝑌 𝑡
⏟ ⏞
(1−
∑︀ 𝑝
𝑗=1
𝛼 𝑗 )𝑌 𝑡
+
𝑝∑︁
𝑗=1
𝛼 𝑗 𝑌 𝑡 −
𝑝∑︁
𝑗=1
𝛼 𝑗 𝑌 𝑡−1
⏟ ⏞
Δ𝑌 𝑡·
∑︀ 𝑝
𝑗=1
𝛼 𝑗
+
𝑝∑︁
𝑗=2
𝛼 𝑗 𝑌 𝑡−1 −
𝑝∑︁
𝑗=2
𝛼 𝑗 𝑌 𝑡−2
⏟ ⏞
Δ𝑌 𝑡−1·
∑︀ 𝑝
𝑗=2
𝛼 𝑗
+
𝑝∑︁
𝑗=3
𝛼 𝑗 𝑌 𝑡−2 + · · ·
−
𝑝∑︁
𝑗=𝑝−1
𝛼 𝑗 𝑌 𝑡−𝑝+1 + 𝛼 𝑝 𝑌 𝑡−𝑝+1 − 𝛼 𝑝 𝑌 𝑡−𝑝
⏟ ⏞
𝛼 𝑝Δ𝑌 𝑡−𝑝+1
= (1 − 𝛼*
0)𝑌 𝑡 +
𝑝∑︁
𝑗=1
𝛼*
𝑗 Δ𝑌 𝑡+1−𝑗
kde
(1 − 𝛼*
0) = 1 −
𝑝∑︁
𝑗=1
𝛼 𝑗 = 𝛼 𝑝(1), a 𝛼ℎ* =
𝑝∑︁
𝑗=ℎ
𝛼 𝑗 (ℎ = 1, . . . , 𝑝).
Na základě předchozích vztahů a po dalších úpravách můžeme 𝐴𝑅𝐷𝐿(𝑝, 𝑞; 𝑘) proces vyjádřit v ECM formě takto
Δ𝑌 𝑡 = 𝑐 +
𝑘∑︁
𝑖=1
𝑞−1∑︁
𝑗=0
𝛽 𝑖𝑗(1)Δ𝑋𝑖,𝑡−𝑗 +
𝑘∑︁
𝑖=1
𝛽 𝑖𝑗(1)
𝑞−1∑︁
𝑗=0
Δ𝑋𝑖,𝑡−𝑗
−
𝑝−1∑︁
𝑗=0
𝛼 𝑗(1)Δ𝑌 𝑡−𝑗 − 𝛼 𝑝(1)
𝑞−1∑︁
𝑗=𝑝
Δ𝑌 𝑡−𝑗 + 𝛾(𝑌 𝑡−𝑠 −
𝑘∑︁
𝑖=1
𝛽*
𝑖 𝑋𝑖,𝑡−𝑠) + 𝑣 𝑡,
kde
𝛾 = 𝛼 𝑝(1), 𝛽*
𝑖 =
𝛽 𝑖𝑞(1)
𝛼 𝑝(1)
(𝑖 = 1, . . . , 𝑘) 𝑠 = max(𝑝, 𝑞).
RNDr. Marie Forbelská, Ph.D. 137
3. Kointegrační analýza
Koncept kointegrace by nebyl prakticky aplikovatelný bez statistické teorie testování kointegrace a odhadu parametrů
kointegrovaných lineárních systémů. Tuto problematiku jako první zpracovali Granger a Engle (1987).
Přišli s jednoduchým testem kointegrace založeným na testu stacionarity reziduí statické regrese pomocí testů jednotkových
kořenů a zdůvodnili metodou dvoustupňového odhadu parametrů modelu EC, který spočívá v tom, že se nejprve
odhadnou parametry kointegračních vektorů a potom ve druhém kroku se na jejich základě odhadnou ostatní parametry.
Uvedený test kointegrace a metoda odhadu parametrů modelu korekce chyby byly základním krokem k rozšíření
praktických aplikací kointegrační analýzy zejména ekonomických časových řad.
Obecně lze říci, že kointegrační analýza může být uskutečněna více způsoby – buď korektně pomocí numerických
testů a kointegrační regresní rovnice anebo přibližně, ale zato názorně, pomocí grafického znázornění.
V dalším textu bude ukázán pouze základní způsob pomocí numerické kointegrační analýzy, kde její postup pozůstává
ze dvou následujících kroků:
(1) Testování integrovanosti veličin test I(1) = test tzv. jednotkových kořenů.
(2) Testování výskytu kointegrace dvou veličin test 𝐶𝐼(1, 1). Prakticky to znamená, že kointegraci dvou (obecně
𝑚) veličin má význam testovat jen tehdy, pokud jsou obě veličiny nestacionární a tzv. integrované alespoň řádu
1. Tuto skutečnost lze zjistit právě pomocí testů jednotkových kořenů.
3.1. Testování jednotkových kořenů a kointegrace. Testování jednotkových kořenů slouží ke stanovení typu
náhodné veličiny, tj. zda veličina je nestacionárním procesem typu 𝐼(1), tzn. integrovaným procesem 1. řádu. Časová
řada je typu 𝐼(1), když jeho diference je obecná stacionární časová řada typu 𝐼(0) = 𝐴𝑅𝑀 𝐴(𝑝, 𝑞), ve speciálním a
nejjednodušším případě je to tzv. bílý šum 𝑊 𝑁 = 𝐴𝑅𝑀 𝐴(0, 0) = 𝐴𝑅(0) = 𝑀 𝐴(0).
Pokud uvažujeme jednoduchý stacionární 𝐴𝑅(1) proces typu 𝐼(0):
Φ(𝐵)𝑌 𝑡 = 𝜀 𝑡 tj. 𝑌 𝑡 = 𝑌 𝑡 − 𝜙1 𝑌 𝑡−1 + 𝜀 𝑡 a 𝜀 𝑡 ∼ 𝑊 𝑁(0, 𝜎2
𝜀 ),
pak se tento proces stane nestacionárním typu 𝐼(1), když polynom Φ(𝑧) má jednotkový kořen, což u 𝐴𝑅(1) znamená,
že 𝜙1 = 1. V tom případě jde o náhodnou procházku, která obsahuje tzv. stochastický (nedeterministický) trend a proces
je nestacionární v rozptylu, přičemž rozptyl roste přímo úměrně s časem (délkou) časové řady, tj.
𝐷𝑌 𝑡 = 𝑡𝜎2
𝜀 .
Na testování (nulové) hypotézy
𝐻0 : 𝜙1 = 1 proti alternativě 𝐻1 : |𝜙1| < 1 (stacionarita)
existuje několik parametrických a neparametrických testů:
¾ mezi parametrické testy patří základní Dickey-Fullerův (DF) test a rozšířený Dickey-Fullerův (ADF) test;
¾ mezi testy neparametrické lze zařadit test Phillipsův, testy Phillips-Perronovy, Newey-Westovy, Bierensovy,
Bierens-Guovy a alternativní KPSS (Kwiatkowski Phillips Shmidt Shin)
Pro testování kointegrace existuje vícero testů: CRDW Durbinův–Watsonův, CRDF Dickeyův–Fullerův (se dvěma
variantami), CRADF Augmented DF, Phillipsův, Johansenův, Engle-Grangerův a Bierensův.
Uvedené testy jsou podrobně popsány v literatuře Hamilton (1994), Arlt (1999), Arlt & Arltová (2003), Neubauer
(2005).
Příklad 3.5. Uvažujme dvourozměrný kointegrovaný náhodný proces, který je definován následujícím způsobem
𝑌1,𝑡 = 0.5 𝑌2,𝑡 + 𝑢 𝑡 kde 𝑢 𝑡 = 0.6𝑢 𝑡−1 − 0.2𝑢 𝑡−2 + 0.1𝑢 𝑡−3 + 𝜀1,𝑡 a 𝜀1,𝑡 ∼ 𝑁(0, 0.52
)
𝑌2,𝑡 = 𝑌1,𝑡−1 + 𝜀2,𝑡 𝜀2,𝑡 ∼ 𝑁(0, 0.52
)
138 M5201 Stochastické modely časových řad
0 50 100 150 200 250
0510
0 50 100 150 200 250
−1.5−1.0−0.50.00.51.01.5
ut
Obrázek 8. Simulovaná data dvourozměrného kointegrovaného náhodného procesu jsou vykreslena
v prvním panelu. Černá čára značí proces 𝑌2,𝑡 a šedá 𝑌1,𝑡. Ve druhém panelu je znázorněn
𝐴𝑅(3) proces 𝑢𝑡.
Kointegrační vektor je tvaru
𝛽 = (1, 𝛽)′
= (1, −0.5)′
.
Při odhadování neznámých parametrů využijeme dvoukrokový algoritmus navržený Grangerem a Englem.
V prvním kroku získáme rezidua ze statického regresního modelu, který popisuje dlouhodobý vztah mezi dvěma
časovými řadami.
𝑌1,𝑡 = 𝛽0 + 𝛽1 𝑌2,𝑡 + 𝜖 𝑡
Odhadem ̂︀𝛽1 obdržíme odhad dlouhodobého multiplikátoru, který popisuje dlouhodobý vztah mezi 𝑌2,𝑡 a 𝑌1,𝑡.
RNDr. Marie Forbelská, Ph.D. 139
𝑌1,𝑡 = 𝛽0 + 𝛽1 𝑌2,𝑡 + 𝜖 𝑡
q
qq
q
q
q
qq
q
q
q
qq
q
q
q
qq
qqq
q
q
q
q
q
qqq
qq
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
qq
q
qq
q
q q
q
q
q
q
q
q
q
q
q
q q
q
q
q
q
q
qq q
qqqq
qq
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
qqq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
q
q
q
q
q
q
q
qq
q
qq
q
q
q
q
q
q
q
qq
q
q
q
qq
q q
qq
q
q
q
q
q
q
qq
q
q
q
q
q q
q
qqqq
qq
q
q
qq
q
q
q
q
q
q
q
qq
q
q
q
q
q
q
q
qq
q
q
q
q
q
qqq
q
q
q
q
q
qq
0 5 10
−20246
Obrázek 9. Regrese
̂︀𝜖 𝑡
0 50 100 150 200 250
−1.5−1.0−0.50.00.51.01.5
Obrázek 10. Odhady reziduí
Výsledky regrese jsou dány v následujících dvou tabulkách.
Tabulka 𝑡–statistik pro koeficienty 𝛽0, 𝛽1
Estimate Std. Error t value Pr(> |t|)
(Intercept) 0.1914 0.0528 3.63 0.0003
y2 0.4822 0.0094 51.36 0.0000
Tabulka s výsledky 𝐹–testu
Df Sum Sq Mean Sq F value Pr(>F)
y2 1 975.95 975.95 2638.17 0.0000
Residuals 248 91.74 0.37
𝑅2
= 0.9141, 𝑅2
𝑎𝑑𝑗 = 0.9137
Na základě výsledků vidíme, že odhad dlouhodobého multiplikátoru se blíží hodnotě 0.5.
Rezidua, která jsme získali v prvním kroku, použijeme do dalšího regresního modelu
Δ𝑌1,𝑡 = 𝑏0 + 𝑏1̂︀𝜖 𝑡 + 𝑏2Δ𝑌2,𝑡−1 + 𝑏3Δ𝑌1,𝑡−1 + 𝑒 𝑡
Výsledky regrese v druhém kroku jsou dány v následujících dvou tabulkách.
Tabulka 𝑡–statistik pro koeficienty 𝛽0, 𝛽1
Estimate Std. Error t value Pr(> |t|)
(Intercept) 0.01 0.04 0.17 0.86
ect -0.62 0.07 -8.58 0.00
DeltaY2.1 0.32 0.09 3.48 0.00
DeltaY1.1 -0.42 0.07 -6.03 0.00
Tabulka s výsledky 𝐹–testu
Df Sum Sq Mean Sq F value Pr(>F)
ect 1 14.02 14.02 40.12 0.0000
DeltaY2.1 1 0.26 0.26 0.73 0.3922
DeltaY1.1 1 12.69 12.69 36.32 0.0000
Residuals 244 85.25 0.35
𝑅2
= 0.2403, 𝑅2
𝑎𝑑𝑗 = 0.231
140 M5201 Stochastické modely časových řad
4. Modelování heteroskedasticity
Ve všech předchozích modelech chybové složky měly vždy konstantní, tj. homoskedastický rozptyl. V reálných situacích
je však často tato podmínka nesplnitelná. Pak je možné
¾ buď provést transformaci stabilizující rozptyl,
¾ nebo použít modely, které s heteroskedasticitou počítají.
Nejznámější jsou modely navržené Robertem Englem (nositelem Nobelovy ceny za ekonomii v r. 2003). V ekonometrii
se pojmu variabilita říka volatilita (přelétavost) a mluví se o volatilitě měnící se v čase.
4.1. Autoregresivní podmíněná heteroskedasticita. Autoregresní modely s podmíněnou heteroskedasticitou
(ARCH; AutoRe-gressive Conditional Heteroskedasticity) představují poměrně rozsáhlou třídu modelů, využívaných
zejména při analýze finančních časových řad. Právě finanční časové řady (například vývoj cen akcií, derivátů, dluhopisů,
úrokových měr nebo směnných kurzů) se vyznačují v čase proměnlivým rozptylem, a tuto vlastnost je možné zachytit
pomocí podmíněné heteroskedasticity.
Time
1992 1993 1994 1995 1996 1997 1998
150025003500
Daily Closing Prices of the France Stock Index CAC
from 22 August, 1991 until 8 June, 1998
1992 1993 1994 1995 1996 1997 1998
−0.08−0.040.000.04
Log Returns: ∆(log(x))
Obrázek 11. Ukázka časových řad s proměnlivých rozptylem: vývoj denních zavíracích kurzů
akcií a příslušné logaritmické výnosy.
RNDr. Marie Forbelská, Ph.D. 141
Mějme realizace časové řady 𝑥 𝑡, které vykazují poměrně malé, ale stálé procentní změny 𝑝 𝑡, tj.
𝑥 𝑡 = (1 + 𝑝 𝑡)𝑥 𝑡−1 ⇒ log 𝑥 𝑡 = log(1 + 𝑝 𝑡) + log 𝑥 𝑡−1 ⇒ Δ log 𝑥 𝑡 = log 𝑥 𝑡 − log 𝑥 𝑡−1 = log(1 + 𝑝 𝑡).
Dále si připomeňme, že pro dostatečně malá 𝑝 𝑡 (v absolutní hodnotě - cca do 15%) platí
|𝑝 𝑡| ≈ 0 ⇒ log(1 + 𝑝 𝑡) ≈ 𝑝 𝑡 ⇒ Δ log 𝑥 𝑡 ≈ 𝑝 𝑡.
Většina analýz časových řad pracuje ne přímo s původní časovou řadou, ale nějakou její transformací. V případě
finančních časových řad jde třeba o výnosy - relativní přírůstky cen.
Mějme například ceny akcií 𝑋 𝑡, pak jednoduché (aritmetické) výnosy označme
𝑌 𝑡 =
𝑋 𝑡 − 𝑋 𝑡−1
𝑋 𝑡−1
⇒ 𝑋 𝑡 = (1 + 𝑌 𝑡)𝑋 𝑡−1 ⇒ Δ log 𝑋 𝑡 ≈ 𝑌 𝑡.
A právě pro časové řady výnosů je charakteristická proměnlivost v rozptylu.
4.2. ARCH(1) modely. Nejjednoduššími modely, které počítají s variabilitou, která se v čase mění, jsou 𝐴𝑅𝐶𝐻(1)
modely.
Tyto modely vycházejí z představy, že např. stacionární model 𝐴𝑅(1)
𝑌 𝑡 = 𝜙𝑌 𝑡−1 + 𝜀 𝑡, (|𝜙| < 1)
je vhodné z důvodu proměnlivého rozptylu (proměnlivé volatility) modifikovat tak, že {𝜀 𝑡} je tzv. podmíněně heteroskedastický
proces s konstantní podmíněnou střední hodnotou
𝐸(𝜀 𝑡|Ω 𝑡−1) = 0
a s podmíněným v čase se měnícím rozptylem
𝐷(𝜀 𝑡|Ω 𝑡−1) = 𝐸(𝜀2
𝑡 |Ω 𝑡−1) = 𝜎2
𝑡 ,
kde Ω 𝑡−1 je relevantní minulá informace až do času 𝑡 − 1.
Konkrétní modely proměnlivého rozptylu (tj. proměnlivé volatility) jsou potom dány specifickou formou podmíněného
rozptylu 𝜎2
𝑡 .
Engle navrhl modely podmíněného rozptylu třídy ARCH (Autoregressive Conditional Heteroscedasticity). Nejjednodušším
z nich je model 𝐴𝑅𝐶𝐻(1), který má podmíněný rozptyl ve tvaru
𝐴𝑅𝐶𝐻(1) : 𝜎2
𝑡 = 𝛼0 + 𝛼1 𝜀2
𝑡−1,
model 𝐴𝑅𝐶𝐻(𝑝) lze vyjádřit jako
𝐴𝑅𝐶𝐻(𝑝) : 𝜎2
𝑡 = 𝛼0 + 𝛼1 𝜀2
𝑡−1 + · · · + 𝛼 𝑝 𝜀2
𝑡−𝑝.
Engle vyvinul teorii odhadu modelů ARCH, stanovil podmínky konzistence a asymptotické normality maximálně věrohodných
odhadů jejich parametrů a představil test hypotézy o nepřítomnosti ARCH efektu ve složce 𝜀 𝑡.
Definice modelu ARCH se stala základem pro mnoho dalších typů lineárních a nelineárních modelů podmíněného
rozptylu 𝜎2
𝑡 . Tyto modely vycházejí především z empiricky pozorovaných vlastností konkrétních finančních a ekonomických
časových řad.
Bylo například zjištěno, že kvadráty logaritmů výnosů časových řad s vysokou frekvencí pozorování (denní nebo
týdenní) jsou charakteristické relativně pomalu klesající autokorelační funkcí, což by vyžadovalo mnoho zpoždění v modelu
ARCH, tj. vysokou hodnotu 𝑝. Engleho doktorský student Tim Bollerslev proto přišel s myšlenkou rozšířit model ARCH o
zpožděný podmíněný rozptyl 𝜎2
𝑡 . Tímto způsobem upravený model ARCH lze zobecnit na tzv. GARCH (angl. Generalized
Autoregressive Conditional Heteroscedasticity) model, který má tvar
𝐺𝐴𝑅𝐶𝐻(𝑝, 𝑞) : 𝜎2
𝑡 = 𝛼0 + 𝛼1 𝜀2
𝑡−1 + · · · + 𝛼 𝑝 𝜀2
𝑡−𝑝 + 𝛾1 𝜎2
𝑡−1 + · · · + 𝛾 𝑞 𝜎2
𝑡−𝑞.
Model GARCH(1,1) se posléze stal nejpopulárnějším modelem volatility v empirické praxi.
Poznamenejme ještě, že aby předchozí vztahy měly smysl, musí platit
𝛼𝑖 > 0, 𝛾 𝑗 > 0
a aby proces byl slabě stacionární, musí být
𝑝∑︁
𝑖=1
𝛼𝑖 +
𝑞∑︁
𝑗=1
𝛾 𝑗 < 1.
142 M5201 Stochastické modely časových řad
Pokud platí
𝑝∑︁
𝑖=1
𝛼𝑖 +
𝑞∑︁
𝑗=1
𝛾 𝑗 = 1.
model se nazývá IGARCH.
Engle svou myšlenkou modelu ARCH a dalšími ideami inspiroval statistiky, ekonometry, finanční teoretiky a analytiky
a prakticky i teoreticky orientované ekonomy po celém světě k publikování stovek teoretických a praktických prací
zabývajících se danou problematikou. Modely ARCH a GARCH se staly jedním ze základů nové vědní disciplíny, která
se označuje jako finanční ekonometrie.
KAPITOLA 6
State–space modely
Místo jednorozměrné náhodné posloupnosti {𝑌 𝑡, 𝑡 ∈ Z} uvažujme posloupnost 𝑤-rozměrných náhodných vektorů
{Y 𝑡, 𝑡 ∈ Z}, Y 𝑡 ∈ R 𝑤
, které splňují tzv. datové a stavové rovnice
DATOVÁ ROVNICE:
Y 𝑡 = G 𝑡X 𝑡 + W 𝑡 𝑡 = 1, 2, 3, . . .
STAVOVÁ ROVNICE:
X 𝑡+1 = F 𝑡X 𝑡 + V 𝑡 𝑡 = 1, 2, 3, . . .
přičemž
X 𝑡 . . . je tzv. stavový 𝑣-rozměrný náhodný vektor
W 𝑡 . . . je šum měření
V 𝑡 . . . je šum procesu
G 𝑡 . . . je posloupnost matic typu 𝑤 × 𝑣
(popisují vztah pozorování ke stavu)
F 𝑡 . . . je posloupnost matic typu 𝑣 × 𝑣
(modelují dynamiku - tzv. matice přechodu)
Dále platí
𝐸V 𝑡 = 0
𝐸W 𝑡 = 0
𝐷
(︂
W 𝑡
V 𝑡
)︂
=
(︂
R 𝑡 S 𝑡
S′
𝑡 Q 𝑡
)︂
tj.
𝐸W 𝑡W′
𝑡 = R 𝑡
𝐸V 𝑡V′
𝑡 = Q 𝑡
𝐸W 𝑡V′
𝑡 = S 𝑡
𝐶(X 𝑡, (W′
𝑡, V′
𝑡)′
) = 0, tj. jsou nekorelované
Všechny náhodné vektory mají konečné druhé momenty.
Příklad 0.1. NÁHODNÁ PROCHÁZKA S TRENDEM
Mějme 𝛽 ∈ R,
šum procesu 𝑉 𝑡 ∼ 𝑊 𝑁(0, 𝜎2
𝑣),
náhodné veličiny 𝑇 𝑟 𝑡, přičemž 𝑇 𝑟0 = 𝜇0 = 0.
Dále nechť pro 𝑡 = 1, 2, . . . platí
𝐶(𝑇 𝑟 𝑡, 𝑉 𝑡) = 0 tj. 𝑇 𝑟 𝑡 a 𝑉 𝑡 jsou nekorelované, což značíme 𝑇 𝑟 𝑡 ⊥ 𝑉 𝑡.
Definujme
𝑇 𝑟 𝑡+1 = 𝑇 𝑟 𝑡 + 𝛽 + 𝑉 𝑡 = 𝑇 𝑟 𝑡−1 + 𝛽 + 𝑉 𝑡−1 + 𝛽 + 𝑉 𝑡
= 𝑇 𝑟 𝑡−1 + 2𝛽 + 𝑉 𝑡 + 𝑉 𝑡−1 = · · ·
po 𝑡 krocích = 𝑇 𝑟0
⏟ ⏞
=𝜇0=0
+𝛽𝑡 +
𝑡∑︁
𝑗=1
𝑉 𝑗
Položme
X 𝑡 =
(︂
𝑇 𝑟 𝑡
𝛽
)︂
V 𝑡 =
(︂
𝑉 𝑡
0
)︂
F 𝑡 =
(︂
1 1
0 1
)︂
.
Pak
X 𝑡+1 =
(︂
𝑇 𝑟 𝑡+1
𝛽
)︂
=
(︂
1 1
0 1
)︂ (︂
𝑇 𝑟 𝑡
𝛽
)︂
+
(︂
𝑉 𝑡
0
)︂
= F 𝑡X 𝑡 + V 𝑡 𝑡 = 1, 2, . . . .
Označme šum měření 𝑊 𝑡 ∼ 𝑊 𝑁(0, 𝜎2
𝑤) a položme
𝑌 𝑡 =
(︀
1 0
)︀
⏟ ⏞
=G 𝑡
(︂
𝑇 𝑟 𝑡
𝛽
)︂
+ 𝑊 𝑡 = GtX 𝑡 + W 𝑡 𝑡 = 1, 2, . . . .
143
144 M5201 Stochastické modely časových řad
Jestliže X1 =
(︂
𝑇 𝑟1
𝛽
)︂
, 𝑉1, 𝑊1
⏟ ⏞
, 𝑉2, 𝑊2
⏟ ⏞
, . . . jsou nekorelované, dostáváme stavově-prostorovou reprezentaci náhodné procházky,
pro kterou platí
𝐸V 𝑡 = 0 𝐷V 𝑡 = 𝐸V 𝑡V′
𝑡 =
(︂
𝜎2
𝑣 0
0 0
)︂
= Q 𝑡 = Q
𝐸W 𝑡 = 𝐸𝑊 𝑡 = 0 𝐷W 𝑡 = 𝐸W 𝑡W′
𝑡 = 𝐸𝑊2
𝑡 = 𝜎2
𝑤 = 𝑅 𝑡 = 𝑅
𝐸V 𝑡W′
𝑡 =
(︂
0
0
)︂
= S 𝑡 = S.
Příklad 0.2. SEZÓNNÍ ŘADA SE ŠUMEM
Uvažujme sezónu délky 𝑑
a sezónní komponenty 𝑠1, . . . , 𝑠 𝑑
přičemž platí
𝑠 𝑡+𝑑 = 𝑠 𝑡 a 𝑠1 + · · · + 𝑠 𝑑 = 0.
Takže dostaneme
𝑠 𝑡+1 = 𝑠 𝑡+1−𝑑
...
𝑠 𝑡+1 + 𝑠 𝑡 + 𝑠 𝑡−1 + · · · + 𝑠 𝑡+1−𝑑+1 = 0
Odtud získáme deterministickou rovnici
𝑠 𝑡+1 = −𝑠 𝑡 − 𝑠 𝑡−1 − · · · − 𝑠 𝑡+2−𝑑
Přidejme šum procesu 𝑉 𝑡 ∼ 𝑊 𝑁(0, 𝜎2
𝑣) a dostaneme po přeznačení stochastickou rovnici
𝑌 𝑡+1 = −𝑌 𝑡 − 𝑌 𝑡−1 − · · · − 𝑌 𝑡+2−𝑑 + 𝑉 𝑡.
Položme
X 𝑡+1 =
⎛
⎜
⎜
⎜
⎜
⎜
⎝
𝑌 𝑡+1
𝑌 𝑡
𝑌 𝑡−1
...
𝑌 𝑡+3−𝑑
⎞
⎟
⎟
⎟
⎟
⎟
⎠
=
⎛
⎜
⎜
⎜
⎜
⎜
⎜
⎝
−1 −1 · · · −1 −1
1 0 · · · 0 0
0
...
...
...
...
...
...
... 0 0
0 · · · 0 1 0
⎞
⎟
⎟
⎟
⎟
⎟
⎟
⎠
⏟ ⏞
=F 𝑡
⎛
⎜
⎜
⎜
⎜
⎜
⎝
𝑌 𝑡
𝑌 𝑡−1
𝑌 𝑡−2
...
𝑌 𝑡+2−𝑑
⎞
⎟
⎟
⎟
⎟
⎟
⎠
⏟ ⏞
=X 𝑡
+
⎛
⎜
⎜
⎜
⎜
⎜
⎝
𝑉 𝑡
0
0
...
0
⎞
⎟
⎟
⎟
⎟
⎟
⎠
⏟ ⏞
=V 𝑡
tj. stavově-prostorový model sezónní řady se šumem je roven
X 𝑡+1 = FX 𝑡 + V 𝑡
𝑌 𝑡 =
(︀
1 0 · · · 0
)︀
⏟ ⏞
=G 𝑡
X 𝑡
1. Stacionární stavově-prostorové modely
DATOVÁ ROVNICE:
Y 𝑡 = GX 𝑡 + W 𝑡 𝑡 = 1, 2, 3, . . .
STAVOVÁ ROVNICE:
X 𝑡+1 = FX 𝑡 + V 𝑡 𝑡 = 1, 2, 3, . . .
přičemž
X 𝑡 . . . je tzv. stavový 𝑣-rozměrný náhodný vektor
W 𝑡 . . . je šum měření
V 𝑡 . . . je šum procesu
G . . . je matice typu 𝑤 × 𝑣 (popisují vztah pozorování ke stavu)
F . . . je matice typu 𝑣 × 𝑣 tzv. matice přechodu
RNDr. Marie Forbelská, Ph.D. 145
Dále platí
𝐸V 𝑡 = 0
𝐸W 𝑡 = 0
𝐷
(︂
W 𝑡
V 𝑡
)︂
=
(︂
R 𝑡 S 𝑡
S′
𝑡 Q 𝑡
)︂
tj.
𝐸W 𝑡W′
𝑡 = R 𝑡
𝐸V 𝑡V′
𝑡 = Q 𝑡
𝐸W 𝑡V′
𝑡 = S 𝑡
𝐶(X 𝑡, (W′
𝑡, V′
𝑡)′
= 0, tj. jsou nekorelované
Všechny náhodné vektory mají konečné druhé momenty.
Stavová rovnice se nazývá stabilní (také kauzální ), právě když všechna vlastní čísla matice F leží uvnitř jednotkové
kružnice, tj.
𝑑𝑒𝑡(I − Fz) ̸= 0 pro ∀ |z| < 1.
Pokud je systém stabilní (kauzální ), pak
X 𝑡+1 =
∞∑︁
𝑗=0
F 𝑗
V 𝑡−𝑗
Y 𝑡 = W 𝑡 + G
∞∑︁
𝑗=0
F 𝑗
V 𝑡−1−𝑗
146 M5201 Stochastické modely časových řad
Příklad 1.3. AUTOREGRESNÍ MODEL ŘÁDU 𝑝
𝐴𝑅(𝑝) : 𝑌 𝑡 = 𝜙1 𝑌 𝑡−1 · · · + 𝜙 𝑝 𝑌 𝑡−𝑝 + 𝜀 𝑡 , kde 𝜀 𝑡 ∼ 𝑊 𝑁(0, 𝜎2
𝜀 ),
⎛
⎜
⎜
⎜
⎜
⎜
⎝
𝑌 𝑡+1
𝑌 𝑡
𝑌 𝑡−1
...
𝑌 𝑡+1−𝑝
⎞
⎟
⎟
⎟
⎟
⎟
⎠
⏟ ⏞
=X 𝑡+1
=
⎛
⎜
⎜
⎜
⎜
⎜
⎜
⎝
𝜙1 𝜙2 · · · 𝜙 𝑝−1 𝜙 𝑝
1 0 · · · 0 0
0
...
...
...
...
...
...
... 0 0
0 · · · 0 1 0
⎞
⎟
⎟
⎟
⎟
⎟
⎟
⎠
⏟ ⏞
=F
⎛
⎜
⎜
⎜
⎜
⎜
⎝
𝑌 𝑡
𝑌 𝑡−1
𝑌 𝑡−2
...
𝑌 𝑡−𝑝
⎞
⎟
⎟
⎟
⎟
⎟
⎠
⏟ ⏞
=X 𝑡
+
⎛
⎜
⎜
⎜
⎜
⎜
⎝
𝜀 𝑡
0
0
...
0
⎞
⎟
⎟
⎟
⎟
⎟
⎠
⏟ ⏞
=V 𝑡
𝑌 𝑡 =
(︀
1 0 · · · 0
)︀
⏟ ⏞
=G
X 𝑡
Příklad 1.4. MA PROCES ŘÁDU 𝑞
𝑀 𝐴(𝑞) : 𝑌 𝑡 = 𝜀 𝑡 + 𝜃1 𝜀 𝑡−1 + · · · + 𝜃 𝑞 𝜀 𝑡−𝑞 , kde 𝜀 𝑡 ∼ 𝑊 𝑁(0, 𝜎2
𝜀 ),
⎛
⎜
⎜
⎜
⎜
⎜
⎝
𝜀 𝑡
𝜀 𝑡−1
𝜀 𝑡−2
...
𝜀 𝑡+1−𝑞
⎞
⎟
⎟
⎟
⎟
⎟
⎠
⏟ ⏞
=X 𝑡+1
=
⎛
⎜
⎜
⎜
⎜
⎜
⎜
⎝
0 0 · · · 0 0
1 0 · · · 0 0
0
...
...
...
...
...
...
... 0 0
0 · · · 0 1 0
⎞
⎟
⎟
⎟
⎟
⎟
⎟
⎠
⏟ ⏞
=F
⎛
⎜
⎜
⎜
⎜
⎜
⎝
𝜀 𝑡−1
𝜀 𝑡−2
𝜀 𝑡−3
...
𝜀 𝑡−𝑞
⎞
⎟
⎟
⎟
⎟
⎟
⎠
⏟ ⏞
=X 𝑡
+
⎛
⎜
⎜
⎜
⎜
⎜
⎝
𝜀 𝑡
0
0
...
0
⎞
⎟
⎟
⎟
⎟
⎟
⎠
⏟ ⏞
=V 𝑡
𝑌 𝑡 =
(︀
𝜃1 · · · 𝜃 𝑞
)︀
⏟ ⏞
=G
X 𝑡 + 𝜀 𝑡
⏟ ⏞
=W 𝑡
Příklad 1.5. ARMA PROCES ŘÁDU 𝑝, 𝑞
𝐴𝑅𝑀 𝐴(𝑝, 𝑞) : 𝑌 𝑡 = 𝜙1 𝑌 𝑡−1 · · · + 𝜙 𝑝 𝑌 𝑡−𝑝 + 𝜀 𝑡 + 𝜃1 𝜀 𝑡−1 + · · · + 𝜃 𝑞 𝜀 𝑡−𝑞 , kde 𝜀 𝑡 ∼ 𝑊 𝑁(0, 𝜎2
𝜀 ),
⎛
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎝
𝑌 𝑡
𝑌 𝑡−1
𝑌 𝑡−2
...
...
𝑌 𝑡+1−𝑝
𝜀 𝑡+1
𝜀 𝑡
...
𝜀 𝑡+1−𝑞
⎞
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎠
⏟ ⏞
=X 𝑡+1
=
⎛
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎝
𝜙1 · · · 𝜙 𝑝−1 𝜙 𝑝 1 𝜃1 · · · 𝜃 𝑞−1 𝜃 𝑞
1 0 · · · · · · · · · · · · · · · · · · 0
0
...
...
...
...
...
...
...
...
...
... 1
...
...
...
... 0
...
...
...
... 1
...
...
...
...
...
...
...
0 · · · · · · · · · · · · · · · 0 1 0
⎞
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎠
⏟ ⏞
=F
⎛
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎝
𝑌 𝑡−1
𝑌 𝑡−2
𝑌 𝑡−3
...
...
𝑌 𝑡−𝑝
𝜀 𝑡
𝜀 𝑡−1
...
𝜀 𝑡−𝑞
⎞
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎠
⏟ ⏞
=X 𝑡
+
⎛
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎜
⎝
0
0
0
...
...
0
𝜀 𝑡+1
0
...
0
⎞
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎠
⏟ ⏞
=V 𝑡
𝑌 𝑡 =
(︀
𝜙1 · · · 𝜙 𝑝 1 𝜃1 · · · 𝜃 𝑞
)︀
⏟ ⏞
=G
X 𝑡
2. Nejlepší lineární predikce pomocí projekce náhodných vektorů druhého řádu
Mějme pravděpodobnostní prostor (Ω, 𝒜, 𝑃). Pro pevně zvolené 𝑣 ∈ N označme
𝐿 𝑣
2 = {X = (𝑋1, . . . , 𝑋 𝑣)′
: 𝑋1 ∈ 𝐿2
(Ω, 𝒜, 𝑃), . . . , 𝑋 𝑣 ∈ 𝐿2
(Ω, 𝒜, 𝑃)}
a označme
𝐿∞
2 =
∞⋃︁
𝑣=1
𝐿 𝑣
2.
Pak lze nad tímto prostorem definovat skalární součin pro X ∈ 𝐿 𝑣
2 a Y ∈ 𝐿 𝑤
2 (𝑣, 𝑤 ∈ N) předpisem
⟨X, Y⟩ = 𝐸XY′
RNDr. Marie Forbelská, Ph.D. 147
za předpokladu, že existuje sdružené rozdělení náhodného vektoru Z =
(︂
X
Y
)︂
a Z ∈ 𝐿 𝑣+𝑤
2 .
Označme pro Y0, . . . , Y 𝑡 ∈ 𝐿 𝑤
2
ℳ 𝑡 = 𝑠𝑝{Y0, . . . , Y 𝑡}
uzavřený podprostor generovaný všemi možnými lineárními kombinacemi typu
C0Y0 + · · · + C 𝑡Y 𝑡,
kde C0, . . . , C 𝑡 jsou reálné matice.
Pak uvažujme nad 𝐿∞
2 projekci X ∈ 𝐿 𝑣
2 do ℳ 𝑡
𝑃ℳ 𝑡
(X) = (𝑃ℳ 𝑡
(𝑋1), . . . , 𝑃ℳ 𝑡
(𝑋 𝑣))
′
,
kterou budeme značit různými způsoby, a to
𝑃ℳ 𝑡
(X) = ^X = 𝑃 𝑡(X) = 𝑃 𝑡(X|Y0, . . . , Y 𝑡).
148 M5201 Stochastické modely časových řad
Připomeňme vlastnosti predikce, které v následujících důkazech využijeme
(a) vždy existuje jediný vektor 𝑃 𝑡(X) takový, že pro ∀Y ∈ ℳ 𝑡 = 𝑠𝑝{Y0, . . . , Y 𝑡} platí
⟨X − ^X, Y⟩ = 0 ⇔ ⟨X, Y⟩ = ⟨ ^X, Y⟩ ⇔ 𝐸XY′
= 𝐸 ^XY′
.
Protože ^X ∈ ℳ 𝑡, pak
𝐸X ^X′
= 𝐸 ^X ^X′
.
(b) Jestliže X, Y1, . . . , Y 𝑡 mají sdružené normální rozdělení, pak (pokud Y0 = 1 = (1, . . . , 1)′
) platí
^X = 𝑃 𝑡(X) = 𝐸(X|Y1, . . . , Y 𝑡) 𝑡 ≥ 1.
(c) Predikce ^X = 𝑃 𝑡(X) je lineární v tom smyslu, že pro libovolnou matici A ∈ R 𝑘+𝑣
a X, Z ∈ 𝐿 𝑣
2 platí:
𝑃 𝑡(AX) = A𝑃 𝑡(X)
𝑃 𝑡(X + Z) = 𝑃 𝑡(X) + 𝑃 𝑡(Z)
(d) Pokud X ∈ 𝐿 𝑣
2 a Y ∈ 𝐿 𝑤
2 ,pak
𝑃 𝑡(X|Y) = MY,
kde M ∈ R 𝑣+𝑤
, pro níž platí
M = 𝐸XY′
[𝐸YY′
]−
a A−
značí pseudoinverzní matici k matici A, což je taková matice, pro níž
A−
= AA−
A
Každá matice má alespoň jednu pseudoinverzní matici. Pokud matice A je regulární, pak
A−
= A−1
.
Připomeňme opět definici stavového modelu
DATOVÁ ROVNICE:
Y 𝑡 = G 𝑡X 𝑡 + W 𝑡 𝑡 = 1, 2, 3, . . .
STAVOVÁ ROVNICE:
X 𝑡+1 = F 𝑡X 𝑡 + V 𝑡 𝑡 = 1, 2, 3, . . .
přičemž
X 𝑡 . . . je tzv. stavový 𝑣-rozměrný náhodný vektor
W 𝑡 . . . je šum měření
V 𝑡 . . . je šum procesu
G 𝑡 . . . je posloupnost matic typu 𝑤 × 𝑣
F 𝑡 . . . je posloupnost matic typu 𝑣 × 𝑣
Dále platí
𝐸V 𝑡 = 0
𝐸W 𝑡 = 0
𝐷
(︂
W 𝑡
V 𝑡
)︂
= 𝐸
(︂
W 𝑡
V 𝑡
)︂
(︀
W′
𝑡 V′
𝑡
)︀
=
(︂
𝐸W 𝑡W′
𝑡 𝐸W 𝑡V′
𝑡
𝐸V 𝑡W′
𝑡 𝐸V 𝑡V′
𝑡
)︂
=
(︂
R 𝑡 S 𝑡
S′
𝑡 Q 𝑡
)︂
𝐶(X 𝑡, (W′
𝑡, V′
𝑡)′
= 0, tj. jsou nekorelované: X 𝑡 ⊥ (W′
𝑡, V′
𝑡)′
Označme
^X 𝑡|𝑘 = 𝑃 𝑠𝑝{Y0,...,Y 𝑘}(X 𝑡) = 𝑃(X 𝑡|Y0, . . . , Y 𝑘)
Ω 𝑡|𝑘 = 𝐸(X 𝑡 − ^X 𝑡|𝑘)(X 𝑡 − ^X 𝑡|𝑘)′
Pokud 𝑘 = 𝑡 − 1 . . . jde o tzv. problém (jednokrokové) predikce
𝑘 = 𝑡 . . . jde o tzv. problém filtrace
𝑘 = 𝑛 > 𝑡. . . jde o tzv. problém vyhlazení
Přidejme předpoklady pro ∀ 𝑡
W 𝑡 ⊥ {Y0, . . . , Y 𝑡−1}, tj. jsou nekorelované
V 𝑡 ⊥ {Y0, . . . , Y 𝑡−1}
S 𝑡 = 0 (tj. šumy procesu V 𝑡 a měření W 𝑡 jsou nekorelované)
RNDr. Marie Forbelská, Ph.D. 149
Věta 2.1. Jednokroková Kalmanova predikce
̂︀X 𝑡 = ̂︀X 𝑡|𝑡−1 = 𝑃 𝑡−1(X 𝑡) = 𝑃(X 𝑡|Y0, . . . , Y 𝑡−1) = 𝑃 𝑠𝑝{Y0,...,Y 𝑡−1}(X 𝑡)
a chybová predikční kovarianční matice
Ω 𝑡|𝑡−1 = 𝐸(X 𝑡 − ̂︀X 𝑡)(X 𝑡 − ̂︀X 𝑡)′
= 𝐸(X 𝑡 − ̂︀X 𝑡|𝑡−1)(X 𝑡 − ̂︀X 𝑡|𝑡−1)′
jsou jednoznačně určeny
(1) počátečními podmínkami:
̂︀X1 = ̂︀X1|0 = 𝑃(X1|Y0) = 𝑃 𝑠𝑝{Y0}(X1)
Ω1|0 = Ω1 = ΣX1X1 − Σ̂︀X1 ̂︀X1
kde
ΣX1X1
= 𝐸X1X′
1
Σ̂︀X1 ̂︀X1
= 𝐸 ̂︀X1
̂︀X′
1
(2) a platí pro ně následující rekurentní vztahy:
̂︀X 𝑡+1 = ̂︀X 𝑡+1|𝑡 = F 𝑡
̂︀X 𝑡|𝑡−1 + K 𝑡+1|𝑡(Y 𝑡 − G 𝑡
̂︀X 𝑡|𝑡−1),
kde K 𝑡+1|𝑡 je tzv. predikční Kalmanův zisk, pro nějž platí:
K 𝑡+1|𝑡 = ΣX 𝑡+1I 𝑡
Σ−
I 𝑡I 𝑡
přičemž
ΣX 𝑡+1I 𝑡 = F 𝑡Ω 𝑡|𝑡−1G′
𝑡
ΣI 𝑡I 𝑡
= G 𝑡Ω 𝑡|𝑡−1G′
𝑡 + R 𝑡
a
Ω 𝑡+1|𝑡 = ΣX 𝑡+1X 𝑡+1 − Σ̂︀X 𝑡+1 ̂︀X 𝑡+1
přičemž
ΣX 𝑡+1X 𝑡+1 = F 𝑡ΣX 𝑡X 𝑡 F′
𝑡 + Q 𝑡
Σ̂︀X 𝑡+1 ̂︀X 𝑡+1
= F 𝑡Σ̂︀X 𝑡 ̂︀X 𝑡
F′
𝑡 + K 𝑡+1|𝑡ΣI 𝑡I 𝑡
K′
𝑡+1|𝑡
a kde I 𝑡 jsou inovace pro Y 𝑡, tj.
I 𝑡 = Y 𝑡 − ̂︀Y 𝑡 = Y 𝑡 − 𝑃 𝑠𝑝{Y0,...,Y 𝑡−1}(Y 𝑡)
150 M5201 Stochastické modely časových řad
Důkaz. Nejprve definujme inovaci pro Y 𝑡
I0 = Y0
I 𝑡 = Y 𝑡 − ̂︀Y 𝑡
= Y 𝑡 − 𝑃 𝑠𝑝{Y0,...,Y 𝑡−1}(Y 𝑡)
= Y 𝑡 − 𝑃 𝑡−1(Y 𝑡)
= Y 𝑡 − 𝑃 𝑡−1(G 𝑡X 𝑡 + W 𝑡)
= Y 𝑡 − G 𝑡 𝑃 𝑡−1(X 𝑡) − 𝑃 𝑡−1(W 𝑡)
Díky nezávislosti náhodných vektorů
W 𝑡 ⊥ {Y0, . . . , Y 𝑡−1}
platí
𝑃 𝑡−1(W 𝑡) = 𝑃 𝑠𝑝{Y0,...,Y 𝑡−1}(W 𝑡) = 0,
takže dostaneme
I 𝑡 = Y 𝑡 − G 𝑡
̂︀X 𝑡 = G 𝑡X 𝑡 + W 𝑡 − G 𝑡
̂︀X 𝑡 = G 𝑡
(︁
X 𝑡 − ̂︀X 𝑡
)︁
+ W 𝑡 .
Je třeba si uvědomit, že inovace jsou ortogonální (tj. nekorelované)
I0 ⊥ I1 ⊥ I2 ⊥ . . . ⊥ I 𝑡,
takže pro libovolné X platí
𝑃 𝑡(X) = 𝑃(X|Y0, . . . , Y 𝑡)
= 𝑃(X|I0, . . . , I 𝑡)
= 𝑃(X|I0, . . . , I 𝑡−1) + 𝑃(X|I 𝑡) = 𝑃 𝑡−1(X) + 𝑃(X|I 𝑡)
= 𝑃 𝑡−1(X) + MI 𝑡,
kde
M = 𝐸XI′
𝑡[𝐸I 𝑡I′
𝑡]−
.
Takže
̂︀X 𝑡+1 = ̂︀X 𝑡+1|𝑡 = 𝑃 𝑡(X 𝑡+1)
= 𝑃 𝑡−1(X 𝑡+1) + 𝑃(X 𝑡+1|I 𝑡)
= 𝑃 𝑡−1(F 𝑡X 𝑡 + V 𝑡) + 𝐸X 𝑡+1I′
𝑡[𝐸I 𝑡I′
𝑡]−
I 𝑡
a označíme-li
ΣX 𝑡+1I 𝑡
= 𝐸X 𝑡+1I′
𝑡
ΣI 𝑡I 𝑡 = 𝐸I 𝑡I′
𝑡,
pak
̂︀X 𝑡+1 = F 𝑡 𝑃 𝑡−1(X 𝑡)
⏟ ⏞
=̂︀X 𝑡|𝑡−1
+ 𝑃 𝑡−1(V 𝑡)
⏟ ⏞
=0
+ΣX 𝑡+1I 𝑡
Σ−
I 𝑡I 𝑡
(Y 𝑡 − G 𝑡
̂︀X 𝑡)
Vyjádřeme nyní
ΣX 𝑡+1I 𝑡
= 𝐸X 𝑡+1I′
𝑡
= 𝐸(F 𝑡X 𝑡 + V 𝑡)
[︁
G 𝑡(X 𝑡 − ̂︀X 𝑡) + W 𝑡
]︁′
= 𝐸
[︁
F 𝑡(X 𝑡 − ̂︀X 𝑡)+F 𝑡
̂︀X 𝑡 +V 𝑡
]︁ [︁
G 𝑡(X 𝑡 − ̂︀X 𝑡)+W 𝑡
]︁′
= F 𝑡 𝐸(X 𝑡 − ̂︀X 𝑡)(X 𝑡 − ̂︀X 𝑡)′
⏟ ⏞
=Ω 𝑡|𝑡−1
G′
𝑡 + F 𝑡 𝐸(X 𝑡 − ̂︀X 𝑡)W′
𝑡
⏟ ⏞
=0(𝑛𝑒𝑘𝑜𝑟𝑒𝑙.)
+F 𝑡 𝐸 ̂︀X 𝑡(X 𝑡 − ̂︀X 𝑡)′
⏟ ⏞
=0(𝑛𝑒𝑘𝑜𝑟𝑒𝑙.)
+ F 𝑡 𝐸 ̂︀X 𝑡W′
𝑡
⏟ ⏞
=0(𝑛𝑒𝑘𝑜𝑟𝑒𝑙.)
+ 𝐸V 𝑡(X 𝑡 − ̂︀X 𝑡)′
⏟ ⏞
=0(𝑛𝑒𝑘𝑜𝑟𝑒𝑙.)
G′
𝑡 + 𝐸V 𝑡W′
𝑡
⏟ ⏞
=S 𝑡=0
= F 𝑡Ω 𝑡|𝑡−1G′
𝑡
RNDr. Marie Forbelská, Ph.D. 151
Dále počítejme
ΣI 𝑡I 𝑡
= 𝐸I 𝑡I′
𝑡 = 𝐸
[︁
G 𝑡(X 𝑡 − ̂︀X 𝑡) + W 𝑡
]︁ [︁
G 𝑡(X 𝑡 − ̂︀X 𝑡) + W 𝑡
]︁′
= G 𝑡 𝐸(X 𝑡 − ̂︀X 𝑡)(X 𝑡 − ̂︀X 𝑡)′
G′
𝑡
+ G 𝑡 𝐸(X 𝑡 − ̂︀X 𝑡)W′
𝑡
⏟ ⏞
=0(𝑛𝑒𝑘𝑜𝑟𝑒𝑙.)
+ 𝐸W 𝑡(X 𝑡 − ̂︀X 𝑡)′
⏟ ⏞
=0(𝑛𝑒𝑘𝑜𝑟𝑒𝑙.)
G′
𝑡 + 𝐸W 𝑡W′
𝑡
= G 𝑡Ω 𝑡|𝑡−1G′
𝑡 + R 𝑡
Tedy celkově máme
̂︀X 𝑡+1 = ̂︀X 𝑡+1|𝑡 = F 𝑡
̂︀X 𝑡|𝑡−1 + ΣX 𝑡+1I 𝑡
Σ−
I 𝑡I 𝑡
(Y 𝑡 − G 𝑡
̂︀X 𝑡)
⏟ ⏞
=I 𝑡
a
K 𝑡+1|𝑡 = ΣX 𝑡+1I 𝑡
Σ−
I 𝑡I 𝑡
je tzv. Kalmanův predikční zisk a můžeme tedy psát
̂︀X 𝑡+1 = F 𝑡
̂︀X 𝑡|𝑡−1 + K 𝑡+1|𝑡(Y 𝑡 − G 𝑡
̂︀X 𝑡|𝑡−1)
Zbývá najít rekurentní vztah pro Ω 𝑡+1|𝑡. Přitom využijeme důležitý vztah, který vychází z vlastností ortogonální projekce,
tj. že pro ∀Y ∈ 𝑃 𝑠𝑝{Y0,...,Y 𝑡−1} platí
⟨X 𝑡 − ̂︀X 𝑡, Y⟩ = 0
⟨X 𝑡, Y⟩ = ⟨ ̂︀X 𝑡, Y⟩
𝐸X 𝑡Y = 𝐸 ̂︀X 𝑡Y
a protože ̂︀X 𝑡 ∈ 𝑃 𝑠𝑝{Y0,...,Y 𝑡−1}, dostaneme
𝐸X 𝑡
̂︀X 𝑡 = 𝐸 ̂︀X 𝑡
̂︀X 𝑡 .
Proto počítejme
Ω1|0 = Ω1 = 𝐸(X1 − ̂︀X1)(X1 − ̂︀X1)′
= 𝐸X1X′
1 − 𝐸 ̂︀X1X′
1
⏟ ⏞
=𝐸̂︀X1 ̂︀X′
1
− 𝐸X1
̂︀X1
⏟ ⏞
=𝐸̂︀X1 ̂︀X′
1
+𝐸 ̂︀X1
̂︀X′
1
= 𝐸X1X′
1 − 𝐸 ̂︀X1
̂︀X′
1 = ΣX1X1
− Σ̂︀X1 ̂︀X1
Úplnou matematickou indukcí obdobně dokážeme, že pokud budeme předpokládat, že platí
Ω 𝑡|𝑡−1 = ΣX 𝑡X 𝑡 − Σ̂︀X 𝑡 ̂︀X 𝑡
,
pak
Ω 𝑡+1|𝑡 = 𝐸(X 𝑡+1 − ̂︀X 𝑡+1)(X 𝑡+1 − ̂︀X 𝑡+1)′
= 𝐸X 𝑡+1X′
𝑡+1 − 𝐸 ̂︀X 𝑡+1X′
𝑡+1
⏟ ⏞
=𝐸̂︀X 𝑡+1 ̂︀X′
𝑡+1
− 𝐸X 𝑡+1
̂︀X′
𝑡+1
⏟ ⏞
=𝐸̂︀X 𝑡+1 ̂︀X′
𝑡+1
+𝐸 ̂︀X 𝑡+1
̂︀X′
𝑡+1
= 𝐸X 𝑡+1X′
𝑡+1 − 𝐸 ̂︀X 𝑡+1
̂︀X′
𝑡+1 = ΣX 𝑡+1X 𝑡+1
− Σ̂︀X 𝑡+1 ̂︀X 𝑡+1
ΣX 𝑡+1X 𝑡+1 = 𝐸X 𝑡+1X′
𝑡+1 = 𝐸(F 𝑡X 𝑡) + W 𝑡)(F 𝑡X 𝑡) + W 𝑡)′
= F 𝑡 𝐸X 𝑡X 𝑡
⏟ ⏞
=ΣX 𝑡X 𝑡
F′
𝑡 + F 𝑡 𝐸X 𝑡W′
𝑡
⏟ ⏞
=0(𝑛𝑒𝑘𝑜𝑟𝑒𝑙.)
+ 𝐸W 𝑡X′
𝑡
⏟ ⏞
=0(𝑛𝑒𝑘𝑜𝑟𝑒𝑙.)
F′
𝑡F 𝑡 𝐸V 𝑡V′
𝑡
= F 𝑡ΣX 𝑡X 𝑡 F′
𝑡 + Q 𝑡
152 M5201 Stochastické modely časových řad
Σ̂︀X 𝑡+1 ̂︀X 𝑡+1
= 𝐸 ̂︀X 𝑡+1
̂︀X′
𝑡+1
= 𝐸
[︁
F 𝑡
̂︀X 𝑡 + K 𝑡+1|𝑡(Y 𝑡 − G 𝑡
̂︀X 𝑡)
]︁ [︁
F 𝑡
̂︀X 𝑡 + K 𝑡+1|𝑡(Y 𝑡 − G 𝑡
̂︀X 𝑡)
]︁′
= F 𝑡 𝐸 ̂︀X 𝑡
̂︀X′
𝑡
⏟ ⏞
Σ
̂︀X 𝑡̂︀X 𝑡
F′
𝑡 + F 𝑡 𝐸 ̂︀X 𝑡
=I 𝑡
⏞ ⏟
(Y 𝑡 − G 𝑡
̂︀X 𝑡)′
⏟ ⏞
=0(𝑛𝑒𝑘𝑜𝑟𝑒𝑙.)
K′
𝑡+1|𝑡
+ K 𝑡+1|𝑡 𝐸(Y 𝑡 −G 𝑡
̂︀X 𝑡) ̂︀X 𝑡
⏟ ⏞
=0(𝑛𝑒𝑘𝑜𝑟𝑒𝑙.)
F′
𝑡
+ K 𝑡+1|𝑡 𝐸(Y 𝑡 −G 𝑡
̂︀X 𝑡)(Y 𝑡 −G 𝑡
̂︀X 𝑡)′
⏟ ⏞
=ΣI 𝑡I 𝑡
K′
𝑡+1|𝑡
= F 𝑡ΣX 𝑡X 𝑡
F′
𝑡 + K 𝑡+1|𝑡ΣI 𝑡I 𝑡
K′
𝑡+1|𝑡
RNDr. Marie Forbelská, Ph.D. 153
Věta 2.2. Pro Kalmanovu filtraci
̂︀X 𝑡|𝑡 = 𝑃(X 𝑡|Y0, . . . , Y 𝑡)
a filtrovací chybovou kovarianční matici
Ω 𝑡|𝑡 = 𝐸(X 𝑡 − ̂︀X 𝑡|𝑡)(X 𝑡 − ̂︀X 𝑡|𝑡)′
pro ∀𝑡 ≥ 1 platí následující rekurentní vztahy
̂︀X 𝑡|𝑡 = ̂︀X 𝑡|𝑡−1 + K 𝑡|𝑡(Y 𝑡 − G 𝑡
̂︀X 𝑡|𝑡−1) ,
kde K 𝑡|𝑡 je tzv. filtrační Kalmanův zisk, pro nějž platí
K 𝑡|𝑡 = ΣX 𝑡I 𝑡
Σ−
I 𝑡I 𝑡
,
přičemž
ΣX 𝑡I 𝑡 = Ω 𝑡|𝑡−1G′
𝑡
ΣI 𝑡I 𝑡
= G 𝑡Ω 𝑡|𝑡−1G′
𝑡 + R 𝑡
a
Ω 𝑡|𝑡 = (I − K 𝑡|𝑡G 𝑡)Ω 𝑡|𝑡−1 ,
kde I je jednotková matice řádu 𝑣 × 𝑣.
Důkaz. Využijme opět inovací
I0 = Y0
I 𝑡 = Y 𝑡 − ̂︀Y 𝑡
= Y 𝑡 − 𝑃 𝑠𝑝{Y0,...,Y 𝑡−1}(Y 𝑡)
= Y 𝑡 − 𝑃 𝑡−1(Y 𝑡)
= Y 𝑡 − 𝑃 𝑡−1(G 𝑡X 𝑡 + W 𝑡)
= Y 𝑡 − G 𝑡 𝑃 𝑡−1(X 𝑡) − 𝑃 𝑡−1(W 𝑡
= Y 𝑡 − G 𝑡
̂︀X 𝑡
= G 𝑡(X 𝑡 − ̂︀X 𝑡) + W 𝑡
které jsou navzájem kolmé (tj. nekolerované).
Počítejme
̂︀X 𝑡|𝑡 = 𝑃(X 𝑡|Y0, . . . , Y 𝑡)
= 𝑃(X 𝑡|I0, . . . , I 𝑡)
= 𝑃(X 𝑡|I0, . . . , I 𝑡−1) + 𝑃(X 𝑡|I 𝑡)
= ̂︀X 𝑡 + MI 𝑡
= ̂︀X 𝑡 + 𝐸X 𝑡I′
𝑡 [𝐸X 𝑡I′
𝑡]
−
I 𝑡
= ̂︀X 𝑡 + ΣX 𝑡I 𝑡
Σ−
I 𝑡I 𝑡
(Y 𝑡 − G 𝑡
̂︀X 𝑡)
přičemž
ΣX 𝑡I 𝑡 = 𝐸X 𝑡I′
𝑡
= 𝐸X 𝑡
[︁
G 𝑡(X 𝑡 − ̂︀X 𝑡) + W 𝑡
]︁′
= 𝐸
[︁
(X 𝑡 − ̂︀X 𝑡) + ̂︀X 𝑡
]︁ [︁
G 𝑡(X 𝑡 − ̂︀X 𝑡) + W 𝑡
]︁′
= 𝐸(X 𝑡 − ̂︀X 𝑡)(X 𝑡 − ̂︀X 𝑡)′
G 𝑡 + 𝐸(X 𝑡 − ̂︀X 𝑡)W′
𝑡
⏟ ⏞
=0(𝑛𝑒𝑘𝑜𝑟𝑒𝑙.)
+ 𝐸 ̂︀X 𝑡(X 𝑡 − ̂︀X 𝑡)′
⏟ ⏞
=0(𝑛𝑒𝑘𝑜𝑟𝑒𝑙.)
G′
𝑡 + 𝐸 ̂︀X 𝑡W 𝑡
⏟ ⏞
=0(𝑛𝑒𝑘𝑜𝑟𝑒𝑙.)
= Ω 𝑡|𝑡−1G′
𝑡
Takže celkově dostaneme
̂︀X 𝑡|𝑡 = ̂︀X 𝑡 + ΣX 𝑡I 𝑡
Σ−
I 𝑡I 𝑡
⏟ ⏞
𝑜𝑧𝑛.K 𝑡|𝑡
(Y 𝑡 − G 𝑡
̂︀X 𝑡)
⏟ ⏞
=I 𝑡
,
154 M5201 Stochastické modely časových řad
odtud
̂︀X 𝑡|𝑡 − ̂︀X 𝑡 = K 𝑡|𝑡I.
Zbývá dopočítat Ω 𝑡|𝑡. Víme, že
Ω 𝑡|𝑡−1 = 𝐸(X 𝑡 − ̂︀X 𝑡)(X 𝑡 − ̂︀X 𝑡)′
= 𝐸
⎡
⎢
⎣(X 𝑡 − ̂︀X 𝑡|𝑡) + ( ̂︀X 𝑡|𝑡 − ̂︀X 𝑡|𝑡−1)
⏟ ⏞
=K 𝑡|𝑡I 𝑡
⎤
⎥
⎦
⎡
⎢
⎣(X 𝑡 − ̂︀X 𝑡|𝑡) + ( ̂︀X 𝑡|𝑡 − ̂︀X 𝑡|𝑡−1)
⏟ ⏞
=K 𝑡|𝑡I 𝑡
⎤
⎥
⎦
′
= 𝐸(X 𝑡 − ̂︀X 𝑡|𝑡)(X 𝑡 − ̂︀X 𝑡|𝑡)′
⏟ ⏞
Ω 𝑡|𝑡
+ 𝐸(X 𝑡 − ̂︀X 𝑡|𝑡)I′
𝑡
⏟ ⏞
=0(𝑛𝑒𝑘𝑜𝑟𝑒𝑙.)
K′
𝑡|𝑡
+ K 𝑡|𝑡 𝐸I 𝑡(X 𝑡 − ̂︀X 𝑡|𝑡)′
⏟ ⏞
=0(𝑛𝑒𝑘𝑜𝑟𝑒𝑙.)
+K 𝑡|𝑡 𝐸I 𝑡I′
𝑡 K′
𝑡|𝑡 = Ω 𝑡|𝑡 + K 𝑡|𝑡ΣI 𝑡I 𝑡
K′
𝑡|𝑡
Protože
K 𝑡|𝑡 = ΣX 𝑡I 𝑡 Σ−
I 𝑡I 𝑡
= Ω 𝑡|𝑡−1G′
𝑡Σ−
I 𝑡I 𝑡
dostáváme
Ω 𝑡|𝑡−1 = Ω 𝑡|𝑡 + ΣX 𝑡I 𝑡
Σ−
I 𝑡I 𝑡
ΣI 𝑡I 𝑡
Σ−
I 𝑡I 𝑡
Σ′
X 𝑡I 𝑡
= Ω 𝑡|𝑡 + ΣX 𝑡I 𝑡
Σ−
I 𝑡I 𝑡
Σ′
X 𝑡I 𝑡
= Ω 𝑡|𝑡 + Ω 𝑡|𝑡−1G′
𝑡Σ−
I 𝑡I 𝑡
⏟ ⏞
=K 𝑡|𝑡
G 𝑡Ω 𝑡|𝑡−1
Odtud
Ω 𝑡|𝑡 = Ω 𝑡|𝑡−1 − K 𝑡|𝑡G 𝑡Ω 𝑡|𝑡−1 = (I − K 𝑡|𝑡G 𝑡)Ω 𝑡|𝑡−1.
3. Kalmanův iterační proces
Shrňme předchozí výsledky Kalmanovy predikce a filtrace takto
1) Protože
K 𝑡+1|𝑡 = ΣX 𝑡+1I 𝑡 Σ−
I 𝑡I 𝑡
= F 𝑡Ω 𝑡|𝑡−1G′
𝑡Σ−
I 𝑡I 𝑡
K 𝑡|𝑡 = ΣX 𝑡I 𝑡
Σ−
I 𝑡I 𝑡
= Ω 𝑡|𝑡−1G′
𝑡Σ−
I 𝑡I 𝑡
}︃
⇒ K 𝑡+1|𝑡 = F 𝑡K 𝑡|𝑡 .
2) Dále platí
F 𝑡
̂︀X 𝑡|𝑡 = F 𝑡
̂︀X 𝑡|𝑡−1 + F 𝑡K 𝑡|𝑡(Y 𝑡 − G 𝑡
̂︀X 𝑡)
= F 𝑡
̂︀X 𝑡|𝑡−1 + K 𝑡+1|𝑡(Y 𝑡 − G 𝑡
̂︀X 𝑡)
= ̂︀X 𝑡+1|𝑡 .
3) Budeme se snažit nově vyjádřit Ω 𝑡+1|𝑡 . Protože
X 𝑡+1 − ̂︀X 𝑡+1|𝑡 = F 𝑡X 𝑡 + V 𝑡 − F 𝑡
̂︀X 𝑡|𝑡
= F 𝑡(X 𝑡 − ̂︀X 𝑡|𝑡) + V 𝑡
a vzhledem k tomu, že V 𝑡 ⊥ (X 𝑡 − ̂︀X 𝑡|𝑡), dostáváme
Ω 𝑡+1|𝑡 = 𝐸(X 𝑡+1 − ̂︀X 𝑡+1|𝑡)(X 𝑡+1 − ̂︀X 𝑡+1|𝑡)′
= 𝐸
[︁
F 𝑡(X 𝑡 − ̂︀X 𝑡|𝑡) + V 𝑡
]︁ [︁
F 𝑡(X 𝑡 − ̂︀X 𝑡|𝑡) + V 𝑡
]︁′
= F 𝑡 𝐸(X 𝑡 − ̂︀X 𝑡|𝑡)(X 𝑡 − ̂︀X 𝑡|𝑡)′
F′
𝑡 + 𝐸V 𝑡V′
𝑡
= F 𝑡Ω 𝑡|𝑡F′
𝑡 + Q 𝑡 .
Všechny předchozí mezivýsledky použijeme pro odvození velmi jednoduchého Kalmanova iteračního procesu, který je
spojením filtrace a predikce.
RNDr. Marie Forbelská, Ph.D. 155
Kalmanův iterační proces
(I) Počáteční podmínky
̂︀X1|0 = ̂︀X1 = 𝐸X1 při Y0 = 1
Ω1|0 = 𝐸(X1 − 𝐸X1)(X1 − 𝐸X1)′
= 𝐷X1
(II) Datový (filtrační) krok Kalmanova filtru
Nejprve se spočítá tzv. Kalmanův zisk (nebo též Kalmanovo zesílení )
K 𝑡|𝑡 = Ω 𝑡|𝑡−1G′
𝑡(G 𝑡Ω 𝑡|𝑡−1G′
𝑡 + R 𝑡)−
,
pak
̂︀X 𝑡|𝑡 = ̂︀X 𝑡|𝑡−1 + K 𝑡|𝑡(Y 𝑡 − G 𝑡
̂︀X 𝑡|𝑡−1)
a filtrační chybovou kovarianční matici
Ω 𝑡|𝑡 = (I − K 𝑡|𝑡G 𝑡)Ω 𝑡|𝑡−1.
(III) Časový (predikční) krok Kalmanova filtru
̂︀X 𝑡+1|𝑡 = F 𝑡
̂︀X 𝑡|𝑡
Ω 𝑡+1|𝑡 = F 𝑡Ω 𝑡|𝑡F′
𝑡 + Q 𝑡.
Literatura
[1] ANDĚL, J. Statistická analýza časových řad. Praha. SNTL 1976.
[2] ANDERSON, T.W. The Statistical Analysis of Time Series. John Wiley & Sons Inc. 1971.
[3] BOX, G.E.P, COX, D.R. Analysis of Transformations. Journals of the Royal Statistical Society,Biometrika 26, 1964, 211–252.
[4] BOX, G., JENKINS, G. Time series analysis - forecasting and control. Holden-Day 1976.
[5] BROCKWELL, P.J., DAVIS, R.A. Time Series: Theory and Methods. Springer–Verlag, New York, 1991.
[6] BROCKWELL, P.J., DAVIS, R.A. Introduction to time series and forecasting. Springer-Verlag, New York, 2002.
[7] BROWN, R.G. Statistical forecasting for inventory control. New York. McGraw-Hill. 1959.
[8] CIPRA, T. Analýza časových řad s aplikacemi v ekonomii.SNTL, Praha, 1986.
[9] ČERNOHLÁVKOVÁ, P. CHKO Moravský kras (management chráněné oblasti). Bakalářská práce.Masarykova univerzita. Brno
2002.
[10] DOOB, J.L. Stochastic processes. New York, Wiley 1953.
[11] FORBELSKÁ, M. Detekce periodicity v hydrologických datech.In XIII. letní škola bometriky, Biometrické metody a modely v
současné vědě a výzkumu. 1. vyd. Brno: ÚKZÚZ Brno, 1998. s. 173–178.
[12] FORBELSKÁ, M. Stochastické modelování jednorozměrných časových řad. Brno. MUNI PRESS 2009.
[13] GICHMAN, I.I., SKOROCHOD, A.V. Teorija slučajnych processov. Moskva. Nauka 1971.
[14] HAMILTON, J.D. Time Series Analysis. Princeton University Press. 1994.
[15] HANNAN, E.J., QUINN, B. G. The Determination of the Order of an Autoregression, Journal of the Royal Statistical Society,
Series B, 41, No.2, 1979, 190–195.
[16] HOLT, C.C. Forecasting seasonal and trends by exponentially weighted moving averages. Office of Naval Research, Research
Memorandum No. 52. 1957.
[17] KALMAN, R. A new approach to linear filtering and prediction problems. Trans. ASME J. Basic Eng. D 82 (1960), 34–45.
[18] KUBÁČKOVÁ, L., KUBÁČEK, L., KUKUČA, J. Pravdepodobnostť a štatistika v geodézii a geofyzike. Veda, Bratislava, 1982.
[19] MICHÁLEK, J., BUDÍKOVÁ, M., BRÁZDIL, R. Metody odhadu trendu časové řady na příkladu středoevropských teplotních řad.
1. vyd. Praha : Český hydrometeorologický ústav, 1993, 53 s.
[20] NEUBRUNN, T., RIEČAN, B. Miera a integrál. Bratislava. Veda 1981.
[21] PRIESTLEY, M. Spectral analysis and time series. Academic Press 1989.
[22] RAO, R.C. Lineární metody statistické indukce a jejich aplikace. ACADEMIA Praha, 1978.
[23] ŠTULAJTER, F. Odhady v náhodných procesoch. Alfa. Bratislava. 1989.
[24] VESELÝ, V. Knihovna programů TSA-M pro analýzu časových řad.Ed. P.Fľak. In XIV. letná škola biometriky, Biometrické
metódy a modely v pôdohospodárskej vede, výskume a výuke. Nitra: Agentúra Slovenskej akadémie pôdohospodárskych vied, 2000.
s. 239–248.
[25] VESELÝ, V. Úvod do časových řad. In Proceedings ANALÝZA DAT’2003/II. Pardubice (Czech Rep.): Trilobyte, Ltd., 2004. od
s. 7–31.
[26] ZVÁRA, K. Regresní analýza Praha. Academia. 1989.
157