Základy ekonometrie
VI. Uvolnění klasických předpokladů – autokorelace náhodných složek
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 1 / 36
Obsah tématu
1 Vlastnosti autokorelovaných náhodných složek
2 GLS estimátor
Cochranova-Orcuttova procedura
HAC estimátor
3 Testování autokorelace
4 Doporučení pro praxi
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 2 / 36
Motivace
Předpoklad: chyby regrese pro různá pozorování vzájemně
nekorelovaná.
Rozumné pro průřezová data.
Časové řady: korelace sousedních pozorování.
Příklad: vývoj makroekonomických agregátů.
Korelace mezi pozorováními → korelaci mezi různými náhodnými
členy.
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 3 / 36
Východiska
Značení: t = 1, . . . , T.
Pro časové řady i lepší metody a modely než LRM.
Pro naše potřeby:
Yt = α + β1X1t + . . . + βkXkt + t.
Splněny všechny klasické předpoklady, jen cov( t, t−s) = 0 pro
některá s = 0.
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 4 / 36
Důsledky
Při splnění všech klasických předpokladů → Gaussův-Markovův
teorém říká, že OLS je BLUE.
Při nesplnění předpokladu o nekorelovanosti: OLS estimátor není
BLUE.
OLS nestranný, ale ne nejlepší.
Využití GLS estimátoru → vhodná transformace (a OLS).
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 5 / 36
Vlastnosti autokorelovaných náhodných složek
Obsah tématu
1 Vlastnosti autokorelovaných náhodných složek
2 GLS estimátor
Cochranova-Orcuttova procedura
HAC estimátor
3 Testování autokorelace
4 Doporučení pro praxi
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 6 / 36
Vlastnosti autokorelovaných náhodných složek
AR(1) proces
Náhodné chyby: autoregresní proces řádu 1 (AR(1)):
t = ρ t−1 + ut.
ut: E(ut) = 0, var(ut) = σ2
u a cov(ut, ut−s) = 0 (pro s = 0).
Předpokládáme −1 < ρ < 1 → stacionarita.
Obecný AR(p) procesu náhodných chyb:
t = ρ1 t−1 + ρ2 t−2 + . . . + ρp t−p + ut.
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 7 / 36
Vlastnosti autokorelovaných náhodných složek
Vlastnosti t – střední hodnota
Klasické předpoklady pro t.
AR(1) model pro všechny časové okamžiky (od −∞ do ∞).
Pozorujeme t = 1, . . . , T a platí t−s = ρ t−s−1 + ut−s pro jakékoli t
a s.
Postupné substituce → jen ut, ut−1, . . ..
t =
∞
i=0
ρi
ut−i .
Chyby regrese mají nulovou střední hodnotu:
E ( t) = E
∞
i=0
ρi
ut−i = 0.
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 8 / 36
Vlastnosti autokorelovaných náhodných složek
Vlastnosti t – rozptyl
Využijeme pro c menší než 1 v absolutní hodnotě:
∞
i=0
ci
=
1
1 − c
.
Vlastnosti operátoru rozptylu a ut splňuje klasické předpoklady:
var ( t) = var
∞
i=0
ρi
ut−i
=
∞
i=0
ρ2i
var(ut−i ) = σ2
u
∞
i=0
ρ2i
=
σ2
u
1 − ρ2
,
Autokorelované náhodné chyby jsou homoskedastické.
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 9 / 36
Vlastnosti autokorelovaných náhodných složek
Vlastnosti t – kovariance
S využitím definice operátoru kovariance a E( t) = 0:
cov( t, t−s) = E( t t−s) − E( t)E( t−s) = E( t t−s)
= E
∞
i=0
ρi
ut−i
∞
i=0
ρi
ut−s−i .
cov(ut, ut−s) = E(utut−s) = 0 (pro s = 0) → eliminace většiny členů:
cov( t, t−s) = E(ρs
u2
t−s + ρs+2
u2
t−s−1 + . . .)
= E
∞
i=0
ρs+2i
u2
t−s−i =
∞
i=0
ρs+2i
E(u2
t−s−i )
= σ2
u
∞
i=0
ρs+2i
= σ2
uρs
∞
i=0
ρ2i
=
σ2
uρs
1 − ρ2
= ρs
var( t).
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 10 / 36
Vlastnosti autokorelovaných náhodných složek
Příklad
Gujarati a Porter (2009) – příklad 12.5.
Datový soubor Table_12.4 na záložce Gujarati.
Level-level i log-log specifikace.
Vztah mezi mzdami a produktivitou v sektoru obchodu v USA
(1960–2005), datový soubor obsahuje data období 1959-1998 .
Y – reálná kompenzace za hodinu (index).
X – výstup za hodinu (index).
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 11 / 36
GLS estimátor
Obsah tématu
1 Vlastnosti autokorelovaných náhodných složek
2 GLS estimátor
Cochranova-Orcuttova procedura
HAC estimátor
3 Testování autokorelace
4 Doporučení pro praxi
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 12 / 36
GLS estimátor
Transformace modelu
„Kvazi diferencování“.
Yt = α + β1X1t + . . . + βkXkt + t.
Platí v každém časovém okamžiku → čas t − 1 a násobení
parametrem ρ:
ρYt−1 = ρα + ρβ1X1t−1 + . . . + ρβkXkt−1 + ρ t−1.
Odečtení od původní regrese:
Yt −ρYt−1 = α−ρα+β1(X1t −ρX1t−1)+. . .+βk(Xkt −ρXkt−1)+ t −ρ t−1
Nové značení:
Y ∗
t = α∗
+ β1X∗
1t + . . . + βkX∗
kt + ut.
ut splňuje klasické předpoklady → metoda OLS je BLUE (GLS
estimátor pro model s AR(1) náhodnými složkami).
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 13 / 36
GLS estimátor
Problém
GLS estimátor zahrnuje regresi Y ∗ na X∗
1 , . . . , X∗
k , kdy proměnné
„kvazi-diferencované“:
Y ∗
t = Yt − ρYt−1,
X∗
1t = X1t − ρX1t−1,
atd.
Problém: data od t = 1, . . . , T ⇒ Y ∗
1 = Y1 − ρY0 zahrnuje Y0 (totéž
pro vysvětlující proměnné).
Nejsme schopni pozorovat počáteční podmínku jako je Y0.
Řešení: data od t = 2, . . . , T (data pro t = 1 jako počáteční
podmínky) → ztráta pozorování.
Mnohem sofistikovanější metody jako je odhad metodou maximální
věrohodnosti.
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 14 / 36
GLS estimátor
Praisova-Winstenova transformace
Model: Yt = β1 + β2Xt + t.
Náhodné AR(1) složky: t = ρ t−1 + ut.
Kvazi-diferencování:
(Yt − ρYt−1) = β1(1 − ρ) + β2(X1 − ρXt−1) + t − ρ t−1.
Ztráta jednoho pozorování.
Vyhnutí se ztráty = transformace prvních pozorování:
Y1 1 − ρ2 X1 1 − ρ2.
Pokud necháme první pozorování netransformované → problém s
homoskedasticitou!
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 15 / 36
GLS estimátor
Metoda prvních diferencí
Pokud je ρ blízké jedné: silná pozitivní autokorelace (> 0.8).
Model již bez autokorelace: ∆Yt = β2∆Xt + ut.
Co když do regrese dáme úrovňovou konstantu?
∆Yt = β1 + β2∆Xt + ut.
Možnost testování trendu v původní časové řadě.
První diference i pro stacionarizaci časových řad.
t = t−1 + ut → t − t−1 = ∆ t = ut).
Berenbluttův-Webbův test: H0 : ρ = 1 → g statistika
g =
N
t=2 u2
t
N
t=1
2
t .
Tabulky DW testu × nulová hypotéze ρ = 1 (ne ρ = 0).
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 16 / 36
GLS estimátor Cochranova-Orcuttova procedura
Obsah tématu
1 Vlastnosti autokorelovaných náhodných složek
2 GLS estimátor
Cochranova-Orcuttova procedura
HAC estimátor
3 Testování autokorelace
4 Doporučení pro praxi
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 17 / 36
GLS estimátor Cochranova-Orcuttova procedura
Motivace
Pokud známe ρ → transformace.
Jinak odhad, ρ.
Využití OLS metody (nestranné odhady) + získání reziduí k odhadu
parametru ρ.
t = ρ t−1 + ut.
Další zobecnění pro AR(p) procesy: odhady koeficientů ρ1, . . . , ρp +
vynechání p pozorování (počáteční podmínky).
Použití ρ → feasible GLS (FGLS) resp. estimated GLS (EGLS).
Dobré u velkých vzorků, u malých vzorků potřeba opatrnosti při
interpretaci (plus ponechání prvních pozorování – á la
Praisova-Winstonova transformace = tzv. full EGLS resp FEGLS).
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 18 / 36
GLS estimátor Cochranova-Orcuttova procedura
Postup
1 Regrese Yt na úrovňovou konstantu, X1, . . . , Xk s využitím OLS a
získání reziduí, t.
2 Regrese t na t−1 využitím OLS → získání ρ.
3 Kvazi-diferencování všech proměnných:
Y ∗
t = Yt − ρYt−1,
X∗
1t = X1t − ρX1t−1,
atd.
4 Regrese Y ∗
t na úrovňovou konstantu, X∗
1 , . . . , X∗
k metodou OLS →
GLS odhady koeficientů.
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 19 / 36
GLS estimátor Cochranova-Orcuttova procedura
Iterační varianta
1 Regrese Yt na úrovňovou konstantu, X1, . . . , Xk pomocí OLS a
získání reziduí, t.
2 Regrese t na t−1 využitím OLS a získání ρ.
3 Kvazi-diferencování všech proměnných k získání:
Y ∗
t = Yt − ρYt−1,
X∗
1t = X1t − ρX1t−1,
atd.
4 Regrese Y ∗
t na úrovňovou konstantu, X∗
1 , . . . , X∗
k metodou OLS a
získání GLS odhadů koeficientů α, β1, . . . , βk.
5 Vytvoření nových reziduí použitím GLS odhadu z kroku 4,
t = Yt − α − β1X1t − . . . − βkXkt.
6 Návrat ke kroku 2 opakování postupu stále dokola dokud se odhad, ρ
nepřestane měnit (s danou tolerancí).
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 20 / 36
GLS estimátor HAC estimátor
Obsah tématu
1 Vlastnosti autokorelovaných náhodných složek
2 GLS estimátor
Cochranova-Orcuttova procedura
HAC estimátor
3 Testování autokorelace
4 Doporučení pro praxi
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 21 / 36
GLS estimátor HAC estimátor
Motivace
Podobně jako u heteroskedasticity (HCE).
Korektní vztah pro var(β) = korektní použití OLS metody.
Druhé nejlepší řešení.
Obvykle tzv. heteroskedasticitě a autokorelaci konzistentními
estimátory (HAC), např. Neweyho-Westův estimátor.
Problém malých vzorků!
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 22 / 36
Testování autokorelace
Obsah tématu
1 Vlastnosti autokorelovaných náhodných složek
2 GLS estimátor
Cochranova-Orcuttova procedura
HAC estimátor
3 Testování autokorelace
4 Doporučení pro praxi
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 23 / 36
Testování autokorelace
Motivace
Pokud je ρ = 0 → korektní OLS metoda.
Test nulové hypotézy: H0 : ρ = 0 oproti alternativní hypotéze H1 = 0.
Řada testů (i obecnější než jen AR(1)).
Proč tolik testů? → jako u heteroskedasticity není prokázáno, který je
nejlepší.
Jednoduchý test – vykreslení (standardizovaných) reziduí.
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 24 / 36
Testování autokorelace
Testy věrohodnostního poměru
H0 : ρ = 0 oproti alternativě H1 : ρ = 0.
Potřeba maximálně věrohodného odhadu jak omezeného, tak i
neomezeného modelu.
Software udělá práci za nás – nelineární optimalizace.
Z důvodu potřeby odhadu obou modelů není preferován.
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 25 / 36
Testování autokorelace
Breuschův-Godfreyho test
Test Lagrangeových multiplikátorů (odhad pouze omezeného modelu).
Omezený model = model vícenásobné regrese splňující klasické
předpoklady.
Pro obecný případ AR(p) procesu:
t = ρ1 t−1 + ρ2 t−2 + . . . + ρp t−p + ut.
Test sdružené hypotézy H0 : ρ1 = 0, ρ2 = 0, . . . , ρp = 0:
1 Regrese Yt na úrovňovou konstantu a X1, . . . , Xk použitím OLS a
zísjkání reziduí, t.
2 Regrese t na úrovňovou konstantu a X1, . . . , Xk , t−1, . . . , t−p
metodou OLS a získání koeficientu determinace, R2
.
3 Spočítání testové statistiky LM = TR2
Při platnosti nulové hypotézy, H0, má LM statistika (aproximativně)
χ2(p) rozdělení.
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 26 / 36
Testování autokorelace
Boxův-Pierceův test
Myšlenka: pokud nejsou náhodné složky autokorelován, potom by
korelace mezi různými náhodnými složkami měla být nulová.
Odhady v podobě reziduí, t, pro t = 1, . . . , T, na základě OLS
regrese Y na úrovňovou konstantu a X1, . . . , Xk.
Odhad korelace mezi t a t−s:
rs =
T
t=s+1 t t−s
T
t=s+1
2
t
.
Boxova-Pierceova testová statistika (Q-statistika):
Q = T
p
j=1
r2
j ,
Výběr p označuje test existence AR(p).
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 27 / 36
Testování autokorelace
Ljungův test
Stejný postup jako Boxův-Pierceův test.
Ljungova testová statistika (Ljungovo Q):
Q∗
= T(T + 2)
p
j=1
r2
j
T − j
.
Obě statistiky mají (aproximativně) χ2(p) (při platnosti
H0 : ρ1 = 0, ρ2 = 0, . . . , ρp = 0).
Úskalí: mezi regresory zpožděná vysvětlovaná proměnná ⇒ oba testy
nejsou vhodné.
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 28 / 36
Testování autokorelace
Durbinův-Watsonův test
Pro AR(1) proces.
OLS regrese vysvětlované veličin, Y , na úrovňovou konstantu a
vysvětlující proměnné, X1, . . . , Xk → OLS rezidua, t.
Testová statistika:
DW =
T
t=2( t − t−1)2
T
t=1
2
t
.
Platí: 0 ≤ DW ≤ 4.
DW aproximativně rovna 2(1 − ρ) ⇐⇒ ρ = 1 − DW /2.
Nestandardní rozdělení (hodnoty tabelovány); z programů i p-hodnoty
(H0: nekorelovanost).
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 29 / 36
Testování autokorelace
Vyhodnocení DW testu
Z tabulek hodnoty dolní meze (dL) a horní meze (dU).
Závisí na počtu pozorování, T, a počtu vysvětlujících proměnných, k.
Hodnota testu Vyhodnocení
4 − dL < DW < 4 Zamítáme H0; závěr ρ < 0
4 − dU < DW < 4 − dL Výsledek neurčitý
2 < DW < 4 − dU Nezamítáme H0; závěr ρ = 0
dU < DW < 2 Nezamítáme H0; závěr ρ = 0
dL < DW < dU Výsledek neurčitý
0 < DW < dL Zamítáme H0; závěr ρ > 0
Není zaručeno jednoznačné zamítnutí H0 : ρ = 0.
Nevhodný v případě zpožděné závisle proměnné jako vysvětlující
proměnné a při náhodných regresorech (i pro velké vzorky).
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 30 / 36
Testování autokorelace
Durbinova h-statistika
Pro případ, kdy jedna z vysvětlujících proměnných je zpožděná
vysvětlovaná proměnná:
Yt = α + βYt−1 + γXt + t.
Postup:
1 Provedení OLS regrese Y na úrovňovou konstantu, zpožděnou závisle
proměnnou a X (případně další vysvětlující proměnné v regresi).
2 Získání DW statistiky a rozptylu odhadu parametru β (tj. var(β)).
3 Výpočet testové statistiky (Durbinovo h):
h = 1 −
DW
2
T
1 − Tvar(β)
.
4 Platí: h ∼ N(0, 1).
Test nebude fungovat pro Tvar(β) > 1.
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 31 / 36
Doporučení pro praxi
Obsah tématu
1 Vlastnosti autokorelovaných náhodných složek
2 GLS estimátor
Cochranova-Orcuttova procedura
HAC estimátor
3 Testování autokorelace
4 Doporučení pro praxi
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 32 / 36
Doporučení pro praxi
Praktická doporučení
Jestliže testy indikují přítomnost autokorelace: zkusit model
transformovat či jinak specifikovat.
Hrubé pravidlo: práce s prvními diferencemi pokud DW < R2.
Možné použití Cochranovy-Orcuttovy procedury (případ AR(1)
náhodných složek) × část ekonometrů proti tomuto postupu
(zavádějící výsledky pokud jiný než AR(1) proces).
Lze zobecnit i pro AR(p) procesy.
Po každé transformaci vhodné testovat vyřešení problému.
Pokud nedokážeme nalézt transformaci → raději HAC estimátor.
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 33 / 36
Doporučení pro praxi
Problém malých vzorků
FGLS a HAC oproti OLS efektivní × vlastnosti u malých vzorků málo
zdokumentované.
Malé vzorky: studie (Monte Carlo simulace) → ρ < 0.3 ⇒ raději OLS.
Co je velké? → relativní → 15 pozorování asi ne × 50+ už rozumně
velké.
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 34 / 36
Doporučení pro praxi
Další otázky a metody
Durbinova dvou kroková procedura.
1 Yt = β1(1 − ρ) + β2Xt − β2ρXt−1 + ρYt−1 + ut.
2 Odhad ρ (u Yt−1) → standardní transformace původního modelu a
odhad parametrů.
Theilův-Nagarův odhad ρ založený na DW statistice (pro malé
vzorky):
ρ =
N2(1 − DW /2) + k2
N2 − k2
.
Hildrethova-Luova procedura skenování resp. hledání (odhad ρ pro
AR(1) metodou hledání pro ρ ∈ (−1, 1)).
Rozlišení čisté autokorelace a chybné specifikace!
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 35 / 36
Doporučení pro praxi
Shrnutí přednášky na závěr
Základy ekonometrie (ZAEK) VI. Autokorelace Podzim 2014 36 / 36