Základy ekonometrie
III. Regresní model s jedinou vysvětlující proměnnou
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 1 / 58
Obsah tématu
1 Pravděpodobnost v kontextu regresního modelu
2 Klasické předpoklady LRM
3 Vlastnosti OLS estimátoru
4 Metoda maximální věrohodnosti
5 Interval spolehlivosti a testování hypotéz o parametru
6 Využití asymptotické teorie
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 2 / 58
Jednoduchý regresní model
Bez úrovňové konstanty.
Nepotřebujeme maticovou algebru.
Yi = βXi + i .
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 3 / 58
Pravděpodobnost v kontextu regresního modelu
Obsah tématu
1 Pravděpodobnost v kontextu regresního modelu
2 Klasické předpoklady LRM
3 Vlastnosti OLS estimátoru
4 Metoda maximální věrohodnosti
5 Interval spolehlivosti a testování hypotéz o parametru
6 Využití asymptotické teorie
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 4 / 58
Pravděpodobnost v kontextu regresního modelu
Náhodnost vysvětlované veličiny
Vyjádření nejistoty – funkce hustoty pravděpodobnosti.
Ilustrace na příkladu cen domů: dům o rozloze 5000 čtverečních stop.
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 5 / 58
Pravděpodobnost v kontextu regresního modelu
Náhodnost vysvětlované veličiny – ilustrace funkce hustoty
−50 0 50 100 150 200
0
0.002
0.004
0.006
0.008
0.01
0.012
0.014
0.016
Cena domu (tis. kanadských dolarù)
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 6 / 58
Pravděpodobnost v kontextu regresního modelu
Náhodnost vysvětlované veličiny – ilustrace oblasti
pravděpodobnosti
−40 −20 0 20 40 60 80 100 120 140 160 180 200
0
0.002
0.004
0.006
0.008
0.01
0.012
0.014
0.016
Cena domu (tis. kanadskych dolaru)
Pr(60<Y<100)
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 7 / 58
Pravděpodobnost v kontextu regresního modelu
Standardizace a Z-skór
Y ∼ N(µ, σ2) a nová náhodná veličina:
Z =
Y − µ
σ
.
Střední hodnota a rozptyl Z:
E(Z) = E
Y − µ
σ
=
E(Y − µ)
σ
=
E(Y ) − µ
σ
=
µ − µ
σ
= 0;
var(Z) = var
Y − µ
σ
=
var(Y − µ)
σ2
=
var(Y )
σ2
=
σ2
σ2
= 1.
Z-skór: Z ∼ N(0, 1).
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 8 / 58
Pravděpodobnost v kontextu regresního modelu
Standardizace a Z-skór – příklad
Příklad z obrázku: Y ∼ N(61.153, 683.812).
Barevná oblast: Pr(60 ≤ Y ≤ 100).
Pr(60 ≤ Y ≤ 100) = Pr
60 − µ
σ
≤
Y − µ
σ
≤
100 − µ
σ
= Pr
60 − 61.153
√
683.812
≤
Y − 61.153
√
683.812
≤
100 − 61.153
√
683.812
= Pr (−0.04 ≤ Z ≤ 1.49) .
Podle toho, co nabízejí tabulky: např. hodnota distribuční funkce v
1.49 mínus hodnota v −0.04 (výsledek vždy stejný, 0.4479).
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 9 / 58
Klasické předpoklady LRM
Obsah tématu
1 Pravděpodobnost v kontextu regresního modelu
2 Klasické předpoklady LRM
3 Vlastnosti OLS estimátoru
4 Metoda maximální věrohodnosti
5 Interval spolehlivosti a testování hypotéz o parametru
6 Využití asymptotické teorie
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 10 / 58
Klasické předpoklady LRM
Klasické předpoklady v kontextu závisle proměnné
1 E(Yi ) = βXi .
2 var(Yi ) = σ2.
3 cov(Yi , Yj) = 0 pro i = j.
4 Yi má normální rozdělení.
5 Xi je pevně dáno (nenáhodná veličina).
Kompaktní vyjádření:
Yi ∼ N(βXi , σ2
),
pro i = 1, . . . , N, kdy Yi a Yj jsou vzájemně nekorelovány (pro i = j).
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 11 / 58
Klasické předpoklady LRM
Očekávaná hodnota závisle proměné
E(Yi ) = βXi : předpoklad linearity modelu
Model vícenásobné regrese: E(Yi ) = α + β1X1i + β2X2i + . . . + βkXki .
Očekáváme (v průměru), že Yi leží na regresní přímce.
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 12 / 58
Klasické předpoklady LRM
Konstantní rozptyl závisle proměné
V realitě často porušen (příklad ceny malých a velkých domů nebo
analýza spotřeby chudších a bohatších domácností).
Splnění předpokladu – homoskedasticita.
Porušení předpokladu – heteroskedasticita (použití zobecněné metody
nejmenších čtverců).
Úchvatný příspěvek v časopise Econometrica: angl. homoskedasticity
× homoscedasticity.
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 13 / 58
Klasické předpoklady LRM
Nekorelovanost pozorování závisle proměné
Vzájemná nekorelovanost pozorování.
corr(Yi , Yj) =
cov(Yi , Yj)
var(Yi )var(Yj)
cov(Yi , Yj) = 0 ⇔ corr(Yi , Yj) = 0.
Obvykle splněno pro průřezová data – např. dotazníková šetření (×
možnost prostorové korelace).
V případě časových řad – obvykle problém (např. časová řada
nezaměstnanosti).
Korelace v čase – autokorelace (existence možných řešení).
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 14 / 58
Klasické předpoklady LRM
Normalita rozdělení závisle proměné
Motivace – obtížná.
Předpoklad v empirických aplikacích obvyklý (ale ne vždy nutně
reálný).
Využití asymptotické teorie pro jeho uvolnění.
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 15 / 58
Klasické předpoklady LRM
Nenáhodnost vysvětlující proměnné
Experimentální vědy – dobrý předpoklad.
V ekonomii – ne vždy vhodný předpoklad.
Asymptotická teorie – vysvětlující proměnná náhodná × nekorelovaná
s náhodnou složkou.
V případě korelace vysvětlující veličiny a náhodné složky – OLS
výsledky nekorektní (řešení v podobě metody instrumentálních
proměnných).
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 16 / 58
Klasické předpoklady LRM
Klasické předpoklady v kontextu náhodné složky
1 E( i ) = 0.
2 var( i ) = E( 2
i ) = σ2. Konstantní rozptyl chyb (homoskedasticita).
3 cov( i , j) = 0 pro i = j. Náhodné složky jsou nekorelovány.
4
i je normálně rozdělené.
5 Xi je pevně dáno (nenáhodná) veličina.
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 17 / 58
Klasické předpoklady LRM
Nesplnění klasických předpokladů.
Problém → zavádějící výsledky z OLS odhadu.
Potřeba testování – obvykle na reziduích (odhady náhodných složek).
Řešení – asymptotická teorie (velké vzorky) nebo jiné odhadové
metody.
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 18 / 58
Vlastnosti OLS estimátoru
Obsah tématu
1 Pravděpodobnost v kontextu regresního modelu
2 Klasické předpoklady LRM
3 Vlastnosti OLS estimátoru
4 Metoda maximální věrohodnosti
5 Interval spolehlivosti a testování hypotéz o parametru
6 Využití asymptotické teorie
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 19 / 58
Vlastnosti OLS estimátoru
Estimátor a odhad
Estimátor – obecný funkční předpis (funkce možných pozorování).
Odhad – vyhodnocení funkce estimátoru na základě zjištěných
pozorování.
V klasické ekonometrii – neznámý parametr je pevně dané číslo ×
jeho odhad je realizace náhodné veličiny.
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 20 / 58
Vlastnosti OLS estimátoru
OLS estimátor
Model bez úrovňové konstanty:
Yi = βXi + i .
OLS estimátor na základě minimalizace součtu čtverců reziduí:
SSR =
N
i=1
2
i → min .
Výsledný vzorec – jednoduchý minimalizační problém ⇒
β =
N
i=1 Xi Yi
N
i=1 X2
i
.
β – normálně rozdělená náhodná veličina (vztah závisí lineárně na Yi
= normální náhodné veličiny).
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 21 / 58
Vlastnosti OLS estimátoru
Alternativní vyjádření OLS estimátoru
OLS estimátor – součet skutečné hodnoty parametru a části s
chybovými členy a s hodnotami vysvětlujících proměnných.
Výraz vhodný pro teoretická odvození (v praxi nevhodný – neznámé
chybové členy).
β =
Xi Yi
X2
i
=
Xi (Xi β + i )
X2
i
= β +
Xi i
X2
i
.
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 22 / 58
Vlastnosti OLS estimátoru
Střední hodnota OLS estimátoru
Nestranný (unbiased) estimátor – „v průměru“ roven skutečné
hodnotě.
E β = β.
E β = E β +
Xi i
X2
i
= β + E
Xi i
X2
i
= β +
1
X2
i
E Xi i = β +
1
X2
i
Xi E( i )
= β.
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 23 / 58
Vlastnosti OLS estimátoru
Rozptyl OLS estimátoru
Význam variability (vydatnosti) estimátoru.
var β =
σ2
X2
i
.
var β = var β +
Xi i
X2
i
= var
Xi i
X2
i
=
1
X2
i
2
var Xi i =
1
X2
i
2
X2
i var( i )
=
1
X2
i
2
σ2
X2
i =
σ2
X2
i
.
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 24 / 58
Vlastnosti OLS estimátoru
Vydatnost estimátoru
Celá řada nestranných estimátorů.
Preferujeme ten nejvydatnější (nejlepší), tedy s nejmenším rozptylem
→ vydatný (efficient) estimátor.
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 25 / 58
Vlastnosti OLS estimátoru
Příklad méně vydatného nestranného estimátoru
Pro jednoduchý regresní model bez úrovňové konstanty:
˜β =
N
i=1 Yi
N
i=1 Xi
.
Nestranný estimátor, ale vyšší rozptyl než OLS estimátor.
Příklad – průměrná výška v populaci:
Lékař a náhodně vybraná skupina pacientů → výběrový průměr →
nestranný odhad populační střední hodnoty (nejvydatnější).
Lékař a náhodně vybraná skupina pacientů → výška prvního z výběru
→ nestranný odhad populační střední hodnoty (ale vyšší rozptyl).
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 26 / 58
Vlastnosti OLS estimátoru
Rozdělení OLS estimátoru
Při splnění klasických předpokladů:
β ∼ N β,
σ2
X2
i
.
Důležité zejména pro odvození intervalů spolehlivosti a testování
hypotéz.
Příklad: β ∼ N(2, 1) a ˜β ∼ N(2, 4).
Ze statistických tabulek: např. Pr(1.0 ≤ β ≤ 3.0) = 0.68 nebo
Pr(0 ≤ β ≤ 1) = 0.14.
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 27 / 58
Vlastnosti OLS estimátoru
Rozdělení OLS estimátoru (obrázek)
−2 −1 0 1 2 3 4 5 6 7
0
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
Hodnota OLS estimatoru
β=2
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 28 / 58
Vlastnosti OLS estimátoru
Porovnání OLS a jiného estimátoru (obrázek)
−6 −4 −2 0 2 4 6 8 10 12
0
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
Hodnota estimatoru
Funkce hustoty
OLS estimatoru
Funkce hustoty
jineho estimatoru
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 29 / 58
Vlastnosti OLS estimátoru
Gaussův-Markovův teorém
Při splnění klasických předpokladů (normalita není nutná): OLS
estimátor je BLUE (Best Linear Unbiased Estimator).
Nejlepší, lineární, nestranný estimátor.
Carl Friedrich Gauss (1777–1855) Andrej Markov (1856–1922)
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 30 / 58
Vlastnosti OLS estimátoru
Gaussův-Markovův teorém – nestrannost
Jednoduchý regresní model bez úrovňové konstanty + splněny
klasické předpoklady.
Lineární estimátor: β∗ = c1Y1 + . . . + cNYN pro konstanty c1, . . . , cN.
Nevychýlenost: E (β∗) = β.
E (β∗
) = E (c1Y1 + . . . + cNYN)
= c1E (Y1) + . . . + cNE (YN)
= c1βX1 + . . . + cNβXN
= β
N
i=1
ci Xi .
Nestranný estimátor, β∗ – platí N
i=1 ci Xi = 1.
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 31 / 58
Vlastnosti OLS estimátoru
Gaussův-Markovův teorém – vydatnost
var (β∗
) = var (c1Y1 + . . . + cNYN)
= c2
1 var (Y1) + . . . + c2
Nvar (YN)
= c2
1 σ2
+ . . . + c2
Nσ2
= σ2
N
i=1
c2
i .
Řešení problému: minimalizace rozptylu při omezení nestranností
(předpoklad jednoduchého regresního modelu bez úrovňové konstanty
a splnění klasických předpokladů).
Hledáme c1, . . . , cN minimalizující σ2 N
i=1 c2
i při omezení
N
i=1 ci Xi = 1.
Standardní řešení (např. metoda Lagrangeových multiplikátorů).
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 32 / 58
Vlastnosti OLS estimátoru
Gaussův-Markovův teorém – řešení
Řešení: cj =
Xj
N
i=1 X2
i
, pro j = 1, . . . , N.
Dosazením do výrazu pro β∗:
β∗
= c1Y1 + . . . + cNYN
=
X1Y1
X2
i
+ . . . +
XNYN
X2
i
=
Xi Yi
X2
i
= β.
Závěr: lineární, nestranný estimátor s minimálním rozptylem je
estimátor metody nejmenších čtverců.
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 33 / 58
Metoda maximální věrohodnosti
Obsah tématu
1 Pravděpodobnost v kontextu regresního modelu
2 Klasické předpoklady LRM
3 Vlastnosti OLS estimátoru
4 Metoda maximální věrohodnosti
5 Interval spolehlivosti a testování hypotéz o parametru
6 Využití asymptotické teorie
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 34 / 58
Metoda maximální věrohodnosti
Motivace ML odhadu
Maximal likelihood (ML) estimátor – velmi mocný ekonometrický
nástroj.
Funkce hustoty pravděpodobnosti pro Y by měla být v souladu s tím,
co pozorujeme v datech.
Příklad – ceny domů (pro různé hodnoty parametrů β).
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 35 / 58
Metoda maximální věrohodnosti
Motivace ML odhadu – obrázek
−150 −100 −50 0 50 100 150 200 250 300 350
0
0.002
0.004
0.006
0.008
0.01
0.012
0.014
0.016
Cena domu (tis. kanadskych dolaru)
β=0.040β=−0.010 β=0.012
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 36 / 58
Metoda maximální věrohodnosti
Věrohodnostní funkce
Věrohodnostní funkce: funkce sdružené hustoty pravděpodobnosti pro
všechna pozorování.
Při platnosti klasických předpokladů: Y1, . . . , YN jsou normální,
vzájemně nekorelované, náhodné veličiny (se střední hodnotou βXi a
rozptylem σ2).
Funkce hustoty pravděpodobnosti každé náhodné veličiny: p(Yi |Xi , β)
(podmíněné hustoty).
Sdružená hustota pravděpodobnosti všech pozorování:
p (Y1, . . . , YN) =
N
i=1
p (Yi |Xi , β) .
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 37 / 58
Metoda maximální věrohodnosti
Princip ML odhadu
Při známých hodnotách Xi a Yi je věrohodnostní funkce funkcí
parametrů – L(β).
Odhad metodou maximální věrohodnosti = nalezení takové hodnoty
β, která maximalizuje věrohodnostní funkci L(β) (zde analyticky,
jinak numerická optimalizace).
p (Yi |Xi β) =
1
√
2πσ2
exp −
1
2σ2
(Yi − βXi )2
.
L(β) =
N
i=1
1
√
2πσ2
exp −
1
2σ2
(Yi − βXi )2
=
1
(2πσ2)
N
2
exp −
1
2σ2
N
i=1
(Yi − βXi )2
.
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 38 / 58
Metoda maximální věrohodnosti
Maximalizace věrohodnostní funkce.
Obvykle práce s logaritmem věrohodnostní funkce, l(β) (nemění se
bod maxima).
l(β) = ln [L(β)]
= ln
1
(2πσ2)
N
2
exp −
1
2σ2
N
i=1
(Yi − βXi )2
= ln
1
(2πσ2)
N
2
−
1
2σ2
N
i=1
(Yi − βXi )2
.
Pro maximalizaci l(β) potřeba minimalizovat člen N
i=1 (Yi − βXi )2
→ estimátor metody nejmenších čtverců.
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 39 / 58
Interval spolehlivosti a testování hypotéz o parametru
Obsah tématu
1 Pravděpodobnost v kontextu regresního modelu
2 Klasické předpoklady LRM
3 Vlastnosti OLS estimátoru
4 Metoda maximální věrohodnosti
5 Interval spolehlivosti a testování hypotéz o parametru
6 Využití asymptotické teorie
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 40 / 58
Interval spolehlivosti a testování hypotéz o parametru
Interval spolehlivosti parametru
β má normální rozdělení se střední hodnotou β a danou hodnotou
rozptylu.
Konstrukce Z-skóru:
Z =
β − E(β)
var(β)
=
β − β
σ2
x2
i
.
Z ∼ N(0, 1) ⇒ tabulky standardizovaného normálního rozdělení.
Např.
Pr [−1.96 ≤ Z ≤ 1.96] = 0.95.
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 41 / 58
Interval spolehlivosti a testování hypotéz o parametru
Odvození intervalu spolehlivosti
95% interval spolehlivosti → stačí osamostatnit parametr β:
Pr



−1.96 ≤
β − β
σ2
x2
i
≤ 1.96




= Pr −1.96
σ2
x2
i
≤ β − β ≤ 1.96
σ2
x2
i
= Pr β − 1.96
σ2
x2
i
≤ β ≤ β + 1.96
σ2
x2
i
= 0.95.
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 42 / 58
Interval spolehlivosti a testování hypotéz o parametru
Alternativní vyjádření
95% interval spolehlivosti:
β − 1.96
σ2
x2
i
≤ β ≤ β + 1.96
σ2
x2
i
Alternativně:
β ± 1.96
σ2
x2
i
β − 1.96
σ2
x2
i
, β + 1.96
σ2
x2
i
.
Hodnota 95 %: hladina spolehlivosti (confidence level).
Analogicky při jiných hladinách spolehlivosti (např. 90 %) ⇒ jiná čísla
(kritické hodnoty) ze statistických tabulek (např. 1.64).
Praktický problém: neznáme rozptyl chyb, σ2.
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 43 / 58
Interval spolehlivosti a testování hypotéz o parametru
Postup testování hypotéz
1 Specifikace nulové hypotézy, H0 a alternativní hypotézy H1.
2 Specifikace testové statistiky.
3 Nalezení rozdělení testové statistiky za předpokladu, že H0 platí.
4 Volba hladiny významnosti.
5 Na základě kroků 3 a 4 získáme kritickou hodnotu.
6 Spočítáme testovou statistiku z kroku 2 a porovnáme ji s kritickou
hodnotou z kroku 5:
Zamítáme H0 (ve prospěch alternativní hypotézy), pokud absolutní
hodnota testové statistiky je větší než kritická hodnota (v opačném
případě H0 nezamítáme) = spadá do kritického oboru ohraničeného
kritickými hodnotami.
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 44 / 58
Interval spolehlivosti a testování hypotéz o parametru
Testování hypotéz o parametru
1 H0 : β = β0, kdy β0 je známo (obvykle β0 = 0). Alternativní hypotéza
je obvykle H1 : β = β0 (možná i jednostranná alternativa = jiná
kritická hodnota).
2 Z =
β − β
σ2
X2
i
.
3 Z =
β − β0
σ2
X2
i
∼ N(0, 1).
4 Obvyklá volba je 5 % (tj. 0.05).
5 Protože Z ∼ N(0, 1) a Pr [−1.96 ≤ Z ≤ 1.96] = 0.95, je kritická
hodnota právě 1.96.
Oboustranný test hypotézy (stejně jako oboustranný interval
spolehlivosti) → kritická hodnota = 97.5% (0.975) kvantilu
standardizovaného normálního rozdělení (1 − 0.05/2).
6 V našem případě zamítáme H0, pokud |Z| > 1.96.
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 45 / 58
Interval spolehlivosti a testování hypotéz o parametru
Estimátor pro rozptyl chyb
Obvyklý estimátor pro σ2 je výběrový rozptyl, s2.
OLS rezidua: i = Yi − βXi ; OLS estimátor σ2: s2 =
2
i
N−1 .
Lze ukázat, že E(s2) = σ2.
Neformální intuice: E 2
i = σ2 ⇒ 2
i by mohl být dobrý estimátor
pro σ2.
Aritmetický průměr čtverců chyb jako estimátoru pro σ2:
2
i
N
.
Nahrazení nepozorovatelných i rezidui:
2
i
N (vychýlený estimátor σ2
jakožto výsledek metody maximální věrohodnosti).
Nevychýlený OLS estimátor: N je nahrazeno N − 1 (počet stupňů
volnosti)
Model vícenásobné regrese s k vysvětlujícími proměnnými a
úrovňovou konstantu:
s2
=
2
i
N − k − 1
=
SSR
N − k − 1
.
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 46 / 58
Interval spolehlivosti a testování hypotéz o parametru
Modifikace procedur při neznámén rozptylu chyb
Konstrukce Z-skóru:
Z =
β − β
s2
X2
i
∼ tN−1,
Testování hypotéz a testová statistika:
t =
β − β0
s2
X2
i
∼ tN−1.
tN−1 je Studentovo t-rozdělení s N − 1 stupni volnosti.
Tabulky t-rozdělení nebo p-hodnota testu (zamítáme H0 pokud
p-hodnota je menší než hladina významnosti).
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 47 / 58
Využití asymptotické teorie
Obsah tématu
1 Pravděpodobnost v kontextu regresního modelu
2 Klasické předpoklady LRM
3 Vlastnosti OLS estimátoru
4 Metoda maximální věrohodnosti
5 Interval spolehlivosti a testování hypotéz o parametru
6 Využití asymptotické teorie
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 48 / 58
Využití asymptotické teorie
K čemu může být asymptotická teorie dobrá?
Odvození vlastností estimátorů pro (nekonečně) velké vzorky.
Odvození rozdělení testových statistik pro (nekonečně) velké vzorky u
řady diagnostických testů.
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 49 / 58
Využití asymptotické teorie
Principy
Co se děje, když velikost vzorku jde k nekonečnu?
Žádný předpoklad na rozdělení náhodných složek.
Xi je nezávisle a identicky rozdělená náhodná veličina independent
and identically distributed – i.i.d., nezávislá na náhodných složkách ⇒
E(Xi ) = µX a var(Xi ) = σ2
X .
Používáme OLS estimátor v podobě:
β = β +
Xi i
X2
i
.
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 50 / 58
Využití asymptotické teorie
Konzistence OLS estimátoru – úvod
plim(β) = β.
plim β = plim β +
Xi i
X2
i
= β + plim
Xi i
X2
i
dle Slutského teorému
= β + plim
1
N Xi i
1
N X2
i
= β +
plim 1
N Xi i
plim 1
N X2
i
dle Slutského teorému.
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 51 / 58
Využití asymptotické teorie
Konzistence OLS estimátoru – dokončení
Zákon velkých čísel k vyhodnocení limity v pravděpodobnosti,
plim 1
N Xi i .
Podstata: „průměr konverguje ke střední hodnotě.“
Z předpokladu o nezávislosti chyb regrese a vysvětlující proměnné:
plim
1
N
Xi i = E(Xi i ) = 0
Zákon velkých čísel → plim 1
N X2
i = E(X2
i ).
Z definice rozptylu, var(Xi ) = E(X2
i ) − [E(Xi )]2
, můžeme psát
E(X2
i ) = var(Xi ) + [E(Xi )]2
= σ2
X + µ2
X ⇒
plim β = β +
0
σ2
X + µ2
X
= β.
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 52 / 58
Využití asymptotické teorie
Krátké zastavení na cestě k asymptotické normalitě
Odvození jen na první pohled náročné a stresující.
Pro testování hypotéz o parametru potřebujeme znát rozdělení OLS
estimátoru pro nekonečně velké vzorky (asymptotické rozdělení).
Následně využití i pro odvození pravděpodobnostního rozdělení jiných
testových statistik u řady diagnostických testů (to již náročnější a
stresující bývá ⇒ nebudeme v tomto základním kurzu ekonometrie
řešit).
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 53 / 58
Využití asymptotické teorie
Centrální limitní věta (základ odvození)
Navazuje na zákon velkých čísel.
Podstata centrální limitní věty (teorému): „pravděpodobnostní
rozdělení výběrového průměru konverguje v distribuci k normálně
rozdělené náhodné veličině.“
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 54 / 58
Využití asymptotické teorie
Asymptotická normalita – úvod
Pro N → ∞ platí:
√
N(β − β) ∼ N 0,
σ2
σ2
X + µ2
X
.
Lze psát:
√
N(β − β) =
√
N
Xi i
X2
i
=
√
N
1
N Xi i
1
N X2
i
.
Centrální limitní teorém pro N → ∞:
√
N
1
N
Xi i ∼ N (0, var(Xi i )) .
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 55 / 58
Využití asymptotické teorie
Asymptotická normalita – pokračování
var(Xi i ) = E(X2
i
2
i ) − [E(Xi i )]2
= E(X2
i )E( 2
i ) − [E(Xi )E( i )]2
= (σ2
X + µ2
X )σ2
− [µX 0]2
= (σ2
X + µ2
X )σ2
.
Ukázali jsme si:
plim
1
N
X2
i = (σ2
X + µ2
X ).
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 56 / 58
Využití asymptotické teorie
Asymptotická normalita – dokončení
S využitím Cramerova teorému zkombinujeme výsledky centrální
limitní věty s výrazy pro var (Xi i ) a plim
1
N
X2
i :
√
N(β − β)
N
→ N 0,
(σ2
X + µ2
X )σ2
(σ2
X + µ2
X )2
.
Vzájemným vykrácením členů:
√
N(β − β)
N
→ N 0,
σ2
(σ2
X + µ2
X )
.
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 57 / 58
Využití asymptotické teorie
Praktické využití
Pro N → ∞ konverguje
√
N(β − β) k normálnímu rozdělení.
Využitím vlastností operátorů střední hodnoty a rozptylu:
β ∼ N β,
σ2
N(σ2
X + µ2
X )
.
Problém: (σ2
X + µ2
X ) neznámé.
Platí plim 1
N X2
i = σ2
X + µ2
X ⇒ 1
N X2
i je konzistentní
estimátor pro σ2
X + µ2
X .
Závěr:
β ∼ N β,
σ2
X2
i
.
Výsledky platí aproximativně!
Základy ekonometrie (ZAEK) III. Jednoduchý regresní model Podzim 2015 58 / 58