Bayesiánská analýza
II. Normální lineární regresní model s přirozeně konjugovanou apriorní
hustotou (jediná vysvětlující proměnná)
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 1 / 39
Obsah tématu
1 Lineární regresní model
2 Věrohodnostní funkce
3 Apriorní hustota
4 Posteriorní hustota
5 Neinformativní apriorní hustota
6 Porovnání modelů
7 Predikce
8 Empirická ilustrace
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 2 / 39
Úvod
Koop (2003) - kapitola 2
Normální lineární regresní model s jedinou vysvětlující proměnnou
(není třeba maticové algebry).
Přirozeně konjugovaný prior ⇒ analytické výsledky.
Význam před rozvojem výpočetní techniky.
Ukázka propojení klasické a bayesovské ekonometrie.
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 3 / 39
Lineární regresní model
Obsah tématu
1 Lineární regresní model
2 Věrohodnostní funkce
3 Apriorní hustota
4 Posteriorní hustota
5 Neinformativní apriorní hustota
6 Porovnání modelů
7 Predikce
8 Empirická ilustrace
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 4 / 39
Lineární regresní model
Lineární regresní model
yi – pozorovaná data vysvětlované proměnné (i = 1, . . . , N).
xi – pozorovaná data vysvětlující proměnné (i = 1, . . . , N).
LRM s jedinou vysvětlující proměnnou a bez úrovňové konstanty (pro
zjednodušení):
yi = βxi + i
i – náhodná složka (chyba); β – parametr.
Vektorově pro y = (y1, . . . yN) , x = (x1, . . . xN) a = ( 1, . . . N) :
y = βx +
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 5 / 39
Lineární regresní model
Předpoklady
Předpoklady o i a xi determinují podobu věrohodnostní funkce.
Klasické předpoklady (později uvolněny):
1 i je i.i.d. N(0, σ2
) (independent and identically distributed).
2 xi je fixní proměnná (tj. nenáhodná veličina), popř. náhodná s
omezeními.
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 6 / 39
Věrohodnostní funkce
Obsah tématu
1 Lineární regresní model
2 Věrohodnostní funkce
3 Apriorní hustota
4 Posteriorní hustota
5 Neinformativní apriorní hustota
6 Porovnání modelů
7 Predikce
8 Empirická ilustrace
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 7 / 39
Věrohodnostní funkce
Věrohodnostní funkce I
Věrohodnostní funkce = funkce sdružené hustoty pravděpodobnosti
pro všechna data podmíněná neznámými parametry:
p(y|β, σ2
).
Získáme z definovaných předpokladů.
p(yi |β, σ2
) má normální rozdělení,
E(yi |β, σ2
) = βxi ,
var(yi |β, σ2
) = σ2
.
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 8 / 39
Věrohodnostní funkce
Věrohodnostní funkce II
Věrohodnostní funkce:
p(y|β, σ2
) =
1
(2π)
N
2 σN
exp −
1
2σ2
N
i=1
(yi − βxi )2
.
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 9 / 39
Věrohodnostní funkce
Věrohodnostní funkce III
Další vyjádření věrohodnostní funkce:
N
i=1
(yi − βxi )2
= νs2
+ (β − β)2
N
i=1
x2
i ,
kdy
ν = N − 1
β =
xi yi
x2
i
s2
=
(yi − βxi )2
ν
β, s2 a ν = OLS odhady pro β, rozptyl reziduí a počet stupňů
volnosti.
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 10 / 39
Věrohodnostní funkce
Věrohodnostni funkce IV
Obvykle využíváme přesnost chyby, h, místo variability:
h =
1
σ2
Věrohodnostní funkce:
p(y|β, h) =
1
(2π)
1
2
h
1
2 exp −
h
2
(β − β)2
N
i=1
(xi )2
h
ν
2 exp −
hν
2s−2
.
První člen je podobný jádrové hustotě (kernelu) normální hustoty pro
β; druhý člen je podobný rozdělení gama pro h.
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 11 / 39
Apriorní hustota
Obsah tématu
1 Lineární regresní model
2 Věrohodnostní funkce
3 Apriorní hustota
4 Posteriorní hustota
5 Neinformativní apriorní hustota
6 Porovnání modelů
7 Predikce
8 Empirická ilustrace
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 12 / 39
Apriorní hustota
Konjugovaná apriorní hustota
Konjugovaná apriorní hustota – interpretovatelná jako dodatečná
data.
Jestliže je F třída výběrových rozdělení p(y|θ) a P je třída apriorních
rozdělení pro θ, potom třída P je konjugovaná pro F jestliže
p(θ|y) ∈ P pro všechna p(·|θ) ∈ F a p(·) ∈ P.
Vágní definice, pokud P je třída všech rozdělení, potom P je vždy
konjugovaná bez ohledu na použitou třídu výběrových rozdělení.
Zájem o třídy přirozeně konjugovaných apriorních hustot, kdy P je
množina všech hustot majících stejnou funkční podobu jako
věrohodnostní funkce.
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 13 / 39
Apriorní hustota
Prior I
Apriorní hustota – libovolná forma, obvykle určitá třída priorů, které
lze snadno interpretovat a (nebo) zjednodušují výpočet.
Apriorní hustota pro β a h: p(β, h).
Pravidla pravděpodobnosti: p(β, h) = p(β|h)p(h).
Forma věrohodnostní funkce – konjugovaný prior jako normální
rozdělení pro β|h a gama rozdělení pro h.
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 14 / 39
Apriorní hustota
Prior II
Normální-gama rozdělení:
β|h ∼ N(β, h−1
V )
h ∼ G(s−2
, ν)
Přirozeně konjugovaný prior pro β a h:
β, h ∼ NG(β, V , s−2
, ν)
Volba hodnoty apriorních hyperparametrů: β, V , s−2 a ν (zohlednění
apriorní informace).
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 15 / 39
Posteriorní hustota
Obsah tématu
1 Lineární regresní model
2 Věrohodnostní funkce
3 Apriorní hustota
4 Posteriorní hustota
5 Neinformativní apriorní hustota
6 Porovnání modelů
7 Predikce
8 Empirická ilustrace
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 16 / 39
Posteriorní hustota
Posterior I
Posteriorní hustota je proporcionální součinu věrohodnostní funkce a
apriorní hustoty.
Posteriorní hustota je z normálního-gama rozdělení (apriorní hustota
je tedy skutečně přirozeně konjugovaná):
β, h|y ∼ NG(β, V , s−2
, ν),
přičemž platí
V =
1
V −1
+ x2
i
,
β = V (V −1
β + β x2
i ),
ν = ν + N.
s−2 je implicitně definováno následovně:
νs2
= νs2
+ νs2
+
(β − β)2
V + 1
x2
i
.
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 17 / 39
Posteriorní hustota
Vlastnosti posteriorní hustoty I
p(β|y, h) má normální rozdělení.
Chceme p(β|y).
Marginální posteriorní rozdělení pro β je t-rozdělení:
β|y ∼ t(β, s2
V
2
, ν).
Z definice t-rozdělení vyplývá:
E(β|y) = β,
var(β|y) =
νs2
ν − 2
V .
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 18 / 39
Posteriorní hustota
Vlastnosti posteriorní hustoty II
Bayesiánský bodový odhad β je vážený průměr OLS odhadu a apriorní
střední hodnoty β.
Váhy jsou proporcionální k x2
i a V −1
.
V −1
= důvěra v apriorní a datovou infomaci (v klasické ekonometrii
je ( x2
i )−1 proporcionální k variabilitě β).
Alternativní intuice: jednoduchý případ xi = 1 pro i = 1, . . . , N ⇒
x2
i = N a váha přiřazená k β je velikost vzorku (rozumné měřítko
pro objem informací v datech).
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 19 / 39
Posteriorní hustota
Vlastnosti posteriorní hustoty III
Rozptyl OLS estimátoru s2( x2
i )−1 (využití např. k testování
statistické významnosti parametru, kdy t-statistika pro testování
β = 0 je β√
s2( x2
i )−1
).
Bayesiánská analogie – posteriorní rozptyl β (podobná podobu ×
zahrnuje datovou i nedatovou informaci).
Přirozeně konjugovaná apriorní hustota = prior vyplývá z fiktivní
datové množiny (podobná role ν a N).
ν: apriorní velikost vzorku.
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 20 / 39
Posteriorní hustota
Vlastnosti posteriorní hustoty IV
Fiktivní datová množina → lze využít při specifikaci β, V , s−2 a νCitlivostní
analýza prioru – empirické výsledky lze prezentovat za
využití různých priorů.
Síla datové informace může i nemusí rozhodnout (nutnost zdůvodnění
volby apriorních hyperparametrů).
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 21 / 39
Neinformativní apriorní hustota
Obsah tématu
1 Lineární regresní model
2 Věrohodnostní funkce
3 Apriorní hustota
4 Posteriorní hustota
5 Neinformativní apriorní hustota
6 Porovnání modelů
7 Predikce
8 Empirická ilustrace
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 22 / 39
Neinformativní apriorní hustota
Neinformativní prior I
Neinformativní prior z nastavení ν = 0 a V −1
= 0 (tj. V → ∞).
V tomto případě: β, h|y ∼ NG(β, V , s−2, ν), kde
V =
1
x2
i
,
β = β,
ν = N,
νs2
= νs2
.
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 23 / 39
Neinformativní apriorní hustota
Neinformativní prior II
Jedná se čistě o OLS odhad.
Rozdílná interpretace:
bayesovský přístup – β je náhodná veličina;
klasický přístup – β je náhodná veličina.
Tato apriorní „hustota“ neintegruje na hodnotu jedna → tzv. nepravý
prior (improper prior).
Problémy s použitím.
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 24 / 39
Porovnání modelů
Obsah tématu
1 Lineární regresní model
2 Věrohodnostní funkce
3 Apriorní hustota
4 Posteriorní hustota
5 Neinformativní apriorní hustota
6 Porovnání modelů
7 Predikce
8 Empirická ilustrace
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 25 / 39
Porovnání modelů
Porovnání modelů
Dva modely M1 a M2.
Mj pro j = 1, 2 mají různé vysvětlující proměnné:
yi = βjxji + ji .
Přirozeně konjugovaná normální-gama apriorní hustota:
βj, hj|Mj ∼ NG(βj
, V j, s−2
j , νj).
Posteriorní hustota:
βj, hj|y, Mj ∼ NG(βj, V j, s−2
j , νj).
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 26 / 39
Porovnání modelů
Posteriorní podíl šancí I
PO12 =
p(y|M1)p(M1)
p(y|M2)p(M2)
Apriorní pravděpodobnosti modelů p(Mj) (před konfrontací s daty);
neinformativní volba p(M1) = p(M2) = 1
2.
Marginální věrohodnost p(y|Mj):
p(y|Mj) = p(y|βj, hj)p(βj, hj)dβjdhj.
Lze pro náš případ spočítat analyticky:
p(y|Mj) = cj
V j
V j
1
2
(νjs2
j )−
νj
2 .
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 27 / 39
Porovnání modelů
Posteriorní podíl šancí II
cj konstanta nezávislá na datech
cj =
Γ
νj
2 (νjs2
j )
νj
2
Γ
νj
2 π
N
2
.
Posteriorní podíl šancí:
PO12 =
c1
V 1
V 1
1
2
(ν1s2
1)−
ν1
2 p(M1)
c2
V 2
V 2
1
2
(ν2s2
2)−
ν2
2 p(M2)
.
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 28 / 39
Porovnání modelů
Faktory ovlivňující bayesovské porovnání modelů
1 Čím větší je apriorní podíl šancí p(M1)
p(M2) , tím vyšší je podpora pro M1.
2 νjs2
j obsahuje člen νjs2
j , což je součet čtverců chyb (měřítko souladu
modelu s daty).
3 Pokud všechny ostatní charakteristiky jsou stejné: posteriorní podíl
šancí upřednostní model s větší koherencí mezi apriorní a datovou
informací ((βj − βj
)2 vstupuje do νjs2
j ).
4 V i
V i
je podíl posteriorní a apriorní variancí ⇒ pokud vše ostatní
zůstane stejné, upřednostní model s větší apriorní informací (menší
apriorní variancí), relativně k posteriorní informaci.
5 Použitím neinformativního prioru není marginální věrohodnost
definována (stějně tak posteriorní podíl šancí).
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 29 / 39
Predikce
Obsah tématu
1 Lineární regresní model
2 Věrohodnostní funkce
3 Apriorní hustota
4 Posteriorní hustota
5 Neinformativní apriorní hustota
6 Porovnání modelů
7 Predikce
8 Empirická ilustrace
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 30 / 39
Predikce
Predikční hustota
Chceme předpovědět y∗ v bodě x∗:
y∗
= βx∗
+ ∗
.
y∗ není pozorováno.
p(y∗
|y) = p(y∗
|y, β, h)p(β, h|y)dβdh.
Lze ukázat:
y∗
|y ∼ t(βx∗
, s2
{1 + V x∗2
}, ν).
Bodová předpověď a s ní spojená nejistota (např. směrodatná
odchylka predikce).
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 31 / 39
Predikce
Bayesovské průměrování modelů
Předpokládáme, že známe p(Mj|y), pro j = 1, 2
Bayesovské průměrování modelů v sobě zahrnuje průměrování přes
všechny modely.
Zákony pravděpodobnosti implikují:
p(y∗
|y) = p(y∗
|y, M1)p(M1|y) + p(y∗
|y, M2)p(M2|y).
Nezaměřovat na jediný model a pracovat např. s p(y∗|y, M1) ×
průměrování výsledků přes oba (všechny) modely s váhami danými
posteriorními hustotou pravděpodobnosti.
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 32 / 39
Empirická ilustrace
Obsah tématu
1 Lineární regresní model
2 Věrohodnostní funkce
3 Apriorní hustota
4 Posteriorní hustota
5 Neinformativní apriorní hustota
6 Porovnání modelů
7 Predikce
8 Empirická ilustrace
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 33 / 39
Empirická ilustrace
Umělá data
Umělá data pro ilustraci s N = 50, β = 2 a h = 1.
Neinformativní prior a informativní prior s β = 1.5, V = 0.25, ν = 10
a s−2 = 1.
„Originální“ data obsahem data_NLRM1.mat + skript
priklad_NLRM1.m.
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 34 / 39
Empirická ilustrace
Apriorní a posteriorní charakteristiky parametru β
Prior Posterior
Informativní (Inf. prior) (Neinf. prior)
Stř. hodnota 1.500 1.794 1.862
Sm. odchylka* 0.559 0.199 0.216
* Jedná se o směrodatnou odchylku příslušného t-rozdělení, apriorní či posteriorní
V tedy neudává přímo hodnotu rozptylu.
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 35 / 39
Empirická ilustrace
Apriorní a posteriorní charakteristiky parametru h
Prior Posterior
Informativní (Inf. prior) (Neinf. prior)
Stř. hodnota 1.000 1.215 1.283
Sm. odchylka* 0.447 0.222 0.257
* Jedná se o směrodatnou odchylku odpovídajícího gama rozdělení.
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 36 / 39
Empirická ilustrace
Marginální apriorní a posteriorní hustoty pro parametr β.
1 1.2 1.4 1.6 1.8 2 2.2 2.4 2.6 2.8 3
0
0.005
0.01
0.015
0.02
0.025
β
Hustotapravdepodobnosti
Prior
Posterior
Likelihood
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 37 / 39
Empirická ilustrace
Apriorní a posteriorní charakteristiky pro model jen s
úrovňovou konstantou
β h
Prior Posterior Prior Posterior
Stř. hodnota 1.500 0.990 1.000 0.917
Sm. odchylka 0.559 0.145 0.447 0.167
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 38 / 39
Empirická ilustrace
Další výsledky
Posteriorní podíl šancí je 7346 Rightarrow p(M1|y) = 0.9999 a
p(M2|y) = 0.0001.
Predikce pro x∗ = 0.5:
při využití informativního prioru je y∗
|y ∼ t(0.897, 0.833, 60),
V případě neinformativní apriorní hustoty je
y∗
|y ∼ t(0.931, 0.7915, 50).
Bayesiánská analýza (BAAN) II. NLRM s NCP (jedna) Podzim 2011 39 / 39