Bayesiánská analýza
I. Základní principy a pojmy bayesiánské ekonometrie
Bayesiánská analýza (BAAN) I. Základní principy BE Podzim 2011 1 / 24
Obsah tématu
1 Bayesiánská teorie
2 Bayesiánský výpočetní postup
Bayesiánská analýza (BAAN) I. Základní principy BE Podzim 2011 2 / 24
Bayesiánský přístup – motivace
Eddy, Sean R. (2004) – What is Bayesian statistics?
Bayesiánská analýza (BAAN) I. Základní principy BE Podzim 2011 3 / 24
Bayesiánská teorie
Obsah tématu
1 Bayesiánská teorie
2 Bayesiánský výpočetní postup
Bayesiánská analýza (BAAN) I. Základní principy BE Podzim 2011 4 / 24
Bayesiánská teorie
Úvod
Cíl: obecné principy bayesiánské ekonometrie.
Koop (2003) – kapitola 1.
Ekonometrie:
odhad parametrů modelu (regresní koeficienty);
porovnání různých modelů (testování hypotéz);
předpověď.
Bayesiánská ekonometrie – využití několika jednoduchých pravidel
pravděpodobnosti = univerzálnost.
Bayesiánská analýza (BAAN) I. Základní principy BE Podzim 2011 5 / 24
Bayesiánská teorie
Základní principy I
Nechť A a B označují dva jevy, p(B|A) je podmíněná
pravděpodobnost jevu B za podmínky realizace jevu A; souhrn toho
co víme o B známe-li A.
Bayesiánský přístup – A = něco známého (např. data); B = něco
neznámého (např. koeficienty v modelu).
Nechť y jsou data, y∗ nepozorovaná data (tj. předpověď), Mi pro
i = 1, . . . , m je množina modelů za předpokladu, že každý závisí na
parametrech θi .
Znalosti o parametrech v daném modelu – posteriorní hustota
p(θi
|Mi , y).
Porovnání modelů – posteriorní pravděpodobnost modelu p(Mi |y).
Předpověď – předpovědní hustota p(y∗
|y).
Bayesiánská analýza (BAAN) I. Základní principy BE Podzim 2011 6 / 24
Bayesiánská teorie
Základní principy II
Podmíněná pravděpodobnost A za podmínky B, označována Pr(A|B)
je pravděpodobnost realizace jevu A za podmínky, že nastal jev B.
Pravidla pro podmíněnou pravděpodobnost:
Pr(A|B) =
Pr(A, B)
Pr(B)
,
Pr(B|A) =
Pr(A, B)
Pr(A)
.
Bayesiánská analýza (BAAN) I. Základní principy BE Podzim 2011 7 / 24
Bayesiánská teorie
Bayesův teorém
Pr(A|B) =
Pr(B|A)Pr(A)
Pr(B)
Lze interpretovat nejen pro dva jevy ale i pro dvě náhodné veličiny.
Nahrazení Pr() pravděpodobnostní funkcí či hustotou
pravděpodobnosti.
Bayesiánská analýza (BAAN) I. Základní principy BE Podzim 2011 8 / 24
Bayesiánská teorie
Odhad I
Jeden model závisející na parametrech θ (např. regresní model s
vysvětlujícími proměnnými).
Zajímá nás posteriorní hustota a její vlastnosti p(θ|y).
Bayesovo pravidlo:
p(B|A) =
p(A|B)p(B)
p(A)
Pro náš model:
p(θ|y) =
p(y|θ)p(θ)
p(y)
Bayesiánská analýza (BAAN) I. Základní principy BE Podzim 2011 9 / 24
Bayesiánská teorie
Odhad II
p(θ|y) – otázka „Při daných datech, co víme o θ?“.
Bayesiánský přístup – θ je náhodná veličina.
Klasický přístup – θ není náhodná veličina.
V rámci odhadu lze ignorovat p(y), neboť neobsahuje θ:
p(θ|y) ∝ p(y|θ)p(θ).
Bayesiánská analýza (BAAN) I. Základní principy BE Podzim 2011 10 / 24
Bayesiánská teorie
Popis výrazů
p(θ|y) – posteriorní hustota pravděpodobnosti.
p(y|θ) – věrohodnostní funkce.
p(θ) – apriorní hustota pravděpodobnosti.
∝ – „je proporcionální vzhledem“.
p(θ) – nezávisí na datech, obsahuje nedatovou informaci o θ.
Bayesiánská analýza (BAAN) I. Základní principy BE Podzim 2011 11 / 24
Bayesiánská teorie
Apriorní informace
Kontraverzní – nevědeckost?
Máme-li apriorní informaci, měli bychom ji využít.
Lze využít i neinformativní priory.
Empirické bayesiánské metody – prior z dat.
Citlivostní analýza pro priory.
Bayesiánská analýza (BAAN) I. Základní principy BE Podzim 2011 12 / 24
Bayesiánská teorie
Predikce
Prediktivní hustota pravděpodobnosti – p(y∗|y).
Integrací sdružené hustoty pravděpodobnosti – marginální hustota:
p(y∗
|y) = p(y∗
, θ|y)dθ
p(y∗
|y) = p(y∗
|y, θ)p(θ|y)dθ
Bayesiánská analýza (BAAN) I. Základní principy BE Podzim 2011 13 / 24
Bayesiánská teorie
Porovnání modelů
Modely Mi pro i = 1, . . . , m závisí na parametrech θi .
Posteriorní pravděpodobnost modelů p(Mi |y).
Bayesovo pravidlo – B = Mi a A = y:
p(Mi |y) =
p(y|Mi )p(Mi )
p(y)
p(Mi ) – apriorní pravděpodobnost modelu.
p(y|Mi ) – marginální věrohodnost.
Bayesiánská analýza (BAAN) I. Základní principy BE Podzim 2011 14 / 24
Bayesiánská teorie
Výpočet marginální věrohodnosti
Posteriorní hustotu pravděpodobnosti lze zapsat jako:
p(θi
|y, Mi ) =
p(y|θi , Mi )p(θi |Mi )
p(y|Mi )
Integrací obou stran dle θi lze získat:
p(y|Mi ) = p(y|θi
, Mi )p(θi
|Mi )dθi
Marginální pravděpodobnost modelu – prior a věrohodnostní funkce.
Bayesiánská analýza (BAAN) I. Základní principy BE Podzim 2011 15 / 24
Bayesiánská teorie
Posteriorní podíl šancí
Posteriorní podíl šancí:
POij =
p(Mi |y)
p(Mj|y)
=
p(y|Mi )p(Mi )
p(y|Mj)p(Mj)
Posteriorní podíl šancí a marginální pravděpodobnost modelu.
Bayesův faktor:
BFij =
p(y|Mi )
p(y|Mj)
Bayesiánská analýza (BAAN) I. Základní principy BE Podzim 2011 16 / 24
Bayesiánský výpočetní postup
Obsah tématu
1 Bayesiánská teorie
2 Bayesiánský výpočetní postup
Bayesiánská analýza (BAAN) I. Základní principy BE Podzim 2011 17 / 24
Bayesiánský výpočetní postup
Prezentace výsledků
Analogicky ke klasickému přístupu – bodové odhady a konfidenční
intervaly.
Obvyklý bodový odhad – posteriorní střední hodnota.
Nechť θ je k-prvkový vektor, θ = (θ1, . . . , θk) . Posteriorní střední
hodnota každého prvku vektoru je dána jako:
E(θi |y) = θi p(θ|y)dθ
Bayesiánská analýza (BAAN) I. Základní principy BE Podzim 2011 18 / 24
Bayesiánský výpočetní postup
Očekávaná hodnota I
Nechť g() je funkce, pak očekávaná (střední) hodnota E[g(X)] je
definována pro diskrétní náhodnou veličinu X jako:
E[g(X)] =
N
i=1
g(xi )p(xi )
Pro spojitou náhodnou veličinu X (za podmínky E[g(X)] < ∞):
E[g(X)] =
∞
−∞
g(x)p(x)dx
Bayesiánská analýza (BAAN) I. Základní principy BE Podzim 2011 19 / 24
Bayesiánský výpočetní postup
Očekávaná hodnota II
Měřítkem disperze je posteriorní standardní odchylka, tedy odmocnina
posteriorního rozptylu počítaného jako:
var(θi |y) = E(θ2
i |y) − E(θi |y)2
Vyžaduje vyhodnotit posteriorní střední hodnotu a rovněž také:
E(θ2
i |y) = θ2
i p(θ|y)dθ
Pravděpodobnost, že koeficient je kladný:
p(θi ≥ 0|y) =
∞
0
p(θ|y)
Bayesiánská analýza (BAAN) I. Základní principy BE Podzim 2011 20 / 24
Bayesiánský výpočetní postup
Charakteristiky posteriorní hustoty
Většina charakteristik má formu:
E[g(θ)|y] = g(θ)p(θ|y)dθ
g(θ) – funkce, která nás zajímá.
Všechny vlastnosti – forma integrálu, stejně jako marginální
věrohodnost a prediktivní hustota.
Až na výjimky - nemožnost vyhodnocení integrálu analyticky.
Bayesiánská analýza (BAAN) I. Základní principy BE Podzim 2011 21 / 24
Bayesiánský výpočetní postup
Posteriorní simulace
Integrály v Bayesiánské analýze vyhodnocovány simulačními
metodami.
Zákon velkých čísel a centrální limitní věta.
Zákon velkých čísel – předpokládejme náhodný výběr s posteriorní
hustoty θ(1), . . . , θ(S). Pro S jdoucí k nekonečnu konverguje výběrový
průměr ke střední hodnotě E[θ|y].
Bayesiánský přístup – využívá asymptotické teorie, ovšem
asymptotické v S (pod kontrolou výzkumníka).
Bayesiánská analýza (BAAN) I. Základní principy BE Podzim 2011 22 / 24
Bayesiánský výpočetní postup
Monte Carlo integrace
Nechť θ(s) pro s = 1, . . . , S je náhodný výběr z p(θ|y) a definujme:
ˆgS =
1
S
S
s=1
g(θ(s)
).
ˆgS konverguje k E[g(θ)|y] pro S jdoucí k nekonečnu.
MC integrace – aproximace E[g(θ)|y], jen pro S = ∞ jde chyba
aproximace k nule.
Volba S na nás – výpočetní nároky.
Pro odhad chyby aproximace - centrální limitní věta → numerická
standardní chyba (NSE).
Bayesiánská analýza (BAAN) I. Základní principy BE Podzim 2011 23 / 24
Bayesiánský výpočetní postup
Počítačový software
Většinou vlastní programy v prostředí Matlab, Gauss či R.
Balíčky BUGS (Bayesian Analysis Using Gibbs Sampling) a BACC
(Bayesian Analysis, Computation and Communication) – omezené
typy modelů.
Nástroje pro speciální typ modelů – DYNARE.
Volně dostupné.
Bayesiánská analýza (BAAN) I. Základní principy BE Podzim 2011 24 / 24