Bayesiánská analýza IV. Normální lineární regresní model s jinou apriorní hustotou Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 1 / 61 Obsah tématu 1 NLRM s nezávislou normální-gama apriorní hustotou Apriorní hustota Posteriorní hustota Gibbsův vzorkovač Konvergenční diagnostiky Porovnání modelů: Savageho-Dickeyeho poměr hustot Predikce Empirická ilustrace 2 NLRM s omezeními ve tvaru nerovnosti Apriorní hustota Posteriorní hustota Importance sampling Porovnání modelů Predikce Empirická ilustrace Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 2 / 61 Úvod Přirozeně konjugovaná apriorní hustota pro NLRM – omezující. Nezávislost apriorních omezení – neexistují analytické výsledky → potřeba posteriorních simulátorů. Gibbsův vzorkovač a importance sampling. Věrohodnostní funkce se nemění! (stále NLRM) Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 3 / 61 NLRM s nezávislou normální-gama apriorní hustotou Obsah tématu 1 NLRM s nezávislou normální-gama apriorní hustotou Apriorní hustota Posteriorní hustota Gibbsův vzorkovač Konvergenční diagnostiky Porovnání modelů: Savageho-Dickeyeho poměr hustot Predikce Empirická ilustrace 2 NLRM s omezeními ve tvaru nerovnosti Apriorní hustota Posteriorní hustota Importance sampling Porovnání modelů Predikce Empirická ilustrace Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 4 / 61 NLRM s nezávislou normální-gama apriorní hustotou Apriorní hustota Obsah tématu 1 NLRM s nezávislou normální-gama apriorní hustotou Apriorní hustota Posteriorní hustota Gibbsův vzorkovač Konvergenční diagnostiky Porovnání modelů: Savageho-Dickeyeho poměr hustot Predikce Empirická ilustrace 2 NLRM s omezeními ve tvaru nerovnosti Apriorní hustota Posteriorní hustota Importance sampling Porovnání modelů Predikce Empirická ilustrace Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 5 / 61 NLRM s nezávislou normální-gama apriorní hustotou Apriorní hustota Apriorní hustota Rozdělení vektoru β není pdmíněno přesností chyby, h. p(β, h) = p(β)p(h) p(β) z normálního rozdělení a p(h) z rozdělení gama: p(β) = 1 (2π) k 2 |V |−1 2 exp − 1 2 (β − β) V −1 (β − β) , p(h) = c−1 G h ν−2 2 exp − hν 2s−2 , kde cG je integrační konstanta pro funkci gama rozdělení. V – apriorní kovarianční matice vektoru parametrů β. Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 6 / 61 NLRM s nezávislou normální-gama apriorní hustotou Posteriorní hustota Obsah tématu 1 NLRM s nezávislou normální-gama apriorní hustotou Apriorní hustota Posteriorní hustota Gibbsův vzorkovač Konvergenční diagnostiky Porovnání modelů: Savageho-Dickeyeho poměr hustot Predikce Empirická ilustrace 2 NLRM s omezeními ve tvaru nerovnosti Apriorní hustota Posteriorní hustota Importance sampling Porovnání modelů Predikce Empirická ilustrace Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 7 / 61 NLRM s nezávislou normální-gama apriorní hustotou Posteriorní hustota Sdružená hustota Sdružená hustota nemá tvar známé hustoty: p(β, h|y) ∝ exp − 1 2 h(y − Xβ) (y − Xβ) + (β − β) V −1 (β − β) × h N+ν−2 2 exp − hν 2s−2 . Podmíněné hustoty mají známou formu. p(β|y, h) = p(β,h|y) p(h|y) . Z p(β, h|y) můžeme vyvodit informaci o p(β|y, h) pokud fixujeme h. Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 8 / 61 NLRM s nezávislou normální-gama apriorní hustotou Posteriorní hustota Sdružená hustota – úpravy h(y − Xβ) (y − Xβ) + (β − β) V −1 (β − β) = (β − β) V −1 (β − β) + Q, kde V = (V −1 + hX X)−1 , β = V (V −1 β + hX y), Q = hy y + β V −1 β − β V −1 β. Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 9 / 61 NLRM s nezávislou normální-gama apriorní hustotou Posteriorní hustota Podmíněná hustota pro β Vypuštění členů nezahrnující vektor β (včetně výrazu Q): p(β|y, h) ∝ exp − 1 2 (β − β) V −1 (β − β) . Jádrová hustota vícerozměrného normálního rozdělení. β|y, h ∼ N(β, V ) Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 10 / 61 NLRM s nezávislou normální-gama apriorní hustotou Posteriorní hustota Podmíněná hustota pro h Z posteriorní hustoty jako funkce h. p(h|y, β) ∝ h N+ν−2 2 exp − h 2 (y − Xβ) (y − Xβ) . Jádrová hustota gama rozdělení. h|y, β ∼ G(s−2 , ν), kde ν = N + ν, s2 = (y − Xβ) (y − Xβ) + νs2 ν . Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 11 / 61 NLRM s nezávislou normální-gama apriorní hustotou Gibbsův vzorkovač Obsah tématu 1 NLRM s nezávislou normální-gama apriorní hustotou Apriorní hustota Posteriorní hustota Gibbsův vzorkovač Konvergenční diagnostiky Porovnání modelů: Savageho-Dickeyeho poměr hustot Predikce Empirická ilustrace 2 NLRM s omezeními ve tvaru nerovnosti Apriorní hustota Posteriorní hustota Importance sampling Porovnání modelů Predikce Empirická ilustrace Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 12 / 61 NLRM s nezávislou normální-gama apriorní hustotou Gibbsův vzorkovač Motivace p(β, h|y) = p(β|y, h)p(h|y, β) ⇒ podmíněné hustoty neříkají vše o p(β, h|y). Posteriorní simulátor – Gibbsův vzorkovač. Náhodné výběry z podmíněných hustot → množina náhodných vzorků z odpovídající sdružené hustoty. Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 13 / 61 NLRM s nezávislou normální-gama apriorní hustotou Gibbsův vzorkovač Východiska p-rozměrný vektor parametrů θ, věrohodnostní funkce p(y|θ), apriorní hustota p(θ) a posteriorní hustota p(θ|y). Rozdělení vektoru parametrů θ do několika (B) bloků, tedy θ = (θ(1), θ(2), . . . , θ(B)) , kde θ(j) je skalár nebo vektor pro j = 1, 2, . . . , B. V LRM: obvyklý počet bloků B = 2 (první blok θ(1) = β a druhý blok θ(2) = h). Plně podmíněná množina posteriorních rozdělení (jsme z nich schopni generovat výběry): p(θ(1)|y, θ(2), . . . , θ(B)), p(θ(2)|y, θ(1), θ(3), . . . , θ(B)), . . . . . . , p(θ(B−1)|y, θ(1), . . . , θB−2, θ(B)), p(θ(B)|y, θ(1), . . . , θ(B−1)). Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 14 / 61 NLRM s nezávislou normální-gama apriorní hustotou Gibbsův vzorkovač Postup (příklad) Sekvence vzorků θ(1), θ(2), . . . , θ(S) → Monte Carlo integrace pro získání E[g(θ)|y]. Pro B = 2 mějme počáteční náhodný výběr z p(θ(2)|y): θ (0) (2). p(θ|y) = p(θ(1)|y, θ(2))p(θ(2)|y) ⇒ výběr z p(θ(1)|y, θ (0) (2)) je řádným výběrem θ(1) z p(θ|y) → θ (1) (1). p(θ|y) = p(θ(2)|y, θ(1))p(θ(1)|y) ⇒ náhodný výběr z p(θ(2)|y, θ (1) (1)) je platným výběrem θ(2) z p(θ|y). θ(1) = (θ (1) (1) , θ (1) (2) ) je řádným výběrem z p(θ|y). Postup do nekonečna. Pokud najdeme θ (0) (2) ⇒ sekvenční výběr z θ(1) podmíněný předchozím výběrem θ(2) a výběr θ(2) podmíněný takto získaným θ(1) dává řadu náhodných výběrů (vzorků) z posteriorního rozdělení = Gibbsův vzorkovač. Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 15 / 61 NLRM s nezávislou normální-gama apriorní hustotou Gibbsův vzorkovač Počáteční podmínky Problémem s θ (0) (2). Pokud bychom uměli získávat náhodné výběry z p(θ(2)|y) → přímé využítí spolu s p(θ(1)|θ(2), y) v rámci MC integrace. Splnění tzv. slabých podmínek = počáteční výběr θ (0) (2) žádnou roli → Gibbsův vzorkovač konverguje k sekvenci výběrů z p(θ|y). Obvyklá volba θ (0) (2) → S replikací → prvních S0 vzorků odstraníme (tzv. burn-in replications) ⇒ S1 vzorků použijeme dále (S0 + S1 = S). Příklad nesplnění: posteriorní hustota definována ve dvou různých oblastech, které nejsou vzájemně propojeny → Gibbsův vzorkovač poskytne výběry jen z jedné z těchto oblastí (do druhé oblasti se nebude schopen dostat). Není případ normálního-gama rozdělení. Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 16 / 61 NLRM s nezávislou normální-gama apriorní hustotou Gibbsův vzorkovač Shrnutí algoritmu 1 Zvolíme počáteční hodnotu vektoru parametrů, θ(0). Pro s = 1, . . . , S: 2 Provedeme náhodný výběr θ (s) (1) z p(θ(1)|y, θ (s−1) (2) , θ (s−1) (3) , . . . , θ (s−1) (B) ). 3 Provedeme náhodný výběr, θ (s) (2) z p(θ(2)|y, θ (s) (1), θ (s−1) (3) , . . . , θ (s−1) (B) ). . . . 4 Provedeme náhodný výběr θ (s) (B) z p(θ(B)|y, θ (s) (1), θ (s) (2), . . . , θ (s) (B−1)). Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 17 / 61 NLRM s nezávislou normální-gama apriorní hustotou Gibbsův vzorkovač Monte Carlo integrace S výběrů, θ(s) pro s = 1, . . . , S. Prvních S0 výběrů vyhodíme (eliminace efektu počáteční volby θ(0)). S1 výběrů zprůměrujeme → požadované posteriorní charakteristiky. Funkce parametrů g(·) a gS1 = 1 S1 S s=S0+1 g(θ(s) ). gS1 konverguje ke střední hodnotě E[g(θ)|y] pro S1 jdoucí k nekonečnu. Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 18 / 61 NLRM s nezávislou normální-gama apriorní hustotou Gibbsův vzorkovač Problémy Jakákoliv volba bloků (ve většině případů se nabízí sama). Centrální limitní věta – přibližné určení chyby aproximace. Dva problémy: 1 Potřeba ověřit, že volba θ(0) nemá vliv na získané výsledky. 2 Sekvence výběrů není i.i.d.; vektory θ(s) a θ(s−1) nejsou vzájemně nezávislé, neboť θ (s) (j) závisí na θ (s−1) (l) pro j = 1, . . . , B − 1 a l > j. Prakticky nutné pro dosažení požadované úrovně přesnosti vygenerovat mnohem více výběrů. Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 19 / 61 NLRM s nezávislou normální-gama apriorní hustotou Konvergenční diagnostiky Obsah tématu 1 NLRM s nezávislou normální-gama apriorní hustotou Apriorní hustota Posteriorní hustota Gibbsův vzorkovač Konvergenční diagnostiky Porovnání modelů: Savageho-Dickeyeho poměr hustot Predikce Empirická ilustrace 2 NLRM s omezeními ve tvaru nerovnosti Apriorní hustota Posteriorní hustota Importance sampling Porovnání modelů Predikce Empirická ilustrace Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 20 / 61 NLRM s nezávislou normální-gama apriorní hustotou Konvergenční diagnostiky Numerická standardní chyba Využití centrální limitní věty – problém závislosti výběrů. Centrální limitní věta – přibližné určení chyby aproximace. S1{gS1 − E[g(θ)|y]} → N(0, σ2 g ) pro S1 jdoucí k nekonečnu. σ2 g má mnohem složitější formu; v literatuře zatím nebyl publikován dostatečně ověřený způsob jejího odhadu. Intuice: σ2 g by měla zohledňovat skutečnost, že θ(s) pro s = 1, . . . , S je vzájemně korelovaná řada. Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 21 / 61 NLRM s nezávislou normální-gama apriorní hustotou Konvergenční diagnostiky NSE – Geweke (1992) Z teorie časových řad. σ2 g = S(0) S1 Oprávnění tohoto odhadu spíše neformální × v praxi se osvědčuje. S(0) je spektrální hustota řady θ(s) pro s = S0 + 1, . . . , S vyhodnocená v 0. NSE: σg √ S1 . Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 22 / 61 NLRM s nezávislou normální-gama apriorní hustotou Konvergenční diagnostiky Geweke (1992) – pokračování Z ponechaných vzorků: první sadu SA výběrů, prostřední SB a poslední SC . V praxi osvědčeno: SA = 0.1S1, SB = 0.5S1 a SC = 0.4S1. Pro potřeby diagnostiky nepoužíváme prostřední množinu vzorků SB. Nechť gSA a gSC jsou odhady E[g(θ)|y] za použití prvních SA vzorků (po vyhození S0 výběrů) a SC vzorků. Definujme σA√ SA a σC√ SC jako NSE odhadů. Centrální limitvní věta: CD → N(0, 1) Konvergenční diagnostika CD: CD = gSA − gSC σA√ SA + σC√ SC , Porovnání s kritickými hodnotami standardizovaného normálního rozdělení. Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 23 / 61 NLRM s nezávislou normální-gama apriorní hustotou Konvergenční diagnostiky Problémy Gibbsův vzorkovač – prochází posteriorní rozdělení. Bimodální posteriorní hustota – diagnostika selhává. Počáteční výběr θ(0) je extrémě vzdálen + míra korelace ve vzorcích vysoká (většinou CD diagnostika neselže). Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 24 / 61 NLRM s nezávislou normální-gama apriorní hustotou Konvergenční diagnostiky Gelman a Rubin (1992) – motivace Problém neodeznění efektu počátečního výběru θ(0). Praxe: použít různá θ(0). θ(0,i) pro i = 1, . . . , m označuje m počátečních hodnot z různých oblastí parametrického prostoru (overdispersed starting values). θ(s,i) pro s = 1, . . . , S označuje S výběrů navzorkovaných Gibbsovým vzorkovačem z i-té počáteční hodnoty a g (i) Si označuje odpovídající odhad E[g(θ)|y]. Pokud efekt počátečních podmínek odezněl, měly by být sekvence podobné ⇒ porovnání rozptylů v rámci a mezi sekvencemi. Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 25 / 61 NLRM s nezávislou normální-gama apriorní hustotou Konvergenční diagnostiky Gelman a Rubin (1992) – pokračování Vnitřní rozptyl sekvence: s2 i = 1 S1 − 1 S s=S0+1 g(θ(s,i) ) − g (i) Si 2 . Průměrný rozptyl vnitřních rozptylů sekvencí: W = 1 m m i=1 s2 i . Mezisekvenční rozptyl: B = S1 m − 1 m i=1 (g (i) Si − g)2 , kde g = 1 m m i=1 g (i) Si . Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 26 / 61 NLRM s nezávislou normální-gama apriorní hustotou Konvergenční diagnostiky Gelman a Rubin (1992) – statistika W je odhadem var[g(θ)|y]. Další odhad rozptylu, var[g(θ)|y]: var[g(θ)|y] = S1 − 1 S1 W + 1 S1 B. MCMC kovergenční diagnostika má podobu: R = var[g(θ)|y] W . Hodnoty R by měly být větší než jedna; hodnoty blízké jedné indikují úspěšnou konvergenci. R označována jako estimated potential scale reduction (mez toho, jak vzdálené mohou být odhady směrodatné odchylky g(θ) díky nedostatečné konvergenci). Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 27 / 61 NLRM s nezávislou normální-gama apriorní hustotou Porovnání modelů: Savageho-Dickeyeho poměr hustot Obsah tématu 1 NLRM s nezávislou normální-gama apriorní hustotou Apriorní hustota Posteriorní hustota Gibbsův vzorkovač Konvergenční diagnostiky Porovnání modelů: Savageho-Dickeyeho poměr hustot Predikce Empirická ilustrace 2 NLRM s omezeními ve tvaru nerovnosti Apriorní hustota Posteriorní hustota Importance sampling Porovnání modelů Predikce Empirická ilustrace Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 28 / 61 NLRM s nezávislou normální-gama apriorní hustotou Porovnání modelů: Savageho-Dickeyeho poměr hustot Savage-Dickey – motivace Není obecně uplatnitelná. Bayesův faktor pro vnořené modely (v případě určitých apriorních hustot). Neomezená verze modelu M2 s vektorem parametrů θ = (ω , ψ ) . Věrohodnostní funkce a apriorní hustota: p(y|ω, ψ, M2) a p(ω, ψ, M2). Omezená verze modelu M1 má ω = ω0, kde ω0 je vektor konstant (parametry vektoru ψ neomezené pro oba modely). Věrohodnostní funkce a apriorní hustota: p(y|ψ, M1) a p(ψ|M1) (ω = ω0 v M1 ⇒ není třeba specifikovat apriorní hustotu pro tento vektor parametrů). Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 29 / 61 NLRM s nezávislou normální-gama apriorní hustotou Porovnání modelů: Savageho-Dickeyeho poměr hustot Savage-Dickey – definice Předpokládáme p(ψ|ω = ω0, M2) = p(ψ, M1). Potom BF12, Bayesův faktor porovnávající M1 a M2 má podobu: BF12 = p(ω = ω0|y, M2) p(ω = ω0|M2) . p(ω = ω0|y, M2) a p(ω = ω0|M2) jsou neomezená apriorní a posteriorní hustota pravděpodobnosti vyhodnocená v bodě ω0. Mnohdy p(ψ|M2) = p(ψ|M1) (předchozí podmínka slabší). Nezatěžujeme se posteriorní analýzou M1; není potřeba přímý výpočet marginální věrohodnosti. Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 30 / 61 NLRM s nezávislou normální-gama apriorní hustotou Porovnání modelů: Savageho-Dickeyeho poměr hustot Savage-Dickey – ilustrace M1: omezení β = β0 (Rβ = r je jednoduchým rozšířením). Bayesův faktor: BF12 = p(β = β0|y, M2) p(β = β0|M2) . Jmenovatel lze snadno spočítat (marginální apriorní hustota pro β je normální): p(β = β0|M2) = 1 (2π) k 2 |V |−1 2 exp − 1 2 (β0 − β) V −1 (β0 − β) Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 31 / 61 NLRM s nezávislou normální-gama apriorní hustotou Porovnání modelů: Savageho-Dickeyeho poměr hustot Savage-Dickey – ilustrace (pokračování) Hustota p(β|y, h, M2) odpovídá normálnímu rozdělení × neznáme podobu p(β|y, M2). p(β = β0|y, M2) lze snadno odhadnout. Gibbsovým vzorkovačem získáme β(s) a h(s) pro s = S0 + 1, . . . , S; zprůměrováním p(β = β0|y, h(s), M2) přes všechny výběry h(s) získáme odhad p(β = β0|y, M2). 1 S1 S s=S0+1 p(β = β0|y, h(s) , M2) → p(β = β0|y, M2) pro S1 jdoucí k nekonečnu. Platí: p(β = β0|y, h(s) , M2) = 1 (2π) k 2 |V |−1 2 exp − 1 2 (β0 − β) V −1 (β0 − β) . Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 32 / 61 NLRM s nezávislou normální-gama apriorní hustotou Porovnání modelů: Savageho-Dickeyeho poměr hustot Savage-Dickey – ilustrace (dokončení) Zákony pravděpodobnosti implikují p(β = β0|y, M2) = p(β = β0|y, h, M2)p(h|y.M2)dh. p(β = β0|y, h, M2) v sobě neobsahuje nadále β (jen vektor konstant β0). Lze psát: p(β = β0|y, M2) = g(h)p(h|y)dh = E[g(h)|y], kde g(h) = p(β = β0|y, h, M2). Posteriorní simulátory použitelné právě pro výpočet charakteristik jako je E[g(h)|y]. Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 33 / 61 NLRM s nezávislou normální-gama apriorní hustotou Predikce Obsah tématu 1 NLRM s nezávislou normální-gama apriorní hustotou Apriorní hustota Posteriorní hustota Gibbsův vzorkovač Konvergenční diagnostiky Porovnání modelů: Savageho-Dickeyeho poměr hustot Predikce Empirická ilustrace 2 NLRM s omezeními ve tvaru nerovnosti Apriorní hustota Posteriorní hustota Importance sampling Porovnání modelů Predikce Empirická ilustrace Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 34 / 61 NLRM s nezávislou normální-gama apriorní hustotou Predikce Predikční hustota NLRM: y∗ = X∗β + ∗. p(y∗ |y) = p(y∗ |y, β, h)p(β, h|y)dβdh ∗ je nezávislé na ⇒ p(y∗|y, β, h) = p(y∗|β, h): p(y∗ |β, h) = h T 2 (2π) T 2 exp − h 2 (y∗ − X∗ β) (y∗ − X∗ β) . Zajímá nás E[g(y∗)|y] = g(y∗)p(y∗|y)dy∗. y∗(s) pro s = 1, . . . , S jakožto výběry z p(y∗|y) ⇒ gY = 1 S S s=1 g(y∗(s)) konverguje k E[g(y∗)|y]. Sumace od S0 + 1 do S (vyhození prvních vzorků). Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 35 / 61 NLRM s nezávislou normální-gama apriorní hustotou Predikce Predikční hustota a Gibbsův vzorkovač Obecný postup pto získání vzorků y∗. Pro každé β(s) a h(s), vezmeme výběr y∗(s) z predikční hustoty p(y∗|y, β(s), h(s)) (normální rozdělení). Máme tak β(s), h(s) a y∗(s) pro s = 1, . . . , S → zákony pravděpodobnosti říkají p(β, h, y∗|y) = p(y∗|y, β, h)p(β, h|y). Strategie výběru nejdříve z posteriorní hustoty a potom z p(y∗|y, β, h) → výběr z p(β, h, y∗|y). Obecné pravidlo: pokud máme výběry ze sdružené hustoty pravděpodobnosti p(θ, y∗|y), potom samostatné výběry θ jsou výběry z marginálního rozdělení p(θ|y) a samotné výběry y∗ jsou výběrem z p(y∗|y). Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 36 / 61 NLRM s nezávislou normální-gama apriorní hustotou Empirická ilustrace Obsah tématu 1 NLRM s nezávislou normální-gama apriorní hustotou Apriorní hustota Posteriorní hustota Gibbsův vzorkovač Konvergenční diagnostiky Porovnání modelů: Savageho-Dickeyeho poměr hustot Predikce Empirická ilustrace 2 NLRM s omezeními ve tvaru nerovnosti Apriorní hustota Posteriorní hustota Importance sampling Porovnání modelů Predikce Empirická ilustrace Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 37 / 61 NLRM s nezávislou normální-gama apriorní hustotou Empirická ilustrace Příklad – ceny domů ve Windsoru Analogie předchozího příkladu. Nezávislé apriorní hustoty pro β (normální) a přesnost chyby, h (gama rozdělení). Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 38 / 61 NLRM s nezávislou normální-gama apriorní hustotou Empirická ilustrace Posteriorní výsledky pro parametr β Gewekeho P. podíl šancí Prior Posterior NSE CD pro βj = 0 β1 0 (10000) −4119.01 (3251.44) 34.273 −0.065 1.39 β2 10 (5) 5.45 (0.36) 0.004 −1.474 0.00 β3 5000 (2500) 3228.83 (1080.46) 11.389 1.073 0.18 β4 10000 (5000) 16136.64 (1605.11) 16.919 0.144 0.00 β5 10 (5) 7685.55 (987.20) 10.406 −0.597 0.00 Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 39 / 61 NLRM s nezávislou normální-gama apriorní hustotou Empirická ilustrace Predikční hustota pro dům o rozloze 5000 čtverečních stop. −2 0 2 4 6 8 10 12 14 x 10 4 0 200 400 600 800 1000 1200 Predikovana cena domu Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 40 / 61 NLRM s omezeními ve tvaru nerovnosti Obsah tématu 1 NLRM s nezávislou normální-gama apriorní hustotou Apriorní hustota Posteriorní hustota Gibbsův vzorkovač Konvergenční diagnostiky Porovnání modelů: Savageho-Dickeyeho poměr hustot Predikce Empirická ilustrace 2 NLRM s omezeními ve tvaru nerovnosti Apriorní hustota Posteriorní hustota Importance sampling Porovnání modelů Predikce Empirická ilustrace Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 41 / 61 NLRM s omezeními ve tvaru nerovnosti Omezení ve tvaru nerovnosti β ∈ A, kde A je příslušná relevantní oblast parametrického prostoru. Bayesiánské řešení: zakomponovat omezení do apriorní hustoty. Posteriorní analýza: Importance Sampling. Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 42 / 61 NLRM s omezeními ve tvaru nerovnosti Apriorní hustota Obsah tématu 1 NLRM s nezávislou normální-gama apriorní hustotou Apriorní hustota Posteriorní hustota Gibbsův vzorkovač Konvergenční diagnostiky Porovnání modelů: Savageho-Dickeyeho poměr hustot Predikce Empirická ilustrace 2 NLRM s omezeními ve tvaru nerovnosti Apriorní hustota Posteriorní hustota Importance sampling Porovnání modelů Predikce Empirická ilustrace Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 43 / 61 NLRM s omezeními ve tvaru nerovnosti Apriorní hustota Apriorní hustota β ∈ A ⇔ oblast parametrického prostoru mimo A má apriorní váhy hodnoty 0. Pro ilustraci principu: přirozeně konjugovaná apriorní hustota. p(β, h) ∝ fNG(β, h|β, V , s−2 , ν)1(β ∈ A) Indikační funkce 1(β ∈ A) nabývá hodnot 1, pokud β ∈ A a 0 jinak. Marginální hustota pro β z omezeného t-rozdělení: p(β) ∝ ft(β|β, s2 V , ν)1(β ∈ A). Neinformativní varianta: p(β, h) ∝ 1 h 1(β ∈ A). Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 44 / 61 NLRM s omezeními ve tvaru nerovnosti Posteriorní hustota Obsah tématu 1 NLRM s nezávislou normální-gama apriorní hustotou Apriorní hustota Posteriorní hustota Gibbsův vzorkovač Konvergenční diagnostiky Porovnání modelů: Savageho-Dickeyeho poměr hustot Predikce Empirická ilustrace 2 NLRM s omezeními ve tvaru nerovnosti Apriorní hustota Posteriorní hustota Importance sampling Porovnání modelů Predikce Empirická ilustrace Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 45 / 61 NLRM s omezeními ve tvaru nerovnosti Posteriorní hustota Posteriorná hustota Odvození analogické z předchozích přednášek (navíc jen omezení skrze indikační funkci): p(β|y) ∝ ft(β|β, s2 V , ν)1(β ∈ A). Posteriorní hyperparametry: vztahy pro informativní nebo neinformativní apriorní hustotu. Pokud předpokládáme nezávislou normální-gama apriorní hustotou → vztah pro p(β|y, h) násoben 1(β ∈ A). Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 46 / 61 NLRM s omezeními ve tvaru nerovnosti Importance sampling Obsah tématu 1 NLRM s nezávislou normální-gama apriorní hustotou Apriorní hustota Posteriorní hustota Gibbsův vzorkovač Konvergenční diagnostiky Porovnání modelů: Savageho-Dickeyeho poměr hustot Predikce Empirická ilustrace 2 NLRM s omezeními ve tvaru nerovnosti Apriorní hustota Posteriorní hustota Importance sampling Porovnání modelů Predikce Empirická ilustrace Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 47 / 61 NLRM s omezeními ve tvaru nerovnosti Importance sampling Úvod Pro některé volby A existují analytické výsledky. Vektor parametrů θ, věrohodnostní funkce p(y|θ), apriorní hustota p(θ) a posteriorní hustota p(θ|y). Importance function, q(θ): jsme schopni z ní získat náhodné výběry θ(s) pro s = 1, . . . , S. gS = 1 S S s=1 g(θ(s) ) nebude konvergovat k E[g(θ)|y] pro S → ∞. Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 48 / 61 NLRM s omezeními ve tvaru nerovnosti Importance sampling Importance sampling Vážené průměrování. Nechť θ(s) pro s = 1, . . . , S je náhodný výběr z q(θ) a definujme gS = S s=1 w(θ(s))g(θ(s)) S s=1 w(θ(s)) kde w(θ(s) ) = p(θ = θ(s)|y) q(θ = θ(s)) gS konverguje k E[g(θ)|y] pro S jdoucí k nekonečnu (při splnění slabých podmínek). Podmínka zejména, že q(θ) pokrývá p(θ|y) a E[g(θ|y)] existuje. Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 49 / 61 NLRM s omezeními ve tvaru nerovnosti Importance sampling Importance sampling – pokračování Váhy jen v čitateli i jmenovateli → potřeba vyhodnotit pouze jádrové hustoty p(θ|y) a q(θ). Pokud p∗(θ|y) ∝ p(θ|y) a q∗(θ) ∝ q(θ), lze využít w(θ(s) ) = p∗(θ = θ(s)|y) q∗(θ = θ(s)) . Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 50 / 61 NLRM s omezeními ve tvaru nerovnosti Importance sampling Importance sampling – problémy q(θ) dobře neaproximuje p(θ|y) (w(θ(s)) je nula pro téměř každý výběr) → potřeba enormně velkého S pro dostatečně přesný odhad E[g(θ)|y]. Mnohdy raději Gibbsův vzorkovač. θ vícedimenzionální: obtížné nalezení vhodné importance funkce. Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 51 / 61 NLRM s omezeními ve tvaru nerovnosti Importance sampling Importance sampling – příklad NLRM s omezením ve formě nerovností: q(β) = ft(β|β, s2 V , ν). Výpočet vah: w(β(s) ) = 1(β(s) ∈ A). Váhy rovny jedné (β(s) ∈ A) nebo nule (β(s) /∈ A). Numerická standardní chyba: √ S{gS − E[g(θ)|y]} → N(0, σ2 g ) σ2 g je možno konzistentně odhadnout jako σ2 g = 1 S S s=1 w(θ(s)) g(θ(s)) − gS 2 1 S S s=1 w(θ(s)) 2 . NSE = σg √ S . Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 52 / 61 NLRM s omezeními ve tvaru nerovnosti Porovnání modelů Obsah tématu 1 NLRM s nezávislou normální-gama apriorní hustotou Apriorní hustota Posteriorní hustota Gibbsův vzorkovač Konvergenční diagnostiky Porovnání modelů: Savageho-Dickeyeho poměr hustot Predikce Empirická ilustrace 2 NLRM s omezeními ve tvaru nerovnosti Apriorní hustota Posteriorní hustota Importance sampling Porovnání modelů Predikce Empirická ilustrace Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 53 / 61 NLRM s omezeními ve tvaru nerovnosti Porovnání modelů Porovnání modelů – úvod M1: NLRM s přirozeně konjugovaným priorem s omezeními ve tvaru nerovnosti (β ∈ A). M2: tentýž model, přičemž předchozí restrikce neplatí (β /∈ A). Např. ekonomická teorie může implikovat β ∈ A ⇒ p(M1|y) označuje pravděpodobnost, že ekonomická teorie je v souladu s daty. Neomezený NLRM s přirozeně konjugovaným priorem pro výpočet p(M1|y) = p(β ∈ A|y) a p(M2|y) = 1 − p(M1|y). Analytické řešení pro lineární omezení, alternativně importance sampling pro neomezený model, p(β ∈ A|y) = E[g(θ)|y], kde g(θ) = 1(β ∈ A). Náhodné výběry u neomezené posteriorní hustoty (ft(β|β, s2V , ν)) a spočítání podílu těch, které splňují β ∈ A ⇒ odhad p(β ∈ A|y). Provedení importance sampling a zachováním informace o tom, kolik vzorků jsme nechali a kolik vyhodili (přiřadili jim nulovou váhu) → základ pro výpočet p(M1|y) a p(M2|y). Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 54 / 61 NLRM s omezeními ve tvaru nerovnosti Porovnání modelů Vnořené modely Savageho-Dickeyeho poměr hustot: M2 je NLRM s přirozeně konjugovaným priorem a nerovnostními omezeními a M1 je stejný jako M2 s tou výjimkou, že β = β0. Předpokládáme v obou modelech tutéž apriorní hustotu pro h: BF12 = p(β = β0|y, M2) p(β = β0|M2) . Známe jen jádrové hustoty × formálně: p(β) = cft(β|β, s2 V , ν)1(β ∈ A), p(β|y) = cft(β|β, s2 V , ν)1(β ∈ A). Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 55 / 61 NLRM s omezeními ve tvaru nerovnosti Porovnání modelů Vnořené modely – dokončení BF12 = cft(β|β, s2V , ν) cft(β|β, s2V , ν) . Vyhodnocení dvou hustot v β = β0 a výpočet konstant c a c. Někdy snadno z tabulek, jinak předchozí metoda výpočtu p(M1|y) (omezení β ∈ A platí). c = 1 p(M1|y) , protože c = 1 ft(β|β, s2V , ν)1(β ∈ A)dβ a p(M1|y) = ft(β|β, s2V , ν)1(β ∈ A)dβ. Výpočet c analogicky (využití importance sampling v rámci apriorní hustoty pravděpodobnosti). Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 56 / 61 NLRM s omezeními ve tvaru nerovnosti Predikce Obsah tématu 1 NLRM s nezávislou normální-gama apriorní hustotou Apriorní hustota Posteriorní hustota Gibbsův vzorkovač Konvergenční diagnostiky Porovnání modelů: Savageho-Dickeyeho poměr hustot Predikce Empirická ilustrace 2 NLRM s omezeními ve tvaru nerovnosti Apriorní hustota Posteriorní hustota Importance sampling Porovnání modelů Predikce Empirická ilustrace Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 57 / 61 NLRM s omezeními ve tvaru nerovnosti Predikce Predikční hustota Standardní postup získání výběrů y∗. Výběry z importance function je třeba převážit. θ(s), náhodný výběr z importance function a y∗(s), náhodný výběr z p(y∗|y, θ(s)) pro s = 1, . . . , S, potom gY = S s=1 w(θ(s))g(y∗(s)) S s=1 w(θ(s)) konverguje k E[g(y∗)|y] pro S jdoucí k nekonečnu. Váha w(θ(s)) vychází z definice importance sampling. Výpočet predikčních charakteristik všude tam, kde je prováděno importance sampling. Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 58 / 61 NLRM s omezeními ve tvaru nerovnosti Empirická ilustrace Obsah tématu 1 NLRM s nezávislou normální-gama apriorní hustotou Apriorní hustota Posteriorní hustota Gibbsův vzorkovač Konvergenční diagnostiky Porovnání modelů: Savageho-Dickeyeho poměr hustot Predikce Empirická ilustrace 2 NLRM s omezeními ve tvaru nerovnosti Apriorní hustota Posteriorní hustota Importance sampling Porovnání modelů Predikce Empirická ilustrace Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 59 / 61 NLRM s omezeními ve tvaru nerovnosti Empirická ilustrace Příklad – ceny domů ve Windsoru Apriorní hyperparametry stejné jako v předchozích příkladech. Omezení: β2 > 5, β3 > 2500, β4 > 5000 a β5 > 5000. Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 60 / 61 NLRM s omezeními ve tvaru nerovnosti Empirická ilustrace Posteriorní výsledky pro parametr β Směrodatná P. podíl šancí Stř. hodnota odchylka NSE pro βj = βj β1 −5658.15 3011.44 41.245 1.20 β2 5.50 0.30 0.004 0.00 β3 3571.50 777.15 10.644 0.49 β4 16638.59 1671.19 22.889 0.00 β5 7454.92 925.41 12.675 0.22 Bayesiánská analýza (BAAN) IV. NLRM s jiným priorem Podzim 2018 61 / 61