Bayesiánská analýza VI. Lineární regresní model s obecnou kovarianční maticí Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 1/58 Obsah tématu O Úvod Q Model s obecnou kovarianční matici Q Heteroskedasticita ve známé podobě Q Heteroskedasticita v neznámé podobě Q Autokorelace náhodných složek Q Modely zdánlivě nesouvisejících regresí Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 2/58 Obsah tématu O Úvod Q Model s obecnou kovarianční matici Q Heteroskedasticita ve známé podobě Q Heteroskedasticita v neznámé podobě Q Autokorelace náhodných složek Q Modely zdánlivě nesouvisejících regresí Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 3/58 Úvod • Šestá kapitola z Koop (2003) resp. učebního textu. • Heteroskedasticita náhodných složek. • Autokorelace náhodných složek. • Hierarchická apriorní hustota. • Modely zdánlivě nesouvisejících regresí. Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 4/58 Úvod Předpoklady • Model: y = X/3 + e. o Předpoklady: O e~ A/ÍO/v,/?-1^). Q Všechny prvky X jsou buď nenáhodné veličiny nebo nezávislé náhodné veličiny vzhledem k e. • Různé modely podle podoby Q. Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 5/58 Model s obecnou kovarianční maticí Obsah tématu Úvod Q Model s obecnou kovarianční matici Heteroskedasticita ve známé podobě Q Heteroskedasticita v neznámé podobě Autokorelace náhodných složek p Modely zdánlivě nesouvisejících regresí < tg? ► < -ž ► < -E ► -š -O °s O Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 6/58 Model s obecnou kovarianční maticí Transformace modelu a Existence matice P: PQ.P' = //y. • Transformovaný model: y* = X*f3 + 6*, kde y* = Py, X* = PX a e* = Pe. Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 7/58 Model s obecnou kovarianční maticí Implikace o Pokud Q známa —>► transformace dat (standardní bayesiánská analýza). 9 Pokud Q neznámá —>► podmíněno Q posteriorní hustoty pro f3 a h standardní podobu + p(Q|y,/5, h) závisí na přesné formě Q. • Ostatní podmíněné hustoty stejné jako dříve (podmíněné Q). Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 8/58 Model s obecnou kovarianční maticí Věrohodnostní funkce Z vlastností vícerozměrného normálního rozdělení: p(y\/3,h,íľ) = n 2 (27t) N exp -^(y-X^Q-Hy-X/^) S transformovanými daty: p(y*|/3,/i,fi) = n 2 (27t) /V ex p __(y*_x*/3)V □ g - = Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční matici Podzim 2018 Model s obecnou kovarianční maticí Zobecněná metoda nej menších čtverců u = N-k. /3(Q) = (X*'X*)_1X*y = (X'Q-1X)-1X'Q-1y , (y* - X*g(Q)) V - X*g(Q)) s (Q) =--- v p(y\/3,h,Q) = (2tt) N 2 x < /?2 exp x < /?2 exp -^(/^-^yx'Q-^-^Q)) 2s-2(Q)JJ- □ S1 ~ = Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 10/58 Model s obecnou kovarianční maticí Apriorní hustota • Normální-gama apriorní hustotu pro (3 a h a obecné značení p(fž) pro Q: p(P,h,n) = p(p)p(h)P(n), kde P((3) = fN(mv), p(h) = fG(h\K,sr2). Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 11/58 Model s obecnou kovarianční maticí Posteriorní hustota Sdružená hustota nemá tvar známé hustoty: p(/3,/í,n|y)cxp(fi) x < exp ^{/7(y*-X*/3)V-**/3) + (p-pyv-1(p- N+v-2 x h 2 exp hu 2s -2 Odvození podmíněných hustot. Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční matici Podzim 2018 12/58 Model s obecnou kovarianční maticí Podmíněná posteriorní hustota pro • Vícerozměrné normální rozdělení: kde /3\y,h,n~N(l3, V), v = (vr1 + hx'n^xy1, P = v (vr1 p + hx'n^xpio.)). < □ ► < rS? ► < -ž ► < -E ► š -O °s O Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 13/58 Model s obecnou kovarianční maticí Podmíněná posteriorní hustota pro h • Gama rozdělení: kde h\y,p ~ G (s -=-2 V = N + u, g_ (y-X/3)'Q-1(y-XP) + us2 > — -—- v Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 14/58 Model s obecnou kovarianční maticí Podmíněná posteriornŕ hustota pro Q Jádrová hustota p(Q|y,/3,/7)(xp(Q)|Q|-2 exp -j{y-xpyarxiy-xp) • Obecně nenabývá podoby známého rozdělení. • Následně konkretizace + odvození posteriorních simulátorů. • Pokud jsme schopni generovat výběry z p(Q|y,/5, h) —>► Gibbsův vzorkovač. □ iS1 - = Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 15/58 Heteroskedasticita ve známé podobě Obsah tématu Úvod Model s obecnou kovarianční maticí Q Heteroskedasticita ve známé podobě Q Heteroskedasticita v neznámé podobě Autokorelace náhodných složek p Modely zdánlivě nesouvisejících regresí Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 16/58 var(ei) = h 1uj-i pro / = 1,..., N, Q = 0 0 0 o o o • o 0 cj/v • Obecně předpokládáme: uj\ — /?(z/,a), kde hQ je kladná funkce a z; vektor všech nebo některých vysvětlujících proměnných. • Obvyklá volba: h{z\, a) = (1 + ol\Z\\ + Qi2Zi2 + ... + apZip)2. Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 17/58 Heteroskedasticita ve známé podobě Princip 9 Jsme schopni vyjádřit výraz pro fi. • Q závisí na parametrech a. 9 Vhodný simulátor: Metropolis-within-Gibbs. • p(/5|y? a) normální; p(h\y, /3, a) gama; potřeba generování vzorků z p(a\y,P,h). p{a\y, /3, h) oc p(a)\Q(zh a)\ x < exp --{y-XP)'Sl{zha)-\y-XP) Napr. Random Walk Chain Metropolis-Hastings algoritmus + Bayesúv faktor pro napr. ol\ — ... = ap = 0 (prístup Gelfanda-Deye) + HPDI, p-hodnoty. Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční matici Podzim 2018 18/58 Heteroskedasticita ve známé podobě Empirická ilustrace Viz Koop (2003) - bude doplněno. Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 19/58 Heteroskedasticita v neznámé podobě Obsah tématu Úvod Model s obecnou kovarianční maticí Heteroskedasticita ve známé podobě Q Heteroskedasticita v neznámé podobě Autokorelace náhodných složek p Modely zdánlivě nesouvisejících regresí Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 20/58 Heteroskedasticita v neznámé podobě Obecné principy • Platí: Q = 0 0 0 o o o • o 0 un Neznáme, neumíme nebo nechceme specifikovat podobu pro to\. Jak odhadnout na základě N pozorování N + k + 1 parametrů /3, h a CO = (iOl, • • • , OJ/v)'? Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticf Podzim 2018 21 / 58 Heteroskedasticita v neznámé podobě Užitečnost postupu O Využití tzv. hierarchických priorů - způsob tvorby více flexibilních na parametry bohatých modelů pro statistickou analýzu. O Zavedení konceptu vztahujícího se k flexibilnímu ekonometrickému modelování (umožnění uvolnění předpokladu normality náhodné složky). Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 22/58 Heteroskedasticita v neznámé podobě naceni • Apriorní hustota p(cj) pro A/-rozměrný vektor parametrů uj —± přesnost chyby: A = (Ai, A2,..., A/v)7 = [iOi 1, cj2 1, • • •, ^a/1)7- • Předpokládejme apriorní hustotu pro A: n p(A)=nw^A). t=i • Závisí na hyperparametru z/^, který si volíme. 9 Předpokládá se, že každé A/ pochází z téhož rozdělení (i.i.d. výběry z gama rozdělení). • Vypořádání se s problémy vysoké dimenzionality vektoru A —>► rozptyly náhodných složek se budou vzájemně lišit, ale budou pocházet ze stejného rozdělení—^ flexibilní model s dostatečně pevnou strukturou pro možnou statistickou analýzu. < tg? ► < -ž ► < ► -E -O °s O Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 23/58 Heteroskedasticita v neznámé podobě Důvod volby Proč gama rozdělení se střední hodnotou 1.0? • Model stejný jako lineární regresní model s náhodnými složkami z i.i.d. Studentova r-rozdělenís v\ stupni volnosti: p(e/) = ^(6/10,/i"1, z/A). • Studentovo r-rozdělení podobné normálnímu rozdělení x tlustší konce a je více flexibilnější. • Výhoda: rámec normálního lineárního regresního modelu (využití výpočetních postupů pro posteriorní simulátor pro LRM s nezávislými r-rozdělenými chybami). Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 24/58 Heteroskedasticita v neznámé podobě Obecné vysvětlení 9 Mix specifických normálních rozdělení—^ tvorba mnohem flexibilnějšího rozdělení váženým průměrem více normálních rozdělení. • Kompozice (mixture) normálních modelů = mocný nástroj, kdy ekonomická teorie nenabízí specifikaci věrohodnostní funkce a my chceme být dostatečně flexibilní. • Naše chápání heteroskedasticity v neznámé podobě = poměrný mix normálních rozdělení (sca/e mixture of Normaís). • Předpoklad e; ~ A/(0, /7~1A/~1) s naší apriorní hustotou pro A; = rozdělení chyb je váženým průměrem (mixem) různých normálních rozdělelní s různými rozptyly (tj. různá měřítka - scaíes) a stejné střední hodnoty (tj. všechny chyby mají nulovou střední hodnotu). • Pokud kompozice vytvořena za použití gama hustot f^(A/|l, v\) r-rozdělení. • Jiné hustoty než f^(A,-|l, z/^) —^ jiná (flexibilnější) rozdělení. Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 25/58 Heteroskedasticita v neznámé podobě Další uvolnění • Pokud v\ neznámé: neznámý parametr. o V bayesovském konceptu potřeba apriorní hustoty: p{y\). 9 Specifikace apriorní hustoty pro A ve dvou krocích: n P(A) = II fc(A/|l, v\) a p(z/A). t=i • Alternativně: p(\\v\)p(v\). 9 Hierarchické apriorní hustoty = apriorní hustoty zapsána ve dvou či více krocích. • Není nutné —>► hierarchický prior lze zapsat v nehierarchickém pojetí. • V našem případě: p(A) = / p(\\v\)p(v\)dv\. Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 26/58 Heteroskedasticita v neznámé podobě Problémy • Pro posteriorní hustotu nemusí existovat střední hodnoty a směrodatné odchylky. o Geweke - pokud použijeme neinformativní apriorní hustotu pro f3 (p(/5) oc 1 na intervalu (—00,00)): O Neexistuje posteriorní střední hodnota, pokud p(v\) není nulová na intervalu (0,2). O Neexistuje posteriorní směrodatná odchylka, pokud p(v\) není nulová na intervalu (0,4). • Neinformativní apriorní hustotu pro v\\ p{yx) oc 1 v\ £ (0,oo). 0 p(^A>iooj = 0 ^ hodně informativní (náhodné složky normálně rozděleny). Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 27/58 Heteroskedasticita v neznámé podobě Gibbsův vzorkovač • Formálně plně podmíněné hustoty pravděpodobnosti: p(/3|y, /7, A, v\) a p(h\y, /3, A, v\) x za podmínky A nám v\ nepřináší žádnou novou informaci. « p(/3|y, /?, A, i/A) = p(/3|y, /?, A) a p(%, /3, A, i/A) = p(%, /3, A) již odvozeny. 9 Odvození podmíněné hustoty pro A zřejmé: dosazení apriorní hustoty danou do obecného tvaru podmíněné posteriorní hustoty pro Q (jedná se o funkci proměnných A/). o Zjišťujeme, že A/ jsou navzájem nezávislé: n p(A|y, P, h, v\) = JI p(A/|y, P, /?, i/A), /=i p(A/|y,/5,/?,z/A) = fG ( A/| ^ ~!~1 + 1 ) • Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 28/58 Heteroskedasticita v neznámé podobě Výpočet pro v\ • Specifikace apriorní hustoty: exponenciální rozdělení • Jiné apriorní hustoty = drobné úpravy algoritmu posteriorní simulace. • p(v\\y,f3, /?, A) snadné odvodit {v\ nevstupuje do věrohodnostní funkce) p(u\\y, p, h, A) = p(v\\\). • Z Bayesova teorému: p(v\\\) oc p{\\i>\)p{ľ\). • Jádrová podmíněná posteriorní hustota: p{v\W,P, h,\) oc ľ^) 2 r(yJ exp(-r7ívA) kde 1 1 N »/ = - + «EHAr1) + A(-]. —A / = 1 • Nestandardní hustota —>► MH algoritmus (doporučen i jiný algoritmus - acceptance sampling). < □ ► < g ► < i ► <:=^ i ^c. o Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 29/58 Heteroskedasticita v neznámé podobě Další analýza o Pro řadu hypotéz (např. f3j = 0) - Savage-Dickey density ratio. • Test náznaku odchýlení náhodných složek od normality: porovnání Mi : v\ —± oo a M2 : v\ jako konečné číslo. 9 Bayesův faktor za použití metody Gelfanda-Deye = posteriorní simulátor pro každý z těchto modelů. o Alternativně lze využít predikční p-hodnoty nebo HPDI. • Predikční analýza probíhá standardním způsobem. Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 30/58 Heteroskedasticita v neznámé podobě Empirická ilustrace Viz Koop (2003) - bude doplněno. Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 31/58 Autokorelace náhodných složek Obsah tématu Úvod Model s obecnou kovarianční maticí Heteroskedasticita ve známé podobě Q Heteroskedasticita v neznámé podobě q Autokorelace náhodných složek p Modely zdánlivě nesouvisejících regresí Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 32/58 • Korelace proměnných v čase (setrvačnost v preferencích, proces přizpůsobení). o Náhodná složka jižné A/(0/v, /7_1//v). 9 yt pro ŕ = 1..., T. o Příklad autoregresního procesu řádu 1 (AR(1)): et = p6t_i + ut, kde ut]e i.i.d. A/(0, h~ľ). < □ ► < [S? ► 4 = > 4 > š -O °s O Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 33/58 Autokorelace náhodných složek Základní pojmy a vlastnosti • Obecně řada zt od —oo do oo. • Pozorujeme pro t = 1,..., T. o Kovariančně stacionární (či slabě stacionární), pokud pro každé ras platí: E(zt) = E(zt_s) = ji, var(zt) = var(zt-s) = 70, cov(zt,zt-s) = 7SJ kde /i, 70 a 7S jsou konečné hodnoty. • Diference m-tého řádu pro m > 1: Amzt = Am~1zt — Am_1zt_i. • 7s = autokovariační funkce —>► autokorelační funkce = ^ pro s = 0,..., 00. < tg? ► < ► 1 -O°sO Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 34/58 Autokorelace náhodných složek AR(1) proces • et jako funkce ut-s pro s = 0,..., oo: oo et = ^2psut-5. s=0 • Problém při výpočtu střední hodnoty, rozptylu a kovariance et pi bude nekonečno pro \p\ > 1 (+ pro p — 1). • Podmínka stacionarity: \p\ < 1. p\ E(et) = Q, LAJ 7o = ,ar(et) = /}-1EP2S = 7^37) s=0 7s = cov(et,et-s) = p- h(l-p2Y 9 Autokovarianční funkce 7S klesá s rostoucím s. Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí = Podzim 2018 35/58 Zápis Q Autokorelace náhodných složek Kovarianční matice pro e: h Q Q = 1-ŕ P 1 P P2 p 1 P P2 P • • T-l • • • P2 P p T-ll P* P 1 □ S - = Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční matici Podzim 2018 36/58 Zobecnění • AR(p) proces: 9 Výpočet střední hodnoty, rozptylu a autokovarianční funkce (pro bayesovskou analýzu není potřeba). • Operátor zpoždění: L. • Let = eŕ_i resp. Lmet = et-m. • AR(p) proces: (1 - piL - ... - ppLp)et = ut nebo p(L)et = ut. • p(Z.) = (1 — pi L — ... — PpLp)\ polynom řádu p pro operátor zpoždění. • AR(p) je stacionární kořeny rovnice p(z) = 0 jsou všechny v absolutní hodnotě větší než jedna. • p = (pi,..., pp); a 0 je stacionární oblast modelu. Autokorelace náhodných složek Možnosti transformace 9 Posteriorní simulátro z předchozích vztahů pro obecnou matici fi. • Specifická transformace —>► vztahy v jednoduché podobě. 9 Specifikujeme Q za předpokladu AR(p) procesu chyb. • Odvození matice P\ PQPf = /. • Transformace. Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 38/58 Alternativní postup transformace • Původní model: yt = x't/3 + et, kde xt = (l,xt2,.. .,xtk)'. • Přenásobení obou stran pomocí p(L). • Y t = PÍL)yt a >► problém nestacionarity AR procesu (blízkosti nestacionaritě). • Obvykle: práce s věrohodnostní funkcí založenou na datech od t = p + 1,..., T. 9 Pokud p relativně malé vzhledem k T —>► výsledná aproximace dobrá. • yŕ* a Xf pro ŕ = p + 1,..., T nezávisí na nepozorovaných zpožděných hodnotách. Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 40/58 Autokorelace náhodných složek Značení • Žádné speciální značení. o Vycházíme jen z dat od t = p + 1,..., T. • y, y*, e a e*: vektory rozměru T — p. • Matice X a X*: rozměr (T — p) x k. 9 Gibbsův vzorkovač s využitím výsledků předchozích částí: p(/3|y, /7, p) a p(/7|y, /3, p) jsou dány dříve. • p(p|y, /3, /7) lze odvodit: za podmínky /3 a h je eŕ pro ŕ = p + 1,..., T známé a AR(p) proces je NLRM (se známým rozptylem chyb) a s koeficienty danými vektorem p. Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 41/58 Autokorelace náhodných složek Podmíněná posteriorní hustota pro (3 • Nezávislá normální-gama apriorní hustota pro f3 a h. P\y,h,p~N(/3, V), kde V = (V'1 + hX*'X*)'1, P =V(V~1P + hX*'y*). < □ ► < [S? ► 4 = > 4 > š -O °s O Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 42/58 Autokorelace náhodných složek Podmíněná posteriorní hustota pro h • Gama rozdělení: h\y,pp ~ G(s 2,u) kde v = T - p + v, (y* - X*P)'(y* - X*P) + us2 s2 = v □ iS1 Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční matici Hustoty pro p 9 Posteriorní hustota pro p závisí na své apriorní hustotě. • Predpokladáme vícerozměrné normální rozdělelní omezené na stacionární oblast: p(p) oc fN(p\p,Vp)l(p e ), • Podmíněná posteriorní hustota: p(p\y,/3,h) oc fN(p\p,Vp)l{pe), kde Vp = {V'1 + hE'E)~\ P=Vp(Vp-1p+hE'e). • E je matice (T — p) x p s t-tým řádkem et_i,..., er_p. Autokorelace náhodných složek Komplikace • Gibbsův vzorkovač: sekvenční výběry z podmíněných hustot. • Podmíněná posteriorní hustota pro p — omezené vícerozměrné normální rozdělení —± drobná komplikace. • Výběry z neomezeného rozdelenia vypuštění vzorků mimo stacionární oblast (pokud p leží uvnitř této oblasti nebo alespoň nepříliš daleko od ní). • Alternativně lze odvodit Metropolis-Hastings algoritmus. Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 45/58 Autokorelace náhodných složek Další analýza • Predikční analýza standardním způsobem; predikční p-hod noty nebo HPDI; Bayesův faktor pro ověření použitím Savage-Dickeyeho poměru hustot nebo za pomocí metody Gelfanda-Deye. • Savage-Dickey density ratio: úplné funkce hustoty pravděpodobnosti PÍP\y,P,h) a p(p\y). 9 Pro p = 1 není problém (p(p|y, /3, h) omezené jednorozměrné normální). • Pro p > 1 stacionární oblast nelineární (analytické vyjádření p{p\y,P,h) obtížné). o Aproximativní výpočet integrační konstanty: / . o í_\ /Ä/(p|p,vp)l(pe 0) p(p|y, 0, h) = _ jy ■ Jo w|p, ^p)cřp • Vzorky z //v(p|p, Vp) a vyhození výběrů mimo stacionární oblast. • Jo ^v(p|Pj Vp)dp\ podíl vzorků (z celkového počtu), který nám zůstane —>► 1 - J0 f/v(p|p; ^)dp. < □ ► s -O °s O Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 52/58 Modely zdánlivě nesouvisejících regresí Předpoklad • NLRM: emj je i.i.d. A/(0, h ľ) pro všechna / a m. • Předpoklad: e; je i.i.d. A/(0, pro / = 1,..., N, kde H je matice přesností chyb rozměru M x M. • e ~ A/(0,fi), kde Q je blokově-diagonální matice rozměru NM x NM. 0 Q = 0 H"1 \ 0 o \ o 0 H"1 / • Nevystupuje zde h (žádný rozdíl oproti předchozímu, možno dodatečně přidat). Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 53/58 Modely zdánlivě nesouvisejících regresí Apriorní hustota Rozšíření nezávislého normálního-gama rozdělení do podoby nezávislého normálního-Wishartova rozdělení: p(/3, H) = P(P)P(H) kde p(l3) = fN(l3\p,V), p(H) = fw(H\u,H). • E(H) = isH a neinformativnost pro volbu v = 0 a H_ 1 — Om Wishartovo rozdělení: maticové zobecnění gama rozdělení. n /IxM Možné jiné apriorní hustoty (přirozeně konjugované mnohdy restriktivní x analytické výsledky). □ iS1 - = Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 Modely zdánlivě nesouvisejících regresí Posteriorní hustota (3 • Gibbsův vzorkovač na základě známých vztahů: inverze NM x A/M-rozměrné matice Q. • Bloková struktura —> částečně analytická inverze —> obvyklá podoba P{l3\y,H)ap{H\y,l3): kde P\y,H~N{P, V) n \ _1 V=\V-1 + J2Xi'HXiJ , p=v^yr1p + J2Xi'Hyi) < rS? ► < -ž ► < > = >o °s o Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 55/58 Modely zdánlivě nesouvisejících regresí Posteriorní hustota H 9 Podmíněná hustota odpovídá Wishartovu rozdělení: H\y,P~W(V,H) kde V = N + v. H = n -, -1 «_1 + E(^-X^)(y/-X^)' i=l Generátory náhodných čísel z Wishartova rozdělení jsou k dispozici snadná implementace Gibbsova vzorkovače. Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 56/58 Modely zdánlivě nesouvisejících regresí Závěr • Standardně predikční analýza. • Ověření kvality modelu pomocí predikční p-hodnoty a HPDI. • Posteriorní podíl šancí pomocí Savageho-Dickeyho poměru hustot. Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 57/58 Modely zdánlivě nesouvisejících regresí Empirická ilustrace Viz Koop (2003) - bude doplněno. Bayesiánská analýza (BAAN) VI. LRM s obecnou kovarianční maticí Podzim 2018 58/58