Bayesiánská analýza VI. Lineární regresní model s obecnou kovarianční maticí Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 1 / 58 Obsah tématu 1 Úvod 2 Model s obecnou kovarianční maticí 3 Heteroskedasticita ve známé podobě 4 Heteroskedasticita v neznámé podobě 5 Autokorelace náhodných složek 6 Modely zdánlivě nesouvisejících regresí Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 2 / 58 Úvod Obsah tématu 1 Úvod 2 Model s obecnou kovarianční maticí 3 Heteroskedasticita ve známé podobě 4 Heteroskedasticita v neznámé podobě 5 Autokorelace náhodných složek 6 Modely zdánlivě nesouvisejících regresí Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 3 / 58 Úvod Úvod Šestá kapitola z Koop (2003) resp. učebního textu. Heteroskedasticita náhodných složek. Autokorelace náhodných složek. Hierarchická apriorní hustota. Modely zdánlivě nesouvisejících regresí. Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 4 / 58 Úvod Předpoklady Model: y = Xβ + . Předpoklady: 1 ∼ N(0N, h−1 Ω). 2 Všechny prvky X jsou buď nenáhodné veličiny nebo nezávislé náhodné veličiny vzhledem k . Různé modely podle podoby Ω. Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 5 / 58 Model s obecnou kovarianční maticí Obsah tématu 1 Úvod 2 Model s obecnou kovarianční maticí 3 Heteroskedasticita ve známé podobě 4 Heteroskedasticita v neznámé podobě 5 Autokorelace náhodných složek 6 Modely zdánlivě nesouvisejících regresí Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 6 / 58 Model s obecnou kovarianční maticí Transformace modelu Existence matice P: PΩP = IN. Transformovaný model: y∗ = X∗ β + ∗ , kde y∗ = Py, X∗ = PX a ∗ = P . ∗ ∼ N(0N, h−1IN). Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 7 / 58 Model s obecnou kovarianční maticí Implikace Pokud Ω známa → transformace dat (standardní bayesiánská analýza. Pokud Ω neznámá → podmíněno Ω posteriorní hustoty pro β a h standardní podobu + p(Ω|y, β, h) závisí na přesné formě Ω. Ostatní podmíněné hustoty stejné jako dříve (podmíněné Ω). Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 8 / 58 Model s obecnou kovarianční maticí Věrohodnostní funkce Z vlastností vícerozměrného normálního rozdělení: p(y|β, h, Ω) = h N 2 (2π) N 2 |Ω|−1 2 exp − h 2 (y − Xβ) Ω−1 (y − Xβ) . S transformovanými daty: p(y∗ |β, h, Ω) = h N 2 (2π) N 2 exp − h 2 (y∗ − X∗ β) (y∗ − X∗ β) . Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 9 / 58 Model s obecnou kovarianční maticí Zobecněná metoda nejmenších čtverců ν = N − k. β(Ω) = (X∗ X∗ )−1 X∗ y∗ = (X Ω−1 X)−1 X Ω−1 y, s2 (Ω) = (y∗ − X∗β(Ω)) (y∗ − X∗β(Ω)) ν = (y − Xβ(Ω)) Ω−1(y − Xβ(Ω)) ν , p(y|β, h, Ω) = 1 (2π) N 2 × h 1 2 exp − h 2 (β − β(Ω)) X Ω−1 X(β − β(Ω)) × h ν 2 exp − hν 2s(Ω)−2 . Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 10 / 58 Model s obecnou kovarianční maticí Apriorní hustota Normální-gama apriorní hustotu pro β a h a obecné značení p(Ω) pro Ω: p(β, h, Ω) = p(β)p(h)p(Ω), kde p(β) = fN(β|β, V ), p(h) = fG(h|ν, s−2 ). Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 11 / 58 Model s obecnou kovarianční maticí Posteriorní hustota Sdružená hustota nemá tvar známé hustoty: p(β, h, Ω|y) ∝ p(Ω) × exp − 1 2 h(y∗ − X∗ β) (y∗ − X∗ β) + (β − β) V −1 (β − β) × h N+ν−2 2 exp − hν 2s−2 . Odvození podmíněných hustot. Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 12 / 58 Model s obecnou kovarianční maticí Podmíněná posteriorní hustota pro β Vícerozměrné normální rozdělení: β|y, h, Ω ∼ N(β, V ), kde V = (V −1 + hX Ω−1 X)−1 , β = V (V −1 β + hX Ω−1 Xβ(Ω)). Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 13 / 58 Model s obecnou kovarianční maticí Podmíněná posteriorní hustota pro h Gama rozdělení: h|y, β ∼ G(s−2 , ν), kde ν = N + ν, s2 = (y − Xβ) Ω−1(y − Xβ) + νs2 ν . Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 14 / 58 Model s obecnou kovarianční maticí Podmíněná posteriorní hustota pro Ω Jádrová hustota: p(Ω|y, β, h) ∝ p(Ω)|Ω|−1 2 exp − h 2 (y − Xβ) Ω−1 (y − Xβ) Obecně nenabývá podoby známého rozdělení. Následně konkretizace + odvození posteriorních simulátorů. Pokud jsme schopni generovat výběry z p(Ω|y, β, h) → Gibbsův vzorkovač. Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 15 / 58 Heteroskedasticita ve známé podobě Obsah tématu 1 Úvod 2 Model s obecnou kovarianční maticí 3 Heteroskedasticita ve známé podobě 4 Heteroskedasticita v neznámé podobě 5 Autokorelace náhodných složek 6 Modely zdánlivě nesouvisejících regresí Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 16 / 58 Heteroskedasticita ve známé podobě Úvod var( i ) = h−1ωi pro i = 1, . . . , N: Ω =        ω1 0 · · 0 0 ω2 0 · · · 0 · · · · · · · 0 0 · · 0 ωN        . Obecně předpokládáme: ωi = h(zi , α), kde h() je kladná funkce a zi vektor všech nebo některých vysvěltujících proměnných. Obvyklá volba: h(zi , α) = (1 + α1zi1 + α2zi2 + αpzip)2 . Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 17 / 58 Heteroskedasticita ve známé podobě Princip Jsme schopni vyjádřit výraz pro Ω. Ω závisí na parametrech α. Vhodný simulátor: Metropolis-within-Gibbs. p(β|y, h, α) normální; p(h|y, β, α) gama; potřeba generování vzorků z p(α|y, β, h). p(α|y, β, h) ∝ p(α)|Ω(zi , α)|−1 2 × exp − h 2 (y − Xβ) Ω(zi , α)−1 (y − Xβ) . Např. Random Walk Chain Metropolis-Hastings algoritmus + Bayesův faktor pro např. α1 = . . . = αp = 0 (přístup Gelfanda-Deye) + HPDI, p-hodnoty. Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 18 / 58 Heteroskedasticita ve známé podobě Empirická ilustrace Viz Koop (2003) – bude doplněno. Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 19 / 58 Heteroskedasticita v neznámé podobě Obsah tématu 1 Úvod 2 Model s obecnou kovarianční maticí 3 Heteroskedasticita ve známé podobě 4 Heteroskedasticita v neznámé podobě 5 Autokorelace náhodných složek 6 Modely zdánlivě nesouvisejících regresí Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 20 / 58 Heteroskedasticita v neznámé podobě Obecné principy Platí: Ω =        ω1 0 · · 0 0 ω2 0 · · · 0 · · · · · · · 0 0 · · 0 ωN        . Neznáme, neumíme nebo nechceme specifikovat podobu pro ωi . Jak odhadnout na základě N pozorování N + k + 1 parametrů β, h a ω = (ω1, . . . , ωN) ? Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 21 / 58 Heteroskedasticita v neznámé podobě Užitečnost postupu 1 Využití tzv. hierarchických priorů – způsob tvorby více flexibilních na parametry bohatých modelů pro statistickou analýzu. 2 Zavedení konceptu vztahujícího se k flexibilnímu ekonometrickému modelování (umožnění uvolnění předpokladu normality náhodné složky). Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 22 / 58 Heteroskedasticita v neznámé podobě Značení Apriorní hustota p(ω) pro N-rozměrný vektor parametrů ω → přesnost chyby: λ ≡ (λ1, λ2, . . . , λN) ≡ (ω−1 1 , ω−1 2 , . . . , ω−1 N ) . Předpokládejme apriorní hustotu pro λ: p(λ) = N t=1 fG(λi |1, νλ). Závisí na hyperparametru νλ, který si volíme. Předpokládá se, že každé λi pochází z téhož rozdělení (i.i.d. výběry z gama rozdělení). Vypořádání se s problémy vysoké dimenzionality vektoru λ → rozptyly náhodných složek se budou vzájemně lišit, ale budou pocházet ze stejného rozdělení → flexibilní model s dostatečně pevnou strukturou pro možnou statistickou analýzu. Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 23 / 58 Heteroskedasticita v neznámé podobě Důvod volby Proč gama rozdělení se střední hodnotou 1.0? Model stejný jako lineární regresní model s náhodnými složkami z i.i.d. Studentova t-rozdělení s νλ stupni volnosti: p( i ) = ft( i |0, h−1 , νλ). Studentovo t-rozdělení podobné normálnímu rozdělení × tlustší konce a je více flexibilnější. Výhoda: rámec normálního lineárního regresního modelu (využití výpočetních postupů pro posteriorní simulátor pro LRM s nezávislými t-rozdělenými chybami). Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 24 / 58 Heteroskedasticita v neznámé podobě Obecné vysvětlení Mix specifických normálních rozdělení → tvorba mnohem flexibilnějšího rozdělení váženým průměrem více normálních rozdělení. Kompozice (mixture) normálních modelů = mocný nástroj, kdy ekonomická teorie nenabízí specifikaci věrohodnostní funkce a my chceme být dostatečně flexibilní. Naše chápání heteroskedasticity v neznámé podobě = poměrný mix normálních rozdělení (scale mixture of Normals). Předpoklad i ∼ N(0, h−1λ−1 i ) s naší apriorní hustotou pro λi = rozdělení chyb je váženým průměrem (mixem) různých normálních rozdělelní s různými rozptyly (tj. různá měřítka – scales) a stejné střední hodnoty (tj. všechny chyby mají nulovou střední hodnotu). Pokud kompozice vytvořena za použití gama hustot fG(λi |1, νλ) → t-rozdělení. Jiné hustoty než fG(λi |1, νλ) → jiná (flexibilnější) rozdělení. Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 25 / 58 Heteroskedasticita v neznámé podobě Další uvolnění Pokud νλ neznámé: neznámý parametr. V bayesovském konceptu potřeba apriorní hustoty: p(νλ). Specifikace apriorní hustoty pro λ ve dvou krocích: p(λ) = N t=1 fG(λi |1, νλ) a p(νλ). Alternativně: p(λ|νλ)p(νλ). Hierarchické apriorní hustoty = apriorní hustoty zapsána ve dvou či více krocích. Není nutné → hierarchický prior lze zapsat v nehierarchickém pojetí. V našem případě: p(λ) = p(λ|νλ)p(νλ)dνλ. Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 26 / 58 Heteroskedasticita v neznámé podobě Problémy Pro posteriorní hustotu nemusí existovat střední hodnoty a směrodatné odchylky. Geweke – pokud použijeme neinformativní apriorní hustotu pro β (p(β) ∝ 1 na intervalu (−∞, ∞)): 1 Neexistuje posteriorní střední hodnota, pokud p(νλ) není nulová na intervalu (0, 2 . 2 Neexistuje posteriorní směrodatná odchylka, pokud p(νλ) není nulová na intervalu (0, 4 . Neinformativní apriorní hustotu pro νλ: p(νλ) ∝ 1 νλ(0, ∞). p(νλ≤0) p(νλ>100) = 0 ⇒ hodně informativní (náhodné složky normálně rozděleny). Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 27 / 58 Heteroskedasticita v neznámé podobě Gibbsův vzorkovač Formálně plně podmíněné hustoty pravděpodobnosti: p(β|y, h, λ, νλ) a p(h|y, β, λ, νλ) × za podmínky λ nám νλ nepřináší žádnou novou informaci. p(β|y, h, λ, νλ) = p(β|y, h, λ) a p(h|y, β, λ, νλ) = p(h|y, β, λ) již odvozeny. Odvození podmíněné hustoty pro λ zřejmé: dosazení apriorní hustoty danou do obecného tvaru podmíněné posteriorní hustoty pro Ω (jedná se o funkci proměnných λi ). Zjišťujeme, že λi jsou navzájem nezávislé: p(λ|y, β, h, νλ) = N i=1 p(λi |y, β, h, νλ), p(λi |y, β, h, νλ) = fG λi | νλ + 1 h 2 i + νλ , νλ + 1 . Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 28 / 58 Heteroskedasticita v neznámé podobě Výpočet pro νλ Specifikace apriorní hustoty: exponenciální rozdělení p(νλ) = fG(νλ|νλ, 2) Jiné apriorní hustoty = drobné úpravy algoritmu posteriorní simulace. p(νλ|y, β, h, λ) snadné odvodit (νλ nevstupuje do věrohodnostní funkce) ⇒ p(νλ|y, β, h, λ) = p(νλ|λ). Z Bayesova teorému: p(νλ|λ) ∝ p(λ|νλ)p(νλ). Jádrová podmíněná posteriorní hustota: p(νλ|y, β, h, λ) ∝ νλ 2 Nνλ 2 Γ νλ 2 −N exp(−ηνλ) kde η = 1 νλ + 1 2 N i=1 [ln(λ−1 i ) + λi ]. Nestandardní hustota → MH algoritmus (doporučen i jiný algoritmus – acceptance sampling). Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 29 / 58 Heteroskedasticita v neznámé podobě Další analýza Pro řadu hypotéz (např. βj = 0) – Savage-Dickey density ratio. Test náznaku odchýlení náhodných složek od normality: porovnání M1 : νλ → ∞ a M2 : νλ jako konečné číslo. Bayesův faktor za použití metody Gelfanda-Deye = posteriorní simulátor pro každý z těchto modelů. Alternativně lze prediktivní p-hodnoty nebo HPDI. Predikční analýza probíhá standardním způsobem. Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 30 / 58 Heteroskedasticita v neznámé podobě Empirická ilustrace Viz Koop (2003) – bude doplněno. Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 31 / 58 Autokorelace náhodných složek Obsah tématu 1 Úvod 2 Model s obecnou kovarianční maticí 3 Heteroskedasticita ve známé podobě 4 Heteroskedasticita v neznámé podobě 5 Autokorelace náhodných složek 6 Modely zdánlivě nesouvisejících regresí Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 32 / 58 Autokorelace náhodných složek Úvod Korelace proměnných v čase (setrvačnost v preferencích, proces přizpůsobení). Náhodná složka jižne N(0N, h−1IN). yt pro t = 1 . . . , T. Příklad autoregresního procesu řádu 1 (AR(1)): t = ρ t−1 + ut, kde ut je i.i.d. N(0, h−1). Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 33 / 58 Autokorelace náhodných složek Základní pojmy a vlastnosti Obecně řada zt od −∞ do ∞. Pozorujeme pro t = 1 . . . , T. Kovariančně stacionární (či slabě stacionární), pokud pro každé t a s platí: E(zt) = E(zt−s) = µ, var(zt) = var(zt−s) = γ0, cov(zt, zt−s) = γs, kde µ, γ0 a γs jsou konečné hodnoty. Diference m-tého řádu pro m > 1: ∆mzt = ∆m−1zt − ∆m−1zt−1. γs = autokovariační funkce → autokorelační funkce = γs γ0 pro s = 0, . . . , ∞. Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 34 / 58 Autokorelace náhodných složek AR(1) proces t jako funkce ut−s pro s = 0, . . . , ∞: t = ∞ s=0 ρs ut−s. Problém při výpočtu střední hodnoty, rozptylu a kovariance t → ρs bude nekonečno pro |ρ| > 1 (+ pro ρ = 1). Podmínka stacionarity: |ρ| < 1. |ρ| < 1 ⇒ E( t) = 0, γ0 = var( t) = h−1 ∞ s=0 ρ2s = 1 h(1 − ρ2) , γs = cov( t, t−s) = ρs h(1 − ρ2) . Autokovarianční funkce γs klesá s rostoucím s. Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 35 / 58 Autokorelace náhodných složek Zápis Ω Kovarianční matice pro : h−1Ω. Ω = 1 1 − ρ2        1 ρ ρ2 · ρT−1 ρ 1 ρ · · ρ2 ρ · · ρ2 · · · · ρ ρT−1 · ρ2 ρ 1        Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 36 / 58 Autokorelace náhodných složek Zobecnění AR(p) proces: t = ρ1 t−1 + . . . + ρp t−p + ut. Výpočet střední hodnoty, rozptylu a autokovarianční funkce (pro bayesovskou analýzu není potřeba). Operátor zpoždění: L. L t = t−1 resp. Lm t = t−m. AR(p) proces: (1 − ρ1L − . . . − ρpLp ) t = ut nebo ρ(L) t = ut. ρ(L) = (1 − ρ1L − . . . − ρpLp): polynom řádu p pro operátor zpoždění. AR(p) je stacionární ⇔ kořeny rovnice ρ(z) = 0 jsou všechny v absolutní hodnotě větší než jedna. ρ = (ρ1, . . . , ρp) a Φ je stacionární oblast modelu. Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 37 / 58 Autokorelace náhodných složek Možnosti transformace Posteriorní simulátro z předchozích vztahů pro obecnou matici Ω. Specifická transformace → vztahy v jednoduché podobě. Specifikujeme Ω za předpokladu AR(p) procesu chyb. Odvození matice P: PΩP = I. Transformace. Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 38 / 58 Autokorelace náhodných složek Alternativní postup transformace Původní model: yt = xtβ + t, kde xt = (1, xt2, . . . , xtk) . Přenásobení obou stran pomocí ρ(L). y∗ t = ρ(L)yt a x∗ t = ρ(L)xt: y∗ t = x∗ t β + ut. ut je i.i.d. N(0, h−1). Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 39 / 58 Autokorelace náhodných složek „Problém“ Transformované hodnoty pro t ≤ p? Příklad: y∗ t závisí na y0, . . . , y1−p. Ošetření počátečních podmínek → problém nestacionarity AR procesu (blízkosti nestacionaritě). Obvykle: práce s věrohodnostní funkcí založenou na datech od t = p + 1, . . . , T. Pokud p relativně malé vzhledem k T → výsledná aproximace dobrá. y∗ t a x∗ t pro t = p + 1, . . . , T nezávisí na nepozorovaných zpožděných hodnotách. Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 40 / 58 Autokorelace náhodných složek Značení Žádné speciální značení. Vycházíme jen z dat od t = p + 1, . . . , T. y, y∗, a ∗: vektory rozměru T − p. Matice X a X∗: rozměr (T − p) × k. Gibbsův vzorkovač s využitím výsledků předchozích částí: p(β|y, h, ρ) a p(h|y, β, ρ) jsou dány dříve. p(ρ|y, β, h) lze odvodit: za podmínky β a h je t pro t = p + 1, . . . , T známé a AR(p) proces je NLRM (se známým rozptylem chyb) a s koeficienty danými vektorem ρ. Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 41 / 58 Autokorelace náhodných složek Podmíněná posteriorní hustota pro β Nezávislá normální-gama apriorní hustota pro β a h. β|y, h, ρ ∼ N(β, V ), kde V = (V −1 + hX∗ X∗ )−1 , β = V (V −1 β + hX∗ y∗ ). Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 42 / 58 Autokorelace náhodných složek Podmíněná posteriorní hustota pro h Gama rozdělení: h|y, βρ ∼ G(s−2 , ν), kde ν = T − p + ν, s2 = (y∗ − X∗β) (y∗ − X∗β) + νs2 ν . Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 43 / 58 Autokorelace náhodných složek Hustoty pro ρ Posteriorní hustota pro ρ závisí na své apriorní hustotě. Předpokládáme vícerozměrné normální rozdělelní omezené na stacionární oblast: p(ρ) ∝ fN(ρ|ρ, V ρ)1(ρ ∈ Φ), Podmíněná posteriorní hustota: p(ρ|y, β, h) ∝ fN(ρ|ρ, V ρ)1(ρ ∈ Φ), kde V ρ = (V −1 ρ + hE E)−1 , ρ = V ρ(V −1 ρ ρ + hE ). E je matice (T − p) × p s t-tým řádkem t−1, . . . , t−p. Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 44 / 58 Autokorelace náhodných složek Komplikace Gibbsův vzorkovač: sekvenční výběry z podmíněných hustot. Podmíněná posteriorní hustota pro ρ = omezené vícerozměrné normální rozdělení → drobná komplikace. Výběry z neomezeného rozdělení a vypuštění vzorků mimo stacionární oblast (pokud ρ leží uvnitř této oblasti nebo alespoň nepříliš daleko od ní). Alternativně lze odvodit Metropolis-Hastings algoritmus. Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 45 / 58 Autokorelace náhodných složek Další analýza Predikční analýza standardním způsobem; predikční p-hodnoty nebo HPDI; Bayesův faktor pro ověření použitím Savage-Dickeyeho poměru hustot nebo za pomocí metody Gelfanda-Deye. Savage-Dickey density ratio: úplné funkce hustoty pravděpodobnosti p(ρ|y, β, h) a p(ρ|y). Pro p = 1 není problém (p(ρ|y, β, h) omezené jednorozměrné normální). Pro p > 1 stacionární oblast nelineární (analytické vyjádření p(ρ|y, β, h) obtížné). Aproximativn výpočet integrační konstanty: p(ρ|y, β, h) = fN(ρ|ρ, V ρ)1(ρ ∈ Φ) Φ fN(ρ|ρ, V ρ)dρ . Vzorky z fN(ρ|ρ, V ρ) a vyhození výběrů mimo stacionární oblast. Φ fN(ρ|ρ, V ρ)dρ: podíl vzorků (z celkového počtu), který nám zůstane → 1 − Φ fN(ρ|ρ, V ρ)dρ. Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 46 / 58 Autokorelace náhodných složek Empirická ilustrace Viz Koop (2003) – bude doplněno. Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 47 / 58 Modely zdánlivě nesouvisejících regresí Obsah tématu 1 Úvod 2 Model s obecnou kovarianční maticí 3 Heteroskedasticita ve známé podobě 4 Heteroskedasticita v neznámé podobě 5 Autokorelace náhodných složek 6 Modely zdánlivě nesouvisejících regresí Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 48 / 58 Modely zdánlivě nesouvisejících regresí Motivace „Seemingly Unrelated Regressions“ (SUR) model. Analýza spotřeby (poptávka po různých kategoriích), poptávka po výrobních faktorech (pro každý z faktorů). Klasické ekonometrie: redukovaný tvar modelu simultánních rovnic, VAR model. Někdy práce s jednotlivými rovnicemi dostatečná × SUR model pro „lepší“ odhad. Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 49 / 58 Modely zdánlivě nesouvisejících regresí Zápis SUR model: ymi = xmi βm + mi . i = 1, . . . , N: N pozorování pro m = 1, . . . , M rovnic. ymi : i-té pozorování závisle proměnné v rovnici m. xmi : km-rozměrný vektor obsahující i-té pozorování vektoru vysvětlujících proměnných v m-té rovnici. βm: km-rozměrný vektor regresních koeficientů pro m-tou rovnici. Vysvětlující proměnné mohou být různé v jendotlivých rovnicích. Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 50 / 58 Modely zdánlivě nesouvisejících regresí Maticové vyjádření Přepsání do vektorů a matic: yi =      y1i · · yMi      β =      β1 · · βM      Xi =        x1i 0 · · 0 0 x2i 0 · · · · · · · · · · · 0 0 · · 0 xMi        . k = M m=1 km → yi = Xi β + i . Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 51 / 58 Modely zdánlivě nesouvisejících regresí Maticové vyjádření II Pozorování dohromady: y =      y1 · · yN      =      1 · · N      X =      X1 · · XN      . Zápis: y = Xβ + . SUR model – lineární regresní model. Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 52 / 58 Modely zdánlivě nesouvisejících regresí Předpoklad NLRM: mi je i.i.d. N(0, h−1) pro všechna i a m. Předpoklad: i je i.i.d. N(0, H−1) pro i = 1, . . . , N, kde H je matice přesností chyb rozměru M × M. ∼ N(0, Ω), kde Ω je blokově-diagonální matice rozměru NM × NM: Ω =        H−1 0 · · 0 0 H−1 · · · · · · · · · · · · 0 0 · · 0 H−1        . Nevystupuje zde h (žádný rozdíl oproti předchozímu, možno dodatečně přidat). Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 53 / 58 Modely zdánlivě nesouvisejících regresí Apriorní hustota Rozšíření nezávislého normálního-gama rozdělení do podoby nezávislého normálního-Wishartova rozdělení: p(β, H) = p(β)p(H), kde p(β) = fN(β|β, V ), p(H) = fW (H|ν, H). Wishartovo rozdělení: maticové zobecnění gama rozdělení. E(H) = νH a neinformativnost pro volbu ν = 0 a H−1 = 0M×M. Možné jiné apriorní hustoty (přirozeně konjugované mnohdy restriktivní × analytické výsledky). Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 54 / 58 Modely zdánlivě nesouvisejících regresí Posteriorní hustota β Gibbsův vzorkovač na zákaldě známých vztahů: inverze NM × NM-rozměrné matice Ω. Bloková struktura → částečně analytická inverze → obvyklá podoba p(β|y, H) a p(H|y, β): β|y, H ∼ N(β, V ) kde V = V −1 + N i=1 Xi HXi −1 , β = V V −1 β + N i=1 Xi Hyi . Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 55 / 58 Modely zdánlivě nesouvisejících regresí Posteriorní hustota H Podmíněná hustota odpovídá Wishartovu rozdělení: H|y, β ∼ W (ν, H) kde ν = N + ν, H = H−1 + N i=1 (yi − Xi β)(yi − Xi β) −1 . Generátory náhodných čísel z Wishartova rozdělení jsou k dispozici ⇒ snadná implementace Gibbsova vzorkovače. Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 56 / 58 Modely zdánlivě nesouvisejících regresí Závěr Standardně predikční analýza. Ověření kvality modelu pomocí predikční p-hodnoty a HPDI. Posteriorní podíl šancí pomocí Savageho-Dickeyho poměru hustot. Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 57 / 58 Modely zdánlivě nesouvisejících regresí Empirická ilustrace Viz Koop (2003) – bude doplněno. Bayesiánská analýza (BAAN) V. LRM s obecnou kovarianční maticí Podzim 2011 58 / 58