mmzm linear
September 29, 2016
1 Lineární model
Ve zhuštěné podobě se řešení lineární regrese zapisuje pomocí matic.
Hledáme hodnoty K parametrů Oj pomocí N měření: EiY^O) = J2f aij^j' či v maticové formě E(Y\0) = AO. Matice al3 = fj(xi) jsou hodnoty sady j = 1..K funkcí (např. různé mocniny v případě polynomiálního modelu) vyjádřených v i = 1..N měřených bodech x i. Předpokládáme, že měření yl jsou nezávislá, tedy disperzní matice D(Y) = a2 W_1 je diagonální (váhy mohou být normovány na Tr(W) = 1).
Zobecněním dvojpar. postupu dostaneme pro ML odhad soustavu rovnic
ATWY = (ATWA)0
kde součin v závorce je Hessián H, regulární symetrická matice; k ní inverzní označ. D určuje disperzi. Platí
D(6) = ct2D
kdy 9 = DATWY je lineární kombinace normálně rozdělených NP (těmi jsou měřené hodnoty Y), tedy také normální NP.
Pokud a2 neznáme, odhadujeme ji pomocí "reziduálního součtu čtverců"
a2 =-(Y - Ý)TW(Y - Ý) =-V wAyi -yi)2 = ——
i
kde Y = A6 (předpověď modelu) a p je počet parametrů (dimenze Oj).
2 Mnohorozměrné problémy
Základní otázky otázka potřebnosti dalšího parametru - jaký nejmenší počet proměnných vysvětluje dostatečně data?
2.1   Hlavní komponenty - principál component analysis (PCA)
Matice A popisuje transformaci (rotaci/inverzi) měřených veličin
Y = AX
• hledáme takovou kombinaci a\X, kdy V(a\X) bude největší za normalizační podmínky a\b\ = 1 -> první hlavní komponenta
1
• pak hledáme takovou kombinaci a>2X , kdy ViaiX) bude největší za podmínky 122^2 = 1 a Cov{a\X, C12X) = 0 -> druhá hlavní komponenta
Nechť proměnné X mají kovarianční matici X
řešení: najdeme vlastní čísla Al a vlastní vektory tt1 kovar. matice, předpokládáme, že budou ortogonální (autom, splněno, pokud jsou vlastní čísla různá).
Matice W vlastních vektorů matice XTX a sdružená matice V vlastních vektorů matice XXT (ident. v případě čtvercové matice X) jsou transformačními maticemi singulární dekompozice matice X ve tvaru X = WLV, kde L je matice pouze s diagonálními nezápornými elementy.
Stopa kovar. matice je při transformaci zachována - součet variancí je součtem vlastních čísel. Vlastní vektory obvykle uspořádáme podle velikosti vlast, čísel.
Reference: [Francis] Paul J. Francis, Beverley J. Wills http: //arxiv. org/abs/astro-ph/ 9905079 + code ref.
2.2   Faktorová analýza
jde o rozklad kovarianční matice X na několik (m) společných faktorů a zbylé "specifické" faktory
E{X) = [i
X — [i = LF + e
E (F) = 0, Cov(F) = I (ortogonální faktory); E{e) = 0, Ccw(e) = í» (diagonální) pak Cov{X) = L Ľ + -ľ
faktory F jsou určeny až na ortogonální rotaci, "loading" L určíme jako L = Cov(X, F) faktorizace může vycházet z PCA - L = y/(A)e, kdy zahrneme jen m nejvýznamnějších vlastních vektorů
Faktorová analýza je termín používaný i pro plány experimentů
2