Ve zhuštěné podobě se řešení lineární regrese zapisuje pomocí matic.
Hledáme hodnoty K parametrů $\theta_j$ pomocí N měření: $E(Y_i|\theta)=\sum_j^N a_{ij} \theta_j$, či v maticové formě $E(\mathbf{Y}|\theta)=\mathbf{A}\mathbf{\theta}$. Matice $a_{ij}=f_j(x_i)$ jsou hodnoty sady $j=1..K$ funkcí (např. různé mocniny v případě polynomiálního modelu) vyjádřených v $i=1..N$ měřených bodech $x_i$. Předpokládáme, že měření $y_i$ jsou nezávislá, tedy disperzní matice $D(\mathbf{Y})=\sigma^2 \mathbf{W}^{-1}$ je diagonální (váhy mohou být normovány na $Tr(\mathbf{W})=1$).
Zobecněním dvojpar. postupu dostaneme pro ML odhad soustavu rovnic
$$\mathbf{A}^T \mathbf{W} \mathbf{Y} = (\mathbf{A}^T \mathbf{W} \mathbf{A}) \widehat{\mathbf{\theta}}$$kde součin v závorce je Hessián $\mathbf{H}$, regulární symetrická matice; k ní inverzní označ. $\mathbf{D}$ určuje disperzi. Platí
$$D(\widehat{\mathbf{\theta}})=\sigma^2 \mathbf{D}$$kdy $\widehat{\mathbf{\theta}} = D \mathbf{A}^T \mathbf{W} \mathbf{Y}$ je lineární kombinace normálně rozdělených NP (těmi jsou měřené hodnoty $Y$), tedy také normální NP.
Pokud $\sigma^2$ neznáme, odhadujeme ji pomocí "reziduálního součtu čtverců"
$$\widehat{\sigma^2}=\frac{1}{N-p}(\mathbf{Y}-\widehat{\mathbf{Y}})^T \mathbf{W} (\mathbf{Y}-\widehat{\mathbf{Y}}) = \frac{1}{N-p} \sum_{i}^{N} w_i (y_i-\widehat{y_i})^2 = \frac{S_0}{N-p}$$kde $\widehat{\mathbf{Y}}=\mathbf{A}\widehat{\mathbf{\theta}}$ (předpověď modelu) a $p$ je počet parametrů (dimenze $\theta_j$).
Základní otázky otázka potřebnosti dalšího parametru - jaký nejmenší počet proměnných vysvětluje dostatečně data?
Matice $A$ popisuje transformaci (rotaci/inverzi) měřených veličin $$Y=A X$$
Nechť proměnné X mají kovarianční matici $\Sigma$
řešení: najdeme vlastní čísla $\lambda_i$ a vlastní vektory $\pi_i$ kovar. matice, předpokládáme, že budou ortogonální (autom. splněno, pokud jsou vlastní čísla různá).
Matice W vlastních vektorů matice $X^T X$ a sdružená matice V vlastních vektorů matice $X X^T$ (ident. v případě čtvercové matice X) jsou transformačními maticemi singulární dekompozice matice X ve tvaru $X=W L V$, kde L je matice pouze s diagonálními nezápornými elementy.
Stopa kovar. matice je při transformaci zachována - součet variancí je součtem vlastních čísel. Vlastní vektory obvykle uspořádáme podle velikosti vlast. čísel.
[Francis] Paul J. Francis, Beverley J. Wills http://arxiv.org/abs/astro-ph/9905079 + code ref.
jde o rozklad kovarianční matice $\Sigma$ na několik (m) společných faktorů a zbylé "specifické" faktory
$E(X)=\mu$
$X-\mu=L F + \epsilon$
$E(F)=0, Cov(F)=I$ (ortogonální faktory); $E(\epsilon)=0, Cov(\epsilon)=\Psi$ (diagonální)
pak $Cov(X)=LL' + \Psi$
faktory $F$ jsou určeny až na ortogonální rotaci, "loading" L určíme jako $L=Cov(X,F)$
faktorizace může vycházet z PCA - $L=\sqrt(\lambda) e$, kdy zahrneme jen m nejvýznamnějších vlastních vektorů
Faktorová analýza je termín používaný i pro plány experimentů