Určení více parametrů

Klasický příklad je určení střední hodnoty i rozptylu ze vzorku normálně rozdělených NP. Funkce hustoty pravděpodobnosti $$f(y_i|\mu, \sigma)=\frac{1}{\sqrt{2\pi}\sigma} \exp \left[-\frac{(y_i-\mu)^2}{2\sigma^2}\right]$$ dá po zlogaritmování věrohodnost

$$ \ln L({\mathbf y}|\mu, \sigma) =\sum_{i=1}^n \ln f_\xi(y_i|\mu, \sigma) = \sum_{i=1}^n \left[-\ln(\sqrt{2\pi}\sigma) -\frac{(y_i-\mu)^2}{2\sigma^2}\right] = -n\ \ln(\sqrt{2\pi}\sigma) - \frac{1}{2\sigma^2} \sum_{i=1}^n (y_i-\mu)^2$$

Na $\mu$ závisí jen druhý člen, tedy podmínka na extrém je minimalizací poslední sumy (známá suma čtverců reziduí, kde reziduum je rozdíl naměřené hodnoty ($y_i$) a modelu (v tomto nejjednodušším případě konstanta $\mu$).

$$\frac{\partial \ln L({\mathbf y}|\mu, \sigma)}{\partial \mu}= \frac{1}{\sigma^2} \sum_{i=1}^n (y_i-\mu) = 0,$$ což dá jednoduché řešení $\hat \mu = \sum y_i /n = \bar y$. Pro normální rozdělení je tedy ML odhadem (s nejmenším rozptylem) aritmetický průměr.

Pro parametr $\sigma$ je odhad $$\frac{\partial \ln L({\mathbf y}|\mu, \sigma)}{\partial \sigma}= - \frac{n}{\sigma} + \frac{1}{2} \frac{2}{\sigma^3} \sum_{i=1}^n (y_i-\mu)^2 = 0$$ s řešením ${\hat \sigma}^2 = \sum_{i=1}^n (y_i-\mu)^2 /n$, tedy zde odhad jednoho parametru závisí na druhém.

Pozor: odhady $\hat \mu, \hat\sigma$ jsou náhodné proměnné, kdežto $\mu, \sigma$ označuje (skutečné) parametry rozdělovací funkce, tedy čísla, která se snažíme nalézt.


Nejistoty získáme z kovarianční matice inverzí matice druhých derivací $$D=\left. \left(\frac{-\partial^2 \ln L}{\partial \theta^2} \right)^{-1} \right|{\theta=\widehat{\theta}},$$ kdy $$\frac{\partial^2 \ln L}{\partial \mu ^2} = \frac{\sum{i=1}^n (-1)}{\sigma^2} =- \frac{n}{\sigma^2}$$

$$\frac{\partial^2 \ln L}{\partial \sigma ^2} = \frac{n}{\sigma^2} - \frac{3}{\sigma^4} \sum_{i=1}^n (y_i-\mu)^2 = -\frac{2n}{{\hat \sigma}^2} $$ kde jsme místo sumy dosadili odhad $\hat \sigma$ z podmínky pro první derivaci. Smíšená derivace je pak $$\frac{\partial^2 \ln L}{\partial \sigma \partial \mu} = -\frac{2}{\sigma^3} \sum_{i=1}^n (y_i-\mu) $$ po dosazení $\mu=\hat \mu=\bar y$ je ale tento člen roven 0.

V maximu (jde o maximum, jelikož determinant matice je kladný a minory záporné) v bodě $[\hat \mu, \hat\sigma]$ je tedy matice diagonální, což poněkud usnadňuje výpočet inverzní matice

$$D=\left(\begin{matrix}{\hat\sigma}^2/n & 0 \ 0 & {\hat\sigma}^2/2n\end{matrix}\right)$$

Vychýlenost

Odhad $\hat \mu=\bar y$ je nevychýlený: když $E(y_i)=\mu$, pak $E(\hat \mu)=E(\bar y)=\mu$. V případě rozptylu $E({\hat \sigma}^2)=\sum_{i=1}^n E((y_i-\mu)^2) /n$, pokud dosadíme odhad $\hat \mu$ (skutečnou střední hodnotu neznáme), pak můžeme psát

$$ \sum_{i=1}^n E((y_i-\hat \mu)^2) /n = \sum_{i=1}^n E(([y_i- \mu] - [\mu - \hat \mu])^2) = 1/n\ \sum_{i=1}^n E([y_i- \mu]^2) + E([\hat \mu - \mu]^2) - 2 E( [y_i- \mu] [\hat \mu - \mu])$$

První člen je z definice roven rozptylu $\sigma^2$, druhý člen rozptylu odhadu $D(\hat\mu)={\sigma}^2/n$ (tady jde o skutečné rozptyly, nikoli odhady). U třetího musíme zpět prohodit střední hodnotu a sumu, kdy $$E\left( [\hat \mu - \mu]\sum (y_i-\mu) \right) = E\left( [\hat \mu - \mu][\sum y_i- n \mu] \right)=E\left( [\hat \mu - \mu][n \hat\mu- n \mu] \right) = n D(\hat \mu).$$

Ve výsledku $E({\hat \sigma}^2)= 1/n\ (n\ \sigma^2 - n\ \sigma^2/n) = (n-1)/n\ \sigma^2$. Protože používáme odhad $\mu$, který je "přizpůsobený" danému vzorku $[y_1, y_2 \dots y_n]$, tedy mu leží blíž než skutečný střed rozdělení, tak dostáváme z ML odhadu pro rozptyl podhodnocené číslo.

Nevychýlený odhad rozptylu je větší faktorem $n/(n-1)$, tedy známé ${\hat \sigma'}^2 = \sum_{i=1}^n (y_i-\mu)^2 /(n-1)$. Ovšem také nejistota $\sigma'$ se zvětší faktorem $\sqrt{n/(n-1)}$, tedy pro rozptyl $$D({\hat \sigma'})= \sqrt{n/(n-1)}^2 D(2,2) = n \sum_{i=1}^n (y_i-\mu)^2 /2(n-1)^2$$.

Předpokládáme, že v okolí maxima se chová $\ln L( \mu, \sigma)$ jako paraboloid (dle Taylorova rozvoje do 2. řádu, první derivace jsou nulové), pak věrohodnost $L$ má zde bi-normální průběh - asymptoticky v obou proměnných normální rozdělení.