Efektivita

Maximální věrohodnost dává efektivní odhad, ale často je vychýlený; toto si ilustrujeme na oblíbeném exponenciálním rozdělení $$f_\xi(x)=\frac{1}{t} \exp(-x/t),$$

Pro střední hodnotu dostáváme $$E(\xi)=\int_0^\infty{\frac{x}t \exp\left(-\frac{x}t\right)\ dx} = t \int_0^\infty \frac{1}{t^2}\ \exp\left(-\frac{x}t\right)\ dx = t \int_0^\infty \frac{d}{dt} \left[ {\exp\left(-\frac{x}t\right)}\right]\ dx $$ $$= t \frac{d}{dt}\left[ -t \exp\left(-\frac{x}t\right) \right]_0^\infty = t$$

Zde jsme použili vztah $$\frac{d}{dt} {\exp\left(-\frac{x}t\right)} = \frac{1}{t^2} \exp\left(-\frac{x}t\right)$$ a záměnnosti pořadí derivace a integrace.

Logaritmus věrohodnosti pro vzorek $[x_1, x_2 \dots x_n]$ je $$h(t)=\ln L({\mathbf x}|t) =\sum_{i=1}^n \ln f_\xi(x_i|t) = -n\ \ln t - 1/t\ \sum_{i=1}^n x_i .$$

Podmínka $$\frac{\partial h(t)}{\partial t} = -\frac{n}t + 1/t^2 \sum_{i=1}^n {x_i}= 0$$ vede k aritmetickému průměru $$\hat t= \frac{\sum_{i=1}^n {x_i}}n = \bar x$$.

Druhá derivace $$\frac{\partial^2 h(t)}{\partial t ^2} = \frac{n}{t^2} - \frac{2}{t^3} \sum_{i=1}^n {x_i} = \frac{n}{{\bar x}^2} -\frac{2n\ {\bar x}}{{\bar x}^2}=-\frac{n}{{\bar x}^2},$$ kde jsme dosadili odhad ${\hat t}$ spočtený výše. Pak můžeme disperzi tohoto odhadu stanovit jako $$D(\hat t)= - \frac{1}{\partial^2 h(t)/\partial t ^2}=\frac{{\bar x}^2}{n}$$

Změna parametrizace

Pokud zvolíme parametrizaci místo "střední doby rozpadu" pomocí "rychlosti rozpadu" (decay rate) $$f_\xi(x)=r \exp(-r\ x),$$ vychází střední hodnota "správně" $$E(\xi)=\int_0^\infty{x\ r \exp(-r\ x)\ dx} = -r \frac{d}{dr} \left[\int_0^\infty{\exp(-r\ x)\ dx}\right] = - r\frac{d}{dr}\left[ -\frac{1}{r} \exp(-r\ x) \right]_0^\infty = -r \left[-\frac{1}{r^2}\right]=1/r$$

Logaritmus věrohodnosti je nyní $$h(r)=\ln L({\mathbf x}|r) =\sum_{i=1}^n \ln f_\xi(x_i|r) = n\ \ln r - r\ \sum_{i=1}^n x_i .$$

Podmínka $$\frac{\partial h(r)}{\partial r} = \frac{n}r - \sum_{i=1}^n {x_i}= 0$$ vede k výrazu $$\hat r= \frac{n}{\sum_{i=1}^n {x_i}} = \frac{1}{\bar x}$$.

Druhá derivace je pak $$\frac{\partial^2 h(r)}{\partial r ^2} = -\frac{n}{r^2} ,$$ po dosazení odhadu výše dostáváme disperzi jako $$D(\hat r)= - \frac{1}{\partial^2 h(r)/\partial r ^2}=\frac{{\hat r}^2}{n} = \frac{1}{n\ {\bar x}^2}$$

Vychýlení

Platí $E(\bar x)=E(\sum x_i)\ /\ n = \sum E(x_i)\ /\ n = n\ t\ /\ n = t$, takže odhad $\hat t$ je nevychýlený (jeho očekávaná hodnota je rovna skutečné hodnotě $t$). Neplatí to ale pro $\hat r$ - zatímco $\bar x$ je (pro dostatečně velké $n$, vlivem centrální limitní věty) blízká normálně rozdělené veličině $N(t,t^2/n)$, její převrácená hodnota má už normální rozdělení nemá. Velikost výchylky v takovém případě můžeme odhadnout z Taylorova rozvoje $g(x)=1/x$ kolem $x=t=E(x)$: $$g(x)=\frac{1}t - (x-t) \frac{1}{t^2} + \frac{(x-t)^2}{2!} \frac{2}{t^3}+O(2),$$ pak $$E(g(x))=\frac{1}t - E(x-t) \frac{1}{t^2} + \frac{E((x-t)^2)}{t^3},$$ kde druhý člen je roven 0 a třetí je $D(x) t^{-3}$ - to je v dané aproximaci (do druhého řádu) naše výchylka: pro průměr $\bar x$ je $D(\bar x)=t^2/n$, potom $$b=E( \hat r)-\frac{1}{t} \approx \frac{1}{n\ t}.$$

Pozn: ve skutečnosti (porovnáním charakteristické funkce - viz Typová rozdělení) je součtem (nebo průměrem) NP s exponenciálním rozdělením "vhodně naškálovaná" NP s chi-kvadrát ($\chi^2$) rozdělením s $2k$ stupni volnosti.