Metoda maximální věrohodnosti

nezávisle naměřené hodnoty

$y_1,...,y_N$ nezávislé, hustota NP $y_i$: $f(y_i|\theta_0)$ závisí na parametru $\theta_0$

hustota měřené N-tice

$$g(y_1,...,y_N|\theta_0)=f(y_1|\theta_0) f(y_2|\theta_0) ... f(y_N|\theta_0)$$

funkce věrohodnosti $L(\theta_0)$ (R. Fischer): hledáme maximum $\widehat{\theta_0}$ této funkce

• $\widehat{\theta_0}$je náhodná proměnná (opakovaná měření dají jiný vzorek + zpracování)
• $L(\theta_0)$ není její hustota
• jde o efektivní odhad (minim. disperze)
• pro $N \to \infty$ je rozdělení $\hat{\theta_0}$ normální $N(\theta_0,D)$, kde $$D=\left(\frac{-\partial^2 \ln L}{\partial \theta_0^2} \right)^{-1} \|_{\theta_0=\widehat{\theta_0}}$$

maximum $\ln L=\sum_i^N{\ln f(y_i|\theta_0)}$

vlastnosti ML odhadu (F.James)

• konzistentní: jeden z kořenů rovnice $dL/d\theta$ bude libovolně blízko pravé hodnotě
• asymptoticky (za velmi obecných podmínek) normální s minimální disperzí
• invariance: ML odhad $\theta^2$ je čtvercem ML odhadu $\theta$ - nicméně pro konečná N bude odhad $\theta^2$ (obecně i jiných funkcí $\tau(\theta)$ vychýlený)

Minimum variance bound

pro nevychýlený odhad (pro nějak zavedenou věrohodnost)

$$<\hat a>=\int \hat a L dX = a$$

Derivace podle $a$

$$\int \hat a \frac{dL}{da} dX = \int \hat a \frac{d \ln L}{da} L dX = 1$$

Zároveň derivací normalizační podmínky

$$\frac{d}{da} \left( \int L dX \right) = \int \frac{d \ln L}{da} L dX = \left< \frac{d \ln L}{da} \right> = 0$$ .

Vynásobením a a kombinací s předchozím

$$\int ( \hat a - a ) \frac{d \ln L}{da} L dX = 1$$

Použije se Schwarzova nerovnost pro $u=(\hat a - a) \sqrt L$ a $v=\frac{d \ln L}{da} \sqrt L$

ve tvaru

$$ \int u^2 dX = V(\hat a) \ge \frac{(\int uv dX )^2 }{ \int v^2 dX }= \frac{1}{\left< (\frac{d \ln L}{da})^2 \right>}$$

Lze ukázat (dalším derivováním podle a)

$$\left< (\frac{d \ln L}{da})^2 \right> = - \left< \frac{d^2 \ln L}{da^2} \right>$$ ve vztahu k průběhu logaritmu věrohodnosti (v okolí maxima). Tento výraz nazval R.A.Fisher informací.