Metoda maximální věrohodnosti¶

nezávisle namìøené hodnoty

$y_1,...,y_N$ nezávislé, hustota NP $y_i$: $f(y_i|\theta)$ závisí na parametru $\theta$

hustota mìøené N-tice

$$g(y_1,...,y_N|\theta)=f(y_1|\theta) f(y_2|\theta) ... f(y_N|\theta)$$

funkce vìrohodnosti $L(\theta)$ (R. Fischer): hledáme maximum $\widehat{\theta}$ této funkce

• $\widehat{\theta}$ je náhodná promìnná (opakovaná mìøení dají jiný vzorek + zpracování)
• $L(\theta)$ není její hustota
• jde o efektivní odhad (minim. disperze)
• pro $N \to \infty$ je rozdìlení $\hat{\theta}$ normální $N(\theta,D)$, kde $$D=\left. \left(\frac{-\partial^2 \ln L}{\partial \theta^2} \right)^{-1} \right|_{\theta=\widehat{\theta}}$$

maximum $\ln L=\sum_i^N{\ln f(y_i|\theta_0)}$

vlastnosti ML odhadu (F.James)¶

• konzistentní: jeden z koøenù rovnice $dL/d\theta$ bude libovolnì blízko pravé hodnotì
• asymptoticky (za velmi obecných podmínek) normální s minimální disperzí
• invariance: ML odhad $\theta^2$ je ètvercem ML odhadu $\theta$ - nicménì pro koneèná N bude odhad $\theta^2$ (obecnì i jiných funkcí $\tau(\theta)$ vychýlený)

Minimum variance bound¶

pro nevychýlený odhad (pro nìjak zavedenou vìrohodnost)

$$<\hat a>=\int \hat a L dX = a$$

Derivace podle $a$

$$\int \hat a \frac{dL}{da} dX = \int \hat a \frac{d \ln L}{da} L dX = 1$$

Zároveò derivací normalizaèní podmínky

$$\frac{d}{da} \left( \int L dX \right) = \int \frac{d \ln L}{da} L dX = \left< \frac{d \ln L}{da} \right> = 0$$ .

Vynásobením a a kombinací s pøedchozím

$$\int ( \hat a - a ) \frac{d \ln L}{da} L dX = 1$$

Použije se Schwarzova nerovnost pro $u=(\hat a - a) \sqrt L$ a $u=\frac{d \ln L}{da} \sqrt L$

ve tvaru

$$ \int u^2 dX = V(\hat a) \ge \frac{(\int uv dX )^2 }{ \int v^2 dX }= \frac{1}{\left< (\frac{d \ln L}{da})^2 \right>}$$

Lze ukázat (dalším derivováním podle a)

$$\left< (\frac{d \ln L}{da})^2 \right> = - \left< \frac{d^2 \ln L}{da^2} \right>$$ ve vztahu k prùbìhu logaritmu vìrohodnosti (v okolí maxima). Tento výraz nazval R.A.Fisher informací.