Metody statistického odhadu¶

veličina odvozená ze vzorku dat (statistický soubor) = statistika (odhad)

viz úvod (různé odhady minimalizují různé veličiny)

efektivnost¶

• minimalizuje $D(\hat{\theta})$ - nejmenší mezi všemi = efektivní odhad
• asymptotická efektivnost - pro $N \to \infty$

konzistence¶

• pro $N \to \infty$ konverguje $\hat\theta_0 \to \theta_0$ a $V(\hat\theta_0) \to 0$
• např. aritmetický průměr není konzist. odhadem param. polohy $\theta_0$ Cauchyho rozdělení $$\frac{1}{1+(x+\theta_0)^2}$$

nestrannost (unbiasedness)¶

• $E(\hat\theta_0) = \theta_0$
• např. odhad disperze aritm. průměru dat (s norm. rozdělením) pomocí max. věrohodnosti není nestranný

Příklad: jsou-li $x_i$ rovnom. rozdělené náhod. proměnné z intervalu $(0, \theta)$, pak $max(x_1,x_2..x_n)$ je konzistentním, ale vychýleným odhadem $\theta$

robustnost¶

• odolnost vůči odlehlým pozorováním (vybočující hodnoty)

Nejčastěji odhad intervalový (interval spolehlivosti, "konfidenční") $\hat{\theta_0} \pm \sigma$

$$P(\hat{\theta_a} < \theta_0 < \hat{\theta_b}) = \alpha$$

(zadaná hodnota koeficientu spolehlivosti $\alpha$)

Příklad¶

$y_1,...,y_N$ nezávislé, rozd. $N(\theta_0,\sigma)$ se známým $\sigma$

odhad $$\hat{\theta_0}=\frac{1}{N} \sum_i^N {y_i}$$ má rozdělení $N(\theta_0,\sigma/\sqrt{N})$

$\hat{\theta_0} \pm \sigma/\sqrt{N}$ ... 68% interval (prst, že obsahuje $\theta_0$)
$\hat{\theta_0} \pm 2\sigma/\sqrt{N}$ ... 95% interval

---

efektivita odhadu středu rozdělení¶

sada hodnot s D(x)=1

rozdělení	median	aritm. průměr	(max+min)/2
normální	$\pi/(2N)$	$1/N$	$\pi^2/(12 \ln N)$
rovnoměrné	$1/(4N)$	$1/(12N)$	$1/(2N^2+6N+4)$
dvoj-exponenciální	$1/(2N)$	$2/N$	$\pi^2/12$
Cauchyho	$\pi^2/(4N)$	$\infty$	$\infty$

Efektivita po ořezání v závislosti na param. $r=(N-n)/2N$ (n extrémních hodnot odstraněno/nahrazeno) po ořezu (vpravo) a winsorizaci (vlevo)

Metoda maximální věrohodnosti¶

nezávisle naměřené hodnoty

$y_1,...,y_N$ nezávislé, hustota NP $y_i$: $f(y_i|\theta_0)$ závisí na parametru $\theta_0$

hustota měřené N-tice

$$g(y_1,...,y_N|\theta_0)=f(y_1|\theta_0) f(y_2|\theta_0) ... f(y_N|\theta_0)$$

funkce věrohodnosti $L(\theta_0)$ (R. Fischer): hledáme maximum $\widehat{\theta_0}$ této funkce

• $\widehat{\theta_0}$je náhodná proměnná (opakovaná měření dají jiný vzorek + zpracování)
• $L(\theta_0)$ není její hustota
• jde o efektivní odhad (minim. disperze)
• pro $N \to \infty$ je rozdělení $\hat{\theta_0}$ normální $N(\theta_0,D)$, kde $$D=\left(\frac{-\partial^2 \ln L}{\partial \theta_0^2} \right)^{-1} \|_{\theta_0=\widehat{\theta_0}}$$

maximum $\ln L=\sum_i^N{\ln f(y_i|\theta_0)}$

vlastnosti ML odhadu (F.James)¶

• konzistentní: jeden z kořenů rovnice $dL/d\theta$ bude libovolně blízko pravé hodnotě
• asymptoticky (za velmi obecných podmínek) normální s minimální disperzí
• invariance: ML odhad $\theta^2$ je čtvercem ML odhadu $\theta$ - nicméně pro konečná N bude odhad $\theta^2$ (obecně i jiných funkcí $\tau(\theta)$ vychýlený)