Metoda nejmenších čtverců

postup bez znalosti rozdělení měřené veličiny, pouze parametrizace $E(y_i|\theta_0)$ a $D(y_i|\theta_0)$

hledáme "minimální vzdálenost (čtverce odchylek) datových bodů od odhadu

$$S=\sum_i^N \frac{[y_i-E(y_i|\theta_0)]^2}{D(y_i|\theta_0)}=\sum_i^N {w_i [y_i-E(y_i|\theta_0)]^2}$$

váhy $w_i$ odpovídají "významnosti odchylky" vzhledem k vlastnímu rozptylu proměnné $y_i$

pro N-krát opakované stejné měření (stejná disperze): $E(y_i)=\theta_0$, $D(y_i)=\sigma^2$: $S=\frac{1}{\sigma^2}\sum_i^N{(y_i-\theta_0)^2}$

$$\frac{d S}{d \theta_0}=-\frac{2}{\sigma^2}\sum_i^N{(y_i-\theta_0)}=0$$

→ bez ohledu na rozdělení $y_i$: $\widehat{\theta_0}=\frac{1}{N}\sum_i^N{y_i}$

pro normálně rozdělená data jsou metody max. věrohodnosti a min. čtverců ekvivalentní

$$f(y_i|\theta_0)=\frac{1}{\sqrt{2\pi}\sigma_i} e^{\frac{[y_i-E(y_i|\theta_0)]^2}{2\sigma_i^2}}$$$$\ln L(\theta_0,\sigma^2)=-\sum_i^N{\frac{[y_i-E(y_i|\theta_0)]^2}{2\sigma_i^2}}-\frac{N}{2}(\ln \sigma^2 -\ln 2\pi)$$

maximum $$\frac{\partial \ln L}{\partial \theta_0} =0 \rightarrow \widehat{\theta_0}=\frac{1}{N}\sum_i^N{y_i}$$ $$\frac{\partial \ln L}{\partial \sigma^2} = 0 \rightarrow \frac{1}{2(\sigma^2)^2} \sum_i^N - \frac{N}{2\sigma^2} =0 \rightarrow \widehat{\sigma^2}=\frac{1}{N}\sum_i^N{(y_i-\theta_0)^2}$$

rozdělení $\widehat{\theta_0}$ je normální $N(\theta_0,\frac{\sigma^2}{N})$

• známe-li $\sigma^2 \ldots$ intervalový odhad (68 %): $\widehat{\theta_0} \pm \frac{\sigma}{\sqrt{N}}$
• neznáme-li $\sigma^2 \ldots$
  • rozdělení $A=\frac{N}{\sigma^2} \widehat{\sigma^2}$ je $\chi_{N-1}^2$ ($\widehat{\sigma^2}$ je vychýlený odhad ${\sigma^2}$ faktorem $N/(N-1)$)
  • rozdělení $B=(\widehat{\theta_0}-\theta_0)/\frac{\sigma}{\sqrt{N}}$ je $N(0,1)$
  • podíl $B/\sqrt{A/(N-1)}=(\widehat{\theta_0}-\theta_0)/\sqrt{\frac{\widehat{\sigma^2}}{N-1}}=(\widehat{\theta_0}-\theta_0)/\widehat{\delta}$ má Studentovo rozdělení $t_{N-1}$

ověření normálnosti rozdělení vzorku dat pomocí vyšších momentů:

• asymetrie (šikmost)) $\widehat{\gamma_1}$: $E(\widehat{\gamma_1})=0$, $D(\widehat{\gamma_1})=6/N$ pro velká $N$
• excess (špičatost) $\widehat{\gamma_2}$: $E(\widehat{\gamma_2})=0$, $D(\widehat{\gamma_2})=24/N$

---

Pokud mají měřené hodnoty různé nejistoty $\sigma_i$: zavedení váhy $w_i=\sigma^2/\sigma_i^2$ s normalizací $\sum_i^N{w_i}=1$

$\widehat{\theta_0}=\sum_i^N{w_i y_i}$ $D(\widehat{\theta_0})=\sigma^2$

• neznáme-li $\sigma^2 ...$
  • $\frac{N}{\sigma^2}\widehat{\sigma^2}=\frac{1}{\sigma^2}\sum w_i (y_i-\widehat{\theta_0})^2$ má rozdělení $\chi_{N-1}^2$
  • $\hat{\delta}=\sqrt{\sum_i^N{w_i (y_i-\widehat{\theta_0})^2}}$

lze spočítat

• asymetrii $$\widehat{\gamma_1}=\sqrt{N} \frac{\sum_i^N{w_i (y_i-\widehat{\theta_0})^3}}{\left[\sum_i^N w_i (y_i-\widehat{\theta_0})^2\right]^{3/2}}$$
• excess $$\widehat{\gamma_2}=N \frac{ \sum_i^N{w_i (y_i-\widehat{\theta_0})^4}}{\left[\sum_i^N w_i (y_i-\widehat{\theta_0})^2\right]^{2}}-3$$