Základní pojmy matematické statistiky Matematická statistika je věda, která analyzuje a interpretuje data především za účelem získání předpovědi a zlepšení rozhodování v různých oborech lidské činnosti. Přitom se řídí principem statistické indukce, tj. na základě znalostí o náhodném výběru z určitého rozložení pravděpodobností se snaží učinit závěry o vlastnostech tohoto rozložení. Ústředním pojmem matematické statistiky je tedy pojem náhodného výběru. Definice náhodného výběru: a) Nechť Xi, ..., Xn jsou stochasticky nezávislé náhodné veličiny, které mají všechny stejné rozložení L(ů). Řekneme, že Xi, ..., Xn je náhodný výběr rozsahu n z rozložení L(ů). (Číselné realizace x1; ..., xn náhodného výběru X1; ..., Xn uspořádané do sloupcového vektoru odpovídají datovému souboru zavedenému v popisné statistice.) b) Nechť (X^Yi), ..., (Xn,Yn) jsou stochasticky nezávislé dvourozměrné náhodné vektory, které mají všechny stejné dvourozměrné rozložení L2(ů). Řekneme, že (Xi,Yi), ..., (Xn,Yn) je dvourozměrný náhodný výběr rozsahu n z dvourozměrného rozložení L2(ů). (Číselné realizace (xi,yi), ..., (xn,yn) náhodného výběru (X^Y^, ..., (Xn,Yn) uspořádané do matice typu 2xn odpovídají dvourozměrnému datovému souboru zavedenému v popisné statistice.) c) Analogicky lze definovat p-rozměrný náhodný výběr rozsahu n z p-rozměrného rozložení Lp(i!>). Definice statistiky: Libovolná funkce T = T(X1; ..., Xn) náhodného výběru X1; ..., Xn (resp. T = T(X1,Y1, ..., Xn,Yn) náhodného výběru (X^Y^, ..., (Xn,Yn)) se nazývá (výběrová) statistika. Definice důležitých statistik: a) Nechť X1;..., Xn je náhodný výběr, n > 2. l n ? l n /— Onačme M = — Y x; ... výběrový průměr, S =-----Y (x; - m)2 ... výběrový rozptyl, S = v S2 ... výběrová směrodatná n i=i n-li=1 odchylka Pro libovolné, ale pevně dané reálné číslo x je statistikou též hodnota výběrové distribuční funkce Fn(x) = — carďfcx, < x} n b) Nechť je dáno r > 2 stochasticky nezávislých náhodných výběrů o rozsazích ni > 2, ..., nr > 2. r Celkový rozsah je n = ^]nj. Označme Mi, ..., Mr výběrové průměry a Si , ...,Sr výběrové rozptyly jednotlivých výběrů. Nechť Ci, ..., cr j sou reálné konstanty, aspoň jedna nenulová. ZjCjMj ... lineární kombinace výběrových průměrů, S»2 = —-----------... vážený průměr výběrových rozptylů. j=i n -r c) Nechť (Xi,Yi),..., (Xn,Yn) je náhodný výběr z dvourozměrného rozložení o rozsahu n. 1 _n I _n 1 n i n Označme Ml = — Y x;, M2 = —Y Y; výběrové průměry, S^ =-----Y (x; - Mj f , S22 =-----Y (y; - M2 f výběrové rozptyly. n i=í ni^t n-l~r n-l~^ -^-pro^S^O SiS2 ... výběrový koeficient korelace. 0 jinak Pro libovolnou, ale pevně zvolenou dvojici reálných čísel x,y je statistikou též hodnota výběrové simultánní distribuční funkce Fn(x,y) = — card{i;X^xAY^y}. 1 n Si2 =-----Y {xi - Mj )(yi - M2)... výběrová kovariance, Ri2 = ' Upozornění: Číselné realizace statistik M, S2, S, Si2, R12 odpovídají číselným charakteristikám m, s2, s, Si2, rJ2 zavedeným v popisné statistice, ale u rozptylu, směrodatné odchylky, kovariance a koeficientu korelace je multiplikativní konstanta -----, nikoliv —Jak tomu bylo v popisné statistice. Jak uvidíme později, uvedené číselné realizace mohou být považovány n-1 n za odhady číselných realizací náhodných veličin zavedených v počtu pravděpodobnosti. Charakteristika vlastnosti Počet pravděpodobnosti Matematická statistika Popisná statistika poloha E(X) = li M m variabilita D(X) = g2 S2 n-1 7 ------s n variabilita Vd(x) = g S ]•:'• společná variabilita C(Xb X2) = g12 S12 n-1 S12 n těsnost vztahu R(Xb X2) = p R12 ri2 rozložení O(x) Fn(x) F(x) Bodové a intervalové odhady parametru a parametrických funkcí Vycházíme z náhodného výběru Xi, ..., Xn z rozložení L(ů), které závisí na parametru ů. Množinu všech přípustných hodnot tohoto parametru označíme S. Tato množina se nazývá parametrický prostor. Např. je-li Xi, ..., Xn náhodný výběr z rozložení N(u.,g2), pak ů = (|i,o2) a v tomto případě parametrický prostor S = (— oo;oojx(0,co). Parametr ů neznáme a chceme ho odhadnout pomocí daného náhodného výběru (případně chceme odhadnout nějakou parametrickou funkci h(ů)). Bodovým odhadem parametrické funkce h(ů) je statistika Tn = T(Xi, ..., Xn), která nabývá hodnot blízkých h(ů), ať je hodnota parametru ů jakákoliv. Existují různé metody, jak konstruovat bodové odhady (např. metoda momentů či metoda maximální věrohodnosti, ale těmi se zde zabývat nebudeme) a také různé typy bodových odhadů. Omezíme se na odhady nestranné, asymptoticky nestranné a konzistentní. Intervalovým odhadem parametrické funkce h(ů) rozumíme interval (D, H), jehož meze jsou statistiky D = D(Xi, ..., Xn), H = H(Xi, ..., Xn) a který s dostatečně velkou pravděpodobností pokrývá h(ů), ať je hodnota parametru ů jakákoliv. Typy bodových odhadů Nechť Xi,..., Xn je náhodný výběr z rozložení L(i3), h(ů) je parametrická funkce, T, Ti, T2,... jsou statistiky. a) Řekneme, že statistika T je nestranným odhadem parametrické funkce h(ů), jestliže WeH: E(T) = h(#). (Význam nestrannosti spočívá v tom, že odhad T nesmí parametrickou funkci h(ů) systematicky nadhodnocovat ani podhodnocovat. Není-li tato podmínka splněna, jde o vychýlený odhad.) b) Jsou-li Ti, T2 nestranné odhady téže parametrické funkce h(ů), pak řekneme, že Ti je lepší odhad než T2, jestliže WeH:D(Ti)°° (Význam asymptotické nestrannosti spočívá v tom, že s rostoucím rozsahem výběru klesá vychýlení odhadu.) d) Posloupnost {Tn}J=1 se nazývá posloupnost konzistentních odhadů parametrické funkce h(ů), jestliže \/ů e SVe > 0: lim p(|Tn - h(ů)\ > e) = 0. n—>oo (Význam konzistence spočívá v tom, že s rostoucím rozsahem výběru klesá pravděpodobnost, že odhad se bude realizovat „daleko" od parametrické funkce h(i3).) Lze dokázat, že z nestrannosti odhadu vyplývá jeho asymptotická nestrannost a z asymptotické nestrannosti vyplývá konzistence, pokud posloupnost rozptylů odhadu konverguje k nule. Vlastnosti důležitých statistik a) Případ jednoho náhodného výběru: Nechť Xi,..., Xnje náhodný výběr z rozložení se střední hodnotou li, rozptylem g a distribuční funkcí 2. Označme Mn výběrový průměr, Sn výběrový rozptyl a pro libovolné, ale pevně dané x e R označme Fn(x) hodnotu výběrové distribuční funkce. Pak pro libovolné hodnoty parametrů li , g2 a libovolné, ale pevně dané reálné číslo x platí: E(M„) = ll, D(Mn)=^, E(Sn2) = g2, D(Sn2) = —-----r^—f, kde y4 je 4. centrální moment, n n(n-l) E(Fn(x)) = 4>(x), D(Fn(x))=*Wtz*Wl n Znamená to, že Mn je nestranným odhadem li, Sn je nestranným odhadem g , pro libovolné, ale pevně dané xe R je výběrová distribuční funkce Fn(x) nestranným odhadem 2 stochasticky nezávislých náhodných výběrů: Nechť Xn,...,Xlni, ..., Xrl,...,Xm je r stochasticky nezávislých náhodných výběrů o rozsazích ni > 2, ..., nr > 2 z rozložení se středními hodnotami \iu ..., fir a rozptylem g . Celkový rozsah r je n = ^nj. Nechť Ci,..., crjsou reálné konstanty, aspoň jedna nenulová. Pak pro libovolné hodnoty parametrů ui, ..., u.ra g platí: ^ j=i j j=i E(S*2) = g2. r Znamená to, že lineární kombinace výběrových průměrů X!cjMj Je nestranným odhadem lineární kombinace středních hod- not ZjCj^j a vážený průměr výběrových rozptylů S*2 =—-----------je nestranným odhadem rozptylu g j=i n~r 2 c) Případ jednoho náhodného výběru z dvourozměrného rozložení: Nechť (Xi,Yi), ..., (Xn,Yn) je náhodný výběr z dvourozměrného rozložení s ko variancí au a koeficientem korelace p. Pak pro libovolné hodnoty parametrů au a p platí: E(Si2) = Gi2, E(Ri2) ~ p (shoda je vyhovující pro n >30). Znamená to, že výběrová kovariance Si2 je nestranným odhadem kovariance gi2, avšak výběrový koeficient korelace Ri2 je vychýleným odhadem koeficientu korelace p. Číselné charakteristiky diskrétních a spojitých náhodných veličin aspoň intervalového typu Charakteristika polohy: střední hodnota E(X) - číslo, které charakterizuje polohu realizací náhodné veličiny na číselné ose s přihlédnutím k jejich pravděpodobnostem. Diskrétní případ: náhodná veličina X má pravděpodobnostní funkci 7i(x). co Střední hodnota Ev^J = 2^ X7t(x) ^ pokud je suma vpravo konečná. X=-oo Fyzikální význam: střední hodnota je těžiště soustavy hmotných bodů, jejichž celková hmotnost je 1 a bod o souřadnici x má hmotnost 7i(x). Spojitý případ: náhodná veličina X má hustotu pravděpodobnosti cp(x). co Střední hodnota E(x)=Jx(p(x)dx , pokud je integrál vpravo konečný. Fyzikální význam: střední hodnota je těžiště hmotné přímky, jejíž celková hmotnost je 1 a hmota je na přímce rozprostřena podle předpisu cp (x). Centrovaná náhodná veličina: Y = X - E(X). (Pro náhodnou veličinu Y platí: E(Y) = 0.) Charakteristika variability: rozptyl D(X) - číslo, které charakterizuje proměnlivost realizací náhodné veličiny kolem j ej í střední hodnoty s přihlédnutím k jejich pravděpodobnostem. Definiční vzorec: J-^l/v = ^[X — J^(XJJ J (rozptyl je střední hodnota kvadrátu centrované náhodné veličiny). Výpočetní vzorec: d(x)=e(x2)-[e(x)]2 (rozptyl je střední hodnota kvadrátu mínus kvadrát středních hodnot). 2>Mx)- D(X) = -|2 £xte(x) Jx2(p(x)dx - ľx(p(x)dx "12 Směrodatná odchylka ^ D(X) - vyjadřuje průměrnou variabilitu realizací náhodné veličiny X kolem její střední hodnoty. Standardizovaná náhodná veličina: Z X-E(X) VĎ(X) (Pro náhodnou veličinu Z platí: E(Z) = 0, D(Z) =1.) Charakteristika společné variability: kovariance C(X1; X2) - číslo, které charakterizuje variabilitu realizací dvou náhodných veličin Xi, X2 kolem jejich středních hodnot s přihlédnutím k pravděpodobnostem těchto realizací. Definiční vzorec: ^(/m•> ^2 ) = *H1Ai — ^V^i J JI/*-2 — *H-X.2 )\) (kovariance je střední hodnota součinu centrovaných náhodných veličin). Výpočetní vzorec: ^v/^i •> ^2 ) = -^1/^1^2 / — -^v/^i /"^ v^2 / (kovariance je střední hodnota součinu mínus součin středních hodnot). 00 00 S EXlX27C(Xl'X2)- EXl7Cl(Xl) IX^fo) c(x„x2) = Xj=—00 x2=—°° 00 00 00 00 j jxjX^x^xJdx^- Jx^^xjdxj Jx2(p2(x2)dx: Význam kovariance: Je-li kovariance kladná (záporná), pak to svědčí o existenci jistého stupně přímé (nepřímé) lineární závislosti mezi realizacemi náhodných veličin X1; X2. Je-li kovariance nulová, pak říkáme, že náhodné veličiny X1; X2 jsou nekorelované a znamená to, že mezi jejich realizacemi není žádný lineární vztah. Pozor - z nekorelovánosti nevyplývá stochastická nezávislost, zatímco ze stochastické nezávislosti plyne nekorelovanost. Vlastnosti střední hodnoty a) E(a) = a b) E(a + bX) = a + bE(X) c) E(X - E(X)) = 0 Vi=i J i=l 11 e) Jsou-li náhodné veličiny Xi, ..., Xn stochasticky nezávislé, pak E J^X; Vi=i Vlastnosti kovariance a) C(ai, X2) = C(X1; a2) = C(ab a2) = 0 b) C(ai + biXi, a2 + b2X2) = b1b2C(X1, X2) c) C(X, X) = D(X) d) C(Xls X2) = C(X2, xo e) C(X1; X2) = E(XiX2) - E(X0E(X2) f n m | nm f) c sxi.ZYi = ZZccXi.Yj) i=l j=i ; i=i j=i i=l Vlastnosti rozptylu a) D(a) = 0 b) D(a + bX) = b2D(X) c) D(X) = E(X2) - [E(X)]2 f n > n n- d) D ^x; = ^D(x;) + 2^ £c(xi>xj) Gsou-li náhodné veličiny Xb ..., Xn nekorelované, pak D ^x; V i=l J i=l i=l j=i+l V i=l J Z0^)) i=l Vlastnosti koeficientu korelace a) R(ai, X2) = R(Xh a2) = R(ah a2) = 0 b) R(ai + biXi, a2 + b2X2) = sgn(t>ib2) R(X1; X2) c) R(X, X) = 1 pro D(X) ± 0, R(X, X) = 0 jinak d) R(Xi, X2) = R(X2, Xi) C(Xl9X2] e) R(X1; X2) pro a/D(X1)a/D(X2)>0 Vd(x1)Vd(x2) 0 jinak f) |r(x1,x2)| < i a rovnost nastane tehdy a jen tehdy, když mezi veličinami X1; X2 existuje s pravděpodobností 1 úplná lineární závislost, tj. existují konstanty ai, a2 tak, že P(X2 = ai + a2Xi) (Uvedená nerovnost se nazývá Cauchyova - Schwarzova - Buňakovského nerovnost.) = 1.