Číselné charakteristiky náhodných veličin Limitní věty a odhady Normální rozdělení a rozdělení odvezená Náhodný výběr oooooooooooooooooooooooooo oooooooo oooooooo ooooooooo Matematika III - 12. přednáška Náhodné veličiny - číselné charakteristiky, normální rozdělení, limitní věty Michal Bulant Masarykova univerzita Fakulta informatiky 8. 12. 2014 Číselné charakteristiky náhodných veličin Limitní věty a odhady Normální rozdělení a rozdělení odvezená Náhodný výběr oooooooooooooooooooooooooo oooooooo oooooooo ooooooooo Obsah přednášky Číselné charakteristiky náhodných veličin Limitní věty a odhady Normální rozdělení a rozdělení odvezená Náhodný výběr Číselné charakteristiky náhodných veličin Limitní věty a odhady Normální rozdělení a rozdělení odvezená Náhodný výběr oooooooooooooooooooooooooo oooooooo oooooooo ooooooooo Doporučené zdroje • Jan Slovák, Martin Panák, Michal Bulant, Matematika drsně a svižně, MU Brno, 2013, 774 s. (též jako e-text). • Karel Zvára, Josef Štěpán, Pravděpodobnost a matematická statistika, Matfyzpress, 4. vydání, 2006, 230 stran, ISBN 80-867-3271-1. • Marie Budíková, Štěpán Mikoláš, Pavel Osecký, Teorie pravděpodobnosti a matematická statistika (sbírka příkladů), Masarykova univerzita, 3. vydání, 2004, 117 stran, ISBN 80-210-3313-4. • Marie Budíková, Statistika, Masarykova univerzita, 2004, distanční studijní opora ESF, http: //www.math.muni.cz/~budikova/esf/Statistika.zip. • Marie Budíková, Tomáš Lerch, Štěpán Mikoláš, Základní statistické metody, Masarykova univerzita, 2005, 170 stran, ISBN 80-210-3886-1. Při statistickém zkoumání hodnot náhodných veličin (např. zpracování výsledků nějakého měření) hledáme výpovědi o náhodné veličině pomocí různých z ní odvozených čísel. Jako nejjednodušší příklad může sloužit střední hodnota1 E(X) náhodné veličiny X, která je definována Obecně střední hodnota náhodných veličin nemusí existovat, protože příslušné sumy či integrály nemusí konvergovat. 1Často se místo E(X) píše EX. J2ixi ' Px{xí) pro diskrétní veličinu f^^x • fx{*) dx Pro spojitou veličinu. Číselné charakteristiky náhodných veličin Limitní věty a odhady Normální rozdělení a rozdělení odvezená Náhodný výběr o»oooooooooooooooooooooooo oooooooo oooooooo ooooooooo Střední hodnota transformované náhodné veličiny Střední hodnotu můžeme přímo vyjádřit také pro funkce Y = ip(X) náhodné veličiny X. V diskrétním případě můžeme přímo spočíst E(Y) = Y,yjP(Y = yj) j = ^ v(*,-)P(x = */) = X>(*/)6f(x,-). / i Je tedy E(tp(X)) přímo spočítatelná pomocí pravděpodobnostní funkce fx- Podobně vyjadřujeme střední hodnotu funkce ze spojité náhodné veličiny: /oo V>(x)fx(x) dx, -oo pokud tento integrál absolutně konverguje. Číselné charakteristiky náhodných veličin Limitní věty a odhady Normální rozdělení a rozdělení odvezená Náhodný výběr OOOOOOOOOOOOOOOOOOOOOOOOOO oooooooo oooooooo ooooooooo Príklad Spočtěme střední hodnotu binomického rozdělení. Pro X ~ Bi(n, p) je E{x) = J2k.(n\pk{i-Py- k=0 np (n-1)! ^(n-/c)!(/c-l)! n-1 np y (" 1); p/(i _ p)n-i-j np(p + (1 - p))""1 = np. Číselné charakteristiky náhodných veličin Limitní věty a odhady Normální rozdělení a rozdělení odvezená Náhodný výběr ooo»oooooooooooooooooooooo oooooooo oooooooo ooooooooo Základní vlastnosti střední hodnoty ' Věta Necht a, b G R a X,Y jsou náhodné veličiny s existující střední hodnotou. Pak • E (a) = a, • E(a + bX) = a + bE(X), • E(X + Y) = E(X) + E(Y), • jsou-li X a Y nezávislé, pak E{XY) = E{X) ■ E(Y). Důkazy těchto tvrzení jsou přímočaré, zkuste si je udělat! Číselné charakteristiky náhodných veličin Limitní věty a odhady Normální rozdělení a rozdělení odvezená Náhodný výběr oooo^ooooooooooooooooooooo oooooooo oooooooo ooooooooo Príklad Spočtěme ještě jednou střední hodnotu binomického rozdělení, tentokrát s využitím vlastností střední hodnoty. Řešení Vyjádříme počet zdarů v n pokusech jako počet zdarů v jednotlivých pokusech *=x> k=l přičemž náhodné veličiny mají všechny alternativní rozdělení A(p). Snadno spočítáme E( Y^) = 1 • p + 0 • (1 — p) = p. Dále víme, že střední hodnota součtu je součtem středních hodnot, proto n E(X) = Y,E(Yk) = np. k=l Číselné charakteristiky náhodných veličin Limitní věty a odhady Normální rozdělení a rozdělení odvezená Náhodný výběr ooooo»oooooooooooooooooooo oooooooo oooooooo ooooooooo Dalšími užitečnými charakteristikami jsou tzv. kvantily. Pro ryze monotónní distribuční funkci Fx (tj. spojitou náhodnou veličinu X s všude nenulovou hustotou, jako je tomu např. u normálního rozdělení) jde prostě o inverzní funkci F^1 : (0,1) —> M. To znamená, že hodnota y = F-1 (a) je taková, že P[X < y) = a. Obecněji, je-li Fx(x) distribuční funkce náhodné veličiny X, pak definujeme kvantilovou funkci2 Zřejmě jde o zobecnění předchozí definice. Nejčastěji jsou používané kvantily s a = 0.5, tzv. medián, s a = 0.25, tzv. první kvartil, a = 0.75, tzv. třetí kvartil, a podobně pro decily a percentily (kdy je a rovno násobkům desetin a setin). K těmto hodnotám se vrátíme v popisné statistice později. 2Uvědomte si, že jsme se již s kvantily setkali, jen jsme jím tak zatím F-\a) inf{x G M; F (x) >a}, a G (0,1). neříkali. Číselné charakteristiky náhodných veličin Limitní věty a odhady Normální rozdělení a rozdělení odvezená Náhodný výběr oooooo^ooooooooooooooooooo oooooooo oooooooo ooooooooo Rozptyl a směrodatná odchylka Tyto číselné charakteristiky rozdělení náhodné veličiny nepopisují nějakou střední či typickou hodnotu (jako střední hodnota či medián), ale míru „kolísání" náhodné veličiny kolem střední hodnoty. Rozptylem (variancí) náhodné veličiny X, která má konečnou střední hodnotu, nazýváme číslo D(X) = varX = E ([X - E(X)]2), odmocnina z rozptylu y/D(x) se pak nazývá směrodatná odchylka. Číselné charakteristiky náhodných veličin Limitní věty a odhady Normální rozdělení a rozdělení odvezená Náhodný výběr OOOOOOO0OOOOOOOOOOOOOOOOOO oooooooo oooooooo ooooooooo Základní vlastnosti rozptylu Pro náhodnou veličinu X a reálna čísla a, b platí: O D{X) = E(X2) - E(X)2, O D(a + bX) = b2D(X), 0 ^/D(a + bX) = \b\y/D{X). Důkaz. Důkaz je přímočarý. Poznamenejme, že tvrzení 1 se často používá k výpočtům D{X). □ Číselné charakteristiky náhodných veličin Limitní věty a odhady Normální rozdělení a rozdělení odvezená Náhodný výběr oooooooo»ooooooooooooooooo oooooooo oooooooo ooooooooo Kovariance O závislosti dvou náhodných veličin do jisté míry vypovídá tzv. kovariance, definovaná předpisem C(X, Y) = cov(X, Y) = E([X - E(X)][Y - E {Y)]). Veličinám X, Y, pro něž je C(X, Y) = 0, říkáme nekorelované . Věta Pro náhodné veličiny s existujícími rozptyly platí: O C(X,Y) = C(Y,X), e c(x,x) = d(x), O c(x, Y) = E{XY) - E{X)E{Y), O C(a + bX,c + dY) = bd ■ c(x, Y), O d(x +Y) = D(X) + D(Y) + 2C(x, Y), speciálně, jsou-li X, Y nezávislé, je D(X + Y) = D(X) + D(Y), tj. c(x, Y) = 0 a x, Y jsou nekorelované. Číselné charakteristiky náhodných veličin Limitní věty a odhady Normální rozdělení a rozdělení odvezená Náhodný výběr OOOOOOOOO0OOOOOOOOOOOOOOOO oooooooo oooooooo ooooooooo Koeficient korelace Koeficient korelace je jen speciální název pro kovarianci dvou normovaných náhodných veličin: R(x,y)=pxv=cf*-fg>/-fwy ' Věta ^ 9 R(X,X) = 1, O R{a + bX,c + dY) = sgn(bd)R(X, Y), O jsou-li X, Y nezávislé, je R(X, Y) = 0, O (Cauchyova nerovnost) \R(X, Y)\ < 1. Číselné charakteristiky náhodných veličin Limitní věty a odhady Normální rozdělení a rozdělení odvezená Náhodný výběr oooooooooo«ooooooooooooooo oooooooo oooooooo ooooooooo Príklad Spočtěme rozptyl binomického rozdělení. Řešení Stejně jako dříve lze psát X = Yll-i ^k, kde Y\,...,Yn jsou nezávislé náhodné veličiny vyjadřující úspěch v /c-tém pokusu. Snadno vypočteme E(Y%) = l2 • p + O2 • (1 — p) = p, proto D{Yk) = E(y2) - E{Yk)2 = p - p2 = p(l - p). Protože pro nezávislé Yk platí D(£ Yk) = £ D{Yk), je D(X) = np(l - p). Číselné charakteristiky náhodných veličin Limitní věty a odhady Normální rozdělení a rozdělení odvezená Náhodný výběr ooooooooooo»oooooooooooooo oooooooo oooooooo ooooooooo Příklady k procvičení Príklad Náhodná veličina X je dána pravděpodobnostní funkcí pro x = —2 pro x = 3 pro x = 1 0 jinak. Určete E(X), E(2X + 5), E(X2), D(X) a D(2X + 1). Příklad Nekorelované náhodné veličiny X a Y mají rozptyly D(X) = a a D(Y) = 2. Určete konstantu a, jestliže rozptyl náhodné veličiny Z = 3Y -X ]e D(Z) = 25. Číselné charakteristiky náhodných veličin Limitní věty a odhady Normální rozdělení a rozdělení odvezená Náhodný výběr oooooooooooo»ooooooooooooo oooooooo oooooooo ooooooooo Normovaná náhodná veličina a limitní věty Všimněme si, že výraz ,x" np vystupující v Moivre-Laplaceově y/np(l-p) větě je totéž, co X^j^^ a Jde tedy o tzv. normovanou náhodnou veličinu (tj. veličinu lineárně transformovanou tak, aby měla střední hodnotu 0 a rozptyl 1). Moivre-Laplaceova věta pak říká, že pro n —> oo se rozložení této náhodné veličiny blíži normovanému normálnímu rozdělení A/(0,1). Jde o speciální případ limitních vět, ukazujících, že za určitých podmínek platí „zákony velkých čísel", kdy se obdobným způsobem transformované náhodné veličiny chovají jako normální rozdělení. Číselné charakteristiky náhodných veličin Limitní věty a odhady Normální rozdělení a rozdělení odvezená Náhodný výběr ooooooooooooo»oooooooooooo oooooooo oooooooo ooooooooo Další momenty Někdy je užitečné studovat řadu dalších charakteristik rozdělení náhodných veličin. Za rozumných předpokladů jsou definovány k-té obecné momenty E(Xk) a4 a k-té centrální momenty pk = E{[X-E{X)]k). Pomocí momentů pak definujeme např. šikmost (asymetrii) náhodné veličiny X jako Aí3 nebo špičatost (exces) jako /i4 D{xf 3. Číselné charakteristiky náhodných veličin Limitní věty a odhady Normální rozdělení a rozdělení odvezená Náhodný výběr oooooooooooooo»ooooooooooo oooooooo oooooooo ooooooooo 30 20 10 Kladná šikmost distribuce (více vysokých kladných hodnot než odpovídá normálnímu rozdělení s nulovou šikmostí). Číselné charakteristiky náhodných veličin Limitní věty a odhady Normální rozdělení a rozdělení odvezená Náhodný výběr ooooooooooooooo»oooooooooo oooooooo oooooooo ooooooooo Momentová vytvořující funkce Definice Reálnou funkci proměnné ŕ G M Mx(t) = E(e ) nazveme momentovou vytvořující funkcí náhodné veličiny X. Poznámka Je-1i X např. spojitá, platí /oo etxf(x) dx = -oo ľ°° t2x2 = / (l + íx+_ + ...)f(x)dx = = 1 + t/ii + -^p + • • • a jde vlastně o exponenciální vytvořující funkci posloupnosti /c-tých obecných momentů p!k. Číselné charakteristiky náhodných veličin Limitní věty a odhady Normální rozdělení a rozdělení odvezená Náhodný výběr oooooooooooooooo»ooooooooo oooooooo oooooooo ooooooooo ' Věta ^ Pro momentovou vytvořující funkci platí: * V'k = ^FMx(ŕ) k=o- • Platí-li M x {t) = M y {t) pro všechna t G (- b, b), mají náhodné veličiny stejné rozdělení, tj. Fx(x) = FY(x). • Ma+bX(t) = eatMx(bt). • Jsou-li X, Y nezávislé, je Mx+y(ŕ) = Mx{ >)MY{t). Číselné charakteristiky náhodných veličin Limitní věty a odhady Normální rozdělení a rozdělení odvezená Náhodný výběr ooooooooooooooooo»oooooooo oooooooo oooooooo ooooooooo Príklad Určete momentovou vytvořující funkci binomického rozdělení. Řešení M(t) = E(etx) = £ ^("V(1 - p)"^ = =z (*W)*(i - pr*= = (pet + (l-p)y = (p(et-l) + iy. Snáze jsme mohli funkci určit s využitím předchozích vět a momentové vytvořující funkce alternativního rozdělení, neboť pro Y ~ A(p) je E(etY) = eřl • p + eř0(l - p) = p(eř - 1) + 1. * Číselné charakteristiky náhodných veličin Limitní věty a odhady Normální rozdělení a rozdělení odvezená Náhodný výběr oooooooooooooooooo»ooooooo oooooooo oooooooo ooooooooo Príklad Naposled spočtěme střední hodnotu a rozptyl binomického rozdělení, tentokrát s využitím vytvořující funkce. Řešení M(t) = (p(eř - 1) + 1)", proto je ftM(t) = n(p(eř - -i) + i)"-VP, což pro t = 0 dá E(X) = fi^ = np. Podobně spočítáme i D(X) = y!2 — Číselné charakteristiky náhodných veličin Limitní věty a odhady Normální rozdělení a rozdělení odvezená Náhodný výběr ooooooooooooooooooo»oooooo oooooooo oooooooo ooooooooo Příklady k procvičení Príklad Náhodná veličina X má na intervalu (0, a) konstantní hustotu pravděpodobnosti (a jinde nulovou). S využitím vlastností střední hodnoty a rozptylu určete: O E(2X + 3), O E(3X2 - 2X + 1), O D(2X + 3), 0 D(X2 + 1), Příklad Náhodná veličina X má Poissonovo rozdělení (tj. pravděpodobnostní funkci p(x) = ^e~A). Určete její (momentovou vytvořující funkci,) střední hodnotu a rozptyl. Číselné charakteristiky náhodných veličin Limitní věty a odhady Normální rozdělení a rozdělení odvezená Náhodný výběr oooooooooooooooooooo»ooooo oooooooo oooooooo ooooooooo Číselné charakteristiky náhodných vektorů var(X) e(X) = (e(Xi),..., e(X„)) se nazýva vektor středních hodnot, d(Xi) C(Xi,X2) ••• C(Xi,Xn)N vC(X„,Xi) C(X„,X2) ••• D{Xn) varianční (rozptylová) matice a 1 tf(Xi,X2) ••• R{Xí,Xnf ,R{XmXí) R{Xn,X2) ••• 1 corX je korelační matice. Snadno je po rozepsání po jednotlivých složkách vidět, že var(X) = e((X - e(X)) • (X - e(X)H Číselné charakteristiky náhodných veličin Limitní věty a odhady Normální rozdělení a rozdělení odvezená Náhodný výběr oooooooooooooooooooooooooo oooooooo oooooooo ooooooooo Ukážeme na příkladech, že pravděpodobnostní struktura náhodného vektoru (X, Y) není určena pouze marginálními rozděleními veličin X a Y. Podstatný je rovněž pravděpodobnostní vztah mezi X a Y, který je částečně popsán např. prostřednictvím korelačního koeficientu. Příklad Jsou-li X a Y náhodné veličiny, nabývající hodnot 0 a 1, pak P(X = 1, Y = 1) - P(X = 1)P{Y = 1) = E(XY) - E(X)E(Y) = = C(X, Y). Odtud je snadno vidět, že (pouze pro binární n.v. X, Y) pokud jsou X a Y nekorelované, jsou i nezávislé (což obecně neplatí). Číselné charakteristiky náhodných veličin Limitní věty a odhady Normální rozdělení a rozdělení odvezená Náhodný výběr oooooooooooooooooooooo»ooo oooooooo oooooooo ooooooooo Uveďme ještě příklad, ilustrující, že nekorelovanost nemusí implikovat nezávislost: Příklad Buďte A a X nezávislé náhodné veličiny, splňující X ~ A/(0,1) a P (A = 1) = P{A = -1) = 1/2. Položíme-li Y = AX, pak P(Y < y) = \P{X < y) + l-P{-X < y) =
9a^
0 platí
DX
P(\X-EX\>e)<—.
Důkaz.
Budeme odhadovat rozptyl DX ve spojitém prípade (diskrétni analogicky):
DX
>
/OO ŕ (X - EX)2 f (x) dx> (X - EX)2 f (x) dx >
-oo J\x-ex\>e
e2 f (x) dx = e2P(\X - EX\ > e).
|x-£X|>e
□
Číselné charakteristiky náhodných veličin Limitní věty a odhady Normální rozdělení a rozdělení odvezená Náhodný výběr
oooooooooooooooooooooooooo oo»ooooo oooooooo ooooooooo
Pomoci Čebyševovy nerovnosti můžeme odhadovat pravděpodobnost, s jakou se náhodná veličina s neznámým rozdělením odchýlí od své střední hodnoty o více než /c-násobek směrodatné odchylky (zřejmě je totiž P(\X — E(X)\ > ka) < p).
' Příklad *
Nechť je E(X) = fi, D{X) = a2.
9 Odhadněte P(\X -y, > 3 0,975, což je ekvivalentní VH/15 > 1,96, tj. n > 865.
Číselné charakteristiky náhodných veličin Limitní věty a odhady Normální rozdělení a rozdělení odvezená Náhodný výběr OOOOOOOOOOOOOOOOOOOOOOOOOO 0000000» oooooooo ooooooooo
Řešení (Pomocí Čebyševovy/Bernoulliovy nerovnosti)
Nyní využijme Bernoulliovu nerovnost - ta dává
Y
-^-0,1 n
<
0,02 )
> 1
0,1-0,9 n-0,022'
což má být alespoň 0,95. Odtud
0,09
n >
0,05 • 0,022
4500.
Opět vidíme, že odhad prostřednictvím Bernoulliovy nerovnosti je podstatně slabší než odhad s využitím centrálni limitní věty (resp. de Moivre-Laplaceovy věty).
Číselné charakteristiky náhodných veličin Limitní věty a odhady Normální rozdělení a rozdělení odvezená Náhodný výběr OOOOOOOOOOOOOOOOOOOOOOOOOO OOOOOOOO »0000000 ooooooooo
Momenty normálního rozdělení
Přímý výpočet střední hodnoty a rozptylu normovaného normálního rozdělení není triviální. S využitím momentové vytvořující funkce je ale poměrně jednoduchý.
Nechť Z~ N(0,1). Pak
Poslední integrál je roven 1 díky tomu, že na místě integrované funkce je funkce s vlastnostmi hustoty.
Číselné charakteristiky náhodných veličin Limitní věty a odhady Normální rozdělení a rozdělení odvezená Náhodný výběr
oooooooooooooooooooooooooo oooooooo o»oooooo ooooooooo
Střední hodnota a rozptyl normálního rozdělení
S využitím předchozího výpočtu M^(ŕ) = exp^-yj snadno spočítame, že
A4(ŕ) = ŕexp(!),
2 2
M^(ŕ) = ŕ2exp(^)+exp(^-).
Dosazením ŕ = 0 pak dostaneme
e(Z) = 0,d(Z) = 1.
Pro transformovanou náhodnou veličinu Y = fi + aZ ~ a2) pak snadno odvodíme z vlastností střední hodnoty, resp. rozptylu, že E(Y) = fi, D(Y) = a2 (což zpětně zdůvodňuje zápis A/(/x, u2)) Momentová vytvořující funkce pro Y má tvar
My(ŕ) = exp(/iŕ + cr2y).
Číselné charakteristiky náhodných veličin Limitní věty a odhady Normální rozdělení a rozdělení odvezená Náhodný výběr
oooooooooooooooooooooooooo oooooooo oo#ooooo ooooooooo
Príklad
Určete rozdělení součtu nezávislých náhodných veličin X~/V(/iX,<72), Y~N(vy,v2y)-
Řešení
Z vlastností momentové vytvořující funkce dostáváme
t2 t2 Mx+v{t) = exp(/xxŕ + ct2x—) exp(/xyŕ + o2Y—) =
ŕ2
= exp((/iX + /iy)t + {a2x + Oy)y). Proto X + V ~ A/(/iX + Aty,