Literatura Střední hodnota a rozptyl Kovariance Momentová funkce Centrální limitní věta Matematika III – 10. týden Číselné charakteristiky, momentová funce a centrální limitní věta Jan Slovák Masarykova univerzita Fakulta informatiky 28. 11 –. 2. 12. 2016 Literatura Střední hodnota a rozptyl Kovariance Momentová funkce Centrální limitní věta Obsah přednášky 1 Literatura 2 Střední hodnota a rozptyl 3 Kovariance 4 Momentová funkce 5 Centrální limitní věta Literatura Střední hodnota a rozptyl Kovariance Momentová funkce Centrální limitní věta Kde je dobré číst? Karel Zvára, Josef Štěpán, Pravděpodobnost a matematická pravděpodobnost statistika, Matfyzpress, 2006, 230pp. J. Slovák, M. Panák, M. Bulant, Matematika drsně a svižně, Muni Press, Brno 2013, v+773 s., elektronická edice www.math.muni.cz/Matematika_drsne_svizne Marie Budíková, Štěpán Mikoláš, Pavel Osecký, Teorie pravděpodobnosti a matematická statistika (sbírka příkladů), Masarykova univerzita, 3. vydání, 2004, 117 stran, ISBN 80-210-3313-4. Marie Budíková, Tomáš Lerch, Štěpán Mikoláš, Základní statistické metody, Masarykova univerzita, 2005, 170 stran, ISBN 80-210-3886-1. Riley, K.F., Hobson, M.P., Bence, S.J. Mathematical Methods for Physics and Engineering, second edition, Cambridge University Press, Cambridge 2004, ISBN 0 521 89067 5, xxiii + 1232 pp. Literatura Střední hodnota a rozptyl Kovariance Momentová funkce Centrální limitní věta Střední hodnota Nechť X je náhodná veličina s diskrétním rozdělením. Jestliže řada ∞ k=1 xi P(X = xi ) konverguje absolutně (zejména tedy pro všechny X s konečně mnoha možnými hodnotami xi ), pak její součet E X nazýváme střední hodnotou X. Je-li X náhodná veličina se spojitým rozdělením s hustotou f (x) a nevlastní integrál ∞ −∞ xf (x)dx konverguje absolutně, pak jeho hodnota E X se nazývá střední hodnota X. Literatura Střední hodnota a rozptyl Kovariance Momentová funkce Centrální limitní věta Vlastnosti střední hodnoty Theorem Uvažme náhodné veličiny X, Y , skaláry a, b ∈ R, náhodný vektor W = (X1, . . . , Xn), vektor c a čtvercovou skalární matici B s n řádky. Pro konstantní náhodnou veličinu X = a ∈ R je E a = a. E(a + bX) = a + b E X. E(X + Y ) = E X + E Y . E(c + BW ) = c + B(E W ). Theorem Jsou-li veličiny X a Y nezávislé, pak E(XY ) = E X E Y . Literatura Střední hodnota a rozptyl Kovariance Momentová funkce Centrální limitní věta Rozptyl Další charakteristika popisuje, jak moc se dá čekat, že se hodnoty náhodné veličiny „hemží“ kolem nějaké hodnoty. Definition Nechť X je náhodná veličina s konečnou střední hodnotou. Pak definujeme rozptyl veličiny X výrazem var X = E(X − E X)2 , pokud taková konečná hodnota existuje. Odmocnina z rozptylu √ var X se nazývá směrodatná odchylka náhodné veličiny X. Jde o zjevnou obdobu definice kvadrátu vzdálenosti vektorů nebo funkcí. Zachycujeme tak „očekávanou vzdálenost“ hodnot X od její střední hodnoty. Literatura Střední hodnota a rozptyl Kovariance Momentová funkce Centrální limitní věta Theorem Jestliže má náhodná veličina X konečný rozptyl, pro libovolné skaláry a, b ∈ R platí var X = E X2 − (E X)2 var(a + bX) = b2 var X var(a + bX) = |b| √ var X. Občas přiřazujeme k X normovanou veličinu Z, Z = X − E X √ var X , která má zjevně nulovou střední hodnotu a jednotkový rozptyl. Literatura Střední hodnota a rozptyl Kovariance Momentová funkce Centrální limitní věta kvantilová funkce Je-li F(x) distibuční funkce náhodné veličiny X, pak F−1 (u) = inf{x ∈ R; F(x) ≥ u}, 0 < u < 1 je kvantilová funkce náhodné veličiny X. Hodnota F−1(α) se nazývá α-kvantil. Tzv. kritické hodnoty pro veličinu X jsou pak F−1(1 − α). Literatura Střední hodnota a rozptyl Kovariance Momentová funkce Centrální limitní věta Čebyševova nerovnost Theorem Má-li X rozptyl a > 0 je libovolné, pak platí P(|X − E X| ≥ ) ≤ var X 2 . Literatura Střední hodnota a rozptyl Kovariance Momentová funkce Centrální limitní věta Kovariance veličin Jsou-li X a Y dvě náhodné veličiny, pro které existují jejich konečné royptyly, pak definijeme jejich kovarianci vztahem cov(X, Y ) = E(X − E X)(Y − E Y ). Evidentně je cov(X, X) = var X a cov(X, Y ) = cov(Y , X). Theorem Nechť existují konečné rozptyly veličin X a Y . Pak cov(X, Y ) = E(XY ) − (E X)(E Y ) pro jakékoliv skaláry a, b, c, d platí cov(a + bX, c + dY ) = bd cov(X, Y ) var(X + Y ) = var X + var Y + 2 cov(X, Y ). Literatura Střední hodnota a rozptyl Kovariance Momentová funkce Centrální limitní věta Od kovariance snadno odvodíme tzv. korelační koeficient dvou náhodných veličin X a Y . Definujeme jej jako kovarianci příslušných normovaných veličin: ρX,Y = cov X − E X √ var X , Y − E Y √ var Y = cov(X, Y ) √ var X varY . Theorem ρa+bX,c+dY = sign(bd)ρX,Y , pro bd = 0 ρX,X = 1 ρX,Y = 0, pokud jsou veličiny X a Y nezávislé. pokud je ρX,Y definován, pak je roven jedné právě, když existují konstanty a, b, c tak, že P(aX + bY = c) = 1. Literatura Střední hodnota a rozptyl Kovariance Momentová funkce Centrální limitní věta Varianční matice Uvažme náhodný vektor W = (X1, . . . , Xn) takový, že pro všechny jeho komponenty existuje rozptyl. Pak varianční matice var W je dána var W =     var X1 cov(X1, X2) . . . cov(X1, Xn) cov(X2, X1) var X2 . . . cov(X2, Xn) . . . cov(Xn, X1) cov(Xn, X2) . . . var Xn     . Theorem Pro náhodný vektor X, skaláry a, matice skalárů B platí var(a + BX) = B var XBT . Literatura Střední hodnota a rozptyl Kovariance Momentová funkce Centrální limitní věta Momenty Podobně jako rozptyl můžeme uvažovat výrazy vyšších řádů: µk = E Xk , µk = E(X − E X)k . Nazýváme je k-tý moment a k-tý centrální moment náhodné veličiny X. Momenty lze všechny dostat jako koeficienty v mocninné řadě následujícím způsobem. Pro volný reálný parametr t definujeme momentovou vytvořující funkci pro náhodnou veličinu X vztahem MX (t) = E etX . Tato funkce (za docela rozumných předpokladůná sledující věty) zcela určuje náhodné veličiny a má řadu užitečných vlastností (tj. stejná momentová funkce na nějakém netriviálním intervalu =⇒ stejná distribuční funkce). Literatura Střední hodnota a rozptyl Kovariance Momentová funkce Centrální limitní věta Theorem Nechť X je náhodná veličina pro kterou na intervalu (−a, a) existuje její analytická momentová vytvořující funkce. Pak na tomto intervalu je MX (t) dána absolutně konvergující řadou Mt(X) = ∞ k=0 tk k! E Xk . Theorem Pro součet náhodných veličin platí: MX+Y (t) = MX (t)MY (t). Literatura Střední hodnota a rozptyl Kovariance Momentová funkce Centrální limitní věta Momentová vytvořující funkce pro X ∼ Bi(0, 1) Často je jednodušší počítat momenty z jejich vytvořující funkce než přímo. Pro alternativní rozdělení náhodné veličiny Y ∼ A(p) spočteme snadno MY (t) = E etY = e0 (1 − p) + et p = p(et − 1) + 1. Protože je binomické rozdělení X ∼ Bi(n, p) dáno jako součet n alternativních rozdělení Yi ∼ A(p), je zjevně v tomto případě M(t) = MX (t) = (p(et − 1) + 1)n . Obecně platí µk = dr dtr MX (t)|t=0. Je tedy např. první moment binomického rozdělení skutečně np (první derivace M(t) v nule), což je střední hodnota. Druhý moment je np(1 − p), čímž jsme ověřili výsledek pro rozptyl. Literatura Střední hodnota a rozptyl Kovariance Momentová funkce Centrální limitní věta Momentová vytvořující funkce pro Z ∼ N(0, 1) MZ (t) = ∞ −∞ etx 1 √ 2π exp(−x2 /2)dx = ∞ −∞ 1 √ 2π exp − x2 − 2tx + t2 − t2 2 dx = exp(t2 /2) ∞ −∞ 1 √ 2π exp − (x − t)2 2 dx = exp(t2 /2). (V předposledním řádku je integrálem dána pravděpodobnost jakékoliv hodnoty pro normální rozdělení, proto je to jednička.) Derivováním: (MZ ) (0) = 0 a (MZ ) (0) = (tet2/2) (0) = 1. Je tedy skutečně E Z = 0, var Z = 1. Literatura Střední hodnota a rozptyl Kovariance Momentová funkce Centrální limitní věta Uvažme nezávislé náhodné veličiny Y1, Y2, . . . , které mají všechny stejné rozdělení se střední hodnotou 0 a rozptylem 1. Předpokládejme, že třetí absolutní moment E|Yi |3 je konečný. Pro náhodnou veličinu Sn = 1√ n n i=1 Yi spočtěme momentovou funkci (koeficient n−1/2 je volen tak, aby rozptyl Sn byl stále 1) MSn = n i=1 E e(t/ √ n)Yi = (MY (t/ √ n))n , kde MY je společná momentová funkce všech veličin Yi . Nyní MY (t/ √ n) = 1 + 0 t √ n + 1 t2 2n + o(t2 /n) a v limitě proto dostáváme lim n→∞ MSn (t) = lim n→∞ 1 + t2 2n + o(1/n) n = et2/2 . To je právě momentová funkce pro rozdělení N(0, 1)!. Literatura Střední hodnota a rozptyl Kovariance Momentová funkce Centrální limitní věta Tím jsme skoro dokázali: Theorem (Centrální limitní věta) Nechť Y1, Y2, . . . jsou nezávislé náhodné veličiny se společnou střední hodnotou E Yi = µ, rozptylem var Yi = σ2 > 0 a konečným třetím absolutním momentem E|Yi |3. Pro distribuční funkce náhodných veličin Sn = 1 √ n n i=1 1 σ (Yi − µ) platí lim n→∞ P(Sn < x) = Φ(x), kde Φ(x) je distribuční funkce normálního rozdělení N(0, 1). Všimněme si: součty Xn = n i=1 Yi mají střední hodnotu nµ a rozptyl nσ2. Veličiny Sn jsou tedy právě normované veličiny Xn. Literatura Střední hodnota a rozptyl Kovariance Momentová funkce Centrální limitní věta Pokud jsou Yi ∼ A(p) nezávislé, pak E(Yi )3 = p < ∞ a všechny podmínky centrální limitní věty jsou splněny, µ = p, σ2 = p(1 − p). Součtové veličiny Xn = n i=1 Yi pak představují právě binomická rozdělení Bi(n, p) a příslušné normované veličiny jsou Sn = 1 √ n n i=1 Yi − p p(1 − p) = Xn − np np(1 − p) . Podle centrální limitní věty má tato veličina pro velká n rozdělení velmi podobné rozdělení N(0, 1). Jinými slovy, rozdělení Bi(n, p) je velice blízké rozdělení N(np, np(1 − p)) pro velká n. To je obsahem tzv. Laplaceovy–Moivreovy věty. To jsme už viděli minule na obrázcích: Literatura Střední hodnota a rozptyl Kovariance Momentová funkce Centrální limitní věta Pro hodnoty Bi(5000, 0.5) je výsledek vidět na obrázku níže. Druhá křivka na obrázku je grafem funkce f (x) = e−x2/2. Aproximace binomického rozdělení normálním se často považuje v praxi za dostatečnou, jestliže np(1 − p) > 9 Literatura Střední hodnota a rozptyl Kovariance Momentová funkce Centrální limitní věta Při praktických průzkumech zpravidla věříme „zákonu velkých čísel“. Potřebujeme přitom rozhodnout, jak velký vzorek už postačuje. Typickým příkladem je např. tato úloha: Chceme zjistit poměr p osob s danou krevní skupinou A v populaci. U kolika osob je třeba krevní skupinu skutečně zjistit, abychom měli 90% pravděpodobnost, že naše zjištění se nebude lišit o více než 5%. Propočítáním zjistíme, že (nezávisle na p) vždy stačí odhadnout p = X/n, kde X je náhodná veličina udávající počet osob majících požadovanou skupinu, pro vzorek 270 lidí.