Náhodné veličiny a vektory David Hampel 12235@mail.muni.cz Přednáška Statistika 1 (BKMSTAI) 12. listopad 2011, Brno Motivace ► Aparát vybudovaný na základě pravděpodobnosti se více formalizuje pomocí funkcí, které ► slouží jako teoretický model chování náhodné veličiny a ► umožňují vyčíslit teoretické vlastnosti náhodné veličiny. ► Tyto funkce, „rozdělení" náhodných veličin, lze transformovat pro různě upravené náhodné veličiny. ► S „rozdělením" souvisí pojem kvantilů, pomocí kterých se testují hypotézy o parametrech těchto „rozdělení". David Hampel Náhodné veličiny a vektory Náhodná veličina ► Náhodnou veličinu X definujeme jako zobrazení X : íž i—> R, kde každý vzor je jevem a obraz X (oj) se nazýva číselná realizace. Obvykle se zapisuje jen symbolem X. ► Zavedení náhodné veličiny slouží zejména ke zkrácení a zpřehlednění zápisu pravděpodobností. Např. pravděpodobnost, že se náhodná veličina X realizuje v množině B zkrátíme P({oj g n : X (u) g B}) P (X g B) a P({oj g n : X(oj) g B, B = (-00, x}}) P (X < x). <|> <|> 1 -OQ^O David Hampel Náhodné veličiny a vektory Distribuční funkce Funkce F : M i—> M definovaná vztahem Vi £ 1 : F (x) = P{X < x) se nazýva distribuční funkce náhodné veličiny X. Tato funkce má následující vlastnosti: ► je neklesající, tj. pro všechna x\ < X2 je F{x\) < F{x2), ► je zprava spojitá, tj pro všechna xq g M: lim+ F (x) = F(xq), ► lim F (x) = 1, lim F (x) = 0, x—*oo oo ► 0 < F (x) < 1, ► pro xq g M libovolné, ale pevně zvolené je p (X = x0) = F(x0) - lim F (x), pro a, b g R, a < b je P(a < X < b) = F (b) - F (a). David Hampel Náhodné veličiny a vektory Distribuční funkce - příklad Najděte distribuční funkci náhodné veličiny X, která udává, jaké číslo padlo při hodu kostkou. x g (-00,1) : F (x) = P{X < x) = 0 x g [1, 2) : F (x) = P{X < x) = 1/6 x g [2, 3) : F (x) = P{X < x) = 2/6 x g [6, 00) : F (x) = P{X < x) = 1 Distribuční funkce - příklad L.ii- 0,8- Ü.Ü- 0,4- 0,2-0,0 David Hampel Náhodné veličiny a vektory i -00.0 Distribuční funkce - příklad 0.8-0.6-0.4-0.2- -3-2-10 1 1 3 Distribuční funkce N{0,1) David Hampel Náhodné veličiny a vektory Pravděpodobnostní funkce Náhodná veličina X se nazývá diskrétní, právě když existuje funkce p(x), která je ► nulová v M s výjimkou nejméně jednoho a nejvýše spočetně mnoha bodů, ► kladná (Vx e R : p(x) > 0), ► normovaná {J2T=-ooP(x) = 1) ► a platí pro ni Vx g R : F (x) = J2t 0), ► normovaná f{x)dx = 1), ► platí ► v5c1: P {X é6) = / 1020. David Hampel Náhodné veličiny a vektory Hustota - příklad 2 Doba (v minutách) potřebná k obsloužení zákazníka v prodejně potravin je náhodná veličina, která se řídí rozložením Ex(^). Jaká je pravděpodobnost, že doba potřebná k obsloužení náhodně vybraného zákazníka v této prodejně bude v rozmezí od 3 do 6 minut? í -00.0 David Hampel Náhodné veličiny a vektory Hustota - příklad 2 X - doba potřebná k obsloužení náhodně vybraného zákazníka, (f(x) -i _ x_ 3 pro x > 0, 0 jinak. P (S < X < 6) -e 3 dx / 3 -e"2 -fe"1 = 0,233. David Hampel Náhodné veličiny a vektory Náhodný vektor Nechť Xi,..., Xn jsou náhodné veličiny a F±,..., Fn jsou jejich distribuční funkce. Pak definujeme náhodný vektor jako uspořádanou ra-tici X = (X±,..., Xn). Jeho distribuční funkci definujeme vztahem V(xi,...,x„) g Mn : F(xi,...,x„) = P{Xi < XlA---AXn < xn). Platí vlastnosti distribuční funkce náhodné veličiny, navíc máme Vi g {1,... ,n} : lim F(xľ,..., xn) = Fí(xí), X1,...,Xi-1,Xi+1,...,Xn^CO kde Fi(xi) se v této souvislosti nazývá marginální distribuční funkce náhodné veličiny Xi a F(xi,..., xn) se nazývá simultánní distribuční funkce náhodného vektoru X. David Hampel Náhodné veličiny a vektory Diskrétní náhodný vektor Náhodný vektor X se nazývá diskrétní, právě když existuje funkce p{xi,.. .,xn), která je ► nulová v W1 s výjimkou nejméně jednoho a nejvýše spočetně mnoha bodů, ► kladná ► normovaná {T,f1=_00---,Elfn=_00p(x1,... ,xn) = 1) ► a platí pro ni V(xi,...,x„) G Mn : F(Xl,...,xn) = ^ • • • ^ ... ,ín). tldXl ' ' -dxi-ldxi+l • • • dxn = fi{xi). —oo —oo —oo —oo Funkce fi(xi) se nazývá marginální hustota náhodné veličiny Xi a f(xi,..., xn) se nazývá simultánní hustota náhodného vektoru X. Pravděpodobnost, že se náhodný vektor X bude realizovat na oblasti B C W1 je rovna P (X e B) = J ■■■ J^f{xi,...,xn)dxi---dxn. David Hampel Náhodné veličiny a vektory Hustota spojitého náhodného vektoru - příklad Vrstevnice a graf hustoty dvourozměrného normálního rozložení s parametry fii = Q, (mí = 0, <|> <|> 1 -Oo^o David Hampel Náhodné veličiny a vektory Transformované náhodné veličiny a vektory Nechť g je vhodná funkce (nejčastěji spojitá). Pak můžeme pomocí této funkce transformovat náhodnou veličinu X na (transformovanou) náhodnou veličinu Y. Formálně píšeme V^efi: Y(u) = g(X(u)). Stejně tak můžeme pomocí vhodné funkce h transformovat náhodný vektor X na transformovaný náhodný vektor Y nebo na transformovanou náhodnou veličinu Y. ► Pomocí transformací normálně rozdělených veličin se sestrojují veličiny pomocí nichž se testují hypotézy. ► Při analýze nelze data libovolně transformovat. Většinou se tím změní jejich rozdelenia získané výsledky budou nesmyslné. David Hampel Náhodné veličiny a vektory Transformovaný náhodný vektor - příklad Předpokládejme, že doba čekání zákazníka před pokladnou je náhodná veličina, která se řídí exponenciálním rozdělením s parametrem A. Náhodně vybereme n zákazníků. Jaká je pravděpodobnost, že nejdéle čekající zákazník čekal méně než y sekund? Exponenciální rozdělení má hustotu f{Xi) = a distribuční funkci F(xí) Ae xxi pro xí > 0, A > 0 0 jinak 1 — e xxi pro xí > 0 0 pro xí < 0 i = 1,..., n l,...,n. Hledáme vlastně rozdělení transformované náhodné veličiny Y = max{Xi,.. .,Xn}. David Hampel Náhodné veličiny a vektory Transformovaný náhodný vektor - příklad FY(y) = P{Y x2). ► Podmíněná distribuční funkce ^^2 {x\ \x2) náhodné veličiny X\ za podmínky, že náhodná veličina X2 nabývá hodnoty x2, je dána vztahem Vxi e 1: $!|2 (xi |x2) = lim P (Xi < Xl \x2 i (x±) a $2 (^2)- Náhodné veličiny X\, X2 jsou stochasticky nezávislé, jestliže platí: Vx2 6 K : $!|2 (Xl \x2) = $1 (xi) a současné Vxi G M : $2|l (*2 \xi) = $2 (x2) David Hampel Náhodné veličiny a vektory Podmíněná pravděpodobnostní funkce ► Nechť (Xi,X2) je diskrétní náhodný vektor se simultánní pravděpodobnostní funkcí 7T (xi, X2) a marginálními pravděpodobnostními funkcemi -k\ {x\) a tt2 (2:2)- ► Fixujeme hodnotu x2. ► Podmíněná pravděpodobnostní funkce -ki\2 (xi\x2) náhodné veličiny X\ za podmínky, že náhodná veličina X2 nabývá hodnoty x2, je dána vztahem vxi G K : 71"! 12 (xi \x2 ) =--—— pro ir2 (x2) > 0. 7T2 (X2) ► Analogicky lze definovat podmíněnou pravděpodobnostní funkci 7r2|i {x2 \x\). David Hampel Náhodné veličiny a vektory Podmíněná pravděpodobnostní funkce Z definičního vztahu je okamžitě vidět: 7T (xi,x2) = 7T2 (x2) 71"!!2 (xi \x2 ) , jestliže 7T2 (x2) > 0, a obdobně 7T (x1,X2) = 7Tl (Xl) 7T2|l (x2 |xi ) , jestliže 7Ti (xi) > 0. Z těchto dvou vztahů vyplývá, že , , , ^i\2 (xi\x2)tt2(x2) 7T2|1 (^2 Fl ) = -7-Ň- TTi (Xi) a podobně , , , 7T2|1 (^2 |xi)7Ti (Xi) 7Tl|2 (^1 F2J = -7-Ň-• 7T2 (X2) Jedná se o Bayesův vzorec pro diskrétní náhodjý ^^■orJKX^X2\ David Hampel Náhodné veličiny a vektory Podmíněná distribuční funkce Je-li (Xi,X2) diskrétní náhodný vektor, pak pro podmíněnou distribuční funkci $i\2 (xi\x2) platí: Vxi G M : $i|2 {xi \x2) t 0. i -00.0 David Hampel Náhodné veličiny a vektory Podmíněná pravděpodobnostní funkce ► Nechť (Xi,X2) je diskrétní náhodný vektor s marginálními pravděpodobnostními funkcemi -k\ {x\) a tt2 (x2). ► Náhodné veličiny X\, X2 jsou stochasticky nezávislé, jestliže platí Vx2 g R, 7t2 (x2) > 0 : Tr^ {Xi \X2 ) = 7Ti (xi) . ► Analogicky, náhodné veličiny X\, X2 jsou stochasticky nezávislé, jestliže platí Va?i g R, 7Ti > 0 : 7r2|i (x2 \x± ) = 7T2 (2:2) • David Hampel Náhodné veličiny a vektory Podmíněná hustota pravděpodobnosti ► Nechť (Xi,X2) je spojitý náhodný vektor se simultánní hustotou pravděpodobnosti tp(xi,x2) a marginálními hustotami pravděpodobnosti Lpi (x\) a (f2(x2). ► Fixujeme hodnotu x2. ► Podmíněná hustota pravděpodobnosti ip^2 (xi\x2) náhodné veličiny X\ za podmínky, že náhodná veličina X2 nabývá hodnoty x2, je dána vztahem vx± £ R : 0. ^2 {x2) ► Analogicky lze definovat podmíněnou hustotu pravděpodobnosti 2|l 2|l l 2 (x2) pro (p2 (x2) > 0. i -00.0 David Hampel Náhodné veličiny a vektory Podmíněná hustota pravděpodobnosti ► Nechť (Xi,X2) je spojitý náhodný vektor s marginálními hustotami pravděpodobnosti ipi (x±) a (p2(x2). ► Náhodné veličiny X\, X2 jsou stochasticky nezávislé, jestliže platí Vx2 g M, tp2 (x2) > 0 : (/?i|2 {xi \x2) =ifi(x1). ► Analogicky: Náhodné veličiny X\, X2 jsou stochasticky nezávislé, jestliže platí Vxi g M, 0 : 2 složkami náhodného vektoru ► Vybereme marginální náhodný vektor (JQ,... ,Xj) o n\ složkách a zbylý marginální náhodný vektor o n2 složkách (ni +ri2 = n) označme (X^,..., Xi). ► Pak můžeme zavést ► podmíněnou distribuční funkci náhodného vektoru (Xi,..., Xj) za podmínky, že Xk — %k A ... A Xi — xi\ *■ podmíněnou pravděpodobnostní funkci v diskrétním případě a ► podmíněnou hustotu pravděpodobnosti ve spojitém případě pomocí analogických vztahů. David Hampel Náhodné veličiny a vektory Číselné charakteristiky náhodných veličin Číselné charakteristiky náhodných veličin popisují teoretické rozdělení náhodné veličiny. Nejčastějšími charakteristikami jsou ► Kvantily spojitých náhodných veličin Střední hodnota ► Rozptyl ► Kovariance ► Koeficient korelace ► Šikmost ► Špičatost ► Vektorová střední hodnota ► Kovarianční matice ► Korelační matice David Hampel Náhodné veličiny a vektory Kvantily spojitých náhodných veličin Nechť 9 £ (0,1). Pak #-kvantilem spojité náhodné veličiny nazýváme takové číslo Kq(X), pro něž je ► Kvantil Kq.5o(X) se nazývá medián, ► Kvantil Kq.25(X) se nazývá dolní kvartil, ► Kvantil Kq.75(X) se nazývá horní kvartil. ► Rozdíl Kq.75(X) — Kq.25(X) se nazývá mezikvartilové rozpětí. Kvantilové charakteristiky jsou „robustnější" než ostatní charakteristiky, je vhodné je uvádět, pokud se v rozdělení náhodné veličiny počítá s extrémními hodnotami. David Hampel Náhodné veličiny a vektory Kvantily spojitých náhodných veličin - tabulky Pro vybrané kvantily se zavedlo speciální označení: X~N(0,1) Ka(X) =ua, X~X2{n) ^ Ka{X)=xl{n), X ~ t(n) =>- Ka{X) = ta(n), A-~F(m,n2) Ka{X)=Fa{n1,n2). V tabulkách nejsou všechny kvantily, je nutné dopočítat podle vzta h ů ua — u]_ — a, ta{n) = -íi-a(n), Fa(n1,n2) =--}■-r. David Hampel Náhodné veličiny a vektory Kvantily spojitých náhodných veličin - tabulky a) Nechť U ~ ÍV(0,1). Najděte medián a horní a dolní kvartil. ► «0,50 = 0, iío,25 = -0,67449, u0,75 = 0,67449 b) Určete xŠ,025(25). ► Xo,o25(25) = 13,12 c) Určete t0,99(30) a í0,05(24). í0,99(30) = 2,4573, í0,o5(24) = -1,7109 d) Určete Fo,975(5,20) a F0,o5(2,10). ► F0,975(5 , 20) = 3,2891, F0,05(2,10) = 0,05156 <|> <|> 1 -Oo^o David Hampel Náhodné veličiny a vektory Střední hodnota E(X) Střední hodnota E(X) je číslo, které charakterizuje polohu číselných realizací náhodné veličiny X na číselné ose. ► Je-li X diskrétní náhodná veličina s pravděpodobnostní funkcí p(x), pak její střední hodnota je oo E{X) = X'PÍX)- x=—oo ► Je-li X spojitá náhodná veličina s hustotou f(x), pak její střední hodnota je /oo x-f(x). -oo ► Nechť Y = g(X) je transformovaná náhodná veličina. Pak E,Y) = { ^xeRdix) -p(x) v diskrétním případě, 1 J^oo 9ÍX) ' f(x) ve spojitém případě. David Hampel Náhodné veličiny a vektory Rozptyl D (X) Rozptyl D (X) je číslo, které charakterizuje variabilitu číselných realizací náhodné veličiny X kolem střední hodnoty E (X). Definujeme D(X)=E([X-E(X)f), ve výpočtech se častěji používá vztah D(X) = E{X2) - [E{X))2. Číslo ^D(X) se nazývá odchylka náhodné veličiny X. David Hampel Náhodné veličiny a vektory Príklad Náhodná veličina X udává počet ok při hodu kostkou. Vypočtěte její střední hodnotu a rozptyl. irlx) g pro x = 1,2,... ,6 0 jinak, 6 E{X) = X7^(x) = ^(1 + 2 + 3 + 4 + 5 + 6) = 1 = 3,5. x=l = J> - 3,5): x=l 35 12 2,92. D(X) = E{X2) - [E{X)]2 = x^(.x) - 3,5 1 21 = 1 -(l2 + 22 + 32 + 42 + 52 + 62) - 3,52 = 2,92. 6 David Hampel Náhodné veličiny a vektory Podmíněné charakteristiky - diskrétní případ Nechť (Xi,X2) je diskrétní náhodný vektor a nechť -ki\2 {x\ \x2) je podmíněná pravděpodobnostní funkce náhodné veličiny X\ za podmínky, že náhodná veličina X2 nabývá hodnoty x2. Podmíněná střední hodnota je definována vztahem oo Vx2 g M, 7t2 (x2) > 0 : E (Xi \x2) = ^ xitt^ |x2) a podmíněný rozptyl je definován vztahem Vx2 g M,7t2 (x2) > 0 : oo D(X1\x2)= £ [xi - E {X^)}2 ^\2 {Xl\x2) . xi =—oo Tento vzorec lze upravit do výpočetního tvaru oo D(X1\x2)= £ xl^i\2 (zi|x2)- [EiX^x^]2. X\ = — OO <|> <|> 1 -Oo^o David Hampel Náhodné veličiny a vektory Podmíněné charakteristiky - spojitý případ Nechť (Xi,X2) je spojitý náhodný vektor a nechť ip^2 {x\ \x2) je podmíněná hustota pravděpodobnosti náhodné veličiny X\ za podmínky, že náhodná veličina X2 nabývá hodnoty x2. Podmíněná střední hodnota je definována vztahem /oo XW\\2 {x\ \xi) dxi -oo a podmíněný rozptyl je definován vztahem Vx2 G M,7r2 {x2) > 0 : ľ°° 2 D(Xi\x2)=l [xi - E (Xi \x2)} (pľ\2 (x1\x2)dx1. J—oo Tento vzorec lze upravit do výpočetního tvaru /°° 2 -oo David Hampel Náhodné veličiny a vektory Podmíněné charakteristiky ► Při měnících se realizacích náhodné veličiny X2 je podmíněná střední hodnota E (X\ \x2) funkcí proměnné x2 a znázorňuje průběh závislosti veličiny X\ na veličině X2. ► Nazývá se regresní funkce veličiny X\ vzhledem k veličině X2. ► Tvar regresní funkce charakterizuje proměnlivost střední hodnoty veličiny X\ v závislosti na X2. David Hampel Náhodné veličiny a vektory Podmíněné charakteristiky ► Podmíněný rozptyl D (X\ \x2) je funkcí hodnot veličiny X2. ► Nazývá se skedastická funkce veličiny X\ vzhledem k veličině X2. ► Tvar skedastická funkce charakterizuje proměnlivost rozptylu veličiny X\ v závislosti na X2. ► Je-li skedastická funkce konstantní, řekneme, že rozložení náhodného vektoru [X\, X2) je homoskedastické (tj. podmíněné rozptyly nezávisí na podmínce). ► V opačném případě se rozložení náhodného vektoru (Xi, X2) nazývá heteroskedastické. David Hampel Náhodné veličiny a vektory Kovariance C(Xi,X2) Kovariance C(Xi,X2) je číslo, které charakterizuje společnou variabilitu číselných charakterizací náhodných veličin X\ a X2 kolem jejich středních hodnot. Definujeme ji jako C(X1,X2) = E{[Xi - E(X1)][X2 - E(X2)]), užívá se i vztah C(XUX2) = E(X!X2) - E(X1)E(X2). Je-li C(Xi,X2) = 0, řekneme, že náhodné veličiny X\ a X2 jsou nekorelované, tj. že mezi nimi neexistuje lineární závislost. David Hampel Náhodné veličiny a vektory Koeficient korelace R(Xi,X2) Koeficient korelace R(Xi,X2) je číslo, které charakterizuje míru těsnosti lineární závislosti číselných realizací náhodných veličin X\ a X2. Nabývá hodnot z intervalu [—1,1]. Definujeme jej jako R(X1,X2) = E X1 - E{X{) X2 - E{X2) yjD{X{) JD{X2) pro y/D(X1)y/D(X2)^0, R(XUX2) = 0 jinak. Často se používá vztah C(XUX2) R(X1,X2) y/D(X1)y/D(X2)' 13*4&k4 = k4 = * s -OQ^O David Hampel Náhodné veličiny a vektory Momenty Číslo se nazýva obecný moment fc-tého řádu. Číslo fik = E([X - E(X)]k) se nazýva centrálni moment fc-tého řádu. David Hampel Náhodné veličiny a vektory Momenty Pomocí momentů můžeme definovat šikmost (asymetrii) náhodné veličiny X jako A3(X) a špičatost (exces) náhodné veličiny X jako MX) = -^=-4 " 3. Pro normální rozdělení N(0,1) vychází A3(X) = 0 a AA(X) = 0. Šikmost a špičatost se dají využít k testování hypotéz o rozdělení. u y 4 & v 4 = * 4 = y -š -00.0 David Hampel Náhodné veličiny a vektory Vlastnosti číselných charakteristik ► Nechť a, a\, a2, b, b\, b2 jsou reálná čísla, X, Xi,... , Xn, Y\,... , Ym jsou náhodné veličiny definované na témž pravděpodobnostním prostoru. ► V následujících vzorcích vždy z existence číselných charakteristik na pravé straně vyplývá existence výrazu na levé straně. Vlastnosti střední hodnoty a) E(a) = a, b) E{a + bX) = a + bE(X), c) E(X - E(X)) = 0, / n \ n d) E (EXi ) = EE(Xi), \í=i / i=i e) Jsou-li náhodné veličiny X\,..., Xn stochasticky nezávislé, / n \ n pak platí £ n *i = n \i=l / 1=1 David Hampel Náhodné veličiny a vektory Vlastnosti kovariance a) C(ai,X2) = C{X1,a2) = C(ai,a2) = 0, b) C(a1 + b1X1,a2 + b2X2)=b1b2C(X1,X2), c) C(X,X) = D(X), d) C(X1,X2)=C(X2,X1), e) C(X1,X2) = E(X1X2) - E(X1)E(X2), (n m \ nm E4E^ =EE cpr*,^). í=i j=i j i=ij=i David Hampel Náhodné veličiny a vektory Vlastnosti rozptylu a) D (a) = 0, b) D(a + bX) = b2D(X), c) D(X) = E{X2) - [E{X))2, /n \ n n—l n d) D EX, = Y.D{Xi) + 2 E E C{Xi,Xj) \i=l / i=l i=l j=i+l e) Jsou-li náhodné veličiny X±,Xn nekorelované, pak /n \ n fl = E . \i=i / í=i David Hampel Náhodné veličiny a vektory Vlastnosti koeficientu korelace a) R(a1, X2) = R(X1,a2) = R(a1,a2) = 0, b) R(ai + 61X1, a2 + b2X2) = sgn(&i&2)i?(Xi, X2), c) R(X, X) = 1 pro D {X) ^ 0, R(X, X) = 0 jinak, d) R(X1,X2) = R(X2,X1) e) R(X1,X2) = í7ä5) p~v^i)V^)>o. f) |iž(Xi,X2)| < 1 a rovnost nastane tehdy a jen tehdy, když mezi veličinami Xi,X2 existuje s pravděpodobností 1 úplná lineární závislost, tj. existují konstanty a±,a2 tak, že P{X2 = ai + a2Xi) = 1. (Uvedená nerovnost se nazývá Cauchyova-Schwarzova-Buňakovského nerovnost.) jinak, David Hampel Náhodné veličiny a vektory Charakteristiky náhodných vektorů Nechť X = (Xi,... ,Xn) je náhodný vektor. Reálný vektor E(X) = (E(X1),...,E(Xn)) se nazývá vektor středních hodnot. Reálná čtvercová symetrická matice var (X) D(X1) C(X1,X2) C (Xi, x„ C(Xn,Xi) C(Xn,X2) ■■■ D{Xn) se nazývá varianční matice a reálná čtvercová symetrická matice 1 R(Xi,X2) ••• R(Xi,Xn corr (X) = : : : . R(Xn,Xi) R(Xn,X2) ••• 1 se nazývá korelační matice. David Hampel Náhodné veličiny a vektory