u r j i SCI Teorie pravděpodobnosti Studijní text ke kurzu MA750 Ondřej Pokora Ústav matematiky a statistiky, Přírodovědecká fakulta, Masarykova univerzita 21.10. 2019 Konstrukce pravděpodobnostního prostoru Definice (Konečná aditivita) Nechť A, B jsou disjunktní jevy. Vlastnost P(A uB) = P(A) + P(B) se nazývá (konečná) aditivita. Indukcí lze rozšířit na konečný počet disjunktních jevů Ai, ..., A„, (n \ n \jAk) = YlP(Ak). k=l J k=l Definice (Spočetná aditivita, o-aditivita) Nechť Ai, A2, A3, ... je spočetná (konečná či nekonečná) posloupnost vzájemně disjunktních jevů. Vlastnost (oo \ oo yArJ = £P(A,) se nazývá spočetná aditivita (d-aditivita). Příklad Pro podmnožinu A g [o;i] a číslo re [0;l] definujme tzv. r-posun množiny A: Aer={a + r; a g A, a + r < 1} u {a + r - 1; aeA, a + r- l>0}. Pro náhodnou veličinu X - äs([0;1]) by mělo platit P(Aer) =P(A), A g [0;1], r y e [0;l] definujeme relaci ekvivalence x-yoy-xzQ.Ta interval rozdělí disjunktních do tříd ekvivalence. Zvolíme v každé třídě jednoho zástupce (přičemž místo příp. 0 zvolíme jako zástupce např. \) a z nich vytvoříme množinu Jí. Nyní platí (0;l]= U (Her), reQn[0;l) přičemž množiny (Jí e r) jsou vzájemně disjunktní. Ze a-aditivity a r-posunu nyní obdržíme *((0;i])= E P(Her)= E P(H). reQn[0;l) reQn[0;l) Spočetná suma stejných pravděpodobností může být rovna pouze 0, anebo ±00. To je však ve sporu s tím, že chceme P((0;l]) = 1-0 = 1. 4/118 Definice Množina A podmnožin Q je algebra (algebra, fíeld), pokud: ► .4 je neprázdná, ► A je uzavřená na doplňky, ► .4 je uzavřená na konečná sjednocení. Množina A podmnožin Q je a-algebra (a-algebra, a-field), pokud: ► .4 je neprázdná, ► A je uzavřená na doplňky, ► .4 je uzavřená na spočetná sjednocení. Množina A podmnožin Q je semialgebra, pokud: ► 0, n g A, ► A je uzavřená na konečné průniky, ► doplněk každého prvku z A je rovný konečnému sjednocení disjunktních prvků z A. Tvrzení ► 0, n g a ► algebra A je uzavřená na průniky, a-algebra A i na spočetné průniky. Definice (Pravděpodobnostníprostor) Pravděpodobnostní prostor (probability space, probability triple, probability measurable space) je trojice (íl, A, P), kde ► Q * 0 je základní prostor (sample space), ► A je a-algebra podmnožin Q, ► pravděpodobnost (pravděpodobnostní míra) (probability measure) Pje zobrazení P: A -> [0; 1] s vlastnostmi: • Pje spočetně aditivní, • = i. Dvojice (íl, .A) se nazývá jevové pole (měřitelný prostor) (measurable space). Prvky A e A nazýváme jevy (events) nebo měřitelné množiny (measurable sets). Jsou to takové podmnožiny A g Qf pro které je pravděpodobnost P(Á) korektně definována. Na příkladu jsme viděli, že A obecně nemusí obsahovat všechny podmnožiny Q. 6/118 Tvrzení (Vlastnosti pravděpodobnosti) Pro A, B, Au A2, - --eAplatí: ► P(0) = O, ► P(Ä) = 1 - P(A), ► P (A) < P(B) pro AcB, ► P(A uB)= P(A) + P(B) - P(A n B), (oo \ oo k=l I k=l (monotonie pravděpodobnosti) (princip inkluze a exkluze) (a-subaditivita) 7/118 Tvrzení Nechť Q je konečná nebo spočetná, neprázdná množina. Nechť p : Q -> [0;l] je libovolné zobrazení splňující £ p(co) = 1. Potom (íl, A, P), kde A = 2n coeQ. a P (A) = £ p(w), je pravděpodobnostní prostor. co e A Tvrzení říká, že konstrukce pravděpodobnostního prostoru je pro nejvýše spočetný základní prostor Q přímočará. Bez obav lze jako a-algebru jevů zvolit množinu všech podmnožin a pravděpodobnost jevů definovat tak, jak ji známe z příkladů náhodných veličin diskrétního typu. Příklad (Klasická pravděpodobnost) Uvažujme konečný základní prostor Q * 0, A = 2n a pravděpodobnost P (A) = j^j, kde | • | označuje počet prvků množiny. Potom (íl, A, P) je pravděpodobnostní prostor. Nazývá se rovnoměrné rozdělení na Cí, Ro(Cl). Jednoduše ověříme, žep(co) = P({co}) = \, kde n = |n|, jedná se o velmi dobře známý případ, jde o klasickou pravděpodobnost. 8/118 V případě nespočetného základního prostoru Cl je však situace zcela odlišná. Představme si Q = [0;l]. Jak zvolíme a-algebru A a na ní pravděpodobnost P? Již víme, že ani pro tak jednoduchý základní prostor nelze vzít A = 2n, protože pro některé podmnožiny A g [0;i] nelze pravděpodobnost P (A) vůbec definovat. Na druhou stranu, z praktických důvodů, určitě chceme, aby A obsahovala alespoň všechny intervaly I g [o; 1] a jednobodové podmnožiny: J = {všechny intervaly tvarů [a, fe], (a, fe), [a, fe), (a, fe), {a}}, J 9 A. Z rovnoměrného spojitého rozdělení äs([0;1]) jsme totiž zvyklí pravděpodobnost takových intervalů IeJ počítat jako jejich délku, P(I) = b-a, P({a}) = 0. Ověřte, že J je semialgebra. Ověřte, že když do J přidáme všechna konečná sjednocení prvků z J, obdržíme algebru. Ale ani poté, co do J přidáme všechna konečná a spočetná sjednocení, nestane se a-algebrou. Zjišťujeme, že zkonstruovat korektní a-algebru A i na jednoduchém nespočetném základním prostoru Cí = [0;l] není triviálním úkolem. 9/118 Tvrzení (Věta o rozšíření) Nechť J je semialgebra podmnožin množiny Q a nechť zobrazení P' J -+ [0; 1] má následující vlastnosti: ► P(0) = 0, P(íl) = 1, ► pro vzájemně disjunktníAb A2, ...,AneJ, U/UA,- e (n \ « LMí I - S^C^í)' (konečná superaditivita) ► pro Ai, A2, • • • € j; A g U^A,: oo P(A) < ^P(Af). (o-monotonie) i=l Potom existuje a-algebra A, J 9 A, a spočetně aditivní pravděpodobnostní míra P* na A tak, že P*(A)=P(A)9 AtJ, a (íl, A P*) ;e pravděpodobnostní prostor 10/1 Věta o rozšíření dává návod na konstrukci pravděpodobnostního prostoru, když máme definovanou pravděpodobnost P na semialgebře J. Musíme přitom vyřešit dvě otázky: jak definovat P* (A) pro množiny A e A \ J a jak zkonstruovat a-algebru A jejíž existence je Větou zaručena. Ověřování podmínek ve výše uvedené Větě může být velmi obtížné. Existují i alternativní ekvivalentní formulace těchto předpokladů, které nyní uvedeme. Ekvivalentní předpoklady Věty o rozšíření ► P(0) = 0, P(£l) = 1, ► P(A) < P(B) pro A, B g J, A g B, ► P je konečně superaditivní, ► P je a-subaditivní. Ekvivalentní předpoklady Věty o rozšíření pro pravděpodobnost ► P (Cl) = 1, ► P je a-aditivní. 11/118 Míra, vnější míra Definice (Míra) Nechť (fl, A) je měřitelný prostor. Míra (measure) je zobrazení {i : A -> [0; oo] s vlastnostmi: ► ^(A) > 0 pro A g A (oo \ oo IjA^ = Y,KAk) pro disjunktní Ai, A2, • • • e A k=l ) k=l ► ^(0) = 0. Míra [4 je: ► nekonečná, pokud ^(£1) = oo, ► a-konečná, pokud ^(Q) = oo, ale přitom existuje úplný systém {Ai, A2, ...} na Q takový, že ^(Ak) < oo, k = 1,2, ► konečná, pokud ^(íí) < oo, ► pravděpodobnostní, pokud p(Cl) = 1. Trojice (O, A ^) je prostor s mírou. Definice (Vnější míra) Vnější míra (outer measure) je zobrazení fí° : 2Q -> [0;oo] s vlastnostmi: ► p°(0) = 0. ► (i°(A) <ť(B) pro A c B, oo \ oo ► ^0|U^pE^(^) proA1,A2, --cO. Speciální vnější míru lze definovat pomocí míry na algebře A 9 2n: 00 (A) =inf kde infímum je počítáno přes všechna spočetná pokrytí množiny A množinami z algebry A tj. přes všechny Ab A2, • • • e A, A g A/. 13/118 Tvrzení (Vlastnosti míry) Nechť (ClyA,it) je prostor s mírou. Potom platí: ► fí je konečně aditivní, ► ii(Á) < ii(B) pro A cft ► [i je o-subaditivní, tj. p (\j£=1 Ak) < Znk=i [i(Ak). Tvrzení (Vlastnosti vnější míry) ► Vnější míra ^° je nezáporná. ► Vnější míra y,° je konečně subaditivní. ► Míra je restrikce vnější míry ^° na o-algebru A 9 2n. ► Zobrazení fí* je vnější mírou (tzn. ^ je speciální případ ► fí* je rozšíření míry p ze o-algebry A na všechny podmnožiny 2 ► Je-li fí o-konečná na A, potom je ^ o-konečná na 2n. ► Je-li fí konečná na A, potom je ^ konečná na 2n. Porovnejte definici a vlastnosti míry s definicí a vlastnostmi pravděpodobnosti. Pravděpodobnost je vlastně speciální mírou, P = p, když fi(Q) = 1. Naopak, na míru lze nahlížet jako na zobecnění pravděpodobnosti, kdy jevy (měřitelné množiny) ohodnocujeme nezáporným číslem (včetně nekonečna), ^(A) e [0;oo]. Vnější míra je důležitý koncept pro konstrukci míry (pravděpodobnosti). Na rozdíl od míry (pravděpodobnosti) je totiž definována pro všechny podmnožiny A g n a nevyžaduje d-algebru A. 15/118 Tvrzení (Carathéodoryho věta o rozšíření) Nechť p je míra na algebře J podmnožin množiny íl Potom platí: ► Míru fí lze rozšířit na a-algebru A generovanou algebrou J. ► Je-li p o-konečná na J, její rozšíření na A je jednoznačné a o-konečné. ► Je-li p konečná na J, její rozšíření na A je jednoznačné a konečné. V předchozí formulaci Věty o rozšíření sice stačí, aby J byla jen semialgebra, navíc je ale požadováno splnění dalších vlastností pravděpodobnosti P. Pokud míra ^iwaj není konečná ani a-konečná, její rozšíření na A nemusí být jednoznačné, tzn. může existovat více (až nekonečně mnoho) rozdílných rozšíření. Pokud pracujeme s pravděpodobnostní mírou, p = P, Carathéodoryho věta říká, že rozšíření P z algebry J na a-algebru A existuje a je jednoznačné. Nutnou podmínkou přitom je, že míra ^, resp. pravděpodobnost P, je korektně definována na algebře J. 16/118 Definice (Množiny měřitelné vzhledem ke vnější míře) Nechť \i° je vnější míra. Množina A € 2n je tzv. y°-měřitelná, pokud pro všechny testovací množiny Ee2n platí (£) = ^°(A n E) + ^°(Ä n E), tzn. pokud je ^° aditivní na množinách A n E a A n E. ^-měřitelné množiny existují, např. si ověřte, že 0, Q jsou vždy ^-měřitelné. Dále, pokud je nějaká množina A ^-měřitelná, pak je i její doplněk A ^-měřitelný. 17/118 Následující věta je důležitá. Dává totiž návod, jak na zkonstruovat (T-algebru a na ní míru. Vychází přitom jen z existence vnější míry. Tvrzení Systém všech ^-měřitelných množin, A={Ae2n : p°(E) = ť (A n E) + p°(Ä n E) pro všechny E A2, Hi) jsou dva prostory s mírou. Součinový prostor (product space) je kartézský součin Qi X Cí2 = {(C0\, C02) • (Jú\ e Cli, CO2 € H2}. Na systému = {AY x A2: Ai € Ai, A2 g A2} definujeme součinovou míru (product measure) p(Ai x A2) = ^i(Ai)^2(A2). Množina Ax x A2 e J je tzv. měřitelný obdélník (measurable rectangle), Ax a A2 jsou jeho strany. Ověřte, že J je semialgebra. V případě, že oba prostory jsou pravděpodobnostní, tzn. pľ = Ph p2 = Pi, definujeme analogicky P(AX x A2) = Pi(Ai)P2(A2). Ověřte, že platí P(0 x 0) = o, P(flx x n2) = 1. 20/118 Příklady konstrukcí pravděpodobnostních prostorů Vraťme se k nespočetnému základnímu prostoru Q = [0;l]. Zvolme systém J = {všechny intervaly tvarů [a, fe], (a, fe), [a, fe), (a, fe), {a}}. Systém J je semialgebra na fi. Pro intervaly 7 g definujeme P(l) jako délku daného intervalu, např. P([a, b]) = b-a, P({a}) = 0, P(0) = 0, P([0;1]) = 1. Zobrazení P má na J vlastnosti pravděpodobnosti. Věta o rozšíření zaručuje existenci jednoznačného rozšíření P na a-algebru A, J 9 A, tak, že (íl, A, P) je pravděpodobnostní prostor. Tento pravděpodobnostní prostor se nazývá Lebesgueova míra (Lebesgue measure) na [0;l]. Zkonstruovaná pravděpodobnostní míra se někdy označuje A = P. #[o;i] = °{J) Je tzv- borelovská a-algebra na intervalu [0;1], jedná se o a-algebru generovanou systémem J. tzn. že je to nejmenší a-algebra obsahující systém J. Pro a-algebru A z Věty o rozšíření musí tedy platit Bm g A. Lze ukázat, že Lebesgueova míra na fí[0;1] však není úplná, zatímco na A úplná je. 21/118 Již víme, že A([a, b]) = b-a, A({a}) = 0. Ze a-aditivity míry dokonce víme, že A(A) = 0 pro libovolnou spočetnou množinu A g [0;l], protože takovou A lze zapsat jako spočetné sjednocení disjunktních jednoprvkových množin, které mají nulovou míru. Např. tedy také víme, že A(Q) = 0. Připomeňme, že s Lebesgueovou mírou vlastně pracujeme v případě náhodné veličiny X s rozdělením X - £s([0;l]). Vybíráme-li tedy náhodně reálné číslo X z intervalu [0; 1], víme, že P(X [0;l] předpisem g(x) = ZT=i Protože g(K) = [0;l] a interval [0;l] je nespočetná množina, musí být i Cantorova množina K nespočetná. 23/118 Borelovská a-algebra na R je cr-algebra B = a(J) generovaná systémem J všech intervalů na R. Lze ukázat, že B = o(M), kde M = {(-oo, b); b e R}. Házíme w-krát mincí. Jako pravděpodobnostní prostor přímočaře volíme ui £l = {(bi, ...,M;M{0;1},* = 1, ^l = 2n, P(A) = ^. 24/118 Pokračujme nyní nekonečným házením mincí. Základní prostor definujeme jako množinu všech posloupností čísel 0 (rub) a 1 (líc), í} = {(fei,fe2> ...);M{0;l},fceN}. Jak zkonstruujeme a-algebru A a na ní pravděpodobnost P, abychom dostali pravděpodobnostní prostor? Pro n e N a ab a2, ...,ane {0; 1} definujeme jevy Aaia2...an = &2> . . . ) € íl : fljt = fejt prO = 1, . . . , ľl] . Jakým situacím tyto jevy (při konkrétní volbě 0 a 1 za ak) odpovídají? Intuitivně na základě znalosti z konečného házení mincí chceme, aby P(Aaia2...an) = ^. Pomocí těchto jevů vytvoříme systém J, J = {Aaia2...an;n ^N,a^ {0; 1}, k = 1, ..., n} u {0, Q}. Ověřte, že J je semialgebra a že P je na J' (konečně) aditivní. Lze ukázat (obtížný důkaz), že P je na J dokonce a-aditivní. 25/118 Použijeme alternativní formulaci Věty o rozšíření, která tvrdí, že P lze rozšířit na a-algebru A obsahující J. Tato a-algebra A však bude velmi složitá, neočekávejme žádný její explicitní popis. Důležité je vědět, že vůbec existuje. Pro n e N definujeme jevy Hn = {(bu b2, ...) eQ:bn = l}. Interpretujte je a pomocí vhodných jevů A... a a-aditivity P ověřte, že P(Hn) = \. Zajímavý postřeh je, že každé číslo x e [0; 1] lze jednoznačně zapsat ve tvaru 00 bi- binárního rozvoje x=J]—r, kde bk e {0; 1}, k = 1, 2, .... Každé číslo x e [0; 1] k=i 2 lze tedy jednoznačně ztotožnit s jednou z posloupností (fei, b2, ...) eQ. Pravděpodobnostní prostor při nekonečném házení mincí tedy v postatě odpovídá Lebesgueově míře na [0;l]. 26/118 Příklad Uvažujme algebry Ji = {0, n, A, Ä}, J2 = {0, 5,5} pro A±B,AnB±0 a zaveďme J jako algebru generovanou sjednocením Ji u J2. Definujeme pravděpodobnostní míry ^x a ^2: pk(0) = 0, ^(£1) = 1, pk(A) = 0,40, pk(B) = 0,35, fc = 1, 2; u 5) = 0,50, ^2(A u 5) = 0,60. Nalezněte všechny prvky J a rozšiřte ^ a ^2 na celé J. Všimněte si, že rozšířeni míry z Ji u J2 na J není jednoznačné. Je to důsledkem toho, že původní systém Ji u J2, z něhož jsme generovali J není algebrou. Příklad Uvažujte konečný, resp. spočetný, základní prostor Q. Pro A c d definujme zobrazení ^, ^(A) = |A|, jako počet prvků A (příp. 00). Ověřte, že \i je míra na 2n, a že je konečná, resp. a-konečná. Nazývá se čítací míra (counting measure). 27/118 Príklad Uvažujte Q. = {o)1; C02, íť3, 0)4} a J = {0, Q., {o)i, o)2}, {0)1, o)3}, {o)2, o)4}, {o)3, 0)4}}. Definujeme: A 0 D. {0)1} {w2} {o)3} {0)4} {wi, o)2} {o)u oi3} {o)2, 0)4} {o)3, o)4} 0 6 3 3 3 3 12 2 1 2 112 1. Ověřte, že J' není algebra. 2. Ověřte, že ^ je míra na J. 3. Dodefinujte \ix a ^2 tak, aby obě byly míry na 2n. 4. Ověřte, že ^1 a ^2 jsou dvě rozšíření fízj na 2n. 5. Spočítejte vnější míru ^* na 2n pomoci p. 6. Všimněte si, že \ix * ^2 * Důvodem je to, že J' není algebra. 28/118 Příklad Uvažujte Q = N0, A = {lichá přirozená čísla}, J = {0, Q, A, A}. Nechť \i je čítači míra na J a definujme ^i(A) = ^(^) = 2I^I Pro ^ ^ 2n- 1. Ověřte, že J' je algebra. 2. Ověřte, že p není a-konečná míra. 3. Ověřte, že \ix a ^2 jsou rozšíření fízj na 2n. 4. Ověřte, že \ix a ^2 jsou a-konečné míry. 5. Spočítejte vnější míru 6. Ověřte, že a-algebra ^-měřitelných množin je rovna 2n, tj. že všechny podmnožiny Q jsou zde ^*-měřitelné. 29/118 Náhodné veličiny Definice (Náhodná veličina) Uvažujme pravděpodobnostní prostor (íl, A, P). Náhodná veličina (random variable) je zobrazení X: Q -> R splňující podmínku {íiigO: X(cú) oo posloupnost pravděpodobností {P(An)}™=l osciluje, liminfP(A„) = 0, n—>oo limsupP(An) = 1. n—>oo 36/118 Definice (Limitníjevy) Pro jevy AUA2, • • • e A v pravděpodobnostním prostoru (íl, A P) definujeme limitní jevy 1. An nekonečně často (infinitely often, i. o.) oo oo lim sup An = {(oeCl:v nekonečně mnoha jevech An} = P| (J A^, « n=lk=n 2. A„ skoro vždy (almost always, a. a.) oo oo liminf A„ = {a; g n : ve všech kromě konečně mnoha A„} = (J P| A*. n n=lk=n Příklad (Ověřte, že platí:) 1. lim sup A„, lim inf An e A, 2. lim sup An =liminfAn a tedy P(limsup A„) = 1 - P(liminf An), n n n n 3. lim inf An = lim sup An a tedy P(lim inf An) = 1 - P(lim sup An). n « M « 37/118 Tvrzení P(liminf A„) < liminf P(An) < lim sup P(An) < P(lim sup An). n H-^oo n^-oo n Příklad Pravděpodobnostní prostor (Cl = {cou co2, co3, o)4}> A = 2Q, P) P({o)i}) P({o)2}) = \, P({co3}) = l P({co4}) = ±. Zvolme posloupnost jevů An = {coi, co2} pro lichá n, An = {co2, co3} pro sudá n. 1. Ověřte, že lim inf „ An = {co2}. 2. Ověřte, že lim sup n An = {cou coi> ^3}- 3. Ověřte, že P(liminf„ An) = |. 4. Ověřte, že liminfn^oo P(An) = \. 5. Ověřte, že limsup^^ P(An) = ^. 6. Ověřte, že P(liminf„ A„) = ^. Tvrzení(Borelovo-Cantelliho lemma) Nechť Ai, A2, - - - e A. oo ► Pokud £ P(An) < oo, potom P(limsupA„) = o. n=l n oo ► Pokud Y, P(An) = oo ajevyAuA2, ...jsounezávislé,potom n=l P(limsupAn) = 1. n Toto tvrzení je zajímavé tím, že říká, že pro nezávislé jevy je P(limsupA„) n rovna buď 0, anebo 1, nikdy žádnému jinému číslu. Používá se při výpočtech pravděpodobností jevů, které mají nastat nekonečně často nebo skoro vždy. 39/118 Příklad (Nekonečně mnoho líců/rubů) Vraťme se k náhodnému pokusu s nekonečným házením mincí a opět pro n e N definujeme jevy Hn = {(bu b2, ...) e Q : bn = 1}. 1. Interpretujte jevy lim sup Hn a lim inf Hn. n n 2. Ověřte, že limsupP(H„) = \. 3. Pomocí B-C lemmatu dokažte, že pravděpodobnost padnutí nekonečně mnoha líců je rovna 1 a pravděpodobnost padnutí konečně mnoha rubů je rovna 0. 4. Pomocí B-C lemmatu dokažte, že pravděpodobnost padnutí nekonečně mnoha rubů je rovna 1 a pravděpodobnost padnutí konečně mnoha líců je rovna 0. 5. Dávají výsledky smysl? Mohou být pravděpodobnosti padnutí nekonečně mnoha líců i nekonečně mnoha rubů obě rovny 1? 40/118 Střední hodnota Definice (Jednoduchá náhodná veličina) Náhodná veličina X na pravděpodobnostním prostoru (íl, A, P) je jednoduchá (simple random variable), pokud její obor hodnot je konečná množina, {X(co); co e Q} = {xu • • •, xn}. Jednoduchou náhodnou veličinu lze zapsat ve tvaru n k=l kde Ak = X~l({xk}), k = l, ...,n, jsou úplné vzory obrazů x*. Definice (Střední hodnota jednoduché náhodné veličiny) Pro jednoduchou náhodnou veličinu definujeme střední hodnotu (expected value, expectation, mean) předpisem E(X) = Y,xkP(Ak) = f>P(X = xk). k=l k=l 41/118 Uvedený předpis pro střední hodnotu je ne náhodou podobný vzorci pro výpočet střední hodnoty náhodné veličiny diskrétního typu. Zde je však omezujeme jen na konečné součty. Všimněme si využití zápisu jednoduché náhodné veličiny E(£xklAk) = £,xkP(Ak). \k=l I k=l Příklad Na pravděpodob. prostoru (íl / x . 5> 0)>\ X(co) = \ 3, (jů<\ Y(co) = [0; l], A A) definujme náhodné veličiny 2, co e Q 4, co=^ 6, 0)<\y 0, což dle definice znamená E( Y — X) > 0 a z linearity obdržíme E( Y) — E(X) > 0. 43/118 5. |E(X)| 0, Var(7) > 0, definujeme tzv. korelaci (correlation) předpisem Cor(X, Y) = Cov(X 7)-^ Vztahy platné pro součet, resp. lineární kombinaci, dvou (nezávislých) jednoduchých náhodných veličin je přitom indukcí možné zobecnit na součet, resp. lineární kombinaci, libovolného počtu (nezávislých) jednoduchých náhodných veličin. 45/118 Definice (Střední hodnota nezáporné náhodné veličiny) Střední hodnotu nezáporné náhodné veličiny X > 0, tzn. X(co) > 0 pro všechna co g n, jako supremum E(X) = sup{E(7): Y je jednoduchá náhodná veličina, 7 E(Yn) = = Y 2k\ —— —r = n pro každé n e N, ^ \2k~1 2k) tedy E(X) = oo. Náhodné veličiny Yn jsou přitom jednoduché. 46/118 Definice (Monotónní konvergence) Posloupnost náhodných veličin Xb X2, ... konverguje monotónně k náhodné veličině X, Xn /* X, pokud Xi < X2 < ••• a lim Xn(o)) = X(co) pro všechna co e Q. n—>oo Tvrzení (0 monotónní konvergenci) Nechť náhodné veličiny Xb X2, ... konvergují monotónně k náhodné veličině X, Xn / X,a E(Xi) > -oo. Potom p/atŕ lim E(Xn) = E(X). Rovnost lim E(X„) = E(X) platí i v případě, kdyžxn s X skoro jistě, tzn. když Xi < X2 < ••• a lim Xn(co) = X(o)) pro všechna co^B,B^Cí, P(B) = 1. H—>-oo 47/118 Příklad Na pravděpodobnostním prostoru (Cl = [0;l], A A) definujme posloupnost náhodných veličinXn = nl(0; i/„), w = 1, 2, .... Potom X„ -> 0, neboť pro o> € [0;l] mámeXn(a)) = 0, když n > ^. Přitom však E(X„) = n - o) + 0 (l - \) = 1 pro všechna n = 1, 2, .... Vidíme, že lim E(XW) = 1*0 = E(0). Máme sice X„ -> 0, ale nikoliv Xn / 0. n—>-oo 48/118 Pro n = l, 2, ... zaveďme funkce ^„(x) = minjn, ^ j > prox>0. Jedná se o směrem dolů na nejbližší násobek ^ zaokrouhlené x, navíc useknuté v n, tj. = n pro x > n. Nakreslete grafy těchto funkcí pro n = l, 2,3. Ověřte, že obor hodnot funkce % je konečný (funkce nabývá právě \ + n2n hodnot a že pro libovolné pevně zvolené x > 0 je /* x. Tvrzení NechťX nezáporná náhodná veličina. Položme Xn = %(X). Potom každá náhodná veličina Xm n = 1, 2, ..ye jednoduchá, a posloupnost monotónně konverguje k náhodné veličině X, Xn z X. Ke každé nezáporné náhodné veličině X tedy existuje posloupnost jednoduchých náhodných veličin Xn z X; dokonce takovou posloupnost umíme zkonstruovat. 49/118 Všechny vlastnosti střední hodnoty jednoduchých náhodných veličin zůstávají v platnosti i pro nezáporné náhodné veličiny. K důkazu linearity střední hodnoty nezáporné náhodné veličiny ale nyní potřebujeme umět konstruovat posloupnost monotónně konvergující k takové náhodné veličině. Předchozí věty nám pak např. zaručují, že lze důkaz linearity vést takto: E(aX + bY) = lim E(aXn + bYn) = lim [áE(Xn) + bE(Yn)] = aE(X) + bE(Y). Analogicky se postupuje i u důkazů ostatních vlastností. Navíc obdržíme dokonce spočetnou linearitu pro nezáporné náhodné veličinyXi,X2, ...: n n 50/118 Definice (Střední hodnota náhodné veličiny) Střední hodnotu náhodné veličiny definujeme předpisem E(X)=E(X+)-E(X"), kde X+ = max{X, 0} a X" = max{-X, 0}. ► E(X+) = oo, E(X") = oo => E(X) není definována, ► E(X+) = oo, E(X") < oo => E(X) = oo, ► E(X+) < oo, E(X") = oo => E(X) = -oo, ► E(X+) < oo, E(X") < oo => E(X) g R. Náhodné veličiny X+ a X" jsou nezáporné. Pro obecnou náhodnou veličinu X tedy střední hodnotu definujeme jako rozdíl středních hodnot nezáporných veličin X+ a X" podle předchozích definic. 51/118 Definice (Momenty) k-tý moment náhodné veličiny je E (xk), hN. Říkáme, že k-tý moment je konečný nebo že X má konečný k-tý moment, pokud E(|x*|) < oo. Protože l*^"1 < max{|x|*, 1} < \x\k +1 pro všechna xeR, platí, že pokud náhodná veličina X má konečný k-tý moment, potom má konečný i každý l-tý moment, Z = 1, 2, ..., k -1. Vlastnosti střední hodnoty se přenáší z vlastností střední hodnoty nezáporné náhodné veličiny. U součtu i součinu náhodných veličin však nyní musíme být opatrní a známé vztahy definujeme pouze pro náhodné veličiny s konečným prvním momentem. 52/118 Integrál podle míry Definice (Integrál podle míry) Pro náhodnou veličinu X na prostoru s mírou (íl, A, y) definujeme integrál podle míry ytfnXdy = f Xdp, následovně: n 1. pro nezápornou jednoduchou náhodnou veličinu X = Y,xklAk' k=l ľ H / Xdfí = Yxkfí(Ak). Jci rzí k=l 2. pro nezápornou náhodnou veličinu: / XdfA = lim / Xn d\i pro libovolnou posloupnost nezáporných náhodných veličin Xn /< X. 3. pro obecnou náhodnou veličinu: f Xd^= f X+dy- í X"d^, J o. Jct Jct pokud alespoň jeden z integrálů vpravo existuje; přitom X+ = max{X, 0} a X" = max{-X, 0}. 53/118 Definice Náhodná veličina je integrovatelná, pokud fn X+ dfí < oo a fn X~ dfí < oo, tj. pokud fnXdfí existuje a je konečný, |/nXd^| < oo. Pro A e A definujeme integrál na měřitelné množině A předpisem í Xd^ = í (X1A) d\i. J A J CL Pro pravděpodobnostní míru, p = P, máme fnXdfí= /nXdP = E(X). 54/118 Vlastnosti integrálu: 1. Pro nezáporné náhodné veličiny X, Y platí f (X + Y) d\i = j Xd\i + j Xd^ 2. Pokud existují integrály /Xdp,/ Ydfí a /Xdfí + / potom existuje integrál / (X + Y) dfí a platí y (x+y) d\i=y xa^+y xa^. 3. Nechť A, B e A, An B = 0. Pokud existuje integrál fAuBXdfí, existují i integrály fAXdfí a fBXdfí a platí í Xd^= f Xd^+ f Xd^. Jaub Ja Jb 55/118 4. Nechť A, B e A, A n B = 0. Pokud existují integrály fAXdp, fBXdp a fAXdfí + fBXdfí, potom existuje integrál fAuBXdfí a platí f Xd^ = f Xd^ + /" Xd^. ^Au5 JA JB 5. Pokud existuje integrál /Xdp, potom existují integrály fAXdp, JjXdfí pro libovolnou A e A a platí íXd\i = /" Xd^+ [_Xd\i. J J A JA Pokud je X integrovatelná (na Cí), potom je integrovatelné i na libovolné A e A. 6. Pokud existuje integrál/Xd^aceR, potom existuje integrál fAcXdfí a platí j cXd[í = c j Xd\i. 7. Pokud je X nezáporná náhodná veličina, potom / Xd^ > 0. 8. Pokud X < Y a existují integrály / Xd^ a / Y dpi, potom / Xd^ < / Ydfí. 56/118 9. Pokud X = 2 1, o)g(2;3] 0, o) e (3; 5) Nerovnosti pro náhodné veličiny Tvrzení (Markovova nerovnost) NechťX je nezáporná náhodná veličina na pravděpodobnostním prostoru (Cly Ay P). Potom pro všechna a > O platí P(X>a) < a Tvrzení (Čebyševova nerovnost) NechťX je náhodná veličina s konečnou střední hodnotou na pravděpodobnostním prostoru (Cl, A, P). Potom pro všechna a > O platí p(|x-e(x)|>fl)< Var(X). v a1 60/118 Tvrzení (Cauchyova-Schwarzova nerovnost) Nechť X, Y je náhodné veličiny s konečnými druhými momenty na pravděpodobnostním prostoru (íl, A, P). Potom platí [E(|X7|)]2/z(E(X)). 61/118 Příklad Pro náhodnou veličinu X ~ Rs([0;4]) spočítejte pro a = 0;1;2;3;4 pravděpodobnosti P(X > a) a zároveň je odhadujte pomocí Markovovy nerovnosti. Dále spočítejte pravděpodobnosti P(|X - 2| > a - 2) a zároveň je odhadujte pomocí Čebyševovy nerovnosti. Příklad Nechť X je náhodná veličina s konečnou střední hodnotou a rozptylem a2 na pravděpodobnostním prostoru (íl, A P). Dokažte, že potom pro všechna 0 0 platíP(|X- E(X)| > ca) < ±. Příklad Ověřte, že pro náhodnou veličinu X, P(X = a) = P(X = -a) = \ pro a > 0, dává Čebyševova nerovnost přesný odhad pravděpodobnosti, tj. že 1 = P(|X-E(X)| >a) <1. Příklad Nechť E (2X) = 4. Dokažte, že P(X > 3) < ^. 62/118 Konvergence náhodných veličin Definice (Bodová konvergence) Posloupnost náhodných veličin Xb X2, ... na pravděpodobnostním prostoru (íí, A P) konverguje bodově (pointwise convergence) k náhodné veličině X, Xn —► X, lim Xn = X, pokud lim Xn(o)) = X(cú) pro každé co e Cl. Definice (Konvergence skoro jistě) Posloupnost náhodných veličin Xb X2, ... na pravděpodobnostním prostoru (Cl, A, P) konverguje skoro jistě (s. j.) (almost surely, a. s.) k náhodné veličině X, Xn —4 X, pokud P ( lim Xn = X) = 1, t. j. pokud P N o; e d : lim XM(a>) = X(a>) [•1 = 1. 63/118 Definice (Konvergence podle pravděpodobnosti) Posloupnost náhodných veličin Xi, X2, ... na pravděpodobnostním prostoru (íl, Ay P) konverguje podle pravděpodobnosti (in probability) k náhodné p veličině X, Xn —► X, pokud Vč > 0 : lim P(\Xn -X\ > e) = 0, t. j. pokud V£ > 0 : P({co g n : \Xn - X| > e}) —> 0 64/118 Definice (V konvergence, p = 1, 2, ...) Posloupnost náhodných veličin xb x2, ... na pravděpodobnostním prostoru (n, A P) konverguje vp-tém momentu (in the p-th mean) (v V) k náhodné Lp veličině x, Xn —> X, pokud lim e(|x„-x|p) —+ 0. n—>oo Pro p = l jde o tzv. limitu podle středu (limit in the mean): lim e(|x„ -x|) 0. Pro p = 2 jde o tzv. limitu podle kvadratického středu (limit in the mean-square): lim e(|X„-X|2) —+0. n—>-oo V / 65/118 Definice (Konvergence skoro všude) Posloupnost náhodných veličin Xb X2, ... na prostoru s mírou (Q, A, y) konverguje skoro všude (s. v.) (almost everywhere, a. e.) k náhodné veličině X, Xn X, pokud [til co e : lim Xn((ú) *X(ú))Y\ = 0, t. j. pokud lim )cn(a)) = É(jS) pro všechna co e Cl\N, p(N) = 0. Množina N, y(N) = 0, je tzv. ^-nulová množina. Pokud je míra pravděpodobnostní, \i = P, potom je s.v. konvergence vlastně konvergencí s.j.. 66/118 Definice (Konvergence podle míry) Posloupnost náhodných veličin Xi, X2, ... na prostoru s mírou (íl, A, y) konverguje podle míry (in measure) k náhodné veličině X, Xn X, pokud Vč > 0 : lim y(\Xn - X\ > e) = 0, t. j. pokud Vč > 0 : y({co e Q : |XW - X| > e}) —► 0. Pokud je míra pravděpodobnostní, ^ = P, potom je konvergence podle míry vlastně konvergencí podle pravděpodobnosti. 67/118 Vlastnosti: 1. Pokud x„ —> X, potom Xn —> X. 2. Pokud pro každé e > 0 je P(\Xn -X\>e nekonečně často) = 0, potom Xn —^> X. oo 3. Pokud pro každé e> Oje ^P(|X„ -X| > e) < oo, s 71 = 1 potom X„ —4 x. 4. Pokud je míra ^ konečná a X„ X, potom Xn —► X; s j p speciálně: pokud Xn —4 x, potom X„ —► X. 5. Pokud Xn x a Xn y, potom ^(X ^ y) = 0. 6. Pokud X„ -^-> X, potom existuje podposloupnost {Xnk} g {X„} a náhodná veličina 7 tak, že Xnk y, a ^(X * 7) = 0. 7. PokudIn^>IaXn^>ľ, potom ^(X^ y) = 0. | PokudXn^XaXn^y, potom P(X = 7) = 1. 9. Pokud Xn x a Xn y, potom ^(X * 7) = 0. 10. Pokud X„ —► X, potom Xn —► X. 11. Pokud Xn ^ X a Xn y, potom p (x = 7) = 1. es/i 18 Příklad Uvažujte posloupnost náhodných veličin {Xn}™=1, P(Xn = l) = ^P(Xn = 0)=l-1-. p s-i- Ověřte, žeX„ —► 0, aleX„ -/-> 0. Využijte přitom Borelovo-Cantelliho lemma k výpočtu P{Xn = 1 nekonečně často) = 1. Příklad Na pravděpodobnostním prostoru (Cl = [0;l], A A) s Lebesgueovou mírou uvažujte posloupnost náhodných veličin {Xn}™=1, *1 = 1N)' x2 X} = 1[0ií)' x4 = 1[H)' x7 = 1N)' • • • , X14 = 1 [§*] Ověřte, že X„ —► 0, ale Xn -/-> 0. 69/118 Příklad Uvažujme Lebesgueovu míru (O = R, A = B, A) na R a posloupnost náhodných veličin {XM}~lf X„ = l(Mi oo). s v A Ověřte, že Xn —► 0 a X„ —-> 0, ale Xn -/-> 0. Lebesgueova míra A na M totiž není konečná. Uvažujme prostor (íl = N, .A = 2n, ^) s čítací mírou \i a posloupnost náhodných veličin {Xn}~v Xn = i{1> _ n}. Ověřte, že Xn —► 1 a X„ 1, ale Xn -f> 1. Čítací míra \i na N totiž není konečná. 70/118 Zákony velkých čísel Tvrzení (Slabý zákon velkých čísel) NechťXi, X2, ... je posloupnost náhodných veličin se stejnou střední hodnotou y = E(Xk) a se stejným rozptylem a2 = Var(Xjfc), který je shora omezený Potom pro každé e > O platí tzn. posloupnost částečných průměrů Sn = - £ Xk konverguje pro n -> oo n k=i — p v pravděpodobnosti k y, Sn —► y. Tvrzení (Silný zákon velkých čísel) NechťXb X2, ... ye posloupnost náhodných veličin se stejnou střední hodnotou y = E(X^) a se stejným čtvrtým centrálním momentem E[(X*-p)4]. Potom platí P l lim Sn = y ) = 1, ty. Sn —^> ^. 71/118 Definice (i.d. a i. i.d. náhodné veličiny) Náhodné veličiny v systému {Xk}keI jsou i.d. (identically distributed), pokud pro libovolnou borelovsky měřitelnou funkci h : R -> R střední hodnota E [h(Xk)] nezávisí na volbě kel, tj. pokud pro všechna kel stejná. Náhodné veličiny v systému {Xk}keI jsou i.i.d. (independent identically distributed), pokud jsou i.d. a nezávislé. Tvrzení (Slabý a silný zákon velkých čísel pro i.i.d.) Nechť Xi, X2, ...je posloupnost i.i.d. náhodných veličin s konečnou (stejnou) střední hodnotou. Potom platí: i- č" p Oft > (Á, — s.j. ► Sn —► 72/118 Rozdělení pravděpodobnosti Definice (Rozdělenípravděpodobnosti) NechťX je náhodná veličina na pravděpodobnostním prostoru (íl, A, P). Rozdělení pravděpodobnosti (probability distribution, law) náhodné veličiny Xje zobrazení Px ' B -> [0;l], dané předpisem Px (B)=P(XeB)=P (X_1(E)) =P({(veQ: X(co) € B}) pro B e B. Trojice (M, B, Px) je pravděpodobnostní prostor na R. Definice (Distribuční funkce) Distribuční funkce (cumulative distribution function) náhodné veličiny X je funkce Fx ' R -+ [0; 1], dané předpisem F(x) =Fx(x) =Px((-oo,x]) =P(X—oo x—>oo Tvrzení (Change o f variable) NechťX je náhodná veličina na pravděpodobnostním prostoru (íl, A, P) a h:R^Rje borelovsky měřitelná funkce. Potom platí EP(h(X)) = f h(X)dP= f h(x)dPx= f h(x) dFx = EPx (h), n r r pokud alespoň jedna střední hodnota existuje. Věta říká, že střední hodnotu transformované náhodné veličiny h(X) vzhledem k pravděpodobnosti P lze počítat jako střední hodnotu funkce h vzhledem k rozdělení pravděpodobnosti Px. Borelovsky měřitelná funkce h je totiž vlastně náhodnou veličinou na měřitelném prostoru (M, B). Tvrzení (Důsledek) NechťX, Y jsou náhodné veličiny na obecně různých pravděpodobnostních prostorech. Potom Px = Py, právě když E(h(X)) = E(h(Y)) pro všechny borelovsky měřitelné funkce h : R -> R, pro které alespoň jedna ze středních hodnot existuje. Tvrzení (Důsledek) Nechť X, Y jsou náhodné veličiny na stejném pravděpodobnostním prostoru anechťP(X= Y) = 1. Potom platíE(h(X)) = E(h(Y)) pro všechny borelovsky měřitelné funkce h : R R, pro které alespoň jedna ze středních hodnot existuje. Tvrzení Nechť Pi, P2, ...je posloupnost rozdělení pravděpodobnosti na (M, B). Potom existuje pravděpodobnostní prostor (íl, A P) a na něm náhodné veličiny Xi, x2, ... tak, že PXn = Pn, n = 1, 2, .... 75/118 Uvažujme náhodnou veličinu X, P (x = c) = 1 pro nějaké pevně zvolené x e R. Rozdělení pravděpodobnosti Px nazýváme degenerované (koncentrované) v bodě c, a značíme Px = Sc. Platí PX(B) = SC(B) = lB(c) = ^ pro B e B. Pro distribuční funkci takové náhodné veličiny s Sc rozdělením pravděpodobnosti platí Fx(x) = W XtC> proxeR. [h x > c Spočítáme střední hodnotu borelovské transformace h: EP(h(X)) = EPx (h) = f h(x) dSc = h(c), tzn. střední hodnota je vlastně vyhodnocení funkce h v bodě c. Nyní již lehce dokážeme známé vlastnosti: E(X) = c, E(X2) = c2, Var(X) = 0. 76/118 Tvrzení NechťPXl, Px2, • • - je nejvýše spočetná posloupnost rozdělení pravděpodobnosti a aua2, • • • > O nezáporné konstanty. Potom pro oo Px = Y, an Pxn a libovolnou borelovsky měřitelnou funkci h : M -> M p/aí/' y hdPx = Yian J hdPXn. R "=1 r OO Pokud navíc £ a„ = We rozdělení pravděpodobnosti a platí n=l oo Věta říká, že pokud je Px konvexní kombinací nejvýše spočetně mnoha rozdělení pravděpodobnosti, lze střední hodnotu vzhledem k Px počítat jako stejnou konvexní kombinaci středních hodnot vzhledem k jednotlivým rozdělením pravděpodobnosti. 77/118 Uvažujme náhodnou veličinu X ~ Po(A). Vime, že p(X = x) =e"A —, x = 0,1, 2, Pro každou B e B nyní lze psát JM*) = £e-^ = £e-^(B) oo Máme konvexní kombinaci Px = E ^ 5X a podle předchozích vět tedy dostáváme známý vztah x=l oo oo IX -A A r' Uvědomte si, že uvedený postup lze použít pro každou náhodnou veliči diskrétního typu. Pro libovolnou borelovsky měřitelnou funkci/ :R^Rs vlastnostmi/(x) > 0, / f(x) dX(x) = 1, kde A je lebesgueova míra na R, definujeme rozdělení R pravděpodobnosti PY(B) = f f(x)lB{x)dX{x\ BzB. R Taková funkce/ se nazývá hustota (rozdělení) pravděpodobnosti (vzhledem k Lebesgueově míře) (pdf, probability density function). Často se zkráceně píše Py(B) = ff= ffd\, B B dPy dokonce lze symbolicky psát dPY =fd\, resp./ = ——. dA Později zjistíme, že hustota pravděpodobnosti/je vlastně Radonovou-Nikodymovou derivací rozdělení pravděpodobnosti PY vzhledem k Lebesgueově míře A a odtud plyne i pojmenování, že Y je náhodnou veličinou absolutně spojitého typu. 79/118 Tvrzení Nechť rozdělení pravděpodobnosti PY má hustotu f vzhledem k Lebesgueově míře X. Pro libovolnou borelovsky měřitelnou funkci h : R -> R potom platí EPx(h) = f hdPx= f f{x)h(x)óX{x)y pokud alespoň jedna strana rovnosti existuje. Integrál vpravo v tvrzení věty je přitom Lebesgueův. Z teorie míry je známo, že existuje-li Riemannův integrál, oba integrály mají stejnou hodnotu, B B Riemannův integrál existuje např. pokud je množina B konečným sjednocením intervalů, přesněji pokud hranice množiny B má nulovou míru, A(3B) = 0. 80/118 Příklad Uvažujte pravděpodobnostní prostor (n = [0;l], A A) s Lebesgueovou mírou na intervalu [0;l] a náhodnou veličinu X, X((o) = 1, 2o)2, co2, 0 < co< \ | R je neklesající a zprava spojitá funkce a J je systém intervalů J = {(a, b]; a, fe, eR,a< &}. Potom množinová funkce fíF: J ^R definovaná předpisem ^((a, &]) = F(fe) - F(a)ye o-aditivní Tvrzení Nechť F: R -> Mye neklesající a zprava spojitá funkce. Potom existuje právě jedna míra fíF definovaná na B, taková, že ^((a, &]) = F{b) - F (a) pro a,beR, a M z předchozí věty se nazývá Lebesgueova-Stieltjesova míra indukovaná funkcí / Lebesgueova míra A je speciálním případem Lebesgueovy-Stieltjesovy míry fíp pro identickou funkci F, F(x) = x. V tom případě totiž máme ^((a, b]) = - F(a) = b - a = A((a, b]). 84/118 (D) Uvažujme posloupnost nezáporných čísel au a2, •••>(), jejíž řada Y,7=i an konverguje. Nechť xu x2, ... je lib. posloupnost reálných čísel. Položme F (x) = Y, an- Potom F (x) je neklesající a zprava spojitá. (S) Nechť/: R -> R je (lebesgueovsky) integrovatelná nezáporná funkce. Potom x funkce F (x) = f f (u) du je neklesající a zprava spojitá. — oo Podmínku neklesající a zprava spojité funkce splňuje mj. každá distribuční funkce F. Náhodným veličinám odpovídají určité distribuční funkce a tedy i určité Lebesgueovy-Stieltjesovy míry fíF. Tvrzení Nechť F: R -> R je neklesající a zprava spojitá funkce a nechť lim F (x) = 0, lim F (x) = l. Potom existuje náhodná veličina X taková, že F je její distribuční X^-oo funkcí, tzn. Fx = F. 85/118 Definice Nechť F: R -> R je neklesající a zprava spojitá funkce, yF je touto funkcí indukovaná Lebesgueova-Stieltjesova míra a h : R -> M je borelovsky měřitelná funkce. Integrál / hdyF se nazývá Lebesgueúv-Stieltjesúv integrál funkce h vzhledem k funkci F a označuje se také / hdyF = f hdF. Pro B £ B definujeme Lebesgueúv-Stieltjesúv integrál je speciálním případem integrálu podle míry, / hdy, pro y = \iF. Lebesgueúv integrál je speciálním případem Lebesgueova-Stieltjesova integrálu pro yF = A, F (x) = x. B B r 86/118 Za podmínek (D) je borelovsky měřitelná funkce h integrovatelná vzhledem oo k funkci F, právě když řada £ h(xn)pn absolutně konverguje, tj. když n=l oo £ \h(xn)\pn < oo. V tom případě máme n=l oo /oo oo h(x) dF(x) = Y, Kxn)Pn = Y Kxn) AF(xn). n=l n=l — oo Za podmínek (S) je borelovsky měřitelná funkce h integrovatelná vzhledem k funkci F, právě když existuje integrál f™ h(x)f(x) dx. V tom případě máme oo oo j h(x)dF(x) = j h(x)f(x)dx. -°° 00 00 a pro B £ B dále j h(x)dF(x) = j h(x)f(x)lB(x)dx. B 00 Je-li F diferencovatelná, máme dF(x) = F\x) dx =f(x) dx. 87/118 Záměna integrálu a derivace, momentová vytvořující funkce Uvažujme posloupnost náhodných veličin Xb X2, ... konvergujících skoro jistě, Xn —^> X. Znamená to také, že lim E(XM) = E(X)? Víme, že obecně to neplatí. Věta o monotónní konvergenci říká, že za podmínek Xn z1 X a E(Xi) > -oo opravdu platí lim E(X„) = E(X). Tvrzení (O dominované konvergenci) Nechť X, Xi, X2, ... jsou náhodné veličiny na pravděpodobnostním prostoru (O, Ay P), nechťXn -^>Ia existuje náhodná veličina Y, E(Y) < oo, \xn\ < Y pro n g N. Potom platí lim E(Xn) = X. n—>oo Tvrzení platí speciálně pro konstantní náhodnou veličinu Y = c, tzn. pro omezené náhodné veličiny Xn. 88/118 Tvrzení (záměna pořadí derivace a integrálu) Nechť{xt((o); t e (a, b)} je množina náhodných veličin na pravděpodobnostním prostoru (íl, A, P) závislých na parametru t, s konečnými středními hodnotami. Nechť pro všechna co e Cla t e (a, b) existuje derivace —Xt(co) = Xrt(co). Potom X'tjsou opět náhodné veličiny. ot Dále nechť existuje náhodná veličina Y, E( Y) < co, |Xŕ'(a))| < Y (co) pro všechna co e Q a t e (a, b). Potom funkce = E(Xŕ) je diferencovatelná, má konečné derivace '(t) = -ft^(t) a platí 0'(r) = ^-E(Xr) = E(X't) pro t 0. Potom E (|X"|) < oo pro všechna neN0 a platí oo n MX(5) = ^E(X")-, n=0 s M{xk\0) = —Mx(s) = E(Xk), k e N. s=0 91/118 Tvrzení (Fubiniova věta) Nechť fí je a-konečná míra na (íli, A\), v je a-konečná míra na (fi2> *42) a nechť y, x v ye součinová míra na A\ x A\. Pokud h(x, y): A\ x A2 Mye funkce měřitelná vzhledem k ^ x v, potom platí j /id(p v) = f\f h(x>y) dv(ý) I d^(x) = fif h(x>y) d[í(x)\dv{y)y Po/aicř /nlXn2 ^+ d(^ x v) < oo nebo r d(p x v) < oo. Vnitřní integrály přitom mohou být nekonečné nebo nedefinované na množině míry nula. 92/118 a-linearita střední hodnoty Nechť \i = P je pravděpodobnost, v je čítací míra na N a Xb X2, ... jsou oo / oo \ oo náhodné veličiny s E E(|X„|) < oo. Potom platí El J]Xn = ^E(X„). n=l \n=] ) n=i Konvoluce Nechť X, 7 jsou nezávislé náhodné veličiny s rozděleními pravděpodobnosti p=Px,V = Py. Potom X + Y má rozdělení pravděpodobnosti Px * Py, kde (Px*Py)(A) = y PX(A-y)dPy(y) = y Py(A-x)dPX(x), A C R, r r kde A - y = {a-y; a g A}. Navíc, pokud Px má hustotu/ a Py má hustotu g vzhledem k Lebesgueově míře A, potom Px * Py má vzhledem k A hustotu / * g, (f **)(*) = ff(z-y)g(y)dX(y) = f f(x)g(z-x)d\(x), xeR. r r 93/118 Slabá konvergence, konvergence v distribuci Definice Posloupnost rozdělení pravděpodobnosti Pb P2, ... náhodných veličin Xi, X2, ... konverguje slabě (weak convergence) k rozdělení pravděpodobnosti Px náhodné veličiny X, pokud pro všechny omezené spojité funkce h : R -> M platí Slabá konvergence rozdělení pravděpodobnosti je ekvivalentní konvergenci náhodných veličin v distribuci (in distribution), Xn -^-> X, definované jako bodová konvergence distribučních funkcí lim Fn(x) = lim P(Xn X Xn —> X => Xn —> X => Xn —> X. Opačná poslední implikace neplatí obecně, pouze ve tvaru Skorochodovy d s j věty: Xn —► X => Yn Y. Konvergence v distribuci totiž neříká nic o vztahu náhodných veličin X, Xb X2, ..hovoří jen o jejich rozdělení pravděpodobnosti. Speciálně v případě konstantní náhodné veličiny X = c však ekvivalence platí v celém řetězci konvergencí. Příklad Uvažujme i.i.d. náhodné veličiny X, Xi, X2, ..P(X = ±1) = \, P(Xn = ±1) = \, Zřejmě Xn -^X. AleP(|X„ -X| >2) = \, lim P(\Xn -x\>2) = \* 0, takže 2 P s.j. Xn -/-+XatedyX„ -f+x. 96/118 Následující tvrzení je velmi užitečným nástrojem ve statistice. Tvrzení (Slutského věta, Slutsky theorem) NechťX, Xb X2, .. v Yi, Y2y ... jsou náhodné veličiny takové, že X, p Yn —> c, c g M. Potom platí: ► Xn + Yn —► X + c, Xn — Yn —> X — c, Xn d X Charakteristická funkce, centrální limitní věta Definice (Charakteristická funkce) Charakteristická funkce (characteristic function) náhodné veličiny X na pravděpodobnostním prostoru (íl, A, P) je funkce y/x : K -> C, fx(t)=Ep(eitx)=EPx(eitx), t e R. Vlastnosti charakteristické funkce: ► fx(0) = 1, ► pro nezávislé náhodné veličiny X, Y je Vx+y(0 = frit), ► protože |e/ŕ*| = 1, vždy platí \fx(t) \ < 1, ► fx je vždy stejnoměrně spojitá funkce, ► pro 7~N(0;1) \ey/Y(t) = exp[-±ŕ2]. 98/118 Tvrzení (výpočet momentů) NechťX je náhodná veličina s konečným n-tým momentem, tj. E(|Xn|) < a s charakteristickou funkcí fx(t). Potom pro k = O,1, ..., n platí fxk\t) = E[(iX)keitx], ixk)(0)= ^-kfx(t) (*) = ikE(Xk) í=0 Tvrzení (Fouríerova věta o jednoznačnosti) Nechť X, Y jsou náhodné veličiny. Potom Px = Py, právě když yx = fy- Tvrzení (Fourierova věta o inverzi) Nechť y/x je charakteristická funkce náhodné veličiny X s rozdělením pravděpodobnosti Px. Pro a, fe, e R, or< ^/^({tf}ŕ\= Px({b}) = O, potom platí Px([a,fe])= lim f--^-fx(t)dt -r Tvrzení (O spojitosti) Nechť P, Pb P2, .. .jsou rozdělení náhodných veličin X, Xb X2, ... s odpovídajícími charakteristickými funkcemi y/y fb y/2y • • •• Potom {Pn}n=\ konverguje slabě k P, tj. Xn -^-> X, právě když lim y/n(t) = y/(t) pro všechna t e R, tj. právě když posloupnost charakteristických funkcí konverguje bodově. 100/118 Tvrzení (Centrální limitní věta, Central Limit Theorem) NechťXi, X2, ... je posloupnost náhodných veličin s konečnou střední n hodnotou m a konečným rozptylem s2. Označme částečné součty Sn= Y, Xk. k=l Potom pro n ^ oo rozdělení pravděpodobnosti náhodných veličin n slabě konverguje k N(0; 1) rozdělení pravděpodobnosti, Sn - m n d , —►y, y-N(o;i). S\/n S\/n ► Pro každé x e R: lim PI n _ < x) = (x). n^oo \ S\/n Sn - m n d / ?x ► --► y, y-N(0;52). n 101/118 Slabou konvergenci rozdělení pravděpodobnosti, resp. konvergenci náhodných veličin v distribuci, lze dokázat i bez explicitního využití charakteristické funkce nebo Věty o spojitosti, pomocí tzv. metody momentů. Definice Označme momenty rozdělení pravděpodobnosti Px: Předpokládejme, že všechny tyto momenty ak existují a jsou konečné. Pokud Px je jediné rozdělení pravděpodobnosti, které má tyto momenty, říkáme, že Px je určené svými momenty. Která rozdělení pravděpodobnosti jsou určena svými momenty? r 102/118 Tvrzení Nechť X je náhodná veličina s momentovou vytvořující funkcíMx{s), která je omeze na na nějakém okolí počátku, tj. Mx(s) < co pro \s\ < S pro nějaké S > 0. Potom rozdělení pravděpodobnosti Px je určené svými momenty, tedy i určené svojí momentovou vytvořující funkcí Tvrzení Nechť rozdělení pravděpodobnosti Px je určené svými momenty Dále nechť Pi, P2, ... jsou rozdělení pravděpodobnosti posloupnosti náhodných veličin Xb X2, .. v taková, že f xk dPn(x) < oo pro každé k,neN a lim / xk dPn(x) =fxk dPx(x) pro každé k e K Potom Xn X, tzn. n^°°R r posloupnost rozdělení pravděpodobnosti slabě konverguje k Px. Tvrzení vlastně říká, že z konvergence momentů plyne slabá konvergence, resp. konvergence v distribuci. 103/118 Radonova-Nikodymova derivace, dekompozice rozdělení pravděpodobnosti Definice (Absolutní spojitost měr) Nechť fí, v jsou a-konečné míry na měřitelném prostoru (íl, A). Míra ^ je absolutně spojitá (absolutely continuous) vzhledem k míře v, p « v, pokud pro všechny A e A platí: v (A) = 0 => p(Á) = 0. Tvrzení (Radonova-Nikodymova věta) Nechť fí, v jsou a-konečné míry na měřitelném prostoru (íl, A). Potom p « v, právě když existuje nezáporná měřitelná funkce f: Q -> R, taková, že Tato funkce f je přitom určena jednoznačně až na množinu míry nula. Definice (Radonova-Nikodymova derivace) Funkce/ z Radonovy-Nikodymovy věty se nazývá Radonova-Nikodymova derivace a často se značí f (w) = 104/118 Radonova-Nikodymova derivace je vlastně náhodnou veličinou. Pro každou náhodnou veličinu (měřitelnou funkci) I:0^1a každou A e A platí Pokud obě uvažované míry jsou pravděpodobnostní, P = y, Q = v, P « Q, dostáváme r r dP / X(ú))dP((ú) = X(a))—(a))dQ((ú). A A Speciálně pro A = Q pak obdržíme vzorec pro výpočet střední hodnoty náhodné veličiny vzhledem ke dvěma pravděpodobnostním mírám P « Q, A A 105/118 Definice Rozdělení pravděpodobnosti Px je: ► diskrétní, pokud PX(R) = E Px({x}) pro nejvýše spočetnou množinu McK. xeM ► absolutně spojité (vzhledem k Lebesgueově míře A), pokud existuje nezáporná borelovsky měřitelná funkce/: R -> R, taková, že pro každou B e B platí Px(B) = f f(x)dX(x) = f f(x)lB(x)dX(x). B r ► singulární spojité (vzhledem k Lebesgueově míře A), pokud Px({x}) = 0 pro všechna xeR, ale přitom existuje množina McR: A(M) = 0, PX(M) = 0. 106/118 Tvrzení(Lebesgueova dekompozice rozdělení pravděpodobnosti) Každé rozdělení pravděpodobnosti Px lze jednoznačně rozložit do tvaru PX = PD+PAS+Ps> kde ► PD je diskrétní rozdělení pravděpodobnosti, ► Pas je rozdělení pravděpodobnosti absolutně spojité vzhledem k X, ► Ps je rozdělení pravděpodobnosti singulární spojité vzhledem k X. Tvrzení (Lebesgueova dekompozice měr) Pokud fí, v jsou dvě o-konečné míry na měřitelném prostoru (íl, A), potom p lze jednoznačně rozložit do tvaru V = Vas + ^s> kde ► ^as je míra absolutně spojitá vzhledem k v, ^AS « v, ► ^s je singulární míra vzhledem k v, tj. existuje množina M g R; V(M) = O, ^s(Äí) = 0. 107/118 Podmíněná pravděpodobnost, podmíněná střední hodnota Víme, že pro podmíněnou pravděpodobnost platí P(A | C) = P(^C), pokud P(C) > 0. Obecněji, pokud Y je náhodná veličina a P(C) > 0, lze definovat Y\C, rozdělení pravděpodobnosti náhodné veličiny Y podmíněné jevem C, předpisem / x , x P(iYeB)nC) PYlc(B)=P(YzB\C)= U p(c);-^, ^B. Podobně lze definovat i podmíněnou střední hodnotu, E(ric) E(r|C)./rdl^c.-L^. Uvedený postup však zcela selhává v případě P(C) = 0. Podmíněné pravděpodobnosti a podmíněné střední hodnoty i za podmínky s nulovou pravděpodobnostní však v praxi běžně potřebujeme, např. při výpočtech marginálních charakteristik ve vícerozměrných rozděleních. Pro korektní definici tak musíme zvolit zcela jiný, neintuitivní, přístup. 108/118 Definice Nechť (n, A P) je pravděpodobnostní prostor. Množina T-L je sub-a-algebra, pokud T-L c a je a-algebrou na Náhodná veličina X na (íl, A P) je %-měřitelná, pokud {co e Cl: X(oú) < x} e T-L pro všechna xeR. Dále definujeme o{X) = {{XeB}:BeB} = {{totn: X((o) £ B} : B £ B). Uvědomte si, že o(X) je vždy sub-a-algebrou. 109/118 Definice (podmiňování náhodnou veličinou) Nechť X, Y jsou náhodné veličiny na pravděpodobnostním prostoru (íl, Ay P), E(|y|) ) = E(lA \X)((o), pokud je a(X)-měřitelná a pro všechny B e B splňuje E[P(A\X)l{XeB}]=P[An{XeB}]. Podmíněnou pravděpodobnost i podmíněnou střední hodnotu zavádíme jako náhodné veličiny na o(X), což je zcela neintuitivní. Jsme totiž zvyklí s pravděpodobností i se střední hodnotou pracovat jako s čísly. Tento nový přístup však umožňuje překonat problémy s podmiňováním jevy s nulovou pravděpodobností. 110/118 Při volbě B = R dostáváme E[P(A IX) l{XeR}] = P[A n {X g R}] = P{A n Q) = P(A), E[E(Y|X)l{XeR}] = E[Yl{XeR}] =E(y-l) =E(y). To znamená, že v průměru přes všechny možné hodnoty náhodné veličiny X se P(A\X) chová jako P (A) aE(7|X) jako E(7). Již víme, že střední hodnoty nejsou ovlivněny změnami na množině míry nula. Podmíněné pravděpodobnosti a podmíněné střední hodnoty jsou proto určeny jednoznačně až na množinu míry nula. Tvrzení Nechť X, Y jsou náhodné veličiny na pravděpodobnostním prostoru (íl, A P) a A e A je jev Potom podmíněná pravděpodobnost P (A \ X) a podmíněná střední hodnota E( Y | X) vždy existují a jsou určeny jednoznačně až na množinu míry nula. 111/118 Konstrukce Pro Jí e a(X) zavedeme následující míry: ► P0 jako restrikci P na o(X), tj. P0(H) = P(H), ► v předpisem v (Jí) = P(A n Jí), ► p\ ^- předpisy ^(Jí) = E(7+l£) ap_(H) = E(y"l£). Všechny zavedené míry jsou přitom absolutně spojité vzhledem kP0, v « P0, fí+ « P0 a ^" « P0. Podle Radonovy-Nikodymovy tedy věty existují Radonovy-Nikodymovy derivace -j^-(a)), ^—(co) a ^—(co) a jsou určeny dP0 dP0 dP0 jednoznačně až na množinu míry (P0) nula. Nyní definujeme ► E(y|X)(a,) = -^(a,)--^(a>), dP0 dP0 ► P(A\X)(co) = ^-(co). dP0 112/118 Definice (podmiňování sub-o-algebrou) Obecně definujeme podmíněnou střední hodnotu E(Y\T-L)(co) a podmíněnou pravděpodobnost P (A \H)(ců) za podmínky dané sub-a-algebrou T-L jako H-měřitelné náhodné veličiny splňující pro všechny H e H podmínky Konstrukce Pro H e H zavedeme následující míry: ► P0 jako restrikci P na h, tj. P0(H) = p(h), ► v předpisem v(fí) = p(A nfí), ► p\ ii~ předpisy ^(H) = E(Y+lH) ap"(H) = E(y_lH). Nyní definujeme E[E(y|«)iH] = E[yiH], E[P(A IH) 1h] = E[E(1A IW) 1h] = P[A n H]. E(y|W)(cy) () = E(7). Při volbě H = A obdržíme P(A\A)(ú))=1a(ú)), E(A\A)((ú) = Y(co). 114/118 Definice Podmíněný rozptyl náhodné veličiny Y při dané náhodné veličině X, resp. při dané sub-a-algebře T-L, je Var(7|X) = e[(Y - e(Y|X))2 |x], Var(7|H) = e[(Y-E(Y\H))2\h]. Podmíněný rozptyl kvantifikuje rozptyl Y při znalosti X. Tvrzení Pokud Var(y) < oo, potom platí Var(y) =E[Var(7|X)] +Var[E(7|X)], Var(7) = E[Var(71 H)] + Var[E(71 H)\ Nepodmíněný rozptyl lze rozložit na střední hodnotu podmíněného rozptyl a rozptyl podmíněné střední hodnoty. 115/118 Tvrzení Nechť X, Y jsou náhodné veličiny na pravděpodobnostním prostoru (íl, A P), E(y) < oo, E(X Y) < oo, T-L je sub-o-algebra a nechťX je T-L-měřitelná. Potom s pravděpodobností 7 platí E(XY\H)=XE(Y\H). Tvrzení NechťX je náhodná veličina na pravděpodobnostním prostoru (íl, A P), E(X) < oo a nechť Hi 9 T-L2 jsou dvě sub-o-algebry. Potom s pravděpodobností 7 platí E[E(X|«2)|«i] =E(X|Hi). 116/118 Martingal Definice (Diskrétní martingal) Náhodný proces s diskrétním časem X0(co), Xi((o), X2((o)y ... je martingal (martingale), pokud pro všechna neN0 platí ► E(|XM|)