Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Matematika III – 10. týden Matematická statistika Jan Slovák Masarykova univerzita Fakulta informatiky 18. – 22.11. 2013 Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Obsah přednášky 1 Literatura 2 Frekventisté vs. Bayesiáni 3 Výběry z populací 4 Kritické hodnoty 5 Odhady parametrů Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Plán přednášky 1 Literatura 2 Frekventisté vs. Bayesiáni 3 Výběry z populací 4 Kritické hodnoty 5 Odhady parametrů Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Kde je dobré číst? Karel Zvára, Josef Štěpán, Pravděpodobnost a matematická pravděpodobnost statistika, Matfyzpress, 2006, 230pp. J. Slovák, M. Panák, M. Bulant, Matematika drsně a svižně, Muni Press, Brno 2013, v+773 s., elektronická edice www.math.muni.cz/Matematika_drsne_svizne Marie Budíková, Štěpán Mikoláš, Pavel Osecký, Teorie pravděpodobnosti a matematická statistika (sbírka příkladů), Masarykova univerzita, 3. vydání, 2004, 117 stran, ISBN 80-210-3313-4. Marie Budíková, Tomáš Lerch, Štěpán Mikoláš, Základní statistické metody, Masarykova univerzita, 2005, 170 stran, ISBN 80-210-3886-1. Riley, K.F., Hobson, M.P., Bence, S.J. Mathematical Methods for Physics and Engineering, second edition, Cambridge University Press, Cambridge 2004, ISBN 0 521 89067 5, xxiii + 1232 pp. Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Plán přednášky 1 Literatura 2 Frekventisté vs. Bayesiáni 3 Výběry z populací 4 Kritické hodnoty 5 Odhady parametrů Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Statistiky statistikové zkoumají zpravidla u nějakého výběru z daného základního souboru a snaží se postihnout, do jaké míry jsou zjištěné výsledky relevantní pro celou populaci, případně se ze zjištěných dat pokouší zjistit nebo upřesnit vhodný teoretický model pro chování celého souboru (a z něj pak třeba odhadovat pravděpodobnost nějakého budoucího jevu). Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Statistiky statistikové zkoumají zpravidla u nějakého výběru z daného základního souboru a snaží se postihnout, do jaké míry jsou zjištěné výsledky relevantní pro celou populaci, případně se ze zjištěných dat pokouší zjistit nebo upřesnit vhodný teoretický model pro chování celého souboru (a z něj pak třeba odhadovat pravděpodobnost nějakého budoucího jevu). Dva základní přístupy: frekvenční statistika (nebo také klasická statistika) bayesovská statistika. Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů frekvenční statistika vychází z matematické abstrakce, že skutečné pravděpodobnosti jsou dány četnostmi výskytů jevů v tak velkých vzorcích dat, že je můžeme dobře aproximovat nekonečnými modely a využít pro odhady spolehlivosti centrální limitní věty. Statistik zde na pravděpodobnost pohlíží jako na idealizaci relativní četnosti případů, v nichž se vyskytne určitý výsledek při opakovaných pokusech. Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů frekvenční statistika vychází z matematické abstrakce, že skutečné pravděpodobnosti jsou dány četnostmi výskytů jevů v tak velkých vzorcích dat, že je můžeme dobře aproximovat nekonečnými modely a využít pro odhady spolehlivosti centrální limitní věty. Statistik zde na pravděpodobnost pohlíží jako na idealizaci relativní četnosti případů, v nichž se vyskytne určitý výsledek při opakovaných pokusech. Tato zdánlivá výhoda/rigoróznost se může ale rychle stát nevýhodou, jakmile se začneme zabývat spolehlivostí samotných dat a vhodností zvoleného experimentu. Stejně tak je obtížné frekvenční statistiku dobře použít pro odhad pravděpodobnosti výskytu jednorázového děje. Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Bayesovská statistika Tento přístup můžeme brát jako příklad matematizace „selského rozumu“. Vstupujeme do procesu s jistým původním přesvědčením, které jsme připraveni postupně pozměňovat ve světle nových dat. Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Bayesovská statistika Tento přístup můžeme brát jako příklad matematizace „selského rozumu“. Vstupujeme do procesu s jistým původním přesvědčením, které jsme připraveni postupně pozměňovat ve světle nových dat. Je zajímavé, že historicky byl zjevně první bayesovský přístup (např. Laplace a další již v 18. století), který byl prakticky zcela vystřídán frekvenční statistikou ve 20. století. V posledních desetiletích se však ale bayesovská statistika vrátila, společně s dalšími novými přístupy, do popředí zájmu. Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Plán přednášky 1 Literatura 2 Frekventisté vs. Bayesiáni 3 Výběry z populací 4 Kritické hodnoty 5 Odhady parametrů Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Máme k dispozici (velký) základní statistický soubor s N jednotkami, který nazýváme populace, a zároveň nějaký číselný znak pro každou z jednotek, tj. soubor hodnot (x1, . . . , xN). Z něj ovšem máme k dispozici pouze výběrový soubor s hodnotami (X1, . . . , Xn). Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Máme k dispozici (velký) základní statistický soubor s N jednotkami, který nazýváme populace, a zároveň nějaký číselný znak pro každou z jednotek, tj. soubor hodnot (x1, . . . , xN). Z něj ovšem máme k dispozici pouze výběrový soubor s hodnotami (X1, . . . , Xn). Abychom se vyhnuli diskusi skutečné velikosti základního statistického souboru s N jednotkami, budeme předpokládat, že vybíráme položky výběrového souboru jednu po druhé a každou vybranou jednotku poté do populace vracíme. Zároveň předpokládáme, že každá položka má stejnou pravděpodbnost výběru 1/N. Hovoříme pak o náhodném výběru. Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Pracujeme tedy s vektorem (X1, . . . , Xn) nezávislých náhodných veličin a všechny tyto veličiny mají stejné rozdělení pravděpodobnosti. Zejména tedy budou sdílet distribuční funkci FX (x) a momenty E Xi = µ, var Xi = σ2 . Dalším naším krokem musí být odvození charakteristik výběrového průměru ¯X a výběrového rozptylu S2 = 1 n − 1 n i=1 (Xi − ¯X)2 , přičemž následující věta dává hned zdůvodnění, proč volíme koeficient 1 n−1 místo 1 n . Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Theorem Pro výběrový průměr ¯X spočítaný z náhodného výběru rozsahu n z rozdělení s konečnou střední hodnotou µ a konečným rozptylem σ2 platí E ¯X = µ, var ¯X = 1 n σ2 . Pro výběrový rozptyl S2 platí E S2 = σ2 . Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Theorem Pro výběrový průměr ¯X spočítaný z náhodného výběru rozsahu n z rozdělení s konečnou střední hodnotou µ a konečným rozptylem σ2 platí E ¯X = µ, var ¯X = 1 n σ2 . Pro výběrový rozptyl S2 platí E S2 = σ2 . Naším úkolem je odhadovat charakteristiky, jako jsou průměr µ hodnot znaku ¯x nebo jejich rozptyl σ2 pro celou populaci pomocí obdobných charakteristik pro náš daleko menší výběr, které budeme značit pomocí velkých písmen, např. ¯X, S2. Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Zde vstupuje do hry pravděpodobnost – budeme chtít znát pravděpodobnost přiblížení hodnot pro náš výběr těm pro celou populaci. Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Zde vstupuje do hry pravděpodobnost – budeme chtít znát pravděpodobnost přiblížení hodnot pro náš výběr těm pro celou populaci. Říkáme, že ¯X je nestranným odhadem střední hodnoty znaku pro populaci, zatímco výběrový rozptyl je nestranným odhadem rozptylu. Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Zde vstupuje do hry pravděpodobnost – budeme chtít znát pravděpodobnost přiblížení hodnot pro náš výběr těm pro celou populaci. Říkáme, že ¯X je nestranným odhadem střední hodnoty znaku pro populaci, zatímco výběrový rozptyl je nestranným odhadem rozptylu. V případě, že bychom realizovali výběr z populace bez vracení, bude výběrový průměr stále nestranným odhadem střední hodnoty, výběrový rozptyl ale již ne (vyskočí tam faktor (N − 1)/N). Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů V praktických úlohách je třeba znát nejen číselné charakteristiky výběrového průměru a rozptylu, ale jejich úplné rozdělení pravděpodobnosti. To můžeme samozřejmě odvodit, pouze známe-li konkrétní rozdělení pravděpodobnosti Xi . Jako užitečnou ilustraci se podíváme na náhodný výběr z normálního rozdělení. Výběrový průměr bude mít normální rozdělení a protože již známe jeho střední hodnotu a rozptyl, bude ¯X ∼ N(µ, 1 n σ2). O něco složitější je to s odvozením rozdělení pravděpodobnosti výběrového rozptylu. Uvažme vektor Z normovaných normálních veličin Zi = Xi − µ σ . Theorem Je-li (X1, . . . , Xn) náhodný výběr z rozdělení N(µ, σ2), pak jsou ¯X a S2 nezávislé veličiny a platí ¯X ∼ N(µ, 1 n σ2 ), n − 1 σ2 S2 ∼ χ2 n−1 . Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Okamžitým důsledkem je, že normalizovaný výběrový průměr T = √ n ¯X − µ S má studentovo t-rozdělení pravděpodobnosti s n − 1 stupni volnosti. Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Plán přednášky 1 Literatura 2 Frekventisté vs. Bayesiáni 3 Výběry z populací 4 Kritické hodnoty 5 Odhady parametrů Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Připomenutí ... Velmi častou úlohou je pro spočtenou hodnotu ¯X výběrového průměru určit interval, ve kterém se skutečná hodnota průměru veličiny pro celou populaci nachází s předem danou (vysokou) pravděpodobností. Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Připomenutí ... Velmi častou úlohou je pro spočtenou hodnotu ¯X výběrového průměru určit interval, ve kterém se skutečná hodnota průměru veličiny pro celou populaci nachází s předem danou (vysokou) pravděpodobností. Např. pro náhodnou veličinu X s normálním rozdělením máme její normovanou veličinu Z = X−E X√ var X s výběrovým průměrem ¯X−µ√ σ2/n a chceme najít takovýto interval pro pravděpodobnost 1 − α, α ∈ (0, 1). Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Připomenutí ... Velmi častou úlohou je pro spočtenou hodnotu ¯X výběrového průměru určit interval, ve kterém se skutečná hodnota průměru veličiny pro celou populaci nachází s předem danou (vysokou) pravděpodobností. Např. pro náhodnou veličinu X s normálním rozdělením máme její normovanou veličinu Z = X−E X√ var X s výběrovým průměrem ¯X−µ√ σ2/n a chceme najít takovýto interval pro pravděpodobnost 1 − α, α ∈ (0, 1). Potřebujeme tedy znát hodnotu z(α) takovou, že P(Z > z(α)) = α. Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Připomenutí ... Velmi častou úlohou je pro spočtenou hodnotu ¯X výběrového průměru určit interval, ve kterém se skutečná hodnota průměru veličiny pro celou populaci nachází s předem danou (vysokou) pravděpodobností. Např. pro náhodnou veličinu X s normálním rozdělením máme její normovanou veličinu Z = X−E X√ var X s výběrovým průměrem ¯X−µ√ σ2/n a chceme najít takovýto interval pro pravděpodobnost 1 − α, α ∈ (0, 1). Potřebujeme tedy znát hodnotu z(α) takovou, že P(Z > z(α)) = α. Je-li F(x) spojitá rostoucí distribuční funkce naší veličiny, pak zjevně z(α) = F−1(1 − α). Pro normální rozdělení splňuje distribuční funkce Φ tento požadavek. Takto definovaným hodnotám z(α) se říká kritické hodnoty. Protože je hustota pro normální rozdělení symetrická kolem jeho střední hodnoty, dostáváme 1 − α = P(|Z| < z(α/2)). Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů 1 − α = P ¯X − µ σ2/n < z(α/2) = P ¯X − σ √ n z(α/2) < µ < ¯X + σ √ n z(α/2) což je interval s náhodnými konci, který s námi určenou pravděpodobností pokrývá neznámý parametr µ. V kontextu takových úloh hovoříme o intervalu spolehlivosti s koeficientem spolehlivosti 1 − α. Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů 1 − α = P ¯X − µ σ2/n < z(α/2) = P ¯X − σ √ n z(α/2) < µ < ¯X + σ √ n z(α/2) což je interval s náhodnými konci, který s námi určenou pravděpodobností pokrývá neznámý parametr µ. V kontextu takových úloh hovoříme o intervalu spolehlivosti s koeficientem spolehlivosti 1 − α. Pro normální rozdělení je velice populární kritická hodnota z(0, 025) = 1, 96, která odpovídá naší úloze se zvolenou pravděpodobností 95%. Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů 1 − α = P ¯X − µ σ2/n < z(α/2) = P ¯X − σ √ n z(α/2) < µ < ¯X + σ √ n z(α/2) což je interval s náhodnými konci, který s námi určenou pravděpodobností pokrývá neznámý parametr µ. V kontextu takových úloh hovoříme o intervalu spolehlivosti s koeficientem spolehlivosti 1 − α. Pro normální rozdělení je velice populární kritická hodnota z(0, 025) = 1, 96, která odpovídá naší úloze se zvolenou pravděpodobností 95%. Kritické hodnoty jsou dány pomocí tzv. kvantilové funkce F−1 (u) = inf{x ∈ R; F(x) ≥ u}, 0 < u < 1. Kvantilová funkce skutečně dává přímo příslušné kvantily, např. F−1(0, 5) je medián, atd. Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Example Před deseti lety byl uskutečněn rozsáhlý výzkum výšky desetiletých chlapců a zjistilo se, že střední výška byla µ0 = 136, 1cm se směrodatnou odchylkou σ = 6, 4cm. Nyní byly na náhodném výběru 15 desetiletých chlapců zjištěny následující výšky: 130, 140, 136, 141, 139, 133, 149, 151, 139, 136, 138, 142, 127, 139, 147. Je známo, že variabilita výšek v populaci se mění velice pomalu, zatímco výšky se mohou měnit rychle. Otázka: došlo ke změně střední výšky populace desetiletých chlapců? Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Example Před deseti lety byl uskutečněn rozsáhlý výzkum výšky desetiletých chlapců a zjistilo se, že střední výška byla µ0 = 136, 1cm se směrodatnou odchylkou σ = 6, 4cm. Nyní byly na náhodném výběru 15 desetiletých chlapců zjištěny následující výšky: 130, 140, 136, 141, 139, 133, 149, 151, 139, 136, 138, 142, 127, 139, 147. Je známo, že variabilita výšek v populaci se mění velice pomalu, zatímco výšky se mohou měnit rychle. Otázka: došlo ke změně střední výšky populace desetiletých chlapců? Ze zadání předpokládáme, že výběr 15 hodnot je z normálního rozdělení se známým rozptylem σ2 a otázku si upřesníme tak, že hledáme v jakém intervalu je nyní střední hodnota výšky populace se spolehlivostí 95% : Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Example Před deseti lety byl uskutečněn rozsáhlý výzkum výšky desetiletých chlapců a zjistilo se, že střední výška byla µ0 = 136, 1cm se směrodatnou odchylkou σ = 6, 4cm. Nyní byly na náhodném výběru 15 desetiletých chlapců zjištěny následující výšky: 130, 140, 136, 141, 139, 133, 149, 151, 139, 136, 138, 142, 127, 139, 147. Je známo, že variabilita výšek v populaci se mění velice pomalu, zatímco výšky se mohou měnit rychle. Otázka: došlo ke změně střední výšky populace desetiletých chlapců? Ze zadání předpokládáme, že výběr 15 hodnot je z normálního rozdělení se známým rozptylem σ2 a otázku si upřesníme tak, že hledáme v jakém intervalu je nyní střední hodnota výšky populace se spolehlivostí 95% : ¯x = 139, 133 a tedy interval spolehlivosti je (139, 133 − (6, 4/ √ 15)1, 96, 139, 133 + (6, 4/ √ 15)1, 96) = (135, 9, 142, 4). Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Example Před deseti lety byl uskutečněn rozsáhlý výzkum výšky desetiletých chlapců a zjistilo se, že střední výška byla µ0 = 136, 1cm se směrodatnou odchylkou σ = 6, 4cm. Nyní byly na náhodném výběru 15 desetiletých chlapců zjištěny následující výšky: 130, 140, 136, 141, 139, 133, 149, 151, 139, 136, 138, 142, 127, 139, 147. Je známo, že variabilita výšek v populaci se mění velice pomalu, zatímco výšky se mohou měnit rychle. Otázka: došlo ke změně střední výšky populace desetiletých chlapců? Ze zadání předpokládáme, že výběr 15 hodnot je z normálního rozdělení se známým rozptylem σ2 a otázku si upřesníme tak, že hledáme v jakém intervalu je nyní střední hodnota výšky populace se spolehlivostí 95% : ¯x = 139, 133 a tedy interval spolehlivosti je (139, 133 − (6, 4/ √ 15)1, 96, 139, 133 + (6, 4/ √ 15)1, 96) = (135, 9, 142, 4). Protože tento interval pokrývá i populační průměr před deseti lety, nemůžeme na této hladině spolehlivosti tvrdit, že se populační výška změnila. Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Plán přednášky 1 Literatura 2 Frekventisté vs. Bayesiáni 3 Výběry z populací 4 Kritické hodnoty 5 Odhady parametrů Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Odhadování parametrů může být bodové nebo intervalové. V předchozím příkladu takovými byly výběrový průměr ¯x = 139, 133 a interval spolehlivosti (135,9,142,4). Obecně postupujeme takto: Pro náhodný výběr rozsahu n X1, . . . , Xn z rozdělení, které závisí na (vektorovém) parametru θ hledáme funkci náhodných veličin (říkáme též statistiku nebo výběrovou statistiku) T(X1, . . . , Xn), která bude mít v „rozumném smyslu“ blízko ke skutečné hodnotě θ. Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Odhadování parametrů může být bodové nebo intervalové. V předchozím příkladu takovými byly výběrový průměr ¯x = 139, 133 a interval spolehlivosti (135,9,142,4). Obecně postupujeme takto: Pro náhodný výběr rozsahu n X1, . . . , Xn z rozdělení, které závisí na (vektorovém) parametru θ hledáme funkci náhodných veličin (říkáme též statistiku nebo výběrovou statistiku) T(X1, . . . , Xn), která bude mít v „rozumném smyslu“ blízko ke skutečné hodnotě θ. Jakožto funkce náhodných veličin je T opět náhodnou veličinou (resp. náhodným vektorem). Konstanta (resp. konstantní vektor) b = E T − θ se nazývá vychýlení odhadu T. Nestranný (nevychýlený) je takový odhad, kdy b = 0. Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Nejlepší odhad Máme-li k dispozici jistou třídu odhadů T , říkáme že T je nejlepším odhadem, má-li mezi všemi nejmenší rozptyl. Literatura Frekventisté vs. Bayesiáni Výběry z populací Kritické hodnoty Odhady parametrů Nejlepší odhad Máme-li k dispozici jistou třídu odhadů T , říkáme že T je nejlepším odhadem, má-li mezi všemi nejmenší rozptyl. T = Tn je konzistentním odhadem, je-li pro každé > 0 lim n→∞ P(|Tn − θ| < ) = 1. Theorem Je-li limn→∞ E Tn = θ, limn→∞ var Tn = 0, pak je Tn konzistentním odhadem θ.