Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Matematika III – 12. týden Frekvenční a Bayesovská statistika, výběry z populací, intervalové odhady Jan Slovák Masarykova univerzita Fakulta informatiky 7.12. – 11.12. 2014 Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Obsah přednášky 1 Literatura 2 Frekventisté vs. Bayesiáni 3 Výběry z populací 4 Intervaly spolehlivosti Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Plán přednášky 1 Literatura 2 Frekventisté vs. Bayesiáni 3 Výběry z populací 4 Intervaly spolehlivosti Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Kde je dobré číst? Karel Zvára, Josef Štěpán, Pravděpodobnost a matematická pravděpodobnost statistika, Matfyzpress, 2006, 230pp. J. Slovák, M. Panák, M. Bulant, Matematika drsně a svižně, Muni Press, Brno 2013, v+773 s., elektronická edice www.math.muni.cz/Matematika_drsne_svizne Marie Budíková, Štěpán Mikoláš, Pavel Osecký, Teorie pravděpodobnosti a matematická statistika (sbírka příkladů), Masarykova univerzita, 3. vydání, 2004, 117 stran, ISBN 80-210-3313-4. Marie Budíková, Tomáš Lerch, Štěpán Mikoláš, Základní statistické metody, Masarykova univerzita, 2005, 170 stran, ISBN 80-210-3886-1. Riley, K.F., Hobson, M.P., Bence, S.J. Mathematical Methods for Physics and Engineering, second edition, Cambridge University Press, Cambridge 2004, ISBN 0 521 89067 5, xxiii + 1232 pp. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Plán přednášky 1 Literatura 2 Frekventisté vs. Bayesiáni 3 Výběry z populací 4 Intervaly spolehlivosti Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti matematická statistika Zkoumáme statistiky u nějakého výběru z daného základního souboru (populace). Matematická statistika se snaží postihnout, do jaké míry jsou zjištěné výsledky relevantní pro celou populaci, případně se ze zjištěných dat pokouší zjistit nebo upřesnit vhodný teoretický model pro chování celého souboru (a z něj pak třeba odhadovat pravděpodobnost nějakého budoucího jevu). Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti matematická statistika Zkoumáme statistiky u nějakého výběru z daného základního souboru (populace). Matematická statistika se snaží postihnout, do jaké míry jsou zjištěné výsledky relevantní pro celou populaci, případně se ze zjištěných dat pokouší zjistit nebo upřesnit vhodný teoretický model pro chování celého souboru (a z něj pak třeba odhadovat pravděpodobnost nějakého budoucího jevu). Dva základní přístupy: frekvenční statistika (nebo také klasická statistika) bayesovská statistika. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti frekvenční přístup Vychází z matematické abstrakce, že skutečné pravděpodobnosti jsou dány četnostmi výskytů jevů v tak velkých vzorcích dat, že je můžeme dobře aproximovat nekonečnými modely a využít pro odhady spolehlivosti centrální limitní věty. Statistik zde na pravděpodobnost pohlíží jako na idealizaci relativní četnosti případů, v nichž se vyskytne určitý výsledek při opakovaných pokusech. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti frekvenční přístup Vychází z matematické abstrakce, že skutečné pravděpodobnosti jsou dány četnostmi výskytů jevů v tak velkých vzorcích dat, že je můžeme dobře aproximovat nekonečnými modely a využít pro odhady spolehlivosti centrální limitní věty. Statistik zde na pravděpodobnost pohlíží jako na idealizaci relativní četnosti případů, v nichž se vyskytne určitý výsledek při opakovaných pokusech. Tato zdánlivá výhoda/rigoróznost se může ale rychle stát nevýhodou, jakmile se začneme zabývat spolehlivostí samotných dat a vhodností zvoleného experimentu. Stejně tak je obtížné frekvenční statistiku dobře použít pro odhad pravděpodobnosti výskytu jednorázového děje. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Bayesovský přístup Tento přístup můžeme brát jako příklad matematizace „selského rozumu“. Vstupujeme do procesu s jistým původním přesvědčením, které jsme připraveni postupně pozměňovat ve světle nových dat. Jako vstupní předpoklad máme nějaké rozdělení pravděpodobnosti pro odhadovaných parametr, samotná data považujeme za konstanty, které hrají roli hypotézy v podmíněné pravděpodobnosti výsledkem je upřesnění rozdělení pravděpodobnosti zkoumaného parametru. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Bayesovský přístup Tento přístup můžeme brát jako příklad matematizace „selského rozumu“. Vstupujeme do procesu s jistým původním přesvědčením, které jsme připraveni postupně pozměňovat ve světle nových dat. Jako vstupní předpoklad máme nějaké rozdělení pravděpodobnosti pro odhadovaných parametr, samotná data považujeme za konstanty, které hrají roli hypotézy v podmíněné pravděpodobnosti výsledkem je upřesnění rozdělení pravděpodobnosti zkoumaného parametru. Je zajímavé, že historicky byl zjevně první bayesovský přístup (např. Laplace a další již v 18. století), který byl prakticky zcela vystřídán frekvenční statistikou ve 20. století. V posledních desetiletích se však ale bayesovská statistika vrátila, společně s dalšími novými přístupy, do popředí zájmu. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Plán přednášky 1 Literatura 2 Frekventisté vs. Bayesiáni 3 Výběry z populací 4 Intervaly spolehlivosti Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Máme k dispozici (velký) základní statistický soubor s N jednotkami, který nazýváme populace, a zároveň nějaký číselný znak pro každou z jednotek, tj. soubor hodnot (x1, . . . , xN). Z něj ovšem máme k dispozici pouze výběrový soubor s hodnotami (X1, . . . , Xn). Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Máme k dispozici (velký) základní statistický soubor s N jednotkami, který nazýváme populace, a zároveň nějaký číselný znak pro každou z jednotek, tj. soubor hodnot (x1, . . . , xN). Z něj ovšem máme k dispozici pouze výběrový soubor s hodnotami (X1, . . . , Xn). Abychom se vyhnuli diskusi skutečné velikosti základního statistického souboru s N jednotkami, budeme předpokládat, že vybíráme položky výběrového souboru jednu po druhé a každou vybranou jednotku poté do populace vracíme. Zároveň předpokládáme, že každá položka má stejnou pravděpodbnost výběru 1/N. Hovoříme pak o náhodném výběru. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Pracujeme tedy s vektorem (X1, . . . , Xn) nezávislých náhodných veličin a všechny tyto veličiny mají stejné rozdělení pravděpodobnosti. Zejména tedy budou sdílet distribuční funkci FX (x) a momenty E Xi = µ, var Xi = σ2 . Dalším naším krokem musí být odvození charakteristik výběrového průměru ¯X a výběrového rozptylu S2 = 1 n − 1 n i=1 (Xi − ¯X)2 , přičemž následující věta dává hned zdůvodnění, proč volíme koeficient 1 n−1 místo 1 n . Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Theorem Pro výběrový průměr ¯X spočítaný z náhodného výběru rozsahu n z rozdělení s konečnou střední hodnotou µ a konečným rozptylem σ2 platí E ¯X = µ, var ¯X = 1 n σ2 . Pro výběrový rozptyl S2 platí E S2 = σ2 . Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Theorem Pro výběrový průměr ¯X spočítaný z náhodného výběru rozsahu n z rozdělení s konečnou střední hodnotou µ a konečným rozptylem σ2 platí E ¯X = µ, var ¯X = 1 n σ2 . Pro výběrový rozptyl S2 platí E S2 = σ2 . Naším úkolem je odhadovat charakteristiky, jako jsou průměr µ hodnot znaku ¯x nebo jejich rozptyl σ2 pro celou populaci pomocí obdobných charakteristik pro náš daleko menší výběr, které budeme značit pomocí velkých písmen, např. ¯X, S2. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Zde vstupuje do hry pravděpodobnost – budeme chtít znát pravděpodobnost přiblížení hodnot pro náš výběr těm pro celou populaci. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Zde vstupuje do hry pravděpodobnost – budeme chtít znát pravděpodobnost přiblížení hodnot pro náš výběr těm pro celou populaci. Říkáme, že ¯X je nestranným odhadem střední hodnoty znaku pro populaci, zatímco výběrový rozptyl je nestranným odhadem rozptylu. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Zde vstupuje do hry pravděpodobnost – budeme chtít znát pravděpodobnost přiblížení hodnot pro náš výběr těm pro celou populaci. Říkáme, že ¯X je nestranným odhadem střední hodnoty znaku pro populaci, zatímco výběrový rozptyl je nestranným odhadem rozptylu. V případě, že bychom realizovali výběr z populace bez vracení, bude výběrový průměr stále nestranným odhadem střední hodnoty, výběrový rozptyl ale již ne (vyskočí tam faktor (N − 1)/N). Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti V praktických úlohách je třeba znát nejen číselné charakteristiky výběrového průměru a rozptylu, ale jejich úplné rozdělení pravděpodobnosti. To můžeme samozřejmě odvodit, pouze známe-li konkrétní rozdělení pravděpodobnosti Xi . Jako užitečnou ilustraci se podíváme na náhodný výběr z normálního rozdělení. Výběrový průměr bude mít normální rozdělení a protože již známe jeho střední hodnotu a rozptyl, bude ¯X ∼ N(µ, 1 n σ2). O něco složitější je to s odvozením rozdělení pravděpodobnosti výběrového rozptylu. Uvažme vektor Z normovaných normálních veličin Zi = Xi − µ σ . Theorem Je-li (X1, . . . , Xn) náhodný výběr z rozdělení N(µ, σ2), pak jsou ¯X a S2 nezávislé veličiny a platí ¯X ∼ N(µ, 1 n σ2 ), n − 1 σ2 S2 ∼ χ2 n−1 . Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Okamžitým důsledkem je, že normalizovaný výběrový průměr T = √ n ¯X − µ S má studentovo t-rozdělení pravděpodobnosti s n − 1 stupni volnosti. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Plán přednášky 1 Literatura 2 Frekventisté vs. Bayesiáni 3 Výběry z populací 4 Intervaly spolehlivosti Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Velmi častou úlohou je pro spočtenou hodnotu ¯X výběrového průměru určit interval, ve kterém se skutečná hodnota průměru veličiny pro celou populaci nachází s předem danou (vysokou) pravděpodobností. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Velmi častou úlohou je pro spočtenou hodnotu ¯X výběrového průměru určit interval, ve kterém se skutečná hodnota průměru veličiny pro celou populaci nachází s předem danou (vysokou) pravděpodobností. Pro náhodnou veličinu X s normálním rozdělením máme její normovanou veličinu Z = X−E X√ var X . Normovaný výběrový průměr n veličin X ∼ N(0, 1) je ¯X−µ√ σ2/n a chceme najít takovýto interval pro pravděpodobnost 1 − α, α ∈ (0, 1). Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Velmi častou úlohou je pro spočtenou hodnotu ¯X výběrového průměru určit interval, ve kterém se skutečná hodnota průměru veličiny pro celou populaci nachází s předem danou (vysokou) pravděpodobností. Pro náhodnou veličinu X s normálním rozdělením máme její normovanou veličinu Z = X−E X√ var X . Normovaný výběrový průměr n veličin X ∼ N(0, 1) je ¯X−µ√ σ2/n a chceme najít takovýto interval pro pravděpodobnost 1 − α, α ∈ (0, 1). Potřebujeme tedy znát hodnotu z(α) takovou, že P(Z > z(α)) = α. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Velmi častou úlohou je pro spočtenou hodnotu ¯X výběrového průměru určit interval, ve kterém se skutečná hodnota průměru veličiny pro celou populaci nachází s předem danou (vysokou) pravděpodobností. Pro náhodnou veličinu X s normálním rozdělením máme její normovanou veličinu Z = X−E X√ var X . Normovaný výběrový průměr n veličin X ∼ N(0, 1) je ¯X−µ√ σ2/n a chceme najít takovýto interval pro pravděpodobnost 1 − α, α ∈ (0, 1). Potřebujeme tedy znát hodnotu z(α) takovou, že P(Z > z(α)) = α. Je-li F(x) spojitá rostoucí distribuční funkce naší veličiny, pak zjevně z(α) = F−1(1 − α). Pro normální rozdělení splňuje distribuční funkce Φ tento požadavek. Takto definovaným hodnotám z(α) se říká kritické hodnoty. Protože je hustota pro normální rozdělení symetrická kolem jeho střední hodnoty, dostáváme 1 − α = P(|Z| < z(α/2)). Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti 1 − α = P ¯X − µ σ2/n < z(α/2) = P ¯X − σ √ n z(α/2) < µ < ¯X + σ √ n z(α/2) což je interval s náhodnými konci, který s námi určenou pravděpodobností pokrývá neznámý parametr µ. V kontextu takových úloh hovoříme o intervalu spolehlivosti s koeficientem spolehlivosti 1 − α. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti 1 − α = P ¯X − µ σ2/n < z(α/2) = P ¯X − σ √ n z(α/2) < µ < ¯X + σ √ n z(α/2) což je interval s náhodnými konci, který s námi určenou pravděpodobností pokrývá neznámý parametr µ. V kontextu takových úloh hovoříme o intervalu spolehlivosti s koeficientem spolehlivosti 1 − α. Pro normální rozdělení je velice populární kritická hodnota z(0, 025) = 1, 96, která odpovídá naší úloze se zvolenou pravděpodobností 95%. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti 1 − α = P ¯X − µ σ2/n < z(α/2) = P ¯X − σ √ n z(α/2) < µ < ¯X + σ √ n z(α/2) což je interval s náhodnými konci, který s námi určenou pravděpodobností pokrývá neznámý parametr µ. V kontextu takových úloh hovoříme o intervalu spolehlivosti s koeficientem spolehlivosti 1 − α. Pro normální rozdělení je velice populární kritická hodnota z(0, 025) = 1, 96, která odpovídá naší úloze se zvolenou pravděpodobností 95%. Kritické hodnoty jsou dány pomocí tzv. kvantilové funkce F−1 (u) = inf{x ∈ R; F(x) ≥ u}, 0 < u < 1. Kvantilová funkce skutečně dává přímo příslušné kvantily, např. F−1(0, 5) je medián, atd. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Example Před deseti lety byl uskutečněn rozsáhlý výzkum výšky desetiletých chlapců a zjistilo se, že střední výška byla µ0 = 136, 1cm se směrodatnou odchylkou σ = 6, 4cm. Nyní byly na náhodném výběru 15 desetiletých chlapců zjištěny následující výšky: 130, 140, 136, 141, 139, 133, 149, 151, 139, 136, 138, 142, 127, 139, 147. Je známo, že variabilita výšek v populaci se mění velice pomalu, zatímco výšky se mohou měnit rychle. Otázka: došlo ke změně střední výšky populace desetiletých chlapců? Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Example Před deseti lety byl uskutečněn rozsáhlý výzkum výšky desetiletých chlapců a zjistilo se, že střední výška byla µ0 = 136, 1cm se směrodatnou odchylkou σ = 6, 4cm. Nyní byly na náhodném výběru 15 desetiletých chlapců zjištěny následující výšky: 130, 140, 136, 141, 139, 133, 149, 151, 139, 136, 138, 142, 127, 139, 147. Je známo, že variabilita výšek v populaci se mění velice pomalu, zatímco výšky se mohou měnit rychle. Otázka: došlo ke změně střední výšky populace desetiletých chlapců? Ze zadání předpokládáme, že výběr 15 hodnot je z normálního rozdělení se známým rozptylem σ2 a otázku si upřesníme tak, že hledáme v jakém intervalu je nyní střední hodnota výšky populace se spolehlivostí 95% : Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Example Před deseti lety byl uskutečněn rozsáhlý výzkum výšky desetiletých chlapců a zjistilo se, že střední výška byla µ0 = 136, 1cm se směrodatnou odchylkou σ = 6, 4cm. Nyní byly na náhodném výběru 15 desetiletých chlapců zjištěny následující výšky: 130, 140, 136, 141, 139, 133, 149, 151, 139, 136, 138, 142, 127, 139, 147. Je známo, že variabilita výšek v populaci se mění velice pomalu, zatímco výšky se mohou měnit rychle. Otázka: došlo ke změně střední výšky populace desetiletých chlapců? Ze zadání předpokládáme, že výběr 15 hodnot je z normálního rozdělení se známým rozptylem σ2 a otázku si upřesníme tak, že hledáme v jakém intervalu je nyní střední hodnota výšky populace se spolehlivostí 95% : ¯x = 139, 133 a tedy interval spolehlivosti je (139, 133 − (6, 4/ √ 15)1, 96, 139, 133 + (6, 4/ √ 15)1, 96) = (135, 9, 142, 4). Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Example Před deseti lety byl uskutečněn rozsáhlý výzkum výšky desetiletých chlapců a zjistilo se, že střední výška byla µ0 = 136, 1cm se směrodatnou odchylkou σ = 6, 4cm. Nyní byly na náhodném výběru 15 desetiletých chlapců zjištěny následující výšky: 130, 140, 136, 141, 139, 133, 149, 151, 139, 136, 138, 142, 127, 139, 147. Je známo, že variabilita výšek v populaci se mění velice pomalu, zatímco výšky se mohou měnit rychle. Otázka: došlo ke změně střední výšky populace desetiletých chlapců? Ze zadání předpokládáme, že výběr 15 hodnot je z normálního rozdělení se známým rozptylem σ2 a otázku si upřesníme tak, že hledáme v jakém intervalu je nyní střední hodnota výšky populace se spolehlivostí 95% : ¯x = 139, 133 a tedy interval spolehlivosti je (139, 133 − (6, 4/ √ 15)1, 96, 139, 133 + (6, 4/ √ 15)1, 96) = (135, 9, 142, 4). Protože tento interval pokrývá i populační průměr před deseti lety, nemůžeme na této hladině spolehlivosti tvrdit, že se populační výška změnila.