Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Matematika III – 12. týden Frekvenční a Bayesovská statistika, výběry z populací, intervalové odhady Jan Slovák Masarykova univerzita Fakulta informatiky 1.12. – 5.12. 2014 Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Obsah přednášky 1 Literatura 2 Frekventisté vs. Bayesiáni 3 Výběry z populací 4 Intervaly spolehlivosti 5 Odhady 6 Testování hypotéz Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Plán přednášky 1 Literatura 2 Frekventisté vs. Bayesiáni 3 Výběry z populací 4 Intervaly spolehlivosti 5 Odhady 6 Testování hypotéz Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Kde je dobré číst? Karel Zvára, Josef Štěpán, Pravděpodobnost a matematická pravděpodobnost statistika, Matfyzpress, 2006, 230pp. J. Slovák, M. Panák, M. Bulant, Matematika drsně a svižně, Muni Press, Brno 2013, v+773 s., elektronická edice www.math.muni.cz/Matematika_drsne_svizne Marie Budíková, Štěpán Mikoláš, Pavel Osecký, Teorie pravděpodobnosti a matematická statistika (sbírka příkladů), Masarykova univerzita, 3. vydání, 2004, 117 stran, ISBN 80-210-3313-4. Marie Budíková, Tomáš Lerch, Štěpán Mikoláš, Základní statistické metody, Masarykova univerzita, 2005, 170 stran, ISBN 80-210-3886-1. Riley, K.F., Hobson, M.P., Bence, S.J. Mathematical Methods for Physics and Engineering, second edition, Cambridge University Press, Cambridge 2004, ISBN 0 521 89067 5, xxiii + 1232 pp. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Plán přednášky 1 Literatura 2 Frekventisté vs. Bayesiáni 3 Výběry z populací 4 Intervaly spolehlivosti 5 Odhady 6 Testování hypotéz Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz matematická statistika Zkoumáme statistiky u nějakého výběru z daného základního souboru (populace). Matematická statistika se snaží postihnout, do jaké míry jsou zjištěné výsledky relevantní pro celou populaci, případně se ze zjištěných dat pokouší zjistit nebo upřesnit vhodný teoretický model pro chování celého souboru (a z něj pak třeba odhadovat pravděpodobnost nějakého budoucího jevu). Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz matematická statistika Zkoumáme statistiky u nějakého výběru z daného základního souboru (populace). Matematická statistika se snaží postihnout, do jaké míry jsou zjištěné výsledky relevantní pro celou populaci, případně se ze zjištěných dat pokouší zjistit nebo upřesnit vhodný teoretický model pro chování celého souboru (a z něj pak třeba odhadovat pravděpodobnost nějakého budoucího jevu). Dva základní přístupy: frekvenční statistika (nebo také klasická statistika) bayesovská statistika. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz frekvenční přístup Vychází z matematické abstrakce, že skutečné pravděpodobnosti jsou dány četnostmi výskytů jevů v tak velkých vzorcích dat, že je můžeme dobře aproximovat nekonečnými modely a využít pro odhady spolehlivosti centrální limitní věty. Statistik zde na pravděpodobnost pohlíží jako na idealizaci relativní četnosti případů, v nichž se vyskytne určitý výsledek při opakovaných pokusech. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz frekvenční přístup Vychází z matematické abstrakce, že skutečné pravděpodobnosti jsou dány četnostmi výskytů jevů v tak velkých vzorcích dat, že je můžeme dobře aproximovat nekonečnými modely a využít pro odhady spolehlivosti centrální limitní věty. Statistik zde na pravděpodobnost pohlíží jako na idealizaci relativní četnosti případů, v nichž se vyskytne určitý výsledek při opakovaných pokusech. Tato zdánlivá výhoda/rigoróznost se může ale rychle stát nevýhodou, jakmile se začneme zabývat spolehlivostí samotných dat a vhodností zvoleného experimentu. Stejně tak je obtížné frekvenční statistiku dobře použít pro odhad pravděpodobnosti výskytu jednorázového děje. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Bayesovský přístup Tento přístup můžeme brát jako příklad matematizace „selského rozumu“. Vstupujeme do procesu s jistým původním přesvědčením, které jsme připraveni postupně pozměňovat ve světle nových dat. Jako vstupní předpoklad máme nějaké rozdělení pravděpodobnosti pro odhadovaných parametr, samotná data považujeme za konstanty, které hrají roli hypotézy v podmíněné pravděpodobnosti výsledkem je upřesnění rozdělení pravděpodobnosti zkoumaného parametru. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Bayesovský přístup Tento přístup můžeme brát jako příklad matematizace „selského rozumu“. Vstupujeme do procesu s jistým původním přesvědčením, které jsme připraveni postupně pozměňovat ve světle nových dat. Jako vstupní předpoklad máme nějaké rozdělení pravděpodobnosti pro odhadovaných parametr, samotná data považujeme za konstanty, které hrají roli hypotézy v podmíněné pravděpodobnosti výsledkem je upřesnění rozdělení pravděpodobnosti zkoumaného parametru. Je zajímavé, že historicky byl zjevně první bayesovský přístup (např. Laplace a další již v 18. století), který byl prakticky zcela vystřídán frekvenční statistikou ve 20. století. V posledních desetiletích se však ale bayesovská statistika vrátila, společně s dalšími novými přístupy, do popředí zájmu. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Plán přednášky 1 Literatura 2 Frekventisté vs. Bayesiáni 3 Výběry z populací 4 Intervaly spolehlivosti 5 Odhady 6 Testování hypotéz Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Máme k dispozici (velký) základní statistický soubor s N jednotkami, který nazýváme populace, a zároveň nějaký číselný znak pro každou z jednotek, tj. soubor hodnot (x1, . . . , xN). Z něj ovšem máme k dispozici pouze výběrový soubor s hodnotami (X1, . . . , Xn). Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Máme k dispozici (velký) základní statistický soubor s N jednotkami, který nazýváme populace, a zároveň nějaký číselný znak pro každou z jednotek, tj. soubor hodnot (x1, . . . , xN). Z něj ovšem máme k dispozici pouze výběrový soubor s hodnotami (X1, . . . , Xn). Abychom se vyhnuli diskusi skutečné velikosti základního statistického souboru s N jednotkami, budeme předpokládat, že vybíráme položky výběrového souboru jednu po druhé a každou vybranou jednotku poté do populace vracíme. Zároveň předpokládáme, že každá položka má stejnou pravděpodbnost výběru 1/N. Hovoříme pak o náhodném výběru. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Pracujeme tedy s vektorem (X1, . . . , Xn) nezávislých náhodných veličin a všechny tyto veličiny mají stejné rozdělení pravděpodobnosti. Zejména tedy budou sdílet distribuční funkci FX (x) a momenty E Xi = µ, var Xi = σ2 . Dalším naším krokem musí být odvození charakteristik výběrového průměru ¯X a výběrového rozptylu S2 = 1 n − 1 n i=1 (Xi − ¯X)2 , přičemž následující věta dává hned zdůvodnění, proč volíme koeficient 1 n−1 místo 1 n . Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Theorem Pro výběrový průměr ¯X spočítaný z náhodného výběru rozsahu n z rozdělení s konečnou střední hodnotou µ a konečným rozptylem σ2 platí E ¯X = µ, var ¯X = 1 n σ2 . Pro výběrový rozptyl S2 platí E S2 = σ2 . Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Theorem Pro výběrový průměr ¯X spočítaný z náhodného výběru rozsahu n z rozdělení s konečnou střední hodnotou µ a konečným rozptylem σ2 platí E ¯X = µ, var ¯X = 1 n σ2 . Pro výběrový rozptyl S2 platí E S2 = σ2 . Naším úkolem je odhadovat charakteristiky, jako jsou průměr µ hodnot znaku ¯x nebo jejich rozptyl σ2 pro celou populaci pomocí obdobných charakteristik pro náš daleko menší výběr, které budeme značit pomocí velkých písmen, např. ¯X, S2. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Zde vstupuje do hry pravděpodobnost – budeme chtít znát pravděpodobnost přiblížení hodnot pro náš výběr těm pro celou populaci. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Zde vstupuje do hry pravděpodobnost – budeme chtít znát pravděpodobnost přiblížení hodnot pro náš výběr těm pro celou populaci. Říkáme, že ¯X je nestranným odhadem střední hodnoty znaku pro populaci, zatímco výběrový rozptyl je nestranným odhadem rozptylu. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Zde vstupuje do hry pravděpodobnost – budeme chtít znát pravděpodobnost přiblížení hodnot pro náš výběr těm pro celou populaci. Říkáme, že ¯X je nestranným odhadem střední hodnoty znaku pro populaci, zatímco výběrový rozptyl je nestranným odhadem rozptylu. V případě, že bychom realizovali výběr z populace bez vracení, bude výběrový průměr stále nestranným odhadem střední hodnoty, výběrový rozptyl ale již ne (vyskočí tam faktor (N − 1)/N). Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz V praktických úlohách je třeba znát nejen číselné charakteristiky výběrového průměru a rozptylu, ale jejich úplné rozdělení pravděpodobnosti. To můžeme samozřejmě odvodit, pouze známe-li konkrétní rozdělení pravděpodobnosti Xi . Jako užitečnou ilustraci se podíváme na náhodný výběr z normálního rozdělení. Výběrový průměr bude mít normální rozdělení a protože již známe jeho střední hodnotu a rozptyl, bude ¯X ∼ N(µ, 1 n σ2). O něco složitější je to s odvozením rozdělení pravděpodobnosti výběrového rozptylu. Uvažme vektor Z normovaných normálních veličin Zi = Xi − µ σ . Theorem Je-li (X1, . . . , Xn) náhodný výběr z rozdělení N(µ, σ2), pak jsou ¯X a S2 nezávislé veličiny a platí ¯X ∼ N(µ, 1 n σ2 ), n − 1 σ2 S2 ∼ χ2 n−1 . Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Okamžitým důsledkem je, že normalizovaný výběrový průměr T = √ n ¯X − µ S má studentovo t-rozdělení pravděpodobnosti s n − 1 stupni volnosti. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Plán přednášky 1 Literatura 2 Frekventisté vs. Bayesiáni 3 Výběry z populací 4 Intervaly spolehlivosti 5 Odhady 6 Testování hypotéz Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Velmi častou úlohou je pro spočtenou hodnotu ¯X výběrového průměru určit interval, ve kterém se skutečná hodnota průměru veličiny pro celou populaci nachází s předem danou (vysokou) pravděpodobností. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Velmi častou úlohou je pro spočtenou hodnotu ¯X výběrového průměru určit interval, ve kterém se skutečná hodnota průměru veličiny pro celou populaci nachází s předem danou (vysokou) pravděpodobností. Pro náhodnou veličinu X s normálním rozdělením máme její normovanou veličinu Z = X−E X√ var X . Normovaný výběrový průměr n veličin X ∼ N(0, 1) je ¯X−µ√ σ2/n a chceme najít takovýto interval pro pravděpodobnost 1 − α, α ∈ (0, 1). Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Velmi častou úlohou je pro spočtenou hodnotu ¯X výběrového průměru určit interval, ve kterém se skutečná hodnota průměru veličiny pro celou populaci nachází s předem danou (vysokou) pravděpodobností. Pro náhodnou veličinu X s normálním rozdělením máme její normovanou veličinu Z = X−E X√ var X . Normovaný výběrový průměr n veličin X ∼ N(0, 1) je ¯X−µ√ σ2/n a chceme najít takovýto interval pro pravděpodobnost 1 − α, α ∈ (0, 1). Potřebujeme tedy znát hodnotu z(α) takovou, že P(Z > z(α)) = α. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Velmi častou úlohou je pro spočtenou hodnotu ¯X výběrového průměru určit interval, ve kterém se skutečná hodnota průměru veličiny pro celou populaci nachází s předem danou (vysokou) pravděpodobností. Pro náhodnou veličinu X s normálním rozdělením máme její normovanou veličinu Z = X−E X√ var X . Normovaný výběrový průměr n veličin X ∼ N(0, 1) je ¯X−µ√ σ2/n a chceme najít takovýto interval pro pravděpodobnost 1 − α, α ∈ (0, 1). Potřebujeme tedy znát hodnotu z(α) takovou, že P(Z > z(α)) = α. Je-li F(x) spojitá rostoucí distribuční funkce naší veličiny, pak zjevně z(α) = F−1(1 − α). Pro normální rozdělení splňuje distribuční funkce Φ tento požadavek. Takto definovaným hodnotám z(α) se říká kritické hodnoty. Protože je hustota pro normální rozdělení symetrická kolem jeho střední hodnoty, dostáváme 1 − α = P(|Z| < z(α/2)). Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz 1 − α = P ¯X − µ σ2/n < z(α/2) = P ¯X − σ √ n z(α/2) < µ < ¯X + σ √ n z(α/2) což je interval s náhodnými konci, který s námi určenou pravděpodobností pokrývá neznámý parametr µ. V kontextu takových úloh hovoříme o intervalu spolehlivosti s koeficientem spolehlivosti 1 − α. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz 1 − α = P ¯X − µ σ2/n < z(α/2) = P ¯X − σ √ n z(α/2) < µ < ¯X + σ √ n z(α/2) což je interval s náhodnými konci, který s námi určenou pravděpodobností pokrývá neznámý parametr µ. V kontextu takových úloh hovoříme o intervalu spolehlivosti s koeficientem spolehlivosti 1 − α. Pro normální rozdělení je velice populární kritická hodnota z(0, 025) = 1, 96, která odpovídá naší úloze se zvolenou pravděpodobností 95%. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz 1 − α = P ¯X − µ σ2/n < z(α/2) = P ¯X − σ √ n z(α/2) < µ < ¯X + σ √ n z(α/2) což je interval s náhodnými konci, který s námi určenou pravděpodobností pokrývá neznámý parametr µ. V kontextu takových úloh hovoříme o intervalu spolehlivosti s koeficientem spolehlivosti 1 − α. Pro normální rozdělení je velice populární kritická hodnota z(0, 025) = 1, 96, která odpovídá naší úloze se zvolenou pravděpodobností 95%. Kritické hodnoty jsou dány pomocí tzv. kvantilové funkce F−1 (u) = inf{x ∈ R; F(x) ≥ u}, 0 < u < 1. Kvantilová funkce skutečně dává přímo příslušné kvantily, např. F−1(0, 5) je medián, atd. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Example Před deseti lety byl uskutečněn rozsáhlý výzkum výšky desetiletých chlapců a zjistilo se, že střední výška byla µ0 = 136, 1cm se směrodatnou odchylkou σ = 6, 4cm. Nyní byly na náhodném výběru 15 desetiletých chlapců zjištěny následující výšky: 130, 140, 136, 141, 139, 133, 149, 151, 139, 136, 138, 142, 127, 139, 147. Je známo, že variabilita výšek v populaci se mění velice pomalu, zatímco výšky se mohou měnit rychle. Otázka: došlo ke změně střední výšky populace desetiletých chlapců? Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Example Před deseti lety byl uskutečněn rozsáhlý výzkum výšky desetiletých chlapců a zjistilo se, že střední výška byla µ0 = 136, 1cm se směrodatnou odchylkou σ = 6, 4cm. Nyní byly na náhodném výběru 15 desetiletých chlapců zjištěny následující výšky: 130, 140, 136, 141, 139, 133, 149, 151, 139, 136, 138, 142, 127, 139, 147. Je známo, že variabilita výšek v populaci se mění velice pomalu, zatímco výšky se mohou měnit rychle. Otázka: došlo ke změně střední výšky populace desetiletých chlapců? Ze zadání předpokládáme, že výběr 15 hodnot je z normálního rozdělení se známým rozptylem σ2 a otázku si upřesníme tak, že hledáme v jakém intervalu je nyní střední hodnota výšky populace se spolehlivostí 95% : Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Example Před deseti lety byl uskutečněn rozsáhlý výzkum výšky desetiletých chlapců a zjistilo se, že střední výška byla µ0 = 136, 1cm se směrodatnou odchylkou σ = 6, 4cm. Nyní byly na náhodném výběru 15 desetiletých chlapců zjištěny následující výšky: 130, 140, 136, 141, 139, 133, 149, 151, 139, 136, 138, 142, 127, 139, 147. Je známo, že variabilita výšek v populaci se mění velice pomalu, zatímco výšky se mohou měnit rychle. Otázka: došlo ke změně střední výšky populace desetiletých chlapců? Ze zadání předpokládáme, že výběr 15 hodnot je z normálního rozdělení se známým rozptylem σ2 a otázku si upřesníme tak, že hledáme v jakém intervalu je nyní střední hodnota výšky populace se spolehlivostí 95% : ¯x = 139, 133 a tedy interval spolehlivosti je (139, 133 − (6, 4/ √ 15)1, 96, 139, 133 + (6, 4/ √ 15)1, 96) = (135, 9, 142, 4). Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Example Před deseti lety byl uskutečněn rozsáhlý výzkum výšky desetiletých chlapců a zjistilo se, že střední výška byla µ0 = 136, 1cm se směrodatnou odchylkou σ = 6, 4cm. Nyní byly na náhodném výběru 15 desetiletých chlapců zjištěny následující výšky: 130, 140, 136, 141, 139, 133, 149, 151, 139, 136, 138, 142, 127, 139, 147. Je známo, že variabilita výšek v populaci se mění velice pomalu, zatímco výšky se mohou měnit rychle. Otázka: došlo ke změně střední výšky populace desetiletých chlapců? Ze zadání předpokládáme, že výběr 15 hodnot je z normálního rozdělení se známým rozptylem σ2 a otázku si upřesníme tak, že hledáme v jakém intervalu je nyní střední hodnota výšky populace se spolehlivostí 95% : ¯x = 139, 133 a tedy interval spolehlivosti je (139, 133 − (6, 4/ √ 15)1, 96, 139, 133 + (6, 4/ √ 15)1, 96) = (135, 9, 142, 4). Protože tento interval pokrývá i populační průměr před deseti lety, nemůžeme na této hladině spolehlivosti tvrdit, že se populační výška změnila. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Plán přednášky 1 Literatura 2 Frekventisté vs. Bayesiáni 3 Výběry z populací 4 Intervaly spolehlivosti 5 Odhady 6 Testování hypotéz Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Odhadování parametrů může být bodové nebo intervalové. V předchozím příkladu takovými byly výběrový průměr ¯x = 139, 133 a interval spolehlivosti (135,9,142,4). Obecně postupujeme takto: Pro náhodný výběr rozsahu n X1, . . . , Xn z rozdělení, které závisí na (vektorovém) parametru θ hledáme funkci náhodných veličin (říkáme též statistiku nebo výběrovou statistiku) T(X1, . . . , Xn), která bude mít v „rozumném smyslu“ blízko ke skutečné hodnotě θ. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Odhadování parametrů může být bodové nebo intervalové. V předchozím příkladu takovými byly výběrový průměr ¯x = 139, 133 a interval spolehlivosti (135,9,142,4). Obecně postupujeme takto: Pro náhodný výběr rozsahu n X1, . . . , Xn z rozdělení, které závisí na (vektorovém) parametru θ hledáme funkci náhodných veličin (říkáme též statistiku nebo výběrovou statistiku) T(X1, . . . , Xn), která bude mít v „rozumném smyslu“ blízko ke skutečné hodnotě θ. Jakožto funkce náhodných veličin je T opět náhodnou veličinou (resp. náhodným vektorem). Konstanta (resp. konstantní vektor) b = E T − θ se nazývá vychýlení odhadu T. Nestranný (nevychýlený) je takový odhad, kdy b = 0. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Nejlepší odhad Máme-li k dispozici jistou třídu odhadů T , říkáme že T je nejlepším odhadem, má-li mezi všemi nejmenší rozptyl. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Nejlepší odhad Máme-li k dispozici jistou třídu odhadů T , říkáme že T je nejlepším odhadem, má-li mezi všemi nejmenší rozptyl. T = Tn je konzistentním odhadem, je-li pro každé > 0 lim n→∞ P(|Tn − θ| < ) = 1. Theorem Je-li limn→∞ E Tn = θ, limn→∞ var Tn = 0, pak je Tn konzistentním odhadem θ. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Plán přednášky 1 Literatura 2 Frekventisté vs. Bayesiáni 3 Výběry z populací 4 Intervaly spolehlivosti 5 Odhady 6 Testování hypotéz Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Definition Hypotézou rozumíme nějaké tvrzení o rozdělení určeném sdruženou distribuční funkcí FX (x) náhodného vektoru X = (X1, . . . , Xn). Rozhodujeme mezi tzv. nulovou hypotézou H0 a alternativní hypotézou HA, která bývá negací nulové hypotézy. Možnými rozhodnutími jsou zamítnutí nebo nezamítnutí nulové hypotézy. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Definition Hypotézou rozumíme nějaké tvrzení o rozdělení určeném sdruženou distribuční funkcí FX (x) náhodného vektoru X = (X1, . . . , Xn). Rozhodujeme mezi tzv. nulovou hypotézou H0 a alternativní hypotézou HA, která bývá negací nulové hypotézy. Možnými rozhodnutími jsou zamítnutí nebo nezamítnutí nulové hypotézy. Když nulovou hypotézu zamítneme, přestože ve skutečnosti platí, nastává chyba prvního druhu, když ji nezamítneme v situaci, kdy neplatí, hovoříme o chybě druhého druhu. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Statistické rozhodování se opírá o předem určený kritický obor W , tj. předem určenou množinu výsledků pokusu, při kterých budeme nulovou hypotézu zamítat. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Statistické rozhodování se opírá o předem určený kritický obor W , tj. předem určenou množinu výsledků pokusu, při kterých budeme nulovou hypotézu zamítat. Tvar kritického oboru oboru volíme tak, abychom platnou hypotézu zamítli s pravděpodobností nejvýše α. Tj. zadáváme předem ohraničení velikosti chyby prvního druhu tzv. hladinou testu α. Zpravidla volíme α = 0, 05 nebo α = 0, 01. Výpočetní síla dnes umožňuje úkol obrátit a pro daná data se ptát, na jaké nejmenší hladině bychom ještě hypotézu zamítli. Hovoříme o dosažené hladině testu nebo také p–hodnotě (v angličtině P-value nebo Sig. level). Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Statistické rozhodování se opírá o předem určený kritický obor W , tj. předem určenou množinu výsledků pokusu, při kterých budeme nulovou hypotézu zamítat. Tvar kritického oboru oboru volíme tak, abychom platnou hypotézu zamítli s pravděpodobností nejvýše α. Tj. zadáváme předem ohraničení velikosti chyby prvního druhu tzv. hladinou testu α. Zpravidla volíme α = 0, 05 nebo α = 0, 01. Výpočetní síla dnes umožňuje úkol obrátit a pro daná data se ptát, na jaké nejmenší hladině bychom ještě hypotézu zamítli. Hovoříme o dosažené hladině testu nebo také p–hodnotě (v angličtině P-value nebo Sig. level). Mezi všemi kritickými obory na dané hladině testu ale pochopitelně přitom chceme vybrat ten, který bude minimalizovat chybu druhého druhu. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz Předpokládejme, že náhodný vektor X má hustotu rozdělení f (x, θ) závislou na (vektorovém) parametru. Za nulové hypotézy je to rozdělení s hustotou f (x, θ0), za alternativní s hustotou f (x, θ1). Theorem (Neymanovo-Pearsonovo lemma) Nechť k danému α ∈ (0, 1) existuje c > 0 takové, že pro množinu Wc = {x : f (x, θ1) ≥ cf (x, θ0)} platí Wc f (x, θ0)dx = α. Pak pro každou měřitelnou množinu W takovou, že je W f (x, θ0)dx = α, platí Wc f (x, θ1)dx ≥ W f (x, θ1)dx Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz V případě intervalových odhadů můžeme problém přeformulovat jako hypotézy H0 – „střední hodnota je µ0“ a HA – „střední hodnota je µ1“. Kritický obor je pak dán požadavkem |Z| = ¯X − µ0 σ √ n ≥ z(α/2) a nezávisí na konkrétní hodnotě µ1. Example Úkol v našem předchozím příkladu o výšce desetiletých chlapců lze formulovat tak, že nulovou hypotézou je nezměněná výška populace, zatímco alternativní je, že se výška změnila (tj. náš kritický obor je symetrický). Hladinu testu pak spočteme na 6, 66%, takže je přirozené, že jsme nulovou hypotézu na úrovni 5% nezamítli. Literatura Frekventisté vs. Bayesiáni Výběry z populací Intervaly spolehlivosti Odhady Testování hypotéz V případě intervalových odhadů můžeme problém přeformulovat jako hypotézy H0 – „střední hodnota je µ0“ a HA – „střední hodnota je µ1“. Kritický obor je pak dán požadavkem |Z| = ¯X − µ0 σ √ n ≥ z(α/2) a nezávisí na konkrétní hodnotě µ1. Example Úkol v našem předchozím příkladu o výšce desetiletých chlapců lze formulovat tak, že nulovou hypotézou je nezměněná výška populace, zatímco alternativní je, že se výška změnila (tj. náš kritický obor je symetrický). Hladinu testu pak spočteme na 6, 66%, takže je přirozené, že jsme nulovou hypotézu na úrovni 5% nezamítli. Když interpretujeme zadání tak, že buď se výška nezměnila, nebo vzrostla, bude náš kritický obor nesymetrický a dojdeme k hladině testu 3, 33%. Nulovou hypotézu proto na hladině 5% zamítneme.