Literatura Výběry Intervaly spolehlivosti Odhady Testování Matematika III – 12. týden Výběry z populací, intervalové odhady Jan Slovák Masarykova univerzita Fakulta informatiky 12.12. – 16.12. 2016 Literatura Výběry Intervaly spolehlivosti Odhady Testování Obsah přednášky 1 Literatura 2 Výběry 3 Intervaly spolehlivosti 4 Odhady 5 Testování Literatura Výběry Intervaly spolehlivosti Odhady Testování Plán přednášky 1 Literatura 2 Výběry 3 Intervaly spolehlivosti 4 Odhady 5 Testování Literatura Výběry Intervaly spolehlivosti Odhady Testování Kde je dobré číst? Karel Zvára, Josef Štěpán, Pravděpodobnost a matematická pravděpodobnost statistika, Matfyzpress, 2006, 230pp. J. Slovák, M. Panák, M. Bulant, Matematika drsně a svižně, Muni Press, Brno 2013, v+773 s., elektronická edice www.math.muni.cz/Matematika_drsne_svizne Marie Budíková, Štěpán Mikoláš, Pavel Osecký, Teorie pravděpodobnosti a matematická statistika (sbírka příkladů), Masarykova univerzita, 3. vydání, 2004, 117 stran, ISBN 80-210-3313-4. Marie Budíková, Tomáš Lerch, Štěpán Mikoláš, Základní statistické metody, Masarykova univerzita, 2005, 170 stran, ISBN 80-210-3886-1. Riley, K.F., Hobson, M.P., Bence, S.J. Mathematical Methods for Physics and Engineering, second edition, Cambridge University Press, Cambridge 2004, ISBN 0 521 89067 5, xxiii + 1232 pp. Literatura Výběry Intervaly spolehlivosti Odhady Testování Plán přednášky 1 Literatura 2 Výběry 3 Intervaly spolehlivosti 4 Odhady 5 Testování Literatura Výběry Intervaly spolehlivosti Odhady Testování Máme k dispozici (velký) základní statistický soubor s N jednotkami, který nazýváme populace, a zároveň nějaký číselný znak pro každou z jednotek, tj. soubor hodnot (x1, . . . , xN). Z něj ovšem máme k dispozici pouze výběrový soubor s hodnotami (X1, . . . , Xn). Literatura Výběry Intervaly spolehlivosti Odhady Testování Máme k dispozici (velký) základní statistický soubor s N jednotkami, který nazýváme populace, a zároveň nějaký číselný znak pro každou z jednotek, tj. soubor hodnot (x1, . . . , xN). Z něj ovšem máme k dispozici pouze výběrový soubor s hodnotami (X1, . . . , Xn). Abychom se vyhnuli diskusi skutečné velikosti základního statistického souboru s N jednotkami, budeme předpokládat, že vybíráme položky výběrového souboru jednu po druhé a každou vybranou jednotku poté do populace vracíme. Zároveň předpokládáme, že každá položka má stejnou pravděpodbnost výběru 1/N. Hovoříme pak o náhodném výběru. Literatura Výběry Intervaly spolehlivosti Odhady Testování Pracujeme tedy s vektorem (X1, . . . , Xn) nezávislých náhodných veličin a všechny tyto veličiny mají stejné rozdělení pravděpodobnosti. Zejména tedy budou sdílet distribuční funkci FX (x) a momenty E Xi = µ, var Xi = σ2 . Dalším naším krokem musí být odvození charakteristik výběrového průměru ¯X a výběrového rozptylu S2 = 1 n − 1 n i=1 (Xi − ¯X)2 , přičemž následující věta dává hned zdůvodnění, proč volíme koeficient 1 n−1 místo 1 n . Literatura Výběry Intervaly spolehlivosti Odhady Testování Theorem Pro výběrový průměr ¯X spočítaný z náhodného výběru rozsahu n z rozdělení s konečnou střední hodnotou µ a konečným rozptylem σ2 platí E ¯X = µ, var ¯X = 1 n σ2 . Pro výběrový rozptyl S2 platí E S2 = σ2 . Literatura Výběry Intervaly spolehlivosti Odhady Testování Theorem Pro výběrový průměr ¯X spočítaný z náhodného výběru rozsahu n z rozdělení s konečnou střední hodnotou µ a konečným rozptylem σ2 platí E ¯X = µ, var ¯X = 1 n σ2 . Pro výběrový rozptyl S2 platí E S2 = σ2 . Naším úkolem je odhadovat charakteristiky, jako jsou průměr µ hodnot znaku ¯x nebo jejich rozptyl σ2 pro celou populaci pomocí obdobných charakteristik pro náš daleko menší výběr, které budeme značit pomocí velkých písmen, např. ¯X, S2. Literatura Výběry Intervaly spolehlivosti Odhady Testování Zde vstupuje do hry pravděpodobnost – budeme chtít znát pravděpodobnost přiblížení hodnot pro náš výběr těm pro celou populaci. Literatura Výběry Intervaly spolehlivosti Odhady Testování Zde vstupuje do hry pravděpodobnost – budeme chtít znát pravděpodobnost přiblížení hodnot pro náš výběr těm pro celou populaci. Říkáme, že ¯X je nestranným odhadem střední hodnoty znaku pro populaci, zatímco výběrový rozptyl je nestranným odhadem rozptylu. Literatura Výběry Intervaly spolehlivosti Odhady Testování Zde vstupuje do hry pravděpodobnost – budeme chtít znát pravděpodobnost přiblížení hodnot pro náš výběr těm pro celou populaci. Říkáme, že ¯X je nestranným odhadem střední hodnoty znaku pro populaci, zatímco výběrový rozptyl je nestranným odhadem rozptylu. V případě, že bychom realizovali výběr z populace bez vracení, bude výběrový průměr stále nestranným odhadem střední hodnoty, výběrový rozptyl ale již ne (vyskočí tam faktor (N − 1)/N). Literatura Výběry Intervaly spolehlivosti Odhady Testování V praktických úlohách je třeba znát nejen číselné charakteristiky výběrového průměru a rozptylu, ale jejich úplné rozdělení pravděpodobnosti. To můžeme samozřejmě odvodit, pouze známe-li konkrétní rozdělení pravděpodobnosti Xi . Jako užitečnou ilustraci se podíváme na náhodný výběr z normálního rozdělení. Výběrový průměr bude mít normální rozdělení a protože již známe jeho střední hodnotu a rozptyl, bude ¯X ∼ N(µ, 1 n σ2). O něco složitější je to s odvozením rozdělení pravděpodobnosti výběrového rozptylu. Uvažme vektor Z normovaných normálních veličin Zi = Xi − µ σ . Theorem Je-li (X1, . . . , Xn) náhodný výběr z rozdělení N(µ, σ2), pak jsou ¯X a S2 nezávislé veličiny a platí ¯X ∼ N(µ, 1 n σ2 ), n − 1 σ2 S2 ∼ χ2 n−1 . Literatura Výběry Intervaly spolehlivosti Odhady Testování Okamžitým důsledkem je, že normalizovaný výběrový průměr T = √ n ¯X − µ S má studentovo t-rozdělení pravděpodobnosti s n − 1 stupni volnosti. Literatura Výběry Intervaly spolehlivosti Odhady Testování Plán přednášky 1 Literatura 2 Výběry 3 Intervaly spolehlivosti 4 Odhady 5 Testování Literatura Výběry Intervaly spolehlivosti Odhady Testování Velmi častou úlohou je pro spočtenou hodnotu ¯X výběrového průměru určit interval, ve kterém se skutečná hodnota průměru veličiny pro celou populaci nachází s předem danou (vysokou) pravděpodobností. Literatura Výběry Intervaly spolehlivosti Odhady Testování Velmi častou úlohou je pro spočtenou hodnotu ¯X výběrového průměru určit interval, ve kterém se skutečná hodnota průměru veličiny pro celou populaci nachází s předem danou (vysokou) pravděpodobností. Pro náhodnou veličinu X s normálním rozdělením máme její normovanou veličinu Z = X−E X√ var X . Normovaný výběrový průměr n veličin X ∼ N(0, 1) je ¯X−µ√ σ2/n a chceme najít takovýto interval pro pravděpodobnost 1 − α, α ∈ (0, 1). Literatura Výběry Intervaly spolehlivosti Odhady Testování Velmi častou úlohou je pro spočtenou hodnotu ¯X výběrového průměru určit interval, ve kterém se skutečná hodnota průměru veličiny pro celou populaci nachází s předem danou (vysokou) pravděpodobností. Pro náhodnou veličinu X s normálním rozdělením máme její normovanou veličinu Z = X−E X√ var X . Normovaný výběrový průměr n veličin X ∼ N(0, 1) je ¯X−µ√ σ2/n a chceme najít takovýto interval pro pravděpodobnost 1 − α, α ∈ (0, 1). Potřebujeme tedy znát hodnotu z(α) takovou, že P(Z > z(α)) = α. Literatura Výběry Intervaly spolehlivosti Odhady Testování Velmi častou úlohou je pro spočtenou hodnotu ¯X výběrového průměru určit interval, ve kterém se skutečná hodnota průměru veličiny pro celou populaci nachází s předem danou (vysokou) pravděpodobností. Pro náhodnou veličinu X s normálním rozdělením máme její normovanou veličinu Z = X−E X√ var X . Normovaný výběrový průměr n veličin X ∼ N(0, 1) je ¯X−µ√ σ2/n a chceme najít takovýto interval pro pravděpodobnost 1 − α, α ∈ (0, 1). Potřebujeme tedy znát hodnotu z(α) takovou, že P(Z > z(α)) = α. Je-li F(x) spojitá rostoucí distribuční funkce naší veličiny, pak zjevně z(α) = F−1(1 − α). Pro normální rozdělení splňuje distribuční funkce Φ tento požadavek. Takto definovaným hodnotám z(α) se říká kritické hodnoty. Protože je hustota pro normální rozdělení symetrická kolem jeho střední hodnoty, dostáváme 1 − α = P(|Z| < z(α/2)). Literatura Výběry Intervaly spolehlivosti Odhady Testování 1 − α = P ¯X − µ σ2/n < z(α/2) = P ¯X − σ √ n z(α/2) < µ < ¯X + σ √ n z(α/2) což je interval s náhodnými konci, který s námi určenou pravděpodobností pokrývá neznámý parametr µ. V kontextu takových úloh hovoříme o intervalu spolehlivosti s koeficientem spolehlivosti 1 − α. Literatura Výběry Intervaly spolehlivosti Odhady Testování 1 − α = P ¯X − µ σ2/n < z(α/2) = P ¯X − σ √ n z(α/2) < µ < ¯X + σ √ n z(α/2) což je interval s náhodnými konci, který s námi určenou pravděpodobností pokrývá neznámý parametr µ. V kontextu takových úloh hovoříme o intervalu spolehlivosti s koeficientem spolehlivosti 1 − α. Pro normální rozdělení je velice populární kritická hodnota z(0, 025) = 1, 96, která odpovídá naší úloze se zvolenou pravděpodobností 95%. Literatura Výběry Intervaly spolehlivosti Odhady Testování 1 − α = P ¯X − µ σ2/n < z(α/2) = P ¯X − σ √ n z(α/2) < µ < ¯X + σ √ n z(α/2) což je interval s náhodnými konci, který s námi určenou pravděpodobností pokrývá neznámý parametr µ. V kontextu takových úloh hovoříme o intervalu spolehlivosti s koeficientem spolehlivosti 1 − α. Pro normální rozdělení je velice populární kritická hodnota z(0, 025) = 1, 96, která odpovídá naší úloze se zvolenou pravděpodobností 95%. Kritické hodnoty jsou dány pomocí tzv. kvantilové funkce F−1 (u) = inf{x ∈ R; F(x) ≥ u}, 0 < u < 1. Kvantilová funkce skutečně dává přímo příslušné kvantily, např. F−1(0, 5) je medián, atd. Literatura Výběry Intervaly spolehlivosti Odhady Testování Example Před deseti lety byl uskutečněn rozsáhlý výzkum výšky desetiletých chlapců a zjistilo se, že střední výška byla µ0 = 136, 1cm se směrodatnou odchylkou σ = 6, 4cm. Nyní byly na náhodném výběru 15 desetiletých chlapců zjištěny následující výšky: 130, 140, 136, 141, 139, 133, 149, 151, 139, 136, 138, 142, 127, 139, 147. Je známo, že variabilita výšek v populaci se mění velice pomalu, zatímco výšky se mohou měnit rychle. Otázka: došlo ke změně střední výšky populace desetiletých chlapců? Literatura Výběry Intervaly spolehlivosti Odhady Testování Example Před deseti lety byl uskutečněn rozsáhlý výzkum výšky desetiletých chlapců a zjistilo se, že střední výška byla µ0 = 136, 1cm se směrodatnou odchylkou σ = 6, 4cm. Nyní byly na náhodném výběru 15 desetiletých chlapců zjištěny následující výšky: 130, 140, 136, 141, 139, 133, 149, 151, 139, 136, 138, 142, 127, 139, 147. Je známo, že variabilita výšek v populaci se mění velice pomalu, zatímco výšky se mohou měnit rychle. Otázka: došlo ke změně střední výšky populace desetiletých chlapců? Ze zadání předpokládáme, že výběr 15 hodnot je z normálního rozdělení se známým rozptylem σ2 a otázku si upřesníme tak, že hledáme v jakém intervalu je nyní střední hodnota výšky populace se spolehlivostí 95% : Literatura Výběry Intervaly spolehlivosti Odhady Testování Example Před deseti lety byl uskutečněn rozsáhlý výzkum výšky desetiletých chlapců a zjistilo se, že střední výška byla µ0 = 136, 1cm se směrodatnou odchylkou σ = 6, 4cm. Nyní byly na náhodném výběru 15 desetiletých chlapců zjištěny následující výšky: 130, 140, 136, 141, 139, 133, 149, 151, 139, 136, 138, 142, 127, 139, 147. Je známo, že variabilita výšek v populaci se mění velice pomalu, zatímco výšky se mohou měnit rychle. Otázka: došlo ke změně střední výšky populace desetiletých chlapců? Ze zadání předpokládáme, že výběr 15 hodnot je z normálního rozdělení se známým rozptylem σ2 a otázku si upřesníme tak, že hledáme v jakém intervalu je nyní střední hodnota výšky populace se spolehlivostí 95% : ¯x = 139, 133 a tedy interval spolehlivosti je (139, 133 − (6, 4/ √ 15)1, 96, 139, 133 + (6, 4/ √ 15)1, 96) = (135, 9, 142, 4). Literatura Výběry Intervaly spolehlivosti Odhady Testování Example Před deseti lety byl uskutečněn rozsáhlý výzkum výšky desetiletých chlapců a zjistilo se, že střední výška byla µ0 = 136, 1cm se směrodatnou odchylkou σ = 6, 4cm. Nyní byly na náhodném výběru 15 desetiletých chlapců zjištěny následující výšky: 130, 140, 136, 141, 139, 133, 149, 151, 139, 136, 138, 142, 127, 139, 147. Je známo, že variabilita výšek v populaci se mění velice pomalu, zatímco výšky se mohou měnit rychle. Otázka: došlo ke změně střední výšky populace desetiletých chlapců? Ze zadání předpokládáme, že výběr 15 hodnot je z normálního rozdělení se známým rozptylem σ2 a otázku si upřesníme tak, že hledáme v jakém intervalu je nyní střední hodnota výšky populace se spolehlivostí 95% : ¯x = 139, 133 a tedy interval spolehlivosti je (139, 133 − (6, 4/ √ 15)1, 96, 139, 133 + (6, 4/ √ 15)1, 96) = (135, 9, 142, 4). Protože tento interval pokrývá i populační průměr před deseti lety, nemůžeme na této hladině spolehlivosti tvrdit, že se populační výška změnila. Literatura Výběry Intervaly spolehlivosti Odhady Testování Plán přednášky 1 Literatura 2 Výběry 3 Intervaly spolehlivosti 4 Odhady 5 Testování Literatura Výběry Intervaly spolehlivosti Odhady Testování Odhadování parametrů může být bodové nebo intervalové. V předchozím příkladu takovými byly výběrový průměr ¯x = 139, 133 a interval spolehlivosti (135,9,142,4). Obecně postupujeme takto: Pro náhodný výběr rozsahu n X1, . . . , Xn z rozdělení, které závisí na (vektorovém) parametru θ hledáme funkci náhodných veličin (říkáme též statistiku nebo výběrovou statistiku) T(X1, . . . , Xn), která bude mít v „rozumném smyslu“ blízko ke skutečné hodnotě θ. Literatura Výběry Intervaly spolehlivosti Odhady Testování Odhadování parametrů může být bodové nebo intervalové. V předchozím příkladu takovými byly výběrový průměr ¯x = 139, 133 a interval spolehlivosti (135,9,142,4). Obecně postupujeme takto: Pro náhodný výběr rozsahu n X1, . . . , Xn z rozdělení, které závisí na (vektorovém) parametru θ hledáme funkci náhodných veličin (říkáme též statistiku nebo výběrovou statistiku) T(X1, . . . , Xn), která bude mít v „rozumném smyslu“ blízko ke skutečné hodnotě θ. Jakožto funkce náhodných veličin je T opět náhodnou veličinou (resp. náhodným vektorem). Konstanta (resp. konstantní vektor) b = E T − θ se nazývá vychýlení odhadu T. Nestranný (nevychýlený) je takový odhad, kdy b = 0. Literatura Výběry Intervaly spolehlivosti Odhady Testování Nejlepší odhad Máme-li k dispozici jistou třídu odhadů T , říkáme že T je nejlepším odhadem, má-li mezi všemi nejmenší rozptyl. Literatura Výběry Intervaly spolehlivosti Odhady Testování Nejlepší odhad Máme-li k dispozici jistou třídu odhadů T , říkáme že T je nejlepším odhadem, má-li mezi všemi nejmenší rozptyl. T = Tn je konzistentním odhadem, je-li pro každé > 0 lim n→∞ P(|Tn − θ| < ) = 1. Theorem Je-li limn→∞ E Tn = θ, limn→∞ var Tn = 0, pak je Tn konzistentním odhadem θ. Literatura Výběry Intervaly spolehlivosti Odhady Testování Plán přednášky 1 Literatura 2 Výběry 3 Intervaly spolehlivosti 4 Odhady 5 Testování Literatura Výběry Intervaly spolehlivosti Odhady Testování Definition Hypotézou rozumíme nějaké tvrzení o rozdělení určeném sdruženou distribuční funkcí FX (x) náhodného vektoru X = (X1, . . . , Xn). Rozhodujeme mezi tzv. nulovou hypotézou H0 a alternativní hypotézou HA, která bývá negací nulové hypotézy. Možnými rozhodnutími jsou zamítnutí nebo nezamítnutí nulové hypotézy. Literatura Výběry Intervaly spolehlivosti Odhady Testování Definition Hypotézou rozumíme nějaké tvrzení o rozdělení určeném sdruženou distribuční funkcí FX (x) náhodného vektoru X = (X1, . . . , Xn). Rozhodujeme mezi tzv. nulovou hypotézou H0 a alternativní hypotézou HA, která bývá negací nulové hypotézy. Možnými rozhodnutími jsou zamítnutí nebo nezamítnutí nulové hypotézy. Když nulovou hypotézu zamítneme, přestože ve skutečnosti platí, nastává chyba prvního druhu, když ji nezamítneme v situaci, kdy neplatí, hovoříme o chybě druhého druhu. Literatura Výběry Intervaly spolehlivosti Odhady Testování Statistické rozhodování se opírá o předem určený kritický obor W , tj. předem určenou množinu výsledků pokusu, při kterých budeme nulovou hypotézu zamítat. Literatura Výběry Intervaly spolehlivosti Odhady Testování Statistické rozhodování se opírá o předem určený kritický obor W , tj. předem určenou množinu výsledků pokusu, při kterých budeme nulovou hypotézu zamítat. Tvar kritického oboru oboru volíme tak, abychom platnou hypotézu zamítli s pravděpodobností nejvýše α. Tj. zadáváme předem ohraničení velikosti chyby prvního druhu tzv. hladinou testu α. Zpravidla volíme α = 0, 05 nebo α = 0, 01. Výpočetní síla dnes umožňuje úkol obrátit a pro daná data se ptát, na jaké nejmenší hladině bychom ještě hypotézu zamítli. Hovoříme o dosažené hladině testu nebo také p–hodnotě (v angličtině P-value nebo Sig. level). Literatura Výběry Intervaly spolehlivosti Odhady Testování Statistické rozhodování se opírá o předem určený kritický obor W , tj. předem určenou množinu výsledků pokusu, při kterých budeme nulovou hypotézu zamítat. Tvar kritického oboru oboru volíme tak, abychom platnou hypotézu zamítli s pravděpodobností nejvýše α. Tj. zadáváme předem ohraničení velikosti chyby prvního druhu tzv. hladinou testu α. Zpravidla volíme α = 0, 05 nebo α = 0, 01. Výpočetní síla dnes umožňuje úkol obrátit a pro daná data se ptát, na jaké nejmenší hladině bychom ještě hypotézu zamítli. Hovoříme o dosažené hladině testu nebo také p–hodnotě (v angličtině P-value nebo Sig. level). Mezi všemi kritickými obory na dané hladině testu ale pochopitelně přitom chceme vybrat ten, který bude minimalizovat chybu druhého druhu. Literatura Výběry Intervaly spolehlivosti Odhady Testování Předpokládejme, že náhodný vektor X má hustotu rozdělení f (x, θ) závislou na (vektorovém) parametru. Za nulové hypotézy je to rozdělení s hustotou f (x, θ0), za alternativní s hustotou f (x, θ1). Theorem (Neymanovo-Pearsonovo lemma) Nechť k danému α ∈ (0, 1) existuje c > 0 takové, že pro množinu Wc = {x : f (x, θ1) ≥ cf (x, θ0)} platí Wc f (x, θ0)dx = α. Pak pro každou měřitelnou množinu W takovou, že je W f (x, θ0)dx = α, platí Wc f (x, θ1)dx ≥ W f (x, θ1)dx Literatura Výběry Intervaly spolehlivosti Odhady Testování V případě intervalových odhadů můžeme problém přeformulovat jako hypotézy H0 – „střední hodnota je µ0“ a HA – „střední hodnota je µ1“. Kritický obor je pak dán požadavkem |Z| = ¯X − µ0 σ √ n ≥ z(α/2) a nezávisí na konkrétní hodnotě µ1. Example Úkol v našem předchozím příkladu o výšce desetiletých chlapců lze formulovat tak, že nulovou hypotézou je nezměněná výška populace, zatímco alternativní je, že se výška změnila (tj. náš kritický obor je symetrický). Hladinu testu pak spočteme na 6, 66%, takže je přirozené, že jsme nulovou hypotézu na úrovni 5% nezamítli. Literatura Výběry Intervaly spolehlivosti Odhady Testování V případě intervalových odhadů můžeme problém přeformulovat jako hypotézy H0 – „střední hodnota je µ0“ a HA – „střední hodnota je µ1“. Kritický obor je pak dán požadavkem |Z| = ¯X − µ0 σ √ n ≥ z(α/2) a nezávisí na konkrétní hodnotě µ1. Example Úkol v našem předchozím příkladu o výšce desetiletých chlapců lze formulovat tak, že nulovou hypotézou je nezměněná výška populace, zatímco alternativní je, že se výška změnila (tj. náš kritický obor je symetrický). Hladinu testu pak spočteme na 6, 66%, takže je přirozené, že jsme nulovou hypotézu na úrovni 5% nezamítli. Když interpretujeme zadání tak, že buď se výška nezměnila, nebo vzrostla, bude náš kritický obor nesymetrický a dojdeme k hladině testu 3, 33%. Nulovou hypotézu proto na hladině 5% zamítneme.