Literatura Výběry z populací Kvantilové funkce a kritické hodnoty Odhady parametrů Testování hypotéz Drsná matematika IV – 10. přednáška Matematická statistika Jan Slovák Masarykova univerzita Fakulta informatiky 30. 4. 2012 Literatura Výběry z populací Kvantilové funkce a kritické hodnoty Odhady parametrů Testování hypotéz Obsah přednášky 1 Literatura 2 Výběry z populací 3 Kvantilové funkce a kritické hodnoty 4 Odhady parametrů 5 Testování hypotéz Literatura Výběry z populací Kvantilové funkce a kritické hodnoty Odhady parametrů Testování hypotéz Kde je dobré číst? vlastní poznámky, texty současného přednášejícího, GOOGLE, atd. Karel Zvára, Josef Štěpán, Pravděpodobnost a matematická pravděpodobnost statistika, Matfyzpress, 2006, 230pp. Marie Budíková, Štěpán Mikoláš, Pavel Osecký, Teorie pravděpodobnosti a matematická statistika (sbírka příkladů), Masarykova univerzita, 3. vydání, 2004, 117 stran, ISBN 80-210-3313-4. Marie Budíková, Tomáš Lerch, Štěpán Mikoláš, Základní statistické metody, Masarykova univerzita, 2005, 170 stran, ISBN 80-210-3886-1. Riley, K.F., Hobson, M.P., Bence, S.J. Mathematical Methods for Physics and Engineering, second edition, Cambridge University Press, Cambridge 2004, ISBN 0 521 89067 5, xxiii + 1232 pp. Literatura Výběry z populací Kvantilové funkce a kritické hodnoty Odhady parametrů Testování hypotéz Zpravidla statistici nemají k dispozici znaky všech statistických jednotek v souboru a místo toho se musí spokojit je s daleko menším výběrem. Hovoříme o populaci místo základního velkého souboru a výběru (nebo výběrovém souboru). Všude dále předpokládáme že rozsah populace N je mnohem větší než rozsah n výběru z ní. Naším úkolem je odhadovat charakteristiky jako jsou průměr µ hodnot znaku ¯x nebo jejich rozptyl σ2 pro celou populaci pomocí obdobných charakteristik pro náš daleko menší výběr, které budeme značit pomocí velkých písmen, např. ¯X, S2. Zde vstupuje do hry pravděpodobnost – budeme chtít znát pravděpodobnost přiblížení hodnot pro náš výběr těm pro celou populaci. Literatura Výběry z populací Kvantilové funkce a kritické hodnoty Odhady parametrů Testování hypotéz Zvolení výběru o rozsahu n považujeme za elemementární jev ω na vhodném pravděpodobnostním prostoru a hodnoty znaků považujeme za náhodný vektor X(ω) = (X1(ω), X2(ω), . . . , Xn(ω)) = (xi1 , xi2 , . . . , xin ), kde indexy ij odkazují na statistické jednotky v populaci, které byly do výběru zařazeny. Výběry s vracením – bez vracení Výběr můžeme realizovat buď tak, že vybereme n–tici z N prvků, každý z elementárních jevů má tedy pravděpodobnost 1/ N n , hovoříme o výběru z konečné populace bez vracení. Výběr také můžeme realizovat pomocí výběru s vracením (vybíráme měřené jednotky jednu po druhé a po změření znaku je opět vracíme do populace), hovoříme o náhodném výběru o rozsahu n. Literatura Výběry z populací Kvantilové funkce a kritické hodnoty Odhady parametrů Testování hypotéz Obě metodiky výběru se k sobě velice blíží, pokud je populace tak veliká, že ji můžeme vzhledem k rozsahu našeho výběru považovat za nekonečnou. Říkáme, že číselná charakteristika ¯Y výběru je nestranným odhadem náhodné veličiny y na celé populaci, jestliže je E ¯Y = y. Theorem V případě náhodného výběru jsou střední hodnota i rozptyl nestrannými odhady. Pokud vybíráme z populace jejíž zkoumaný znak patří do předem známého rozdělení, máme dobrou znalost rozdělení náhodných veličin ¯X apod. Např. pro výběr z normálního rozdělení N(µ, σ2) bude veličina ¯X mít pro náhodný výběr rozsahu n rozdělení N(µ, σ2 n ). Literatura Výběry z populací Kvantilové funkce a kritické hodnoty Odhady parametrů Testování hypotéz Výběr bez vracení z konečné populace Výběr s popíšeme pomocí náhodných veličin Wi s hodnotou 1 je-li i ∈ s a nula jinak. Theorem P(Wi = 1) = n N , E Wi = n N , var Wi = n N (1 − n N ), cov(Wi , Wj ) = − n(N − n) N2(N − 1) . Všimněme si, že pochopitelně nejsou veličiny Wi po dvou nezávislé, když jejich součet je vždy právě n. Literatura Výběry z populací Kvantilové funkce a kritické hodnoty Odhady parametrů Testování hypotéz Výběrový průměr je ¯X = 1 n i∈s xi = 1 n N i=1 xi Wi . Theorem E ¯X = µ, var ¯X = N − n N − 1 σ2 n . Říkáme, že ¯X je nestranným odhadem střední hodnoty znaku pro populaci. U rozptylu o nestranný odhad nejde, koeficient je však dle našich předpokladů velice blízký jedné! Definujeme výběrový rozptyl jako S2 = 1 n−1 n j=1(Xj − ¯X)2. Theorem E S2 = N N − 1 σ2 . Jako nestranný odhad σ2 bychom tedy mohli vzít N−1 N S2. Literatura Výběry z populací Kvantilové funkce a kritické hodnoty Odhady parametrů Testování hypotéz Velmi častou úlohou je pro spočtenou hodnotu ¯X výběrového průměru určit interval, ve kterém se skutečná hodnota průměru veličiny pro celou populaci nachází s předem danou (vysokou) pravděpodobností. Např. pro náhodnou veličinu X s normálním rozdělením máme její normovanou veličinu Z = X−E X√ var X s výběrovým průměrem ¯X−µ σ2/n a chceme najít takovýto interval pro pravděpodobnost 1 − α, α ∈ (0, 1). Potřebujeme tedy znát hodnotu z(α) takovou, že P(Z > z(α)) = α. Je-li F(x) spojitá rostoucí distribuční funkce naší veličiny, pak zjevně z(α) = F−1(1 − α). Pro normální rozdělení splňuje distribuční funkce Φ tento požadavek. Takto definovaným hodnotám z(α) se říká kritické hodnoty. Protože je hustota pro normální rozdělení symetrická kolem jeho střední hodnoty, dostáváme 1 − α = P(|Z| < z(α/2)). Literatura Výběry z populací Kvantilové funkce a kritické hodnoty Odhady parametrů Testování hypotéz 1 − α = P ¯X − µ σ2/n < z(α/2) = P ¯X − σ √ n z(α/2) < µ < ¯X + σ √ n z(α/2) což je interval s náhodnými konci, který s námi určenou pravděpodobností pokrývá neznámý parametr µ. V kontextu takových úloh hovoříme o intervalu spolehlivosti s koeficientem spolehlivosti 1 − α. Pro normální rozdělení je velice populární kritická hodnota z(0, 025) = 1, 96, která odpovídá naší úloze se zvolenou pravděpodobností 95%. Kritické hodnoty jsou dány pomocí tzv. kvantilové funkce F−1 (u) = inf{x ∈ R; F(x) ≥ u}, 0 < u < 1. Kvantilová funkce skutečně dává přímo příslušné kvantily, např. F−1(0, 5) je medián, atd. Literatura Výběry z populací Kvantilové funkce a kritické hodnoty Odhady parametrů Testování hypotéz Example Před deseti lety byl uskutečněn rozsáhlý výzkum výšky desetiletých chlapců a zjistilo se, že střední výška byla µ0 = 136, 1cm se směrodatnou odchylkou σ = 6, 4cm. Nyní byly na náhodném výběru 15 desetiletých chlapců zjištěny následující výšky: 130, 140, 136, 141, 139, 133, 149, 151, 139, 136, 138, 142, 127, 139, 147. Je známo, že variabilita výšek v populaci se mění velice pomalu, zatímco výšky se mohou měnit rychle. Otázka: došlo ke změně střední výšky populace desetiletých chlapců? Ze zadání předpokládáme, že výběr 15 hodnot je z normálního rozdělení se známým rozptylem σ2 a otázku si upřesníme tak, že hledáme v jakém intervalu je nyní střední hodnota výšky populace se spolehlivostí 95% : ¯x = 139, 133 a tedy interval spolehlivosti je (139, 133 − (6, 4/ √ 15)1, 96, 139, 133 + (6, 4/ √ 15)1, 96) = (135, 9, 142, 4). Protože tento interval pokrývá i populační průměr před deseti lety, nemůžeme na této hladině spolehlivosti tvrdit, že se populační výška změnila. Literatura Výběry z populací Kvantilové funkce a kritické hodnoty Odhady parametrů Testování hypotéz Odhadování parametrů může být bodové nebo intervalové. V předchozím příkladu takovými byly výběrový průměr ¯x = 139, 133 a interval spolehlivosti (135,9,142,4). Obecně postupujeme takto: Pro náhodný výběr rozsahu n X1, . . . , Xn z rozdělení, které závisí na (vektorovém) parametru θ hledáme funkci náhodných veličin (říkáme též statistiku nebo výběrovou statistiku) T(X1, . . . , Xn), která bude mít v „rozumném smyslu“ blízko ke skutečné hodnotě θ. Jakožto funkce náhodných veličin je T opět náhodnou veličinou (resp. náhodným vektorem). Konstanta (resp. konstantní vektor) b = E T − θ se nazývá vychýlení odhadu T. Nestranný (nevychýlený) je takový odhad, kdy b = 0. Literatura Výběry z populací Kvantilové funkce a kritické hodnoty Odhady parametrů Testování hypotéz Nejlepší odhad Máme-li k dispozici jistou třídu odhadů T , říkáme že T je nejlepším odhadem, má-li mezi všemi nejmenší rozptyl. T = Tn je konzistentním odhadem, je-li pro každé > 0 lim n→∞ P(|Tn − θ| < ) = 1. Theorem Je-li limn→∞ E Tn = θ, limn→∞ var Tn = 0, pak je Tn konzistentním odhadem θ. Obdobně pro intervalové odhady (Zvára-Štěpán, str. 164). Literatura Výběry z populací Kvantilové funkce a kritické hodnoty Odhady parametrů Testování hypotéz Definition Hypotézou rozumíme nějaké tvrzení o rozdělení určeném sdruženou distribuční funkcí FX (x) náhodného vektoru X = (X1, . . . , Xn). Rozhodujeme mezi tzv. nulovou hypotézou H0 a alternativní hypotézou HA, která bývá negací nulové hypotézy. Možnými rozhodnutími jsou zamítnutí nebo nezamítnutí nulové hypotézy. Když nulovou hypotézu zamítneme, přestože ve skutečnosti platí, nastává chyba prvního druhu, když ji nezamítneme v situaci, kdy neplatí, hovoříme o chybě druhého druhu. Literatura Výběry z populací Kvantilové funkce a kritické hodnoty Odhady parametrů Testování hypotéz Statistické rozhodování se opírá o předem určený kritický obor W , tj. předem určenou množinu výsledků pokusu, při kterých budeme nulovou hypotézu zamítat. Tvar kritického oboru oboru volíme tak, aby do něj náhodný vektor X padal za platnosti alternativní hypotézy co nejčastěji (tj. s co největší pravděpodoboností), kdežto při platnosti nulové hypotézy jen zřídka (tj. s malou pravděpodobností). Velikost W pak volíme tak, abychom platnou nulovou hypotézu zamítali s pravděpodobností nejvýše α. Této pravděpodobnosti α se říká hladina testu. Zpravidla volíme α = 0, 05 nebo α = 0, 01. Výpočetní síla dnes umožňuje úkol obrátit a pro daná data se ptát, na jaké nejmenší hladině bychom ještě hypotézu zamítli. Hovoříme o dosažené hladině testu nebo také p–hodnotě (v angličtině P-value nebo Sig. level apod.). Jinými slovy: dosažená hladina testu je právě pravděpodobnost, že za platnosti nulové hypotézy dostaneme právě náš vektor X nebo vektor ještě více odporující testované hypotéze. Literatura Výběry z populací Kvantilové funkce a kritické hodnoty Odhady parametrů Testování hypotéz Example Úkol v našem předchozím příkladu o výšce desetiletých chlapců lze formulovat tak, že nulovou hypotézou je nezměněná výška populace, zatímco alternativní je, že se výška změnila (tj. náš kritický obor je symetrický). Hladinu testu pak spočteme na 6, 66%, takže je přirozené, že jsme nulovou hypotézu na úrovni 5% nezamítli. Naopak, pokud věrně interpretujeme zadání tak, že víme předem, že buď se výška nezměnila, nebo vzrostla, bude náš kritický obor nesymetrický a dojdeme k hladině testu 3, 33%. Nulovou hypotézu proto na hladině 5% zamítneme. Literatura Výběry z populací Kvantilové funkce a kritické hodnoty Odhady parametrů Testování hypotéz Předpokládejme, že náhodný vektor X má hustotu rozdělení f (x, θ) závislou na (vektorovém) parametru. Za nulové hypotézy je to rozdělení s hustotou f (x, θ0), za alternativní s hustotou f (x, θ1). Theorem (Neymanovo-Pearsonovo lemma) Nechť k danému α ∈ (0, 1) existuje c > 0 takové, že pro množinu Wc = {x : f (x, θ1) ≥ cf (x, θ0)} platí Wc f (x, θ0)dx = α. Pak pro každou měřitelnou množinu W takovou, že je W f (x, θ0)dx = α, platí Wc f (x, θ1)dx ≥ W f (x, θ1)dx