M5VM05 Statistické modelování 3. Testování statistických hypotéz Jan Koláček (kolacek@math.muni.cz) Ústav matematiky a statistiky, Přírodovědecká fakulta, Masarykova univerzita, Brno Jan Koláček (PřF MU) M5VM05 Statistické modelování 1/34 Testování statistických hypotéz Mějme náhodný výběr X = (Xi,... ,Xn)f rozsahu n z rozdělení o distribuční funkci F(x;9), kde 9 = (9\,...,9m)r E 0 C Rm. Množina 0 nechť je neprázdná a otevřená. Předpokládejme, že o parametru 9 existují dvě konkurující si hypotézy: H0: 9 e 0O c e Hi: 0 e 0i = e - e0 Hq se nazývá nulovou hypotézou. Hi alternativní hypotézou. Tvrzení O platnosti této hypotézy se má rozhodnout na základě náhodného výběru v /v v \i , v zamítneme nebo . . TT X= (Xi,...,Xn) , a to tak, ze ^ _____rj_____ platnost hypotézy Hq. nezamítneme Jan Koláček (PřF MU) M5VM05 Statistické modelování Testování statistických hypotéz Na testování použijeme statistiku Tn = T(X), kterou nazýváme testovací statistikou. Množinu hodnot, které může testovací statistika nabýt, rozdělíme na dvě disjunktní oblasti. Jednu označíme Wa , a nazveme ji kritickou oblastí (nebo také oblastí zamítnutí hypotézy) a druhá je doplňkovou oblastí (oblast nezamítnutí testované hypotézy). Na základě realizace náhodného výběru x = (x\,... ,xn)r vypočítáme hodnotu testovací statistiky tn = T(x). • Pokud hodnota testovací statistiky tn nabude hodnoty z kritické oblasti, tj tn = T(x) £ Woc , pak nulovou hypotézu zamítáme. Pokud hodnota testovací statistiky nabude hodnoty z oblasti nezamítnutí, tj tn = T(x) i Woc , tak nulovou hypotézu nezamítáme, což ovšem neznamená že přijímáme alternativu Jan Koláček (PřF MU) M5VM05 Statistické modelování 3/34 Testování statistických hypotéz Ho PLATÍ NEPLATÍ ZAMÍTÁME tn = T(x) e Wa chyba 1. druhu (cíq je hladina testu) 7(0O) : V tomto případě využijeme dolní odhad Dn(X) parametrické funkce j(0) o spolehlivosti 1 — oc. Pokud platí nulová hypotéza, pak l-a = P0 (D„(X) < 7(0O)). takže kritický obor tohoto testu má tvar: WÄ = {XGR":D„(X)>7(0o)}. Jan Koláček (PřF MU) M5VM05 Statistické modelování 8/34 Vztah mezi testy a intervalovými odhady C Hypotéza Hq : 7(0) = 7(60) Prot' (tzv. jednostranné) alternativě H\ : 7(0) < 7(60) V tomto případě využijeme horní odhad Hn(X) parametrické funkce 7(6) o spolehlivosti 1 — oc. Pokud platí nulová hypotéza, pak l-a = P0 (7(60) CTU1_K a2 známé H = Ho Jí > Ho a2 známé H = Ho Jí < Ho (X-]i§)jň < -cfux-oc a2 známé H = Ho ľ ŕ Ho X — jiQ a/h > St1_*(n — 1) a2 neznámé H = Ho Jí > JÍO (X -]io)\/ň> Stx-ocin - 1) a2 neznámé H = Ho Jí < Ho (X -]i^)y/ň< -Stx-ocin - 1) a2 neznámé 2 2 {n-fZé(xl(n l),xL(n 1)) V 2 1 2 / ji neznámé 2 2 O2 > CT2 ^>^_>-i) ji neznámé 2 2 a2 = o* o2 < al (n;F<*2> i) ji neznámé Jan Koláček (PřF MU) M5VM05 Statistické modelování 10/34 Příklad Příklad 1 (Výška desetiletých chlapců) V roce 1961 byla u 15 náhodně vybraných chlapců z populace všech desetiletých chlapců žijících v Československu zjištěna výška: 6 7 8 9 10 11 12 13 14 15 130 140 136 141 139 133 149 151 139 136 138 142 127 139 147 Je známo, že každá následující generace je v průměru o něco vyšší než generace předcházející Můžeme se tedy ptát, zda průměr x = 139.133 zjištěný v náhodném výběru rozsahu n = 15 znamená, že na 5% hladině máme zamítnout nulovou hypotézu Hq : ji = 136,1 (zjištění z roku 1951) ve prospěch alternativní hypotézy Hľ.}i> 136,1 . Rozptyl cr2 = 6,42 cm2, zjištěný v roce 1951 (kdy se provádělo rozsáhlé šetření), můžeme považovat za známý, nebot variabilita výšek zůstává (na rozdíl od střední výšky) téměř nezměněná. Jan Koláček (PřF MU) M5VM05 Statistické modelování 11/34 Řešení Řešení (I) Testování nulové hypotézy pomocí pivotové statistiky Uy a kritické hodnoty. Protože kritický obor Wq lze ekvivalentně vyjádřit i takto W0 = {xGR":i-^jMi_Ä >W} = {xGr:Mž = ^ Vn > Ui_Ä} , počítejme u-x = 139/13634 136/1 /l5 = 1,835. Protože ^ = 1,835 prekračuje kritickou hodnotu = wo,95 = 1/645, nulovou hypotézu na 5% hladině zamítneme ve prospěch alternativní hypotézy, že se střední výška desetiletých hochů zvětšila. Jan Koláček (PřF MU) M5VM05 Statistické modelování 12/ Řešení (II) Testování nulové hypotézy pomocí p-hodnoty 0.25 0.15 0.05 132 133 134 135 136 137 138 139 140 141 X =139.1333 p r um p-val=0.033206 Dosažená hladina odpovídající testové statistice (tj. tzv. p-hodnota, anglicky P-value, significance value), což je nejmenší hladina testu, při které bychom ještě hypotézu Hq zamítli, je rovna 0,033, takže například při oc = 2,5% by již dosažený výsledek nebyl statisticky významný. Protože p-hodnota je menší než zvolená hladina významnosti oc = 0.05, hypotézu zamítáme. Jan Koláček (PřF MU) M5VM05 Statistické modelování 13/34 Řešení (III) Testování nulové hypotézy pomocí intervalu spolehlivosti řl_.(ni+n2-2)s12^/A = ^2 nezr,ámé 2 2 ^ £ (f& (ni-l,n2-l),-Fi_a (ni-l,W2-l)) neznámé Jan Koláček (PřF MU) M5VM05 Statistické modelování 15/34 Příklad Příklad 2 (Dva nezávislé náhodné výběry z normálního rozdělení při neznámých ale stejných rozptylech) Bylo vybráno 13 polí stejné kvality Na 8 z nich se zkoušel nový způsob hnojení, zbývajících 5 bylo ošetřeno běžným způsobem. Výnosy pšenice uvedené v tunách na hektar jsou označeny Xj u nového a Y j u běžného způsobu hnojení. Je třeba zjistit, zda způsob hnojení má vliv na výnos pšenice. Xi 5,7 5,5 4,3 5,9 5,2 5,6 5,8 5,1 v. 5fQ 4,5 4,2 5,4 4,4 4.2 4.4 Jan Koláček (PřF MU) M5VM05 Statistické modelování 16 / 34 Řešení Řešení Budeme nejprve testovat hypotézu Hq : -\ — 1 Prot' alternativě (72 H\ : -\ 7^ 1 . Za pivotovou statistiku zvolíme statistiku <72 (a) Můžeme například vypočítat statistiku F za platnosti nulové hypotézy a porovnat ji s příslušnými oboustrannými kvantily. /= 2g = 1,1243 F«(ni-l/n2-l) = 0,1811 F (ni-l,n2-l) = 9,0741 hq nezamítáme. Jan Koláček (PřF MU) M5VM05 Statistické modelování 17/ (b) Další možností je spočítat p-hodnotu a srovnat se zvolenou hladinou testu oc\ p-value = 0,9656 > 0,05 Protože p-hodnota je výrazně větší než zvolená hladina testu, hypotézu o rovnosti rozptylů proti alternativě nerovnosti nezamítáme. 0 . 7 r 0 . 6 0 . 5 0 . 1 0 . 3 0.2 0 . 1 0 0123456789 10 F=l.1243 p-val=0.96557 Jan Koláček (PřF MU) M5VM05 Statistické modelování 18/34 Řešení (c) A naposledy můžeme ještě zkonstruovat 100(1 — oc)% interval spolehlivosti o2 pro podíl rozptylů -\ ls\_1_S\ 1 \s\ fi-|(^i-l/^2-l)/ S\ F|(ni-l,n2-l) a zjistit, zda pokrývá hodnotu 1. Protože dostáváme interval (0,1239;6,2088), který pokrývá jedničku, hypotézu nezamítáme. Jan Koláček (PřF MU) M5VM05 Statistické modelování 19/ Řešení (I) Testování pomocí statistiky T a kritické hodnoty Vypočítáme-li hodnotu statistiky 0.35 h 0.25 h X-Y- -fí2) 12 n\U2 U\ + Íl2 0.15 0.05 h a porovnáme s kvantilem Studentova rozdělení, tj h-y = 2.3697 > ři_a/2(ll) = 2.201, takže hypotézu 2 3 T=2.3697 p-val=0.037169 Ho : - ]i2 = 0 zamítáme Jan Koláček (PřF MU) M5VM05 Statistické modelování (II) Testování pomocí p-hodnoty Vypočítáme-li p-hodnotu a porovnáme se zvolenou hladinou významnosti oc = 0.05 p = P(\Tx_y\ >t)= 2(1 - P(\Tx-f \ < 0) = 0.037169 < oc takže hypotézu Ho : ]i\ - }ii = 0 zamítáme. Řešení (III) Testování nulové hypotézy pomocí intervalu spolehlivosti x-y±tx_*{y) si2^/^f = (0,6875 ±2,201-0,5089/1,7541 = (0,048958; 1,326 Protože interval spolehlivosti nepokrývá nulu, na dané hladině významnosti hypotézu zamítáme ve prospěch alternativy. Jan Koláček (PřF MU) M5VM05 Statistické modelování Příklad Příklad 3 (Párový test) Na sedmi rostlinách byl posuzován vliv fungicidního přípravku podle počtu skvrn na listech před a týden po použití přípravku. Otestujte, zdali má přípravek vliv na počet skvrn na listech. Data udávající počet skvrn na listech před a po použití přípravku: před použitím přípravku X\ 9 17 31 7 8 20 10 po použití přípravku X2 10 11 18 6 7 17 5 Jan Koláček (PřF MU) M5VM05 Statistické modelování 23 / 34 Řešení (I) Testování pomocí statistiky T a kritické hodnoty Položme Z = X| — X2. Vypočítáme-li hodnotu statistiky 0.35 ■ 0.25 ■ 0.15 0.05 ■ 2 3 T=2.2736 p-val=0.063354 T = ž a porovnáme s kvantilem Studentova rozdělení, t ř s/ \/n = 2,2736 i> ři_a/2(n - 1) = 2,4469 takže hypotézu H0 : ]i\ - ]ii = 0 nezamítáme. Jan Koláček (PřF MU) M5VM05 Statistické modelování 24 (II) Testování pomocí p-hodnoty Vypočítáme-li p-hodnotu a porovnáme se zvolenou hladinou významnosti oc = 0,05 p = P(\T\ >t)= 2(1 - P(\T\ < t)) = 0,06335 > oc takže hypotézu H0 : ]i\ - ]i2 = 0 nezamítáme Řešení (III) Testování nulové hypotézy pomocí intervalu spolehlivosti ž±h-0í/2(n-l) -s/^/n = 4 ± 2,4469 • 4,6547/2,6458 = [-0,30492; 8,3049] Protože interval spolehlivosti pokrývá hodnotu Z = 0, na dané hladině významnosti hypotézu nezamítáme. Shrneme-li předchozí výsledky slovně, pak nulovou hypotézu o tom, že přípravek nemá vliv na počet skvrn na hladině významnosti oc = 0,05 nemůžeme zamítnout oproti alternativě o jeh vlivu. Jan Koláček (PřF MU) M5VM05 Statistické modelování 26 Asymptotické testy Nechť -U-{Xi,...,Xn} ~ jC(ii(9),cr (9)) s konečnými druhými momenty n (s výběrovým průměrem X = ^ ^ Xz- a se S2 = S2(X), což je (slabě) z=l konzistentní odhad rozptylu cr2(0)): H0 Hi Hq zamítáme, pokud X G Wa Předpoklady jl = jlQ prP-o X-fiQ s* 0 < a2(0) < oo jl = jlQ H ŕ Ho Vx JL{Xi,...,X„} ~Po(p) P = Po P ŕ Po V X-Po Po(l-) — Jn > Ui a *o) - 1 2 Jan Koláček (PřF MU) M5VM05 Statistické modelování 27/34 Příklad Příklad 4 Při 40 hodech mincí byl rub zaznamenán 22krát. Je důvod se domnívat, že rub nepadá stejně často jako líc? Řešení Označme Xz-, i = 1,...,40 náhodnou veličinu nabývající hodnoty 1, pokud padne rub a hodnoty 0, pokud padne líc. Zřejmě Xj ~ A(p). Testujeme hypotézu Hq : p = 0,5 proti alternativní hypotéze H\\ p 7^ 0,5. Vypočteme průměr x = |^ = 0,55 a směrodatnou odchylku s = ^0,5(1-0,5) = 0,5. Jan Koláček (PřF MU) M5VM05 Statistické modelování 28 / 34 Řešení (I) Testování nulové hypotézy pomocí pivotové statistiky a kritické hodnoty. Protože kritický obor Wq lze ekvivalentně vyjádřit i takto W. o > W1 _ ol i , 1 2 počítejme = q/5q5°/5 ^40 = 0,6325. Protože = 0,6325 nepřekračuje kritickou hodnotu ol = ^0 975 = 1/96, nulovou hypotézu na 5% hladině 1 2 nezamítáme. Jan Koláček (PřF MU) M5VM05 Statistické modelování Řešení (II) Testování pomocí ^-hodnoty Vypočítáme p-hodnotu a porovnáme se zvolenou hladinou významnosti oc = 0,05 p = P(\U-x\ >u-x) = 2(1-P(|lfe| a takže hypotézu nezamítáme H0 :p = 0,5 Jan Koláček (PřF MU) M5VM05 Statistické modelování 30 / 34 Řešení (III) Testování nulové hypotézy pomocí intervalu spolehlivosti Interval spolehlivosti pro p: x ± u0/975 -fa = 0,55 ± 1,96 • ^ = (0,395; 0,705). Protože interval spolehlivosti (0,395;0,705) pokrývá hodnotu 0,5, nulovou hypotézu na hladině významnosti oc = 0,05 nezamítáme. Jan Koláček (PřF MU) M5VM05 Statistické modelování Úlohy k procvičení Příklad 5.1 Spotřeba téhož auta byla testována u 11 řidičů s výsledky 8,8; 8,9; 9,0; 8,7; 9,3; 9,0; 8,7; 8,8; 9,4; 8,6; 8,9 (7/100 km). Můžeme na hladině významnosti 0,05 zamítnout hypotézu, že je pravdivá výrobcem udávaná spotřeba 8,8 1/100 km? Můžeme na stejné hladině významnosti popřít tvrzení, že rozptyl spotřeby je 0,1? [ne, ne] Příklad 5.2 Na hladině významnosti oc = 0,05 testujte hypotézu Hq : = 300 o směrodatné odchylce normálně rozdělené náhodné veličiny jestliže je zaznamenáno n = 25, X = 3118, s = 357. [nezamítáme] Příklad 5.3 Denní přírůstky váhy selat (v dkg) byly při krmení směsí A : 62, 54, 55, 60, 53, 58, u směsi B : 52, 56, 50, 49, 51. Je mezi nimi statisticky významný rozdíl? [ano] Jan Koláček (PřF MU) M5VM05 Statistické modelování 32 / 34 Úlohy k procvičení Příklad 5.4 Pro bavlněnou přízi je předepsána horní mez variability pevnosti vlákna: rozptyl pevnosti (která má normální rozdělení) nemá překročit cr^ = 0,36. Při zkoušce 16 vzorků byly zjištěny výsledky 2,22, 3,54, 2,37, 1,66, 4,74, 4,82, 3,21, 5,44, 3,23, 4,79, 4,85, 4,05, 3,48, 3,89, 4,90, 5,37. Je důvod k podezření na vyšší nestejnoměrnost než je stanoveno? [ano] Příklad 5.5 Bylo provedeno měření obsahu S/O2 ve strusce dvěma metodami analyticky 20,1 19,6 20,0 19,9 20,1 fotokolorometricky 20,9 20,1 20,6 20,5 20,7 20,5 Je mezi rozptyly výsledků jednotlivých metod podstatný rozdíl? [není] Jan Koláček (PřF MU) M5VM05 Statistické modelování 33 / 34 Úlohy k procvičení Příklad 5.6 Starosta obdržel při posledních volbách 60% hlasů. Bude stejně úspěšný i při příštích, když ze 100 náhodně vybraných občanů je pro něj 48? [nebude] Příklad 5.7 Na základě testu máme na 5% hladině významnosti rozhodnout, zda produkce vajec plemene kornyšek černých je nižší než plemene leghornek bílých. Náhodně jsme vybrali 50 kornyšek a 40 leghornek, u nichž byla zjištěna roční produkce vajec. Byl vypočten roční průměr produkce na slepici - kornyška 275, leghornka 280. Z dřívějška jsou známy rozptyly cr£or = 48, of = 41. /Ho zamítáme, kornyšky mají horší produkci vajec než leghornky] Jan Koláček (PřF MU) M5VM05 Statistické modelování 34/34