MA012 Statistika II 4. Testy dobré shody (goodness-of-fit tests) Ondřej Pokora (pokora@math.muni.cz) Ustav matematiky a statistiky, Přírodovědecká fakulta, Masarykova univerzita, Brno (podzim 2015) Ondřej Pokora, PřF MU (2015) MA012 Statistika 11-4. Testy dobré shody 1/30 Motivace Potřebujeme testovat nulovou hypotézu, že náhodný výběr (Xi,...,Xn) pochází z konkrétního rozdělení pravděpodobnosti: ■ se zadanými parametry, např. N(10;4), Ex(3,5), Po(2), Bz(10;0,6), ■ s neznámými parametry, např. N, Ex, Po, Bi, ■ s konkrétně zadanou pravděpodobnostní funkcí, příp. hustotou. Příklady použití: Parametrické testy vyžadují konkrétní typ rozdělení pravděpodobnosti náhodného výběru, např. T-test vyžaduje normnalitu. Jejich opomenutí může vést k nesprávným závěrům. Neparametrické (pořadové) testy předpoklad typu rozdělení nemají, ale mají menší sílu. ■ ANOVA - normalita kontrola kvality - dodržování předepsaného rozdělení pravděpodobnosti kontrola generátorů náhodných čísel MA012 Statistika 11-4. Testy dobré shody 2/30 m Příklady Příklad 1 Ze souboru rodin s pěti dětmi bylo náhodně vybráno 84 rodin a zjištěn počet chlapců. počet chlapců 0 1 2 3 4 5 počet rodin 3 10 22 31 14 4~ Na asympotické hladině významnosti 0,05 testujeme hypotézu, že počet chlapců v rodinách s 5 dětmi má binomické rozděleníBi(5; 0,5). Příklad 2 Byla sledována doba (v minutách), jakou 70 klientů jisté firmy strávilo čekáním na obsluhu (od vyzvednutí pořadového lístku). doba čekání (0; 3] (3; 6] (6; 9] (9; 12] (12; 15] (15; 18] (18; 21] (21; 24] počet klientů 14 16 10 8 Na asympotické hladině významnosti 0,05 testujeme hypotézu, že doba čekání má exponenciální rozdělení pravděpodobnosti. Ondřej Pokora, PřF MU (2015) MA012 Statistika 11-4. Testy dobré shody 3/30 Empirické a teoretické četnosti Definice 1 (Empirické = pozorované (Observed) četnosti) Máme n předmětů (Xi,... ,Xn), které rozdělujeme do k kategorií A\,..., A^, přičemž každému z n předmětů odpovídá právě jedna kategorie. Počty předmětů v jednotlivých kategoriích jsou empirické četnosti Ni,...,N^. kategorie M A2 . . . součet empirické četnosti Ni N2 . . . Nk n Definice 2 (Teoretické = očekávané (Expected) četnosti) i Podle testovaného rozdělení pravděpodobnosti spočítáme teoretické pravděpodobnosti jevů, že jednotlivý předmět bude zařazen do kategorie Aj, Pj = P(X G Aj). Je-li rozdělovaných předmětů celkem n, jsou teoretické četnosti v jednotlivých kategoriích rovné npj = rij. kategorie pravděpodobnosti teoretické četnosti A1 A2 ... součet V\ P2 ... Pk 1 npi np2 ... nPk n Jak porovnáme shodu empirického a teoretického rozdělení pravděpodobnosti? 4/30 Ondřej Pokora, PřF MU (2015) MA012 Statistika 11-4. Testy dobré shody Testovací statistika kategorie M A2 . . . součet empirické četnosti Ni N2 . . . Nk n teoretické četnosti npi . . . npk n pravděpodobnosti V\ P2 . . . Pk 1 Ideální shoda je, pokud všechny Nj = npj. Jak zvolit statistiku pro testování shodnosti empirických a teoretických četností? MA012 Statistika 11-4. Testy dobré shody s/so m Testovací statistika kategorie M A2 . . . součet empirické četnosti Ni N2 . . . Nk n teoretické četnosti npi . . . npk n pravděpodobnosti V\ P2 . . . Pk 1 Ideální shoda je, pokud všechny N; = np;. Jak zvolit statistiku pro testování shodnosti empirických a teoretických četností? □ Ni -npi, Nk-npk j^iNj-npj) ;'=i k l\NJ-nPjl ;'=i K(Nj-npjl j-[ V) k 1 k -E n P])' {Nj-npj) Pi Ondřej Pokora, PřF MU (2015) MA012 Statistika 11-4. Testy dobré shody 5/30 Multinomické rozdělení pravděpodobnosti Definice 3 (Multinomické rozdělení pravděpodobnosti) Mámen (Xi,...,Xn) předmětů k různých kategoriíA\,.../A]C. Pravděpodobnost, že náhodně zvolený předmět X patří do kategorie Aj je rovna Pj = P(XeAj) G (0;1), j = l,...,k, pricemz 2^P/ = 1- Počty (náhodné) předmětů v jednotlivých kategoriích označíme Nj = | {Xj eAj,i = l,...,n}\, j = 1,... X přičemž J^Ny = ft. Sdružené rozdělení pravděpodobnosti vektoru (Ni,...,N^) je multinomické, (Ni,... ,Nfc) - M(n; plf... ,pfc). Jedná se o diskrétní rozdělení se simultánní pravděpodobnostní funkcí P{NX =n1,...,Nk = nk) = pro m = 0,1,...,n a n\ + •••+% = n. Tlil' • • ftfc! ni .Pí Ondřej Pokora, PřF MU (2015) MA012 Statistika 11-4. Testy dobré shody 6/30 Multinomické rozdělení pravděpodobnosti Náhodný počet Nj předmětů v kategorii A má binomické rozdělení. Proč? Věta 4 Pro (Ni,... ,Nfc) ~ M(n; pi,... ,pfc) p/ař/; Ny - Bz(n, py), EXy = ftpy, DXy = ftpy(l — py), /=!,.. . ,fc. Moivreova-Laplaceova centrální limitní věta říká, že: n —>► oo Ny — n p7- nu N(0; 1). My však použijeme odlišné transformace: N j — n p j Y 4 = - 1 1 J n Vi Jakou střední hodnotu, rozptyl a asymptotické rozdělení pravděpodobnosti má Y f! Ondřej Pokora, PřF MU (2015) MA012 Statistika 11-4. Testy dobré shody 7/30 Úprava testovací statistiky V) = ^t==^ = aA-P/ ^ ~ N(0; 1 vnP; Upravujeme testovací statistiku: fc fc (N- — nn-}2 k ]V? k N-nn- k n2p2 k=vyj = v[ ' v]) =r^-2E^^ + E — fc A/? fc fc fc A/"? j=inľj j=i j=i j=inn n i Statistiku K lze zapsat jako součet kvadrátů k nezávislých náhodných veličin s normálním rozdělením, přičemž je dána jedna vazebná podmínka (ELi = n) Za platnosti hypotézy shody empirického a teoretického rozdělení pravděpodobnosti má statistika K rozdělení^2 s (k — l) stupni volnosti: k _7=1_ Ondřej Pokora, PřF MU (2015) MA012 Statistika II - 4. Testy dobré shody 8/30 Test dobré shody Věta 5 (Pearsonův test dobré shody) Testovací statistika pro test dobré shody ;'=i * (Nj-npj)2 k N} TI —-n j~i n P i as. má asymptotické rozdělení pravděpodobnosti K ~ ^{k — 1). Hypotézu o shodě empirického a teoretického rozdělení pravděpodobnosti zamítáme, pokud Uvedený test je asymptotický a lze jej proto provádět jen při dostatečně velkém rozsahu náhodného výběru. Často se uvádí r podmínka dobré aproximace i Musí platit: npj >5q, j = l,...,k, kde q = 1, anebo q {; : npj < 5} = -t- (Yarnoldovo kritérium). k Při nesplnění této podmínky je nutné kategorie Aj upravit - vhodně slučovat Ondřej Pokora, PřF MU (2015) 1 MA012 Statistika 11-4. Testy dobré shody 9/30 Test dobré shody v diskrétním rozdělení Stanovíme kategorie A\,..., odpovídající všem možným jednotlivým výsledkům t\,..., uvažované diskrétní náhodné veličiny. Pro jednotlivé kategorie spočítáme empirické četnosti Nj= |{Xť = ř;-}| a teoretické četnosti pomocí pravděpodobnostní fce teoretického rozdělení, n Pj nP(X tj). Lze příp. využít i distribučnáí funkce: npj = n F(h) - lim F(t) ) Ověříme podmínku dobré aproximace (Yarnoldovo kritérum), příp. upravíme kategorie jejich vhodným sloučením a podmínku znovu ověříme. Spočítáme hodnotu testovací statistiky K. Pokud K > X^_DĹ(k— 1), zamítneme shodu empirického a teoretického rozdělení pravděpodobnosti. Číslo k je počet kategorií. Ondřej Pokora, PřF MU (2015) MA012 Statistika 11-4. Testy dobré shody 10/30 Řešení Příkladu 1 r četnosti □ t.j N.j P-j n- j 10 3 0.03125 2 . 625 2 1 10 0.15625 13.125 3 2 22 0.31250 26.250 O CO 4 3 31 0.31250 26.250 LO CM 5 4 14 0.15625 13.125 c O 6 5 4 0.03125 2 . 625 ~o o 1 1_ -1—> CD o CM LO O Q. O Yarnoldovo kritérium 1 LO q <- sum (n * p . j < 5) / k O [1] 0.3333333 n * p. j > = 5 * q [1] TRUE TRUE TRUE TRUE TRUE TRUE □ o počet chlapců Ondřej Pokora, PřF MU (2015) MA012 Statistika 11-4. Testy dobré shody 11 Řešení Příkladu 1 test dobré shody K <- sum (N.j~2 / (n * [1] 3.12381 qchisq (0.95, df = k -[1] 12.59159 K >= qchisq (0.95, df [1] FALSE 1 - pchisq (K, df = k [1] 0.6809048 chisq.test (N.j, p = p Chi-squared test for data: N.j X-squared = 3.1238, df P • j ) ) " n D k - 1) D j) given probabilities = 5, p-value = 0.6809 Ondřej Pokora, PřF MU (2015) MA012 Statistika 11-4. Testy dobré shody 12/30 Řešení Příkladu 1 podmínka dobré aproximace n * p.j >= 5 [1] FALSE TRUE TRUE TRUE TRUE FALSE četnosti ve sloučených kategoriích t . j2 N • j2 P-j2 n • j2 1 0-1 13 0 . 1875 15 .75 2 2 22 0 .3125 26 . 25 3 3 31 0 .3125 26 . 25 4 4-5 18 0 . 1875 15 .75 n * p.j2 >= 5 [1] TRUE TRUE TRUE TRUE o CO LO C\J c O ~o C\J o h—» LO (U o nrl uu O LO O 0-1 počet chlapců Ondřej Pokora, PřF MU (2015) MA012 Statistika 11-4. Testy dobré shody 1 Řešení Příkladu 1 test dobré shody K <- sum (N.j2~2 / (n * p.j2)) n [1] 2.349206 qchisq (0.95 , df = k2 - 1) [1] 7.814728 K >= qchisq (0.95, df = k2 - 1) [1] FALSE Na asymptotické hladině významnosti 0,05 nezamítáme nulovou hypotézu, že počet chlapců v rodinách s 5 dětmi má rozdělení Bz(5; 0,5). MA012 Statistika 11-4. Testy dobré shody 14/30 Test dobré shody ve spojitém rozdělení Stanovíme kategorie A\,..., jako třídicí intervaly Aj — (tj—\, tj , j — 1,..., k, pokrývající celou množinu výsledků teoretického rozdělení pravděpodobnosti tak, aby v každém intervalu ležel dostatečný počet hodnot z náhodného výběru {X\,... ,Xn). Pro malá n se můžeme volit k « y/ň z konstrukce histogramu, pro n > 80 se doporučuje až k « 15 (^q) kategorií. Pro jednotlivé kategorie spočítáme empirické četnosti Nj= |{řy_i X^_0Ĺ{k— 1), zamítneme shodu empirického a teoretického rozdělení pravděpodobnosti. Číslo k je počet použitých intervalů. Ondřej Pokora, PřF MU (2015) MA012 Statistika 11-4. Testy dobré shody 15/30 Test dobré shody při neznámých parametrech V případě, že testujeme shodu rozdělení pravděpodobnosti náhodného výběry X\,...,Xn s teoretickým rozdělením pravděpodobnosti s neznámými parametry, používáme tzv. modifikovanou metodou minimálního x2- ř Modifikovaná metoda minimálního x Označíme-li neznámé parametry 6 = (6i,...,6m), řešíme soustavu rovnic 2^ —--™— = 0, / = !,.. ,tí Pii0) d9; Věta 6 (Pearsonův test dobré shody při neznámých parametrech) Testovací statistika K pro test dobré shody má v případě m parametrů odhadnutých z náhodného výběru asymptotické rozdělení pravděpodobnosti K rJ % (Jc — 1 — m). Hypotézu o shodě empirického a teoretického rozdělení pravděpodobnosti zamítáme, pokud ^__K>ú_u(k-l-m)._ Počet stupňů volnosti se tedy snižuje o počet odhadnutých parametrů. Ondřej Pokora, PřF MU (2015) MA012 Statistika 11-4. Testy dobré shody 16 / 30 Řešení Příkladu 2 Odhad parametru: A = = x N OJ _^ CS N 0 O O Q_ J doba cekáni 20 -i n 15 - 10 - 5 - 0 J A. j N. j P-j n-j 1 (0 ; 3] 14 0. 28576159 20 .003311 2 (3 ; 6] 16 0. 20410190 14 .287133 3 (6 ; 9] 10 0. 14577742 10 .204419 4 (9 12] 9 0. 10411983 7 .288388 5 (12 , 15] 8 0. 07436638 5 .205647 6 (15. 18] 5 0. 05311533 3 .718073 7 (18. 21] 3 0. 03793701 2 .655591 8 (21 , 24] 5 0. 02709607 1 .896725 9 > 24 0 0. 06772447 4 .740713 CO o CD CO CO OJ LO 00 i— i— i— i— OJ OJ cxT c\T LO co t-~ OJ A MA012 Statistika 11-4. Testy dobré shody Řešení Příkladu 2 podmínka dobré aproximace, Yarnoldovo kritérium n * p.j >= 5 [1] TRUE TRUE TRUE TRUE TRUE FALSE FALSE FALSE FALSE q <- sum (n * p.j < 5) / k [1] 0.4444444 n*p.j >=5*q [1] TRUE TRUE TRUE TRUE TRUE TRUE TRUE FALSE TRUE Podmínky nejsou splněny. Pro splnění podmínky dobré aproximace by bylo potřeba sloučit poslední 2 dvojice kategorií. Pro splnění Yarnoldova kritéria postačí sloučit poslední dvě kategorie. MA012 Statistika 11-4. Testy dobré shody 18/30 Řešení Příkladu 2 "c N CS -XĹ CS N 0 O O Q_ 10 - 5 - o J doba cekáni 20 n n 15 - A • j2 N. j2 P-j2 n. j2 1 (0; 3] 14 0 . 28576159 20 . 003311 2 (3; 6] 16 0 . 20410190 14. 287133 3 (6; 9] 10 0 . 14577742 10. 204419 4 (9; 12] 9 0 . 10411983 7. 288388 5 (12 ; 15] 8 0 . 07436638 5 . 205647 6 (15; 18] 5 0 . 05311533 3. 718073 7 (18; 21] 3 0 . 03793701 2 . 655591 8 > 21 5 0 . 09482054 6. 637438 m CM CO CD O CM LO CO l- . „ t- t- t- CM O CO CO A ' " ' " ' " O) CM LO CO MA012 Statistika 11-4. Testy dobré shody Řešení Příkladu 2 Yarnoldovo kritérium po sloučení kategorií q <- sum (n * p.j2 < 5) / k2 [1] 0.25 n*p.j2>=5*q [1] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE test dobré shody (df = k — 1 — m = 811 = 6) K <- sum (N.j2~2 / (n * p.j2)) n [1] 4.803687 qchisq (0.95, df = k2 - 1 - 1) [1] 12.59159 K >= qchisq (0.95, df = k2 - 1 - 1) [1] FALSE Nezamítáme nulovou hypotézu o exponenciálním rozdělení dob čekání. Ondřej Pokora, PřF MU (2015) MA012 Statistika 11-4. Testy dobré shody 20 / 30 Test Poissonova rozdělení pravděpodobnosti Nechť (Xi,... ,Xn) je náhodný výběr z Poissonova rozdělení pravděpodobnosti Po(A) s neznámým parametrem A. X-Po(A) EX = A, DX = A. V Poissonově rozdělení je tedy střední hodnota rovna rozptylu. Na této typické vlastnosti je založena jednoduchá testovací statistika. Věta 7 (Jednoduchý test Poissonova rozdělení pravděpodobnosti) Testovací statistika má v případě Poissonova rozdělení pravděpodobnosti náhodného výběru (Xi,... ,Xn) asymptotické rozdělení pravděpodobnosti X2(n ~ !)■ Hypotézu o shodě empirického rozdělení s Poissonovým rozdělením pravděpodobnosti zamítáme, pokud Q < xl/2(n ~ !) "efco Q > Xl-cc/2(n ~ !)• MA012 Statistika 11-4. Testy dobré shody 21/30 Test exponenciálního rozdělení pravděpodobnosti Nechť (Xi,...,Xn) je náhodný výběr z exponenciálního rozdělení pravděpodobnosti Ex(A) s neznámým parametrem A. X~Ex(X) => EX=T' DX=T9- V exponenciálním rozdělení je tedy rozptyl rovný kvadrátu střední hodnoty. Na této typické vlastnosti je založena jednoduchá testovací statistika. Věta 8 (Jednoduchý test exponenciálního rozdělení pravděpodobnosti) Testovací statistika Q=(n-1)^ S^(n-l) X má v případě exponenciálního rozdělení pravděpodobnosti náhodného výběru (Xi,... ,Xn) asymptotické rozdělení pravděpodobnosti X2(n ~ !)■ Hypotézu o shodě empirického rozdělení s exponenciálního rozdělením pravděpodobnosti zamítáme, pokud Q < xl/2(n ~ !) nebo Q > Xl-cc/2(n ~ !)• MA012 Statistika 11-4. Testy dobré shody 22/30 Řešení Příkladu 2 jednoduchý test exponenciálního rozdělení X <- rep (prumer.j, N.j) Q <- (n-1) * var (X) / (mean (X))~2 [1] 35.72647 ql = qchisq (0.025, n-1) q2 = qchisq (0.975, n-1) [1] 47.92416 93.85647 Q <= ql | Q >= q2 [1] TRUE Nulovou hypotézu o exponenciálním rozdělení dob čekání jednoduchým testem zamítáme na hladině významnosti 0,05. MA012 Statistika 11-4. Testy dobré shody 23/30 Empirická distribuční funkce Definice 9 (Empirická distribuční funkce (ECDF)) Nechť (Xi,... ,Xm) je náhodný výběr. Funkce 1 1 m F(x) = -\{i:Xi x Empirická distribuční funkce je schodovitá, zprava spojitá funkce. CD O _^ o CO "O 00 o CD CD -šf; CD C\J d> o CD Ondřej Pokora, PřF MU (2015) MA012 Statistika 11-4. Testy dobré shody 24/30 Kolmogorovův-Smirnovův test Porovnáváme dva stochasticky nezávislé náhodné výběry ■ (Xi,...,Xm) rozsahu m z rozdělení psti. s distribuční funkcí F(x), ■ (Yi,...,Yn) rozsahu n z rozdělení psti. s distribuční funkcí G(y). z rozdělení pravděpodobnosti spojitého typu. Testujeme hypotézu, že distribuční funkce těchto dvou rozdělení jsou shodné (mediánem i tvarem), tj. že všech m + n náhodných veličin pochází ze stejného rozdělení, proti alternativě rozdílných distribučních funkcí (v jakémkoliv smyslu), H0:F = G j Lze ukázat, že s rostoucím rozsahem m náhodného výběru se empirická distribuční funkce blíží ke skutečné distribuční funkci, z níž náhodný výběr pochází. Nechť F{x) je empirická distribuční funkce X-ového výběru a G(y) je empirická distribuční funkce Y-ového výběru. Označíme Jaký geometrický význam má testovací statistika D? Ondřej Pokora, PřF MU (2015) MA012 Statistika 11-4. Testy dobré shody 25/30 Kolmogorovův-Smirnovův test 0) o o C/) T3 OD O CD O O C\J O O O r 3 ■ Věta 10 (Dvouvýběrový Kolmogorovův-Smirnovův test) _ i Hypotézu Hq zamítáme, pokud D > DOÍ(m/n)/ resp. pokud m + n> 35 a D > ^ lm + fllnl 2mn oč Číslo Da(m,n) je tabelovaná kritická hodnota K-S testu. Kolmogorovův-Smirnovův test Můžeme také testovat hypotézu, že distribuční funkce F, z níž pochází náhodný výběr (Xi,...,Xn) je rovna jedné konkrétně zvolené distribuční funkci Fq, např. N(10;4), Ex(3,5), Po(2), Bz(10;0,6), H0:F = F o Hi : F ^ F, o Označíme D = sup \ F(x) — Fq(x) Věta 11 (Jednovýběrový Kolmogorovův-Smirnovův test) Hypotézu Hq zamítáme, pokud D > Da(n), resp. pokud n > 30 a D > ' 1 , 2 2n In- 0L Číslo Da(n) je tabelovaná kritická hodnota jednovýběrového K-S testu Ondřej Pokora, PřF MU (2015) MA012 Statistika 11-4. Testy dobré shody 27/30 Lillieforsova varianta KS testu normality Testujeme hypotézu, že náhodný výběr (Xi,...,Xn) pochází z normálního rozdělení N {ji, a2) s neznámými parametry. Nejprve odhadneme parametry ft = X, a = VŠ2 . Test je založen na statistice D = sup F(x) - O x — ]i a kde O značí distribuční funkci N(0;1) rozdělení. Věta 12 (test normality) Hypotézu o tom, že náhodný výběr (X\,... ,Xn) pochází rozdělení N a2) zamítáme, pokud , x D>Da(n). Číslo Da(n) je tabelovaná kritická hodnota Lillieforsova testu. Ondřej Pokora, PřF MU (2015) MA012 Statistika 11-4. Testy dobré shody 28/30 Testy normality (v R) D'Agostinův test agostino.test(X) * (založený na šikmosti a špičatosti) Jarqueův-Beraův test jarque.test(X) * (založený na šikmosti a špičatosti) Andersonův-Darlingův test ad.test(X) * (založený na transformaci na rovnoměrné rozdělení) Lillieforsův test lillie.test(X) * (varianta Kolmogorovova-Smirnovova testu) Cramérův-von Misesův test cvm.test(X) * (alternativa Kolmogorovova-Smirnovova testu) test dobré shody pearson.test(X) * (odhady modifikovanou metodou minimálního ^2) Shapirův-Wilkův test shapirotest(X) Kolmogorovův-Smirnovův test (ji/á1 známé) ks.test(X,"pnorm",mean= ,sd=) Q-Q plot s kvantily normálního rozdělení qqnorm(X), qqline(X) N-P plot * library (moments), * library (nortest) Ondřej Pokora, PřF MU (2015) MA012 Statistika 11-4. Testy dobré shody 29/30 Shrnutí ■ empirické a teoretické četnosti, jejich porovnání ■ test dobré shody, využití, výpočet testovací statistiky úprava stupňů volnosti testu dobré shody při odhadnutých parametrech ■ volba kategorií pro diskrétní a pro spojité náhodné veličiny jednoduché testy pro Poissonovo a exponenciální rozdělení pravděpodobnosti Kolmogorovův-Smirnovův test, význam testovací statistiky, Lillieforsovův test normality ■ přehled testů normality K zamyšlení (nebo simulaci v R) Máme náhodný výběr (Xi,...,Xn) z nějakého libovolně zvoleného rozdělení pravděpodobnosti (např. N(0; 1), Ex(2,5), apod.) s distribuční funkcí F(x). Provedeme transformaci Y j = F(XZ-). Jaké rozdělení pravděpodobnosti odpovídá transformovanému náhodnému vektoru {Y\,...,Yn)l MA012 Statistika 11-4. Testy dobré shody 30/30