Lineárne štatistické modely Modely analýzy rozptylu Stanislav Katina 1 Ústav matematiky a štatistiky Prírodovedecká fakulta Masarykova univerzita jarný semester 2016 Verzia 1. júna 2016 Stanislav Katina Lineárne štatistické modely II Asymptotické testy o stredných hodnotách Jednofaktorový ANOVA model s fixnými efektami pri rovnakých rozptyloch Nech Y,, kde al a zároveň a} sú iji ~ N(fJ,j, u j ), i\uc u -j — u2 — . . . — U j — ^e „ _-------„j neznáme. Majme jednofaktorový model analýzy rozptylu (ANOVA) s fixnými (pevnými) efektami, ozn. , definovaný ako Yji = fij + ej, = fi + a j + ej,, kde fj, = ]T/=1 m/J, fj,j-. = fj, + aj, Y?j-_ , aj = 0, fj, je celková (spoločná) úroveň spoločná všetkým populáciám (alebo celková stredná hodnota), aj je /-ta úroveň faktora A (/'-ty efekt faktora Ä) a znamená odchýlku strednej hodnoty /-tej populácie od \i. Pre chyby ej, platí ej, ~ N (0, cr|). Model Yy, ~ N(fi + aj, aj) sa nazýva aj model podmieneného normálneho rozdelenia. Majme dvojicu hypotéz H0: ^ = /j2 = ... = fij = \i oproti H\: existuje aspoň jedno / ,(7,-7) -E^-iv?. 7=1 7=1 J fi=Y.. = Y../n je maximálne vierohodný odhad /j, Y.. = Y?j=-\ 2/11 Yy,, = Yy. = Yy./n je maximálne vierohodný odhad /jy, Yy = y^., Yjj, SSe je výberový súčet štvorcov rozdielov vnútri súborov a je definovaný ako J "j j rij j SSe = EE(^-V7N 7=1 i=\ Stanislav Katina j "j j y2 EE^-E^r Lineárne šíatistické modely II Asymptotické testy o stredných hodnotách Jednofaktorový ANOVA model s fixnými efektami pri rovnakých rozptyloch Súčet SS^ a SSe sa rovná SSr, čo je celkový výberový súčet štvorcov rozdielov a je definovaný ako j "i EE 7 = 1 ( = 1 Y,, - Y. j "i EE^v 7=1 ŕ=1 1 Y Rovnosti SSr = SS^ + SSe hovoríme aj rozklad celkovej sumy štvorcov. Pre stupne vofnosti potom platí dfT = dfA + dfe, kde dfT = n - 1. Sumy štvorcov sa najčastejšie zapisujú do ANOVA tabufky: zdroj variability medzi súbormi vnútri súborov celkovo suma štvorcov SSe,obs SSr,obs df J — 1 n-J n- 1 priemerné štvorce MSA,obs = SS/):obs/(J — 1) MSe FObS|H0). Interpretácia: Úlohu môžeme interpretovať tak, že stredná hodnota /jy náhodnej veličiny Yý, závisí na faktore A, čo je premenná v nominálnej škále. Jednotlivým úrovniam (hladinám) tejto premennej zodpovedajú fixné efekty as = ^ - \i. Úrovne premennej volí experimentátor, sú teda nenáhodné, dopredu dané (fixné). Potom chápeme ay ako neznáme parametre, ktorých maximálne vierohodné odhady definujeme ako s,- = y j. - y... Samotné rozhodovanie o H0 bude založené na porovnaní priemerných súm štvorcov SSAt0bs/dfA a SSet0bs/dfe. Väčšie rozdiely ys. a y., (v absolútnej hodnote) sa prejavia vo väčšej hodnote štatistiky SSAobs. Štatistika SSei0bs zasa umožňuje odhadnúť rozptyl o\ a súčasne dáva mieru pre hodnotenie veíkosti variability medzi súbormi. Stanislav Katina Lineárne štatistické modely I Asymptotické testy o stredných hodnotách Maticový zápis modelu THa a ^h0 Modely TH^ a Fh0 Su lineárnymi regresnými modelmi a môžeme ich všeobecne zapísať v tvare Y = X/3 + e, kde Y je n-rozmerný náhodný vektor, X je matica plánu s rozmermi n x (J + 1) a e je n-rozmerný vektor chýb. Potom model bude mať tvar /Y^ /1i 1i o . • °\ /si\ Y2 12 0 12 . . 0 £2 = Xß + e = + w o 0 . \aj) W kde Y,- = (Yyi, Yj2,...,Yjnj)T\e r/y-rozmerný vektor, 1y je r/y-rozmerný vektor jednotiek a es je r/y-rozmerný vektor chýb. Potom Yy ~ /Vn.(X/3,cr|ln.xn.), vektor chýb ey ~ /V„.(0, cr|l„;X„.), vektor parametrov /3 ~ A/J+1(/3, cr|(XrX)~1), kde maximálne vierohodný odhad $ vypočítame pomocou metódy najmenších štvorcov, t.j. (3 = (XrX)-1XrY. Asymptotické testy o stredných hodnotách ANOVA model v F) .948e-12 *** # vysl ANOVA F-testu StrMODOl <- aov(ConcStr~VodCelk) summary(StrMODOl) # ANOVA tabulka # Df Sum Sq Mean Sq F value # VodCelk 4 2193.44 548.36 56.155 # Residuals 25 244.13 9.77 oneway.test(ConcStr~VodCelk,var.equal=TRUE) # One-way analysis of means # data: ConcStr and VodCelk # F = 56.1546, num df = 4, denom df = 25, p-value = 3.948e-12 ## identicky ako StrMOD02 <- lm(ConcStr~VodCelk) anova(StrMOD02) # ANOVA tabulka # Analysis of Variance Table # Response: ConcStr # Df Sum Sq Mean Sq F value # VodCelk 4 2193.44 548.36 56.155 Pr (>F) .948e-12 Stanislav Katina Lineárne štatistické modely II 9 10 11 12 13 14 15 16 17 18 K <- 6 J <- 5 VodCelk < ConcStr.1 ConcStr.2 ConcStr.3 ConcStr.4 ConcStr.5 ConcStr < f actor (rep (LETTERS [1 : J] , rep (K, J) - c(28.2,33.2,36.4,34.6,29.1,31.0) - c(39.6,40.8,37.9,37.1,43.6,42.4) - c(46.3,42.1,43.5,48.8,43.7,40.1) - c(41.0,44.1,46.4,40.2,38.6,36.3) - c(56.3,54.1,59.4,62.7,60.0,57.3) c(ConcStr.1,ConcStr.2,ConcStr.3,ConcStr.4,ConcStr.5) mean(ConcStr) # 43.16 PRIEM.ConcStr <- tapply(ConcStr,VodCelk,mean) round(PRIEM.ConcStr,2) # A B C D E #32.08 40.23 44.08 41.10 58.30 PRIEM.str <- tapply(ConcStr-mean(ConcStr),VodCelk,mean) round(PRIEM.str,2) # A B C D E # -11.08 -2.93 0.92 -2.06 15.14 Stanislav Katina Lineárne štatistické modely I Asymptotické testy o stredných hodnotách ANOVA model v <Ä 35 36 37 38 39 40 41 42 43 44 45 46 47 48 summary(StrMOD02) # výsledky ANOVA F-testu # Residuals: # Min 1Q Median 3Q Max # -4.8000 -2.2500 -0.4833 2.2042 5.3000 #Coefficients: # #(Intercept) #VodCelkB #VodCelkC #VodCelkD #VodCelkE Estimate Std. 32 26 083 150 000 017 217 Error t value Pr(>|t|) 1.276 25.149 < 2e-16 517 0.00013 651 5.72e-07 998 3 .75e-05 531 1.07e-13 #Residual Standard error: #Multiple R-squared: 0.8 *** *** *** *** *** 3.125 on 25 degrees of freedom !98, Adjusted R-squared: 0.8 804 804 804 804 4 . 6 . 4 . 14 . #F-statistic: 56.15 on 4 and 25 DF, p-value: 3.948e-12 Stanislav Katina Lineárne štatistické modely I Asymptotické testy o stredných hodnotách ANOVA model v<® Asymptotické testy o stredných hodnotách ANOVA model v <® trMOD03 <- lm(ConcStr-mean(ConcStr) ummary(StrMOD03) Residuals: Min IQ Median 3Q -4.8000 -2.2500 -0.4833 2.2042 5 Coefficients: Estimate Std. 11 . 0767 -2.9267 0.9233 -2.0600 'VodCelk-D Max 3000 VodCelkA VodCelkB VodCelkC VodCelkD VodCelkE Residual 15.1400 1 standard error Multiple R-Squared: 0.8 F-statistic: 44.92 on 5 Error 1 .2757 1.2757 1.2757 1.2757 1.2757 t value Pr (>111; -8.682 -2 .294 0 . 724 -1.615 11 .868 12e-09 *** 0.0305 * 0 .4759 0 .1189 lle-12 *** 3.125 on 25 degrees of freedom 98, Adjusted R-squared: 0.8798 and 25 DF, p-value: 1.068e-ll ummary(StrMOD03)$coef # efekty faktora VodCelk (cela tabulka) qrt((summary(StrMOD03)$sig)~2/K) # 1.27575; odmocnina z (MSe/K) 2*pt(summary(StrMOD03)$coeff[2,3],df=K*J-J) # 0.03046675 2*pt(-2.294,df=K*J-J) # 0.03046675 68 69 70 71 72 73 anova(StrMOD03) # ANOVA tabulka #Analysis of Variance Table #Response: ConcStr - mean(ConcStr) # Df Sum Sq Mean Sq F value Pr(>F) #VodCelk 5 2193.44 438.69 44.924 1 . 068e-11 *** #Residuals 25 244.13 9.77 Stanislav Katina Lineárne štatistické modely II Stanislav Kati na Lineárne štatistické modely I Asymptotické testy o stredných hodnotách Metódy mnohonásobného porovnávania Ak ANOVA F-test zamietne H0, potom je potrebné zistif, ktoré rozdiely dvojíc stredných hodnôt sú štatisticky signifikantně na nominálnej hladine významnosti a. Môžeme tak urobií pomocou post-hoc testov. Základným predpokladom ich použitia je, rovnako ako pre ANOVA model, splnenie podmienky homogenity rozptylov a normality Yý, a chýb e,,. Ekvivalentnou H0 je nasledovná hypotéza H0 : [i, = fij Pre V/J; / <;'. Prepíšme H0 do všeobecnejšieho tvaru Ho ■ E/=i %W = E/=i aim oproti E/=i ajtij + E/=i aim pre nejaké a = (aua2,...,aj)TeA, kde A = {a : Ej=i % = 0} a a je vektor kontrastov. 19/56 Stanislav Katina Lineárne štatistické modely II Asymptotické testy o stredných hodnotách Metódy mnohonásobného porovnávania Vo všeobecnosti však môžeme přepokládal, že H0 generuje podpriestors hodnosíou h. Potom definujme H0 = n£=1H0K, kde h = (j) = J (J - 1)/2, ak ide o všetky párové porovnania. V prípade, že J-ta z porovnávaných populácií je kontrolná (charakterizovaná fij) a ostatné majú byf porovnávané len s touto kontrolnou populáciou a nie medzi sebou, potom volíme h = J - 1 a zaujímame sa len napr. o rozdiely tvaru I/,-. - y j. \, kde= 1,2,..., J - 1. Najprv testujeme H0 viacvýberovým ANOVA F-testom na hladine významnosti a použitím ANOVA F-štatistiky. Ak Ho nezamietame, nepokračujeme ďalej. Ak H0 zamietame, chceme identifikovat, ktorú z hypotéz aTfi = aTfi0 = 0, kde fi = (/^,.. .,^j)T, zamietame (pre fixné a). Počet hypotéz h poznáme vopred, ale množiny Ho = {k ■ Hok = 0} a Hi = {k : H0« = 1}, t.j. množiny nezamietnutých a zamietnutých nulových hypotéz z množiny všetkých nulových hypotéz H = Ho U 7ťi = {1,2,..., h}, kde h = h0 + h,, h0 = card {Ho} a hi = card {Hi}, dopredu nepoznáme. 20/56 Stanislav Katina Lineárne štatistické modely II Asymptotické testy o stredných hodnotách Metódy mnohonásobného porovnávania Pre H0,,j : (i; = fij,i < j, bude vektor kontrastov a« maí na /'-tom mieste —1, na;'-tom mieste 1, ostatné sú nuly, napr. ai = (1,-1,0,..., 0)r,a2 = (0,1,-1..., 0)T,...,aj-, =(0,0,..., 1,-1)r, z čoho vyplýva, že 3-1 =>• A4-! — M2, S2 =>• A*2 = M3, • • • , =>• MJ-I — fJ-J, čo implikuje ^ = [i2 — ... — [ij = fi. V maticovej podobe dostaneme /O 1 -1 0 '00 1 -1 0 : \0 0 0 ... 0 1 -1/ //A \ajj ■Aß CK2 — «3 \aj_i - qj/ Stanislav Katina Lineárne štatistické modely II Asymptotické testy o stredných hodnotách Metódy mnohonásobného porovnávania - Fisherova LSD metoda Rozptyl a\ nepoznáme a musíme ho odhadnúí. Výberový rozptyl v;'-tej populácii je rovný Sf = ^EJl^V}, -7;.)2, kde; = 1,2,..., J, sú nezávislé. Potom platí (n, - ^Sf/al ~ x^-i- Keďže v modeloch ^ a ^h, predpokladáme rovnosí rozptylov, potom môžeme písaf ř2. ako s2 = T^j Eyíi ("y -1 )sf = ^7 E/=i Eľii - y i)2 = ^sse,obs, kde n - J = E/=i (ny - 1 )■ Potom (n - J)S2/al ~ %n-j- Navyše S2 je nezávislé na Vy., a teda môžeme písaí Ta = aTp, - aTfi0 _ Ey=i aiYi - Ey=i %/^'o -d . x/S2a7"(X7"X)-1a kde je matica plánu X použitá bez prvého stĺpca (charakterizujúceho celkovú strednú hodnotu fi) a má preto rozmery n x J. Realizáciou Ta je ŕa, p-hodnota = Pr(7"a > |ŕa||H0) a H0 zamietame, ak |ŕa| > ŕ„_j(a/2); ŕ„_j(a/2) je kritická hodnota ŕ rozdelenia s n - J stupňami voínosti. Stanislav Katina Lineárne štatistické modely II Asymptotické testy o stredných hodnotách Metódy mnohonásobného porovnávania Ekvivalentne /1 -1 ' 0 1 \0 0 -V ,/3 = M2 \AW ,A/3 / Ati — At2 \ í"2 - J-1 - AW Potom môžeme ekvivalentne písat H0 : A/3 = a0 = 0 oproti Hi : A/3 7^ a0 = 0. Pre nejaký vektor a je stredná hodnota £E/=i = Ej=i ^A4; a rozptyl MarEyli ajYj.] = a2. £/=1 f- Potom E/U ~ E/U aißr 0 -d W(0,1) Stanislav Katina Lineárne štatistické modely I Asymptotické testy o stredných hodnotách Metódy mnohonásobného porovnávania - Fisherova LSD metóda Ta = Tlsd je Waldova testovacia štatistika, často nazývaná aj Fisherova LSD štatistika (z angl. least significant difference, t.j. najmenší signifikantný rozdiel). Test viacvýberový Fisherov LSD test o lineárnom kontraste Ey=i ajH- Potom môžeme definoval Waldov 100 x (1 - a)% empirický IS pre nejakú lineárnu kombináciu Ej=i %Aí> (nazývaný aj empirický IS Fisherovho typu) ako J2ajyj.-tn-j(a/2) U=1 \ ayyy. +ŕn_j(a/2) Stanislav Katina Lineárne štatistické modely I Asymptotické testy o stredných hodnotách Metódy mnohonásobného porovnávania - Scheffeho metoda Označme 2 (aT/2-aV0)2 Ti = j — j \2 / j — x 2 E/=1 - E/=1 aiPP) (E/=1 ~~ m/°) S2aT(XTX)-1a 02 v^J J_ 5 ^>=1 7^ Potom 2 E;=i"y (^■-^-)-(wo-m) sup Tl = —-^-55-^ = (J - 1 )FW, S2 kde V.. = "y Yý-/E;=i ny a /i = £/=1 nyAo/E;=i "v- Navyše sup r2 s (j - i)Fj_i,„_j. Stanislav Katina Lineárne štatistické modely II Asymptotické testy o stredných hodnotách Metódy mnohonásobného porovnávania - Scheffeho metoda Waldove simultánne 100 x (1 - a)% empirické intervaly spoľahlivosti Scheffeho typu definujeme ako a'p,- J {J - 1 )Fj-,,„-j{a)Jôia-r{XTX)-ia ar/2 + J {J - 1 JFj-Ln-jía) Jriaľ(XľX)-1a kde pravděpodobnost pokrytia všetkých IS (simultánne) je rovná 1 - a. Za simultánnu inferenciu (t.j. testovanie H0«) platíme dĺžkou simultánnych IS Scheffeho typu oproti IS Fisherovho typu, t.j. keďže garantujeme simultánny koeficient spoíahlivosti 1 - a, simultánne IS Scheffeho typu môžu byí dost široké (platí ŕ„_j(a/2) < ^/(J - 1)Fj_1:n_j(a)). Z čoho vyplýva, že Sheffeho testy majú menšiu silu ako ŕ-testy. Stanislav Katina Lineárne štatistické modely II Asymptotické testy o stredných hodnotách Metódy mnohonásobného porovnávania - Scheffeho metóda Čitateí a menovateľ (J - 1 )FW sú nezávislé. Tiež platí S2 ~ (J — 1)Fj_1:n_j(a), kde Fj_1:n-j(Q:) je kritická hodnota F rozdelenia s J - 1 a n - J stupňami voínosti. Je potrebné zdôrazniť, že H0 musí platit pre všetky kontrasty a simultánne a H0 zamietame, ak zamietame hypotézu o supréme Ta2, t.j. zamietame H0 v ANOVA F-teste. Fa sa nazýva Waldova testovacia štatistika, často nazývaná aj Scheffeho štatistika a test viacvýberový Scheffeho test nulovosti všetkých kontrastov. Realizáciou Fa je Faobs a (adjustovaná) p-hodnota = Pr(Fa > FaiObs|H0). Stanislav Katina Lineárne štatistické modely I Asymptotické testy o stredných hodnotách Metódy mnohonásobného porovnávania - Tukeyho HSD metóda Tukey ukázal, že sup Ta = Y min ■ ^ V ^max^i max ' max ■ + Qj,n-J, kde Ymax- = maxvy Y j. a jemu prislúchajúci rozsah nmax, Ymin. = miny, Y j. a jemu prislúchajúci rozsah nmin- Potom _ (ar/2-ar/i0)2 t, 1 2 S2a7(X7X)-1a 2 kde H0 zamietame, ak Fa > \q^n_j (a), kde qj,n-j{a) je kritická hodnota studentizovaného rozpätia s J a n -J stupňami voínosti. Je potrebné opát zdôrazniť, že H0 musí platit pre všetky kontrasty a simultánne a H0 zamietame, ak zamietame hypotézu o supréme Ta. Stanislav Katina Lineárne štatistické modely I Asymptotické testy o stredných hodnotách Metódy mnohonásobného porovnávania - Tukeyho HSD metoda Asymptotické testy o stredných hodnotách Metódy mnohonásobného porovnávania v<® Fa sa nazýva Waldova testovacia štatistika, často nazývaná aj Tukeyho HSD statistika (alebo Tukey-Kramerova statistika; HSD z angl. honest significant difference, t.j. skutočný signifikantný rozdiel) a test viacvýberový Tukeyho HSD test nulovosti všetkých kontrastov. Realizáciou Fa je Fa,0bs a (adjustovaná) p-hodnota = Pr(Fa > Fa,0bs|Ho). Waldove simultánne 100 x (1 Tukeyho typu definujeme ako )% empirické intervaly spoľahlivosti aT/2 ■ qj,n-j(a) Stanislav Katina Lineárne štatistické modely II Asymptotické testy o stredných hodnotách Metódy mnohonásobného porovnávania v<ši 74 75 76 77 78 79 80 81 82 83 84 85 # Tukeyho HSD metoda pre vybraný kontrast B-A a . AB <- c(-l,l,0,0,0) čitatel.AB <- sum(a.AB*PRIEM.ConcStr) # 8.15 sigmasq.e.hat <- (summary(StrMOD03)$sig)~2 # 9.7652 menovatel.AB <- sqrt(sigmasq.e.hat/2*sum(a.AB"2/K)) # 1.275748 tLSD.AB <- čitatel.AB/menovatel.AB # 6.388408 qtukey(0.95,J,K*J-J) # 4.153363 p.hodn <- 1-ptukey(tLSD.AB,J,K*J-J) # 0.001129311 IS.AB <- čitatel.AB+c(-1,1)*qtukey(0.95,J,K*J-J)*menovatel.AB # 2.851355 13.448645 mp.Tukey <- TukeyHSD(aov(ConcStr~VodCelk),ordered=FALSE) # tab. mp.Tukey$VodCelk Stanislav Katina Lineárne štatistické modely II Example (Metody mnohonásobného porovnávania) Majme koncentráciu stroncia Sr (mg/ml) v piatich vodných celkoch. Otestujte rovnost stredných hodnôt ANOVA F-testom pomocou funkcií (1) aov () (2) oneway. test () a (3) lm (). Ak je H0 zamietnutá na a = 0.05, potom použite (1) Tukeyho HSD metódu (Thsd štatistiku), vypočítajte adjustované p-hodnoty, simultánne 95% empirické IS Tukeyho typu pre všetky párové porovnania rozdielov stredných hodnôt a zobrazte ich graficky. (2) Po náhíade na dáta vhodne zadefinujte kontrasty a aplikujte na ne Scheffeho metódu. Stanislav Katina Lineárne štatistické modely I Asymptotické testy o stredných hodnotách Metódy mnohonásobného porovnávania v<® Tabufka: Výsledky Tukey HSD metódy - rozdiely aritmetických priemerov y,, - y,., dolná a horná hranica Waldových simultánnych 95% empirických IS Tukeyho typu pre ^, p-hodnoty pk Hi (DH a HH), adjustované //.-//. DH HH Pk B-A 8.15 2.85 13.45 0.00112931 C-A 12.00 6.70 17.30 0.00000534 D-A 9.02 3.72 14.32 0.00033392 E-A 26.22 20.92 31.52 <0.00000001 C-B 3.85 -1.45 9.15 0.23762175 D-B 0.87 -4.43 6.17 0.98848032 E-B 18.07 12.77 23.37 <0.00000001 D-C -2.98 -8.28 2.32 0.47910996 E-C 14.22 8.92 19.52 0.00000029 E-D 17.20 11.90 22.50 0.00000001 Stanislav Katina Lineárne štatistické modely I Asymptotické testy o stredných hodnotách Metódy mnohonásobného porovnávania v*® Asymptotické testy o stredných hodnotách Metódy mnohonásobného porovnávania v<® B-A C-A D-A E-A C-B D-B E-B D-C E-C E-D Sr (mg/ml) Waldove simultánne 95% empirické IS Tukeyho typu Obr.: Waldove simultánne 95% empirické IS Tukeyho typu pře rozdiely stredných hodnôt Stanislav Katina Lineárne štatistické modely II Asymptotické testy o stredných hodnotách Párové porovnávania Definition (chyba porovnávania ac) Chyba porovnávania (comparison-wise error, CWER) ac je pravdepodobnosť zamietnutia práve jednej H0«, keď táto H0« je pravdivá, t.j. ide o pravděpodobnost, že nastane práve jedna CHPD v jednom párovom porovnaní. Definition (experimentálna chyba ae) Experimentálna chyba (experiment-wise error, EWER) ae je pravdepodobnosť zamietnutia aspoň jednej H0«, keď všetky H0« sú pravdivé, t.j. ide o pravděpodobnost, že nastane aspoň jedna CHPD medzi všetkými h nezávislými párovými porovnávaniami. Táto chyba je kontrolovaná na nominálnej hladine významnosti a. Stanislav Katina Lineárne štatistické modely II Po náhíade na dáta použijeme nasledovné tri vektory kontrastov a«, nim prislúchajúce odhady efektov a^/i = J2j=-\ akj7j'icn rozptyly s2a^(XTX)~1a« = s2 J2j=-\ alj/nj a Scheffeho testovacie štatistiky V(J- 1)F = |a[/2| /^/s2a^(XTX)-1ak , kde k = 1,2 a 3: ► ai = (0,i, 1,1,-1 )r, a[/2 = -9-7, s2aJ(XTX)-'a, = 1.472, VÄF = 11.20, ► a2 = (1, -I, -I, -1,0)T, aln = -16.5, s2a2T(XTX)-1a2 = 1.472, VÄF = 6.60, ► a3 = (1, -i, -i, -i,\)T, alfi = 3.4, s2a37"(XTX)-1a3 = 1.162, VÄF =2.93. Scheffeho kritická hodnota je rovná VV- 1)Fj_i,n_j(a) = X/4F4,25 (0.05) = 3.32. Potom Hok : = 0 oproti Hu : alfi ý 0 zamietame, ak k = 1,2, a nezamietame, ak /< = 3. Stanislav Katina Lineárne štatistické modely I Asymptotické testy o stredných hodnotách Párové porovnávania Z definícií vyplýva, že Pr(CHPD) jedného testu je rovná ac a pravděpodobnost správneho rozhodnutia je 1 - ac. Za predpokladu, že máme h nezávislých párových porovnávaní, bude mat náhodná premenná V (počet CHPD) binomické rozdelenie, t.j. V ~ Bin(h,ac). Keďže ae je pravděpodobnost, že nastane aspoň jedna CHPD medzi všetkými h nezávislými párovými porovnávaniami, môžeme ju definovat nasledovne Cle Pr(V > 1) = 1 -Pr(V 1 qc(1 - Ctc y = i-(i-Qcy Z tejto rovnosti vyplýva, že ak sa počet párových porovnávaní zväčšuje, ae sa blíži k jednotke (pozri tabuíku). Ak h = 1 (dvojvýberový prípad), potom a = OLe = ĽKc- Tabulka: Experimentálna chyba ae ako funkcia ac a h ac/h 2 5 10 20 50 0.01 0.0199 0.0490 0.0956 0.1821 0.3950 0.05 0.0975 0.2262 0.4013 0.6415 0.9231 0.10 0.1900 0.4095 0.6513 0.8784 0.9948 Stanislav Katina Lineárne štatistické modely I Asymptotické testy o stredných hodnotách Párové porovnávania Zamerajme sa na hodnotenie zovšeobecnenej pravdepodobnosti CHPD v podobe 1. pravdepodobnosti najmenej jednej CHPD, kde V ]e počet zamietnutých pravdivých H0« (family-wise error rate, FWER: metódy napr. Fisher1935 LSD, Tukey1949,Tukey1953, Tukey1991 HSD, Scheffe1953, BonferronM 936, Sidak1967, Holm1979, Hochberg1988); FWER = Pr(V > 1); FWER adjustované (upravené) p-hodnoty sú definované nasledovne pk = inf {a : Hok zamietame na FWER = a} ; 2. očakávanej hodnoty podielu CHPD medzi zamietnutými hypotézami, FDR = E[V/R], ak R > 0 alebo 0, ak R = 0, kde R je počet zamietnutých pravdivých a nepravdivých Ho, FDP = V/R (false dicovery rate, FDR, false discovery proportion, FDP: metódy napr. BenjaminiHochberg1995, BenjaminiYekutieli2001); FDR adjustované p-hodnoty sú definované nasledovne pk = inf {a : Hok zamietame na FDR = a} ; Stanislav Katina Lineárne štatistické modely II Asymptotické testy o stredných hodnotách Párové porovnávania Bonferroniho metóda je konzervatívnejšia ako Sidákova (vedie ku menšiemu počtu zamietnutí, t.j. kritické hodnoty sú väčšie), lebo platí (1 - a)1/h < 1 - a/h pre všetky a > 0,h > 1, teda tn-j{a/h) > ŕ„_j(1 - (1 - a)1/h). Rozdiel je ale zanedbateíný. V súvislosti s kontrolou FWER a adjustovanými p-hodnotami platí pre Bonferroniho nerovnost "0 FWER = Pr(V > 0) = Pr (u£=1 (pk <»)) 7) < a, kde 7, a e (0,1). Aby bolo možné robií simultánnu inferenciu, je potrebné modifikovaí kritickú hodnotu ŕn_j(a/2) rozdelenia Fisherovej LSD štatistiky pomocou substitúcie a/2 použitím jedno- a viackrokových metód. (Jednokroková) Bonferroniho, resp. Šidákova metóda sú založené na princípe zmenšenia argumentu a/2 kritickej hodnoty ŕ-rozdelenia s n -J stupňami voľnosti (obojstranný test) na základe Bonferroniho, resp. Šidákovej nerovnosti, Pr(u|;=1A<) < EL Pr(A<). Pr(u|;=1A<) < 1 - q, resp. Pr (n2=i At) > ní=i Pr(A), Pr (n||=i At) > 1 - q, na a/(2h), resp. 1 - (1 - a/2ý/h, kde Ak je najaká udalosí. Stanislav Katina Lineárne štatistické modely I Asymptotické testy o stredných hodnotách Párové porovnávania Pre Šidákovu nerovnost "0 Pr(V = 0) = Pr(nLi (ä > «)) =IIPr(^ ^ a = Yl Pr (Pk > 1 - (1 - aý/h) = 1 - (1 - a)ho/h , z ktorej vyplýva, že FWER = Pr{V > 0) = 1 - Pr{V = 0) = (1 - a)"0'" < a. Ak použijeme vyššie uvedené postupy na h párových porovnaní, potom pravděpodobnost, že aspoň raz chybne zamietneme jednu z rovností m = \i-h ktorá platí, nieje väčšia ako a. Ak ide o vyvážené triedenie, kde f?i — n2 = ... = nd, potom je táto pravděpodobnost presne rovná a. T.j. ak sú všetky hypotézy pravdivé, pravděpodobnost identifikácie, že niektorá z nich je nepravdivá, nieje viac ako a, pretože a je pravděpodobnost zamietnutia ANOVA F-testu. Taktiež ANOVA F-test je test všetkých aj/j. = 0, k = 1,2,... ,h, a ak je tento test zamietnutý, ešte nemusí nastat situácia, že niektorá z vyššie spomenutých metód nezamietne nejakú hypotézu. Práve pre túto vlastnost je experimentálna chyba menšia ako a. Ale ak ANOVA F-test zamieta nulovú hypotézu, potom Scheffeho metóda bude zamietat H0 aspoň pre jeden kontrast. 40/56 Stanislav Katina Lineárne štatistické modely II Asymptotické testy o stredných hodnotách Párové porovnávania Adjustované hladiny významnosti) ak sú definované nasledovne ► Bonferroniho ak = a/h, *■ Šidákove ak = 1 - (1 - af/h, Argument a/2 kritickej hodnoty ŕ„_j(a/2) sa substituuje ak. Potom budú Waldove simultánne 100 x (1 - q)% empirické intervaly spoľahlivosti Fisherovho typu definované nasledovne a7M-ř„_J(ak)V^ar(XrX)-1a,a7ř + /„_J(ak)J5iar(X^X)-1a Adjustované p-hodnoty pk sú definované nasledovne ► Bonferroniho pk = min {/ip«,1}, ► Šidákove pk = 1 - (1 - pk)h, Stanislav Katina Lineárne štatistické modely II Asymptotické testy o stredných hodnotách Metódy mnohonásobného porovnávania v<ši Example (Metody mnohonásobného porovnávania) Majme koncentráciu stroncia Sr (mg/ml) v piatich vodných celkoch. Otestujte rovnosí stredných hodnôt ANOVA F-testom pomocou funkcií (1) aov () (2) oneway. test () a (3) lm (). Ak je H0 zamietnutá na a = 0.05, potom vypočítajte adjustované p-hodnoty a Waldove simultánne 95% empirické IS Fisherovho typu pre všetky párové porovnania rozdielov stredných hodnôt Bonferroniho metódou. Stanislav Katina Lineárne štatistické modely II Asymptotické testy o stredných hodnotách Mnohonásobné porovnávania v"® Mnohonásobné porovnávania v <8 Na Tukeyho HSD metódu použijeme funkciu TukeyHSD (aov () , ordered=FALSE) , kde argument ordered ponechá pôvodné poradie hypotéz H0k. Výstupom je tabuíka obsahujúca odhady rozdielov stredných hodnoty,, — y,-., dolné a horné hranice Waldových simultánnych 100 x (1 - q)% empirických IS Tukeyho typu a adjustované p-hodnoty pk. Na jednokrokové a viackrokové metódy (výpočet adjustovaných p-hodnôť) použijeme funkciu pairwise.t.test(y,x,p.adj ust="metoda",pool.sd=TRUE) , kde argument pool. sd=TRUE predstavuje použitie dl a argument p.adjust="metoda" špecifikuje metódu nasledovne 1. Bonferroniho p.adjust="bonferroni". Funkcia im() má přednastavené kontrasty párových porovnaní s prvou populáciou, aj — qi, kde J > 1, kedy použijeme vstupné argumenty y a x. Pokiaí by sme chceli testovat nulovost jednotlivých aj, použijeme vstupné argumenty y-mean(y) ax-i (argument x-1 znamená model bez interceptu Stanislav Katina Lineárne štatistické modely I Asymptotické testy o stredných hodnotách Metódy mnohonásobného porovnávania v<® 86 87 88 # parove porovnávania mp.Bonf <- pairwise.t.test(ConcStr,VodCelk, p.adjust="bonferroni",pool.sd=TRUE) Stanislav Katina Lineárne štatistické modely I Asymptotické testy o stredných hodnotách Jednofaktorový ANOVA model s fixnými efektami pri rôznych rozptyloch Asymptotické testy o stredných hodnotách Jednofaktorový ANOVA model s fixnými efektami pri rôznych rozptyloch Nech Yji(fij,J (alebo Welchov ANOVA F-test). Realizáciou Fw je Fobs a p-hodnota = Pr(Fw > Fobs\H0). Na porovnanie ANOVA modelu pri rôznych rozptyloch s ANOVA modelom pri rovnakých rozptyloch - s2 definujeme ako vážený priemer výberových rozptylov sfj = 1,2,..., J, teda s2 = Eyíi (ny-1)sy2 _ E/=i ínj-^sf E;=i (nj-r, n-J Potom Y, ~ /Vn;(X/3,Zy), kde Zy = af\njXnj, vektor chýb ey ~ /Vn;(0,Zy), vektor parametrov/3 ~ /VJ+1(/3,(XTZ-1 X)-1), kde Z = diag(cr2,cr2,... ,=i /=i Stanislav Katina Lineárne štatistické modely I Asymptotické testy o stredných hodnotách Test pomerom vierohodnosti o homogenite rozptylov Hypotézy definujeme nasledovne H0 ■. a\ — a\ — ... — aj — a2 oproti Hi : a2 ý °f ŕ o2 Pre aspoň jedno /' <;',/' = 1,2,..., J - 1;;' = 2,3,..., J. Nech Yj ~/V(w,a2), kde; = 1,2,... J, 6 = fi2, ■ ■ ■ ,tu, o\,a\,... ,aj)T. Logaritmus funkcie vierohodnosti má tvar /(0|yi,y2,...,yj) = ■^|ln(2^2)-^^(x:te-w)2) y=i y=i J \/=i / MLE 6 je rovný 6 — fí2,..., %, a2, aj,..., aj)', kde W = 1 "' 1 /=i t.j. 0! = {6 : af ý of ý o2J uLR\H0). Stanislav Katina Lineárne štatistické modely II Asymptotické testy o stredných hodnotách Bartlettova modifikácia testu pomerom vierohodnosti o homogenite rozptylov v < Argumenty (vstupy) funkcie bartiett. test (): 1. x - objekt im (y~x) alebo len vektor pozorovaní y; 2. g - vektor príslušnosti do skup in x, ak (1) je vektor pozorovaní y, inak nie je potrebné tento argument uvádzat; 3. formula v podobe y~x, ak nie je uvedené (1) a (2); 4. data v podobe dátovej tabufky, ak (1) až (3) používajú stĺpce z dátovej tabuíky. Výstupy funkcie bartiett. test (): 1. statistic - Bartlettova štatistika 2. df - stupne vofnosti J - 1; 3. p. value - p-hodnota. Stanislav Katina Lineárne štatistické modely II Asymptotické testy o stredných hodnotách Bartlettova modifikácia testu pomerom vierohodnosti o homogenite rozptylov Bartiett (1937) modifikoval testovaciu štatistiku pomerom vierohodnosti nasledovne // - ULR £ 2 ĽB — —£— ~ xj-1 , kde < = 5>-1)ln * ,3ŕ e/=i (n;-1)s; S,2 sú výberové rozptyly a C = 1 + -L_(f-!___1_) 3(^-1)1^-1 E^(ny-1); L/B konverguje ku x3_i rozdeleniu rýchlejšie ako ULR. Realizáciou UB je uB-Potom p-hodnota = Pr(l/B > uB|H0). Stanislav Katina Lineárne štatistické modely II Asymptotické testy o stredných hodnotách Literatúra KATINA, Stanislav, Miroslav KRÁLÍK a Adéla HUPKOVÁ. Aplikovaná štatistická inferencia I. Biologická antropológia očami matematickej štatistiky. 1. vyd. Brno: Masarykova univerzita, 2015. 320 s. ISBN 978-80-210-7752-2. Stanislav Katina Lineárne štatistické modely I