Analýza rozptylu jednoduchého třídění Motivace: Zajímáme se o problém, zda lze určitým faktorem (tj. nominální náhodnou veličinou A) vysvětlit variabilitu pozorovaných hodnot náhodné veličiny X, která je intervalového či poměrového typu. Např. zkoumáme, zda metoda výuky určitého předmětu (faktor A) ovlivňuje počet bodů dosažených studenty v závěrečném testu (náhodná veličina X). Předpokládáme, že faktor A má r > 3 úrovní a přitom i-té úrovni odpovídá n pozorování Ai,. , které tvoří náhodný výběr z rozložení N(ui, o ), i = 1, r a jednotlivé náhodné výběry jsou stochasticky nezávislé, tedy Xy = u + Sy, kde Sy jsou stochasticky nezávislé náhodné veličiny s rozložením N(0, o2), i = 1, ..., r, j = 1, ..., n;. Výsledky lze zapsat do tabulky faktor A výsledky úroveň 1 úroveň 2 úroveň r Av Ilustrace: t % iémi l-únm 5-uwč« úmwfakéow A Na hladině významnosti a testujeme nulovou hypotézu, která tvrdí, že všechny střední hodnoty jsou stejné, tj. H0: Ui = ... = (ir proti alternativní hypotéze Hi, která tvrdí, že aspoň jedna dvojice středních hodnot se liší. Jedná se tedy o zobecnění dvouvýběrového t-testu a na první pohled se zdá, že stačí utvořit dvojic náhodných výběrů a na každou dvojici aplikovat dvouvýběrový t-test. Hypotézu o shodě všech středních hodnot bychom pak zamítli, pokud aspoň v jednom případě z fL\ porovnávání se prokáže odlišnost středních hodnot. Odtud je vidět, že k neoprávněnému \ZÍ zamítnutí nulové hypotézy (tj. k chybě 1. druhu) může dojít s pravděpodobností větší než a. Proto ve 30. letech 20. století vytvořil R. A. Fisher metodu ANOVA (analýza rozptylu, v popsané situaci konkrétně analýza rozptylu jednoduchého třídění), která uvedenou podmínku splňuje. Pokud na hladině významnosti a zamítneme nulovou hypotézu, zajímá nás, které dvojice středních hodnot se od sebe liší. K řešení tohoto problému slouží metody mnohonásobného porovnávání, např. Scheffého nebo Tukeyova metoda. Označení: V analýze rozptylu jednoduchého třídění se používá tzv. tečková notace. r ľL_ n ... celkový rozsah všech r výběrů X — X ■■■ součet hodnot v i-tém výběru —J1 n J ]VJ _ X • • • výběrový průměr v i-tém výběru X _ '• • • součet hodnot všech výběrů -nu. M _ X ... celkový průměr všech r výběrů Testování hypotézy o shodě středních hodnot Náhodné veličiny X;j se řídí modelem M0: Xij = fi + al + slj pro i = 1, ..., r, j = 1, ..., nl , přičemž slj jsou stochasticky nezávislé náhodné veličiny s rozložením N(0, o ), i je společná část střední hodnoty závisle proměnné veličiny, al je efekt faktoru A na úrovni i. Parametry i, al neznáme. Požadujeme, aby platila tzv. reparametrizační rovnice: (Pokud je třídění vyvážené, tj. pokud mají všechny výběry stejný rozsah: ni = n2 = ... = nr, pak lze použít zjednodušenou podmínku .) Zavedeme součty čtverců S_ ... celkový součet čtverců (charakterizuje variabilitu jednotlivých pozorování kolem celkového průměru), počet stupňů volnosti fT = n - 1, Sa— ni Mjt_M^^... skupinový součet čtverců (charakterizuje variabilitu mezi jednotlivými náhodnými výběry), počet stupňů volnosti fA = r - 1. Sčítanec JVjL_ b představuje bodový odhad efektu a;. S — _JV[^. • • reziduálni součet čtverců (charakterizuje variabilitu uvnitř jednotlivých výběrů), počet stupňů volnosti fE = n - r. Lze dokázat, že ST = SA + SE. (Důkaz je proveden např. ve skriptech Budíková, Mikoláš, Osecký: Popisná statistika v poznámce 5.20.) Kdyby nezáleželo na faktoru A, platila by hypotéza (Xi = ... = ar = 0 a dostali bychom model Ml: XiJ = fi + By. Během analýzy rozptylu tedy zkoumáme, zda výběrové průměry Ml, ..., Mr se od sebe liší pouze v mezích náhodného kolísání kolem celkového průměru M nebo zda se projevuje vliv faktoru A. Rozdíl mezi modely M0 a M1 ověřujeme pomocí testové statistiky íj\_ y^A, která se řídí rozložením F(r-l,n-r), je-li model Ml správný. Hypotézu o nevýznamnosti faktoru A tedy zamítneme na hladině významnosti a, když platí: FA > Fl-a(r-l,n-r). Výsledky výpočtů zapisujeme do tabulky analýzy rozptylu jednoduchého třídění. Zdroj variability součet čtverců stupně volnosti podil Fa skupiny Sa fA = r - i SA/fA reziduálni Se fE = n - r SE/fE - celkový St fT = n - l - - Sílu závislosti náhodné veličiny X na faktoru A můžeme měřit pomocí poměru determinace: P _ -. Nabývá hodnot z intervalu (Q^. Testování hypotézy o shodě rozptylů Před provedením analýzy rozptylu je zapotřebí ověřit předpoklad o shodě rozptylů v daných r výběrech. a) Levenův test: Položme ^ _ y _ Jj. Označíme Platí-li hypotéza o shodě rozptylů, pak statistika -F(r-l,n-r). Hypotézu o shodě rozptylů tedy zamítáme na asymptotické hladině významnosti a, když FZA > F1-a(r-1, n-r). (Levenův test je vlastně založen na analýze rozptylu absolutních hodnot centrovaných pozorování. Vzhledem k tomu, že náhodné veličiny Xij - Mi nejsou stochasticky nezávislé a absolutní hodnoty těchto veličin nemají normální rozložení, je Levenův test pouze aproximativní.) b) Brownův - Forsytheův test je modifikací Levenova testu. Modifikace spočívá v tom, že místo výběrového průměru i-tého výběru se při výpočtu veličiny Zj používá medián i-tého výběru. c) Bartlettův test: Platí-li hypotéza o shodě rozptylů a rozsahy všech výběrů jsou větší než 6, pak statistika B_q Il_r llS2_^Í^ llľ^p se asymptoticky řídí rozložením v _ . Přitom konstanta c_l 1 "IIa S*2 je vážený průměr výběrových rozptylů. H0 zamítáme na asymptotické hladině významnosti a, když h5se realizuje v kritickém oboru W_ ř\_ F_l, Zkoumání vlastností uvedených tří testů Pro odhad pravděpodobnosti chyby 1. druhu bylo vždy vygenerováno 100 000 náhodných výběrů, a to postupně z těchto rozložení: N(10; 1), t(10), LN(1; 0,4), Ex(0,85). Všechny výběry měly stejný rozsah od 3 do 11 s krokem 2, počet výběrů byl od 2 do 10 s krokem 2. Jako odhad pravděpodobnosti chyby 1. druhu sloužila relativní četnost těch případů, kdy se na hladině významnosti 0,05 zamítla nulová hypotéza o shodě rozptylů. Simulace byly provedeny v programu MathCad. Grafy hustot zkoumaných rozložení Normální rozložení N(10; 1) Studentovo rozložení t(10) Případ dvou nezávislých náhodných výběrů Nejprve bylo provedeno srovnání F-testu s Bartlettovým testem a Brownovým - Forsytheovým testem pro dva nezávislé náhodné výběry. V grafech se modrá barva vztahuje k F-testu, červená k Bartlettovu testu a zelená k Brownovu -Forsytheovu testu. Normální rozložení N(10; 1) Q25- Q21 Q2Q i Q16 | Q12 QQ8 QQ QQQ 1-3 "5- Log - normální rozložení LN(1; 0,4) Q2S 021 Q2Q | Q12 QQ8 QQ QQQ 1 3 ~5 Studentovo rozložení t(10) Q21 Q2Q | Q12 QQ8 QQ QQQ 1-3-5-777"9-TT Exponenciální rozložení Ex(0,85) Q21 Q2Q I Q12 QQ8 QQ QQQ 1-3 -5-7-779-TT IQidl\\ýbBŮ Komentář: Podle očekávání je nejnižších odhadů pravděpodobnosti chyby 1. druhu dosahováno pro výběry z normálního rozložení, kdy všechny testy udrží odhad pod hladinou významnosti 0,05. S postupným „vzdalováním se" od normality relativní četnost neoprávněného zamítnutí nulové hypotézy roste, nejvyšší je pro výběry z exponenciálního rozložení, kde se pro F-test a Bartlettův test blíží k 0,24. Pro všechna zkoumaná rozložení dávají F-test a Bartlettův test srovnatelné výsledky, u F-testu pozorujeme poněkud nižší odhad . Jednoznačně nejlepší výsledky jsou dosahovány při použití B-F testu, který i pro výběry z exponenciálního rozložení poskytuje odhad pravděpodobnosti chyby 1. druhu dostatečně hluboko pod 0,05. Případ více než dvou nezávislých náhodných výběrů Dále jsme se zabývali srovnáním Bartlettova testu s Brownovým - Forsytheovým testem pro 4, 6, 8 a 10 nezávislých náhodných výběrů, jejichž rozsahy byly 3, 5, 7, 9, 11. Kvůli větší přehlednosti jsou grafy závislosti odhadu na rozsahu výběrů uvedeny zvlášť pro 4 a 6 výběrů a poté pro 8 a 10 výběrů. V grafech se modrá a zelená barva vztahuje k Bartlettovu testu, červená a hnědá pak k Brownovu - Forsytheovu testu. a) Normální rozložení N(10; 1) Počet výběrů 4 a 6 Počet výběrů 8 a 10 Pro výběry z normálního rozložení dává Bartlettův test odhady velmi blízké hladině významnosti 0,05. Není zde pozorovatelná závislost na rozsahu výběrů. Brownův - Forsytheův test neoprávněně zamítá nulovou hypotézu s podstatně menší relativní četností, která nepřesáhne 0,021. b) Studentovo rozložení t(10) Počet výběrů 4 a 6 Počet výběrů 8 a 10 Pro výběry ze Studentova rozložení jsou výsledky Bartlettova testu již ovlivněny porušením předpokladu normality. Získané odhady narůstají se zvětšujícím se rozsahem výběrů a v nejméně příznivém případě, tj. pro 10 nezávislých náhodný výběrů o rozsahu 11, odhad pravděpodobnosti chyby 1. druhu převyšuje 0,16. Brownův - Forsytheův test neoprávněně zamítá nulovou hypotézu s relativní četností, která nepřesáhne 0,023. Rozdíly mezi odhady pro různé počty výběrů jsou u B-F testu zanedbatelně malé. c) Logaritmicko - normální rozložení LN(1; 0,4) Počet výběrů 4 a 6 Počet výběrů 8 a 10 Pro výběry z logaritmicko - normálního rozložení odhad pravděpodobnosti chyby 1. druhu získaný Bartlettovým testem velmi výrazně narůstá, zvláště pro větší počet rozsáhlejších výběrů. Zde je dokonce o něco vyšší než 0,42, tudíž použití Bartlettova testu skutečně nelze doporučit. Daleko lepší výsledky poskytuje Brownův - Forsytheův test, kde odhady zůstávají pod 0,03. d) Exponenciální rozložení Ex(0,85) Počet výběrů 4 a 6 Počet výběrů 8 a 10 fl Q4 1-3 "5-7-79-TT • 6BF ~3~ "5-7 o9 8B TA*- 1QB • 1QBF Vidíme, že použití Bartlettova testu pro výběry z exponenciálního rozložení nelze vůbec doporučit. Odhad pravděpodobnosti chyby 1. druhu je neúnosně velký, v nejméně příznivém případě - pro 10 nezávislých náhodných výběrů o rozsahu 11 - se tento odhad blíží 0,75. Naproti tomu odhady získané Brownovým - Forsytheovým testem jsou nanejvýš 0,035, což ještě zdaleka nedosahuje hladiny významnosti 0,05. Komentář Výsledky našich simulačních studií vedou k závěru, že pro testy homogenity rozptylů je vhodné používat Brownův -Forsytheův test, a to jak pro dva, tak pro více nezávislých náhodných výběrů. Ukazuje se, že tento test lze aplikovat i na výběry, které pocházejí z výrazně nenormálních rozložení. To lze vysvětlit tím, že při jeho konstrukci jsou použity výběrové mediány jednotlivých výběrů, přičemž medián - na rozdíl od průměru - je robustní vůči odlehlým či extrémním hodnotám. U Brownova - Forsytheova testu odhad pravděpodobnosti chyby 1. druhu ve všech případech zůstal pod hladinou významnosti 0,05, nejhorší výsledek byl 0,036 pro 4 nezávislé výběry z exponenciálního rozložení. Bartlettův test zcela selhává pro výběry z nesymetrických rozložení. Např. pro 10 nezávislých výběrů z exponenciálního rozložení, jejichž rozsah byl 11, se odhad pravděpodobnosti chyby 1. druhu blížil číslu 0,8. Výhodou Brownova - Forsytheova testu je rovněž skutečnost, že velikosti odhadů vykazují jen velmi nepatrnou závislost na počtu výběrů. Brownův - Forsytheův test je implemenován např. v systémech STATISTICA či MINITAB, Bartlettův test najdeme v systému MINITAB, F-test pak v obou zmíněných systémech. Post - hoc metody mnohonásobného porovnávání Zamítneme-li na hladině významnosti a hypotézu o shodě středních hodnot, chceme zjistit, které dvojice středních hodnot se liší na dané hladině významnosti a, tj. na hladině významnosti a testujeme H0: fi = fik proti Hl: fi ŕ fik pro všechna l, k = 1, .., r, l ŕ k. a) Mají-li všechny výběry týž rozsah p (říkáme, že třídění je vyvážené), použijeme Tukeyovu metodu. Testová statistika má tvar jv^ . Rovnost středních hodnot (ik a U] zamítneme na hladině významnosti a, když JM_" í rn ' > _ ?AJ— 5 kde hodnoty qi-a(r, n-r) jsou kvantily studentizovaného rozpětí a najdeme je ve statistických Existuje modifikace Tukeyovy metody pro nestejné rozsahy výběrů, nazývá se Tukeyova HSD metoda. V tomto případě má H M testová statistika tvar S. |M_" I \ J7 i ~j~t . Rovnost středních hodnot fik a fi zamítneme na hladině významnosti a, když S. r,n_ b) Nemají-li všechny výběry stejný rozsah, použijeme Scheffého metodu: rovnost středních hodnot fik a fi zamítneme na hladině významnosti a, když IMJÍ > r - . Výhodou Scheffého testu je, že k jeho provedení nepotřebujeme speciální statistické tabulky s hodnotami kvantilů studentizovaného rozpětí, ale stačí běžné statistické tabulky s kvantila Fisherova - Snedecorova rozložení. V případě vyváženého třídění, kdy lze aplikovat Tukeyovu i Scheffého metodu, použijeme tu, která je citlivější. Tukeyova metoda tedy bude výhodnější, když q1-a2(r, n-r) < 2(r-1)F1-a(r-1, n-r). Metody mnohonásobného porovnávání mají obecně menší sílu než ANOVA. Může nastat situace, kdy při zamítnutí H0 nenajdeme metodami mnohonásobného porovnávání významný rozdíl u žádné dvojice středních hodnot. K tomu dochází zvláště tehdy, když p-hodnota pro ANOVU je jen o málo nižší než zvolená hladina významnosti. Pak slabší test patřící do skupiny metod mnohonásobného porovnávání nemusí odhalit žádný rozdíl. Doporučený postup při provádění analýzy rozptylu: a) Ověření normality daných r náhodných výběrů (grafické metody - NP plot, Q-Q plot, histogram, testy hypotéz o normálním rozložení - Lilieforsova varianta Kolmogorovova - Smirnovova testu nebo Shapirův - Wilkův test). Doporučuje se kombinace obou způsobů. Závěry učiníme až na základě posouzení obou výsledků. Obecně lze říci, že analýza rozptylu není příliš citlivá na porušení předpokladu normality, zvláště při větších rozsazích výběrů (nad 20), což je důsledek působení centrální limitní věty. Mírné porušení normality tedy není na závadu, při větším porušení použijeme např. Kruskalův - Wallisův test jako neparametrickou obdobu analýzy rozptylu jednoduchého třídění. b) Po ověření normality se testuje homogenitu rozptylů, tj. předpoklad, že všechny náhodné výběry pocházejí z normálních rozložení s týmž rozpylem. Graficky ověřujeme shodu rozptylů pomocí krabicových diagramů, kdy sledujeme, zda je šířka krabic stejná. Numericky testujeme homogenitu rozptylů pomocí Levenova testu, Brownova - Forsytheova testu (oba jsou implementovány ve STATISTICE, Brownův - Forsytheův test v MINITABu) či Bartlettova testu (je k dispozici v MINITABu). Slabé porušení homogenity rozptylů nevadí, při větším se doporučuje mediánový test. c) Pokud jsou splněny předpoklady normality a homogenity rozptylů, můžeme přistoupit k testování shody středních hodnot. Předtím je samozřejmě vhodné vypočítat průměry a směrodatné odchylky či rozptyly v jednotlivých skupinách. d) Dojde-li na zvolené hladině významnosti k zamítnutí hypotézy o shodě středních hodnot, zajímá nás, které dvojice středních hodnot se od sebe liší. K řešení tohoto problému slouží post-hoc metody mnohonásobného porovnávání, např. Scheffého nebo Tukeyova metoda. Příklad: U čtyř odrůd brambor (označených symboly A, B, C, D) se zjišťovala celková hmotnost brambor vyrostlých vždy z jednoho trsu. Výsledky (v kg): odrůda hmotnost A 0,9 0,8 0,6 0,9 B 1,3 1,0 1,3 C 1,3 1,5 1,6 1,1 1,5 D 1,1 1,2 1,0 Na hladině významnosti 0,05 testujte hypotézu, že střední hodnota hmotnosti trsu brambor nezávisí na odrůdě. Zamítnete-li nulovou hypotézu, zjistěte, které dvojice odrůd se liší na hladině významnosti 0,05. Řešení: Data považujeme za realizace čtyř nezávislých náhodných výběrů ze čtyř normálních rozložení se stejným rozptylem. Testujeme hypotézu, že všechny čtyři střední hodnoty jsou stejné. Vypočítáme výběrové průměry v jednotlivých výběrech: M1. = 0,8, M2. = 1,2, M3. = 1,4, M4. = 1,1, celkový průměr: M„ = 1,14, výběrové rozptyly: S12 = 0,02, S22 = 0,03, S32 = 0,04, S42 = 0,01, skupinový součet čtverců: J_ H_ í}8_ celkový součet čtverců: ST = SA + SE = 0,816 + 0,3 = 1,116, testová statistika t\_ n/\ \ = 9,97, vážený průměr výběrových rozptylů: S2 _Á= j — reziduálni součet čtverců: ^E — '_ ^ — . j~p— \ 3,5^^ . Protože testová statistika se realizuje v kritickém oboru, H0 zamítáme na Výsledky zapíšeme do tabulky ANOVA: Zdroj variability Součet čtverců Stupně volnosti podil Fa skupiny Sa = 0,816 3 Sa/3 = 0,272 reziduálni Se = 0,3 11 Se/11 = 0,02727 - celkový St = 1,116 14 - - Nyní pomocí Scheffého metody zjistíme, které dvojice odrůd se liší na hladině významnosti 0,05. Srovnávané odrůdy Rozdíly M_ ! Pravá strana vzorce A, B 0,4 0,41 A, C 0,67 0,36 A, D 0,3 0,41 B, C 0,2 0,40 B, D 0,1 0,44 C, D 0,3 0,40 Na hladině významnosti 0,05 se liší odrůdy A a C. v Řešení pomocí systému STATISTICA Otevřeme nový datový soubor o dvou proměnných X a odrůda a 15 případech. Do proměnné X zapíšeme zjištěné hmotnosti, do proměnné odrůda kódy pro dané odrůdy (1 pro A, 2 pro B, 3 pro C a 4 pro D). X odrúc 1 u, A Ir u, A u, A u, A u "B~ b 1 1, b ~£ 1, U L 1, U 1, U ~T 1, U ~T. 1, U T. 1, u ~T' 1, U T. U Ověříme normalitu daných čtyř náhodných výběrů pomocí N-P plotu: odus C odus D Odchylky od normality jsou jen nepatrné. Vypočteme výběrové průměry a výběrové rozptyly: Statistiky - Základní statistiky a tabulky - Rozklad & jednofakt. ANOVA - OK - Proměnné - Závislé - X, Grupovací -odrůda - OK - Skupiny tabulek - zaškrtneme Rozptyly - Výpočet. KozKiaaova taouika popisnycn s N=15 (V seznamu zav. prom. nei oaruq X prurm X N X Sm.odi X Rozpt A B U.8UU 1.2UU 4 U.141 U.1/UU u.u2U U.UUUU U.U4U U.U1U C D 1.4UU 1.1UU u b U U.2 UU U.1UU VS.SKl VI4U U U.282 U.U/y Nyní ověříme předpoklad shody rozptylů. Na záložce Skupiny tabulek zaškrtneme Levenův test - Výpočet. Promě Leveneuv test nomogenity rozpyiu (priKiaa»3Ui' Označ. efekty jsou vyzn. na hiad. pv< ,05000 ' Sč sv pč sč sv efektlefell efekt chyba chyb c hyb, X U.U18 U U.U U6 U.Ubb 1 U. U Ub 1.U 47 U.41U Vidíme, že p-hodnota Levenova testu je 0,41, tedy větší než hladina významnosti 0,05. Hypotézu o shodě rozptylů nezamítáme na hladině významnosti 0,05. Přistoupíme k testu hypotézy o shodě středních hodnot. Na záložce Skupiny tabulek zaškrtneme Analýza rozptylu - Výpočet. Promě SznSí^eíelií^isíOíľ výzí^h/ad. p < ,05000 efekt efel Pč efekt Sč SV chvba chvb c Pč F p X U,816 3 U,272 U,3UU| 1|U, U27 59,y/3 U,UU1 Jelikož p-hodnota = 0,001805 je menší než hladina významnosti 0,05, hypotézu o shodě středních hodnot zamítáme na hladině významnosti 0,05. Výpočet doplníme krabicovými diagramy: x i ■ □ A B C octicb D FŕuíšiťlSBSTÍh Nyní aplikujeme Scheffého metodu mnohonásobného porovnávání, abychom zjistili, které dvojice odrůd se liší na hladině významnosti 0,05. Na záložce Post - hoc zvolíme Schefféův test. Bcneneno test' promen.:A ípriK znač, rozdíly jsou významné \ odrudc A ' 0,059 0,001 0,190 B 0,059 0,464 0,905 C 0,001| 0,464 0,163 u 0,190 0,905 0,163 | Tabulka obsahuje p-hodnoty pro vzájemné porovnání středních hodnot hmotnosti všech čtyř odrůd. Vidíme, že na hladině významnosti 0,05 se liší odrůdy A, C. Význam předpokladů v analýze rozptylu a) Nezávislost jednotlivých náhodných výběrů - velmi důležitý předpoklad, musí být splněn, jinak dostaneme nesmyslné výsledky. b) Normalita - ANOVA není příliš citlivá na porušení normality, zvlášť pokud mají všechny výběry rozsah nad 20 (důsledek centrální limitní věty). Při výraznějším porušení normality se doporučuje Kruskalův - Wallisův test. c) Shoda rozptylů - mírné porušení nevadí, při větším se doporučuje Kruskalův - Wallisův test. Test shody rozptylů má smysl provádět až po ověření předpokladu normality.