logo-IBA Normální rozdělení a ověření normality dat Modelová rozdělení Normalita logo-IBA Normální rozdělení I — •Nejklasičtějším modelovým rozložením, od něhož je odvozena celá řada statistických analýz je tzv. normální rozložení, známé též jako Gaussova křivka. •Popisuje rozdělení pravděpodobnosti spojité náhodné veličiny: např. výška v populaci, chyba měření… •Je kompletně popsáno dvěma parametry: μ – střední hodnota σ2 – rozptyl Označení: N(μ, σ2) •Normalita je klíčovým předpokladem řady statistických metod •Pro ověření normality existuje řada testů a grafických metod Soubor:Normal Distribution PDF.svg logo-IBA Standardizované normální rozdělení Tabelovaná podoba z = x - m s N (0,1) j(z) 0 z j(x) N (m,s) m x Vzorec pro hustotu normálního rozdělení Vzorec pro hustotu standardizovaného normálního rozdělení •Normální rozdělení se střední hodnotou nula a jednotkovým rozptylem logo-IBA Vizuální ověření normality —Pro hodnocení tvaru rozložení lze využít histogram (nevýhoda: nutné určit „vhodný“ počet sloupců) — — — — — — — —Vhodnější jsou: 1.Q-Q graf (kvantil-kvantilový graf) 2.P-P graf (pravděpodobnostně-pravděpodobnostní graf) 3.N-P graf (normální-pravděpodobnostní graf) — http://luklife.cz/luklife/wp-content/uploads/otaznik5.jpg Opakování: Co je kvantil? logo-IBA Řešení v softwaru Statistica I — 1 2 • V menu Graphs zvolíme 2D Graphs • V případě, že máme v datech několik stejných hodnot, je vhodné odškrtnout Neurčovat průměrnou pozici svázaných pozorování Výběr rozdělení 3 logo-IBA Rozdíl mezi N-P, Q-Q, P-P grafem • Pouze výměna os • Znázorněn pozorovaný a teoretický kvantil ??? • Vykresleno kumulativní rozdělení PAMATUJ: Pocházejí-li data z normálního rozložení, pak body budou ležet okolo přímky http://files.mscck-trmice.webnode.cz/200000297-22250231ed/vyk%C5%99i%C4%8Dn%C3%ADk.png logo-IBA Vizualizace I. Zešikmená (nesymetrická) data Špičatost logo-IBA Vizualizace II. Odlehlé hodnoty Diskrétní rozdělení logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek Rozložení Parametry Stručný popis Normální Průměr (m) Rozptyl (s2) Symetrická funkce popisující intervalovou hustotu četnosti; nejpravděpodobnější jsou průměrné hodnoty znaku v populaci. Log-normální Medián Geometrický průměr Rozptyl (s2) Funkce intervalové hustoty četnosti, která po logaritmické transformaci nabude tvaru normálního rozložení. Weibullovo a - parametr tvaru b - parametr rozsahu hodnot Změnou parametru a lze modelovat distribuci doby přežití, např. stresovaného organismu. Rozložení využívané i jako model k odhahu LC50 nebo EC50 u testů toxicity. Rovnoměrné Medián Geometrický průměr Rozptyl (s2) Funkce intervalové hustoty četnosti, která po logaritmické transformaci nabude tvaru normálního rozložení. Triangulární f(x) = [b - ABS (x - a)] / b2 a - b < x < a + b Pravděpodobnostní funkce pro typ rozložení, kdy jsou střední hodnoty výrazně pravděpodobnější než hodnoty okrajové. Gamma Parametry distribuční funkce: a - parametr tvaru b - parametr rozsahu hodnot Umožňuje flexibilně modelování distribučních funkcí nejrůznějších tvarů. Např. c2 rozložení je rozložení typu Gamma. Gamma rozložení s a = 1 je známo jako exponenciální rozložení. Stručný přehled modelových rozložení I. logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek Stručný přehled modelových rozložení II. Rozložení Parametry Stručný popis Beta Parametry distribuční funkce: a - parametr tvaru b - parametr rozsahu hodnot Pravděpodobnostní funkce pro proměnnou omezenou rozsahem do intervalu [0; 1]. Je matematicky komplikovanější, ale velmi flexibilní při popisu změn hodnot proměnné v ohraničeném intervalu. Studentovo Stupně volnosti - uvažuje velikost vzorku Průměr Rozptyl Simuluje normální rozložení pro menší vzorky čísel. Pro větší soubory (n > 100) se limitně blíží k normálnímu rozložení. Pearsonovo Stupně volnosti - uvažuje velikost vzorku Slouží především k porovnání četností jevů ve dvou a více kategoriích. Používá se k modelování rozložení odhadu rozptylu normálně rozložených dat. Fisher-Snedecorovo Dvojí stupně volnosti - uvažuje velikost dvou vzorků Používá se k testování hodnot průměrů - F test pro porovnání dvou výběrových rozptylů; F test, ANOVA atd. Stručný přehled modelových rozložení II. logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek Log-normální rozložení jako častý model reálných znaků j (x) Medián x Průměr U asymetrických rozložení je medián velmi vhodným alternativním ukazatelem středu Průměr - těžiště osy x Medián - frekvenční střed x logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek Log-normální rozložení lze jednoduše transformovat f(x) Medián x Průměr f(x) Medián ln (x) Průměr = Y = Ln [X] • `Y ± Standardní chyba EXP (Y) = Geometrický průměr X logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek Princip statistického testování hypotéz Pojmy statistických testů Normalita dat a její význam pro testování Základy testování hypotéz logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek Princip testování hypotéz Cílová populace Vzorek Reprezentativnost ? Závěr ? Interpretace —Formulace hypotézy —Výběr cílové populace a z ní reprezentativního vzorku —Měření sledovaných parametrů —Použití odpovídajícího testu závěr testu —Interpretace výsledků Měření parametrů Testy hypotéz logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek Statistické testování – základní pojmy Nulová hypotéza HO Alternativní hypotéza HA Testová statistika Kritický obor testové statistiky 0 T Pozorovaná hodnota – Očekávaná hodnota Variabilita dat Testová statistika = HO: sledovaný efekt je nulový HA: sledovaný efekt je různý mezi skupinami * Velikost vzorku Statistické testování odpovídá na otázku zda je pozorovaný rozdíl náhodný či nikoliv. K odpovědi na otázku je využit statistický model – testová statistika. logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek Možné chyby při testování hypotéz Závěr testu Hypotézu nezamítáme Hypotézu zamítáme β 1- β 1- α α —I přes dostatečnou velikost vzorku a kvalitní design experimentu se můžeme při rozhodnutí o zamítnutí/nezamítnutí nulové hypotézy dopustit chyby. Správné rozhodnutí Správné rozhodnutí Chyba II. druhu Chyba I. druhu logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek Význam chyb při testování hypotéz Pravděpodobnost chyby 1. druhu a Pravděpodobnost nesprávného zamítnutí nulové hypotézy Pravděpodobnost chyby 2. druhu b Pravděpodobnost nerozpoznání neplatné nulové hypotézy Síla testu 1-b Pravděpodobnostně vyjádřená schopnost rozpoznat neplatnost hypotézy logo-IBA logomuni Způsoby testování —Testování H0 proti HA na hladině významnosti α můžeme provést třemi různými způsoby: — 1.Kritický obor (označení W) neboli obor zamítnutí H0 2.Interval spolehlivosti 3.P-hodnota 4. — — Vytvořil Institut biostatistiky a analýz, Masarykova univerzita logo-IBA logomuni P-hodnota —Významnost hypotézy hodnotíme dle získané tzv. p-hodnoty, která vyjadřuje pravděpodobnost, s jakou číselné realizace výběru podporují H0, je-li pravdivá. —P-hodnotu porovnáme s α (hladina významnosti, stanovujeme ji na 0,05, tzn., že připouštíme 5% chybu testu, tedy, že zamítneme H0, ačkoliv ve skutečnosti platí). —P-hodnotu získáme při testování hypotéz ve statistickém softwaru. — —Je-li p-hodnota ≤ α, pak H0 zamítáme na hladině významnosti α a přijímáme HA. —Je-li p-hodnota > α, pak H0 nezamítáme na hladině významnosti α. — —P-hodnota vyjadřuje pravděpodobnost za platnosti H0, s níž bychom získali stejnou nebo extrémnější hodnotu testové statistiky. Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek Parametrické vs. neparametrické testy Parametrické testy Neparametrické testy •Mají předpoklady o rozložení vstupujících dat (např. normální rozložení) •Při stejném N a dodržení předpokladů mají vyšší sílu testu než testy neparametrické •Pokud nejsou dodrženy předpoklady parametrických testů, potom jejich síla testu prudce klesá a výsledek testu může být zcela chybný a nesmyslný •Nemají předpoklady o rozložení vstupujících dat, lze je tedy použít i při asymetrickém rozložení, odlehlých hodnotách, či nedetekovatelném rozložení •Snížená síla těchto testů je způsobena redukcí informační hodnoty původních dat, kdy neparametrické testy nevyužívají původní hodnoty, ale nejčastěji pouze jejich pořadí logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek One-sample vs. two sample testy Jedno-výběrové testy (one-sample) Dvou-výběrové testy (two-sample) •Srovnávají jeden vzorek (one sample, jednovýběrové testy) s referenční hodnotou (popřípadě se statistickým parametrem cílové populace) •V testu je tedy srovnáváno rozložení hodnot (vzorek) s jediným číslem (referenční hodnota, hodnota cílové populace) •Otázka položená v testu může být vztažena k průměru, rozptylu, podílu hodnot i dalším statistickým parametrům popisujícím vzorek •Srovnávají navzájem dva vzorky (two sample, dvouvýběrové testy) •V testu jsou srovnávány dvě rozložení hodnot •Otázka položená v testu může být opět vztažena k průměru, rozptylu, podílu hodnot i dalším statistickým parametrům popisujícím vzorek •Kromě testů pro dvě skupiny hodnot existují samozřejmě i testy pro více skupin dat logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek Nepárový vs. párový design Nepárový design Párový design •Skupiny srovnávaných dat jsou na sobě zcela nezávislé (též nezávislý, independent design), např. lidé z různých zemí, nezávislé skupiny pacientů s odlišnou léčbou atd. •Při výpočtu je nezbytné brát v úvahu charakteristiky obou skupin dat •Mezi objekty v srovnávaných skupinách existuje vazba, daná např. člověkem před a po operaci, reakce stejného kmene krys atd. •Vazba může být buď přímo dána nebo pouze předpokládána (v tom případě je nutné ji ověřit) •Test je v podstatě prováděn na diferencích skupin, nikoliv na jejich původních datech logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek Statistické testy a normalita dat —Normalita dat je jedním z předpokladů tzv. parametrických testů (testů založených na předpokladu nějakého rozložení) – např. t-testy —Pokud data nejsou normální, neodpovídají ani modelovému rozložení, které je použito pro výpočet (t-rozložení) a test tak může lhát — —Řešením je tedy: ¡Transformace dat za účelem dosažení normality jejich rozložení ¡Neparametrické testy – tyto testy nemají žádné předpoklady o rozložení dat Typ srovnání Parametrický test Neparametrický test 2 skupiny dat nepárově: Nepárový t-test Mann Whitney test 2 skupiny dat párově: Párový t-test Wilcoxon test, znaménkový test Více skupin nepárově: ANOVA Kruskal- Wallis test Korelace: Pearsonův koeficient Spearmanův koeficient logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek Testy normality —Testy normality pracují s nulovou hypotézou, že není rozdíl mezi zpracovávaným rozložením a normálním rozložením. Vždy je ovšem dobré prohlédnout si i histogram, protože některé odchylky od normality, např. bimodalitu některé testy neodhalí. •Test dobré shody V testu dobré shody jsou data rozdělena do kategorií (obdobně jako při tvorbě histogramu), tyto intervaly jsou normalizovány (převedeny na normální rozložení) a podle obecných vzorců normálního rozložení jsou k nim dopočítány očekávané hodnoty v intervalech, pokud by rozložení bylo normální. Pozorované normalizované četnosti jsou poté srovnány s očekávanými četnostmi pomocí c2 testu dobré shody. Test dává dobré výsledky, ale je náročný na n, tedy množství dat, aby bylo možné vytvořit dostatečný počet tříd hodnot. •Kolgomorov Smirnov test Tento test je často používán, dokáže dobře najít odlehlé hodnoty, ale počítá spíše se symetrií hodnot než přímo s normalitou. Jde o neparametrický test pro srovnání rozdílu dvou rozložení. Je založen na zjištění rozdílu mezi reálným kumulativním rozložením (vzorek) a teoretickým kumulativním rozložením. Měl by být počítán pouze v případě, že známe průměr a směrodatnou odchylku hypotetického rozložení, pokud tyto hodnoty neznáme, měla by být použita jeho modifikace – Lilieforsův test. •Shapiro-Wilk`s test Jde o neparametrický test použitelný i při velmi malých n (10) s dobrou sílou testu, zvláště ve srovnání s alternativními typy testů, je zaměřen na testování symetrie.