Přednáška VII. Úvod do testování hypotéz Principy a pojmy testování hypotéz, chyba I. a II. druhu P‐hodnota a její interpretace Síla testu a souvislost s velikostí vzorku Statistická versus klinická/biologická významnost Tomáš Pavlík Biostatistika Opakování – vlastnosti výběrového průměru Čím lze vysvětlit následující vlastnosti výběrového průměru? Rozdělení pravděpodobnosti výběrového průměru je tím méně variabilní  čím více pozorování je v průměru zahrnuto.  Rozdělení pravděpodobnosti výběrového průměru se s rostoucím n přestává podobat rozdělení původních dat a začíná se podobat rozdělení  normálnímu. Tomáš Pavlík Biostatistika Opakování – interpretace intervalu spolehlivosti Jak lze interpretovat např. 95% interval  spolehlivosti pro odhad střední hodnoty? R0 μ x1 ( ) d1 h1 x2 ( ) d2 h2 x3 ( ) d3 h3 ……… x100 ( ) d100 h100 x99 ( ) d99 h99 cca 95 %  cca 5 %  x ( ) d h x ( ) d h 1. Motivace Tomáš Pavlík Biostatistika Odhady a testy Zatím jsme se bavili hlavně o odhadech – pomocí odhadů popisujeme  charakteristiky cílové populace. Chceme jít v rozhodování dál: 1. Chceme srovnávat. 1 náhodný výběr s předpokládanou hodnotou 2 náhodné výběry mezi sebou Více náhodných výběrů mezi sebou 2. Chceme hodnotit změnu náhodné veličiny vzhledem k nějaké intervenci. 3. Chceme rozhodovat o nezávislosti dvou náhodných veličin. 4. Chceme rozhodovat o charakteru rozdělení náhodné veličiny. Tomáš Pavlík Biostatistika Medicína založená na důkazech Úkolem zdravotního systému je zajistit dostupnými prostředky nejlepší  možný zdravotní a psychický stav národa. K naplňování tohoto úkolu by měl pomoci princip nazvaný medicína  založená na důkazech („evidence based medicine“). Medicína založená na důkazech je proces zabývající se systematickým  hledáním, hodnocením a hlavně využitím současných výsledků klinického  výzkumu při poskytování péče jednotlivým pacientům.  Poskytování důkazů pomocí klinického výzkumu a vědecké literatury. Vytváření klinických doporučení (založených na důkazech) a jejich distribuce. Implementace účinných a efektivních postupů pomocí výuky a řízení kvality. Hodnocení dodržování doporučených postupů pomocí klinických auditů,  indikátorů kvality a výsledků léčebné péče. Tomáš Pavlík Biostatistika Role testování hypotéz Klinický výzkum je základem  medicíny založené na důkazech. Biostatistika je dnes nedílnou  součástí klinického výzkumu. Testování hypotéz je základem  biostatistiky. 2. Principy a pojmy testování  hypotéz Tomáš Pavlík Biostatistika Hypotézy Nulová hypotéza („null hypothesis“) – tvrzení o neznámých vlastnostech  rozdělení pravděpodobnosti sledované náhodné veličiny (na cílové  populaci). Může být tvrzením o parametrech rozdělení nebo tvaru rozdělení  pravděpodobnosti. Nulová hypotéza má tvar: Alternativní hypotéza – tvrzení o neznámých vlastnostech rozdělení  pravděpodobnosti sledované náhodné veličiny, které popírá platnost nulové  hypotézy. Vymezuje, jaká situace nastává, když nulová hypotéza neplatí. Alternativní hypotéza má tvar: 00 :  H 01 01 01 : : :       H H H Tomáš Pavlík Biostatistika Testování hypotéz Testování hypotéz se zabývá rozhodováním o platnosti stanovených hypotéz  na základě pozorovaných dat. Platnost hypotéz ověřujeme pomocí statistického testu – rozhodovacího  pravidla, které každému náhodnému výběru přiřadí právě jedno ze dvou  možných rozhodnutí – H0 nezamítáme nebo H0 zamítáme. Základy moderního testování hypotéz položili J. Neyman a E. S. Pearson. Tomáš Pavlík Biostatistika Příklady – řešené problémy 1. Urychluje použití antibiotika ve srovnání s použitím běžné dezinfekce  hojení rány? 2. Je průměrný objem prostaty mužů nad 70 let stejný jako průměrný objem  prostaty celé mužské populace? 3. Je efekt snížení systolického tlaku novým antihypertenzivem stejný u  hypertoniků, kteří kouří, jako u hypertoniků, kteří nekouří? 4. Liší se AML, ALL, CML a CLL v aktivitě vybraných genů? Tomáš Pavlík Biostatistika Příklady – hypotézy 1. Urychluje použití antibiotika ve srovnání s použitím běžné dezinfekce  hojení rány? Střední doba hojení s antibiotiky: Střední doba hojení bez antibiotik: 2. Je průměrný objem prostaty mužů nad 70 let stejný jako průměrný objem  prostaty celé mužské populace? Střední objem prostaty mužů nad 70 let : Populační hodnota (konstanta): 210 :  H1 2 211 :  H 010 :  H1 0 011 :  H Tomáš Pavlík Biostatistika Příklady – hypotézy 3. Je efekt snížení systolického tlaku novým antihypertenzivem stejný u  hypertoniků, kteří kouří, jako u hypertoniků, kteří nekouří? Střední hodnota efektu u kuřáků: Střední hodnota efektu u nekuřáků: 4. Liší se AML, ALL, CML a CLL v aktivitě vybraných genů? Střední hodnota exprese genu g u AML, ALL, CML, CLL: 210 :  H1 2 211 :  H g CLL g CML g ALL g AML  ,,, g CLL g CML g ALL g AMLH  :0 ostatníchododlišnéjejednonejméně:1 g H  Tomáš Pavlík Biostatistika Proč nulová hypotéza vyjadřuje nepřítomnost efektu? Tomáš Pavlík Biostatistika Proč nulová hypotéza vyjadřuje nepřítomnost efektu? Nulová hypotéza odráží fakt, že se něco nestalo nebo neprojevilo → je  stanovena obvykle jako opak toho, co chceme experimentem prokázat. Nulová hypotéza je postavena tak, abychom ji mohli pomocí pozorovaných  hodnot vyvrátit. Pro zamítnutí platnosti nulové hypotézy nám totiž stačí najít jeden příklad,  kdy nulová hypotéza neplatí – tím příkladem má být náš náhodný výběr  (naše pozorovaná data). Zamítnout nulovou hypotézu je jednodušší než nulovou hypotézu potvrdit. Tomáš Pavlík Biostatistika Co se při rozhodování může stát Vzhledem k nulové hypotéz máme čtyři možnosti výsledku rozhodovacího  procesu: Při rozhodování se můžeme mýlit, můžeme se dopustit dvou chybných   úsudků. Rozhodnutí Skutečnost H0 platí H0 neplatí H0 nezamítneme správné přijetí platné  nulové hypotézy chyba II. druhu H0 zamítneme chyba I. druhu správné zamítnutí neplatné  nulové hypotézy Tomáš Pavlík Biostatistika Analogie se soudním procesem Ctíme presumpci neviny = předpokládáme, že nulová hypotéza platí. Požadujeme důkaz pro prokázání viny = na základě dat chceme ukázat, že  nulová hypotéza neplatí. Když nám bude stačit málo důkazů, zvýší i procento odsouzených, kteří jsou  skutečně vinni = správné zamítnutí neplatné nulové hypotézy, ale zároveň  se zvýší se procento odsouzených nevinných = chyba I. druhu. Když budeme požadovat hodně důkazů, zvýší se procento nevinných, kteří  budou osvobozeni = správné přijetí platné nulové hypotézy, ale zároveň se  zvýší i procento vinných, kteří budou osvobozeni = chyba II. druhu. Tomáš Pavlík Biostatistika Pravděpodobnost výsledků rozhodovacího procesu Jak je vidět z analogie se soudním procesem, nelze zároveň minimalizovat  α i β. V praxi je nutné více hlídat α → předem stanovíme maximální hranici  pro α (hladina významnosti testu, „level of significance“) a za této  podmínky minimalizujeme β. Rozhodnutí Skutečnost H0 platí H0 neplatí H0 nezamítneme správné rozhodnutí P = 1 – α chyba II. druhu P = β H0 zamítneme chyba I. druhu P = α správné rozhodnutí P = 1 – β Tomáš Pavlík Biostatistika Proč hlídat spíše α než β?  Benjamin Franklin: „It is better that 100 guilty persons should escape than that one innocent  person should suffer.“ Tomáš Pavlík Biostatistika Statistický test Testování hypotéz probíhá na základě dat (ve frekventistické statistice  výhradně na základě dat). Testované hypotéze odpovídá statistický test, respektive testová statistika,  která umožní ověřit platnost nulové hypotézy. Testová statistika je transformací pozorovaných dat s rozdělením  pravděpodobnosti, sama tedy má také rozdělení pravděpodobnosti.  Rozdělení pravděpodobnosti testové statistiky za platnosti H0 se označuje  jako „null distribution“. Na základě dat vypočítáme hodnotu testové statistiky, kterou srovnáme s  kvantilem (kritickou hodnotou) jejího rozdělení odpovídajícím zvolené  hladině významnosti testu α. Tomáš Pavlík Biostatistika Zamítnutí / nezamítnutí nulové hypotézy Hodnotu testové statistiky srovnáme s kvantilem (kritickou hodnotou)  jejího rozdělení odpovídajícím zvolené hladině významnosti testu α. Představuje‐li pozorovaná hodnota testové statistiky extrémnější (méně  pravděpodobnou) hodnotu v rámci rozdělení odpovídajícího nulové  hypotéze než je kritická hodnota (kvantil) odpovídající zvolenému riziku α,  pak nulovou hypotézu zamítáme. Riziko špatného rozhodnutí, které podstupujeme, buď rovnoměrně  rozdělujeme na obě extrémní varianty výsledku (oboustranný test) nebo  uvažujeme pouze jednu extrémní variantu výsledku (jednostranný test). Tomáš Pavlík Biostatistika Zamítnutí / nezamítnutí nulové hypotézy riziko α / 2 riziko α / 2 2,5 %2,5 % 95 % Oboustranný test při α = 0,05 210 :  H 211 :  H 010 :  H 011 :  H Jednostranný test při α = 0,05 riziko α 5 % 95 % Padne‐li testová  statistika sem  – zamítáme H0 Padne‐li testová  statistika sem  – nezamítáme H0 Padne‐li testová  statistika sem  – zamítáme H0 Padne‐li testová  statistika sem  – nezamítáme H0 Padne‐li testová  statistika sem  – zamítáme H0 Tomáš Pavlík Biostatistika Co znamená „padnutí testové statistiky“ Je‐li hodnota testové statistiky větší než kvantil příslušný riziku α, pak  mohly nastat dvě situace: 1. buď H0 platí a my jsme pozorovali málo pravděpodobný jev  2. H0 neplatí My pracujeme s rizikem α, tedy málo pravděpodobné jevy jsou součástí  našeho rizika, proto v tomto případě volíme možnost 2 a zamítáme H0. Tomáš Pavlík Biostatistika Příklad – z‐test pro jeden výběr Při populačním epidemiologickém průzkumu se zjistilo, že průměrný objem  prostaty u mužů je 32,73 ml (SD = 18,12 ml). Na hladině významnosti testu α = 0,05 chceme ověřit, jestli se muži nad 70 let liší od celé populace. Máme  náhodný výběr o velikosti n = 100 a výběrový průměr 36,60 ml. Chceme ověřit platnost proti Platí‐li H0, pak  (předpokládáme, že známe σ) Jak na to? 73,32:0 H 73,32:1 H )812,1,73,32(~  n NX  Tomáš Pavlík Biostatistika Příklad – z‐test pro jeden výběr Při populačním epidemiologickém průzkumu se zjistilo, že průměrný objem  prostaty u mužů je 32,73 ml (SD = 18,12 ml). Na hladině významnosti testu α = 0,05 chceme ověřit, jestli se muži nad 70 let liší od celé populace. Máme  náhodný výběr o velikosti n = 100 a výběrový průměr 36,60 ml. Chceme ověřit platnost proti Platí‐li H0, pak  (předpokládáme, že známe σ) Z CLV víme, že by mělo platit:  Pokud tedy výběrový průměr patří do rozdělení neměla by jeho hodnota být vzhledem k tomuto rozdělení nijak extrémní. 73,32:0 H 73,32:1 H )1,0(~/ Nn Xn   )812,1,73,32(  nN  )812,1,73,32(~  nNX  Tomáš Pavlík Biostatistika Příklad – z‐test pro jeden výběr Chceme ověřit platnost proti Platí‐li H0, pak  (předpokládáme, že známe σ) Z CLV víme, že by mělo platit:  Vypočteme hodnotu testové statistiky: Můžeme zamítnout nulovou hypotézu na  hladině významnosti testu α = 0,05 nebo ne? 73,32:0 H 73,32:1 H )812,1,73,32(~  n NX  )1,0(~/ Nn Xn   z0,025 = ‐1,96 z0,050 = ‐1,64 1,96 = z0,975 1,64 = z0,950 z0,005 = ‐2,58 2,58 = z0,995 1 ‐ α α / 2α / 2 90 % 95 % 99 % n Xn Z /   14,2812,1 87,3 100/12,18 73,3260,36   z Tomáš Pavlík Biostatistika Příklad – z‐test pro jeden výběr Hodnota testové statistiky: 14,2812,1 87,3 100/12,18 73,3260,36   z Můžeme zamítnout nulovou hypotézu na  hladině významnosti testu α = 0,05 nebo  ne? Nulovou hypotézu o rovnosti objemu  prostaty u mužů nad 70 let populační  hodnotě 32,73 ml zamítáme na hladině  významnosti α = 0,05, protože výsledná  hodnota z statistiky je větší než kritická  hodnota (příslušný kvantil) rozdělení  N(0,1). α / 2α / 2 2,5 %2,5 % 95 % z statistika 2/1975,096,114,2  zzz 3. P‐hodnota a její interpretace Tomáš Pavlík Biostatistika P‐hodnota P‐hodnota vyjadřuje pravděpodobnost za platnosti H0, s níž bychom získali  stejnou nebo extrémnější hodnotu testové statistiky (samozřejmě  vzhledem k jednostrannosti nebo oboustrannosti testu). Číselně (ale ne filozoficky) ekvivalentní je tzv. dosažená hladina významnosti  testu („attained significance level“), což je nejmenší hladina významnosti α,  při které bychom ještě zamítnuli H0. V praxi se často obě hodnoty zaměňují! Tomáš Pavlík Biostatistika Příklad – p‐hodnota Vraťme se k příkladu s objemem mužské prostaty – hodnota testové  statistiky z = 2,14. Jaká jí odpovídá p‐hodnota? Důležité je uvědomit si, že máme oboustrannou alternativní hypotézu! 1,6 %1,6 % z statistika p‐hodnota pro oboustrannou alternativu: ‐z statistika ))(1(*2 testzZPp  p‐hodnota pro z‐test z příkladu: 032,0)984,01(*2 ))14,2(1(*2   p ZPp Tomáš Pavlík Biostatistika Velikost vzorku a významnost výsledku Vraťme se k příkladu s objemem mužské prostaty – ALE s n = 10! Chceme ověřit platnost proti Platí‐li H0, pak  (předpokládáme, že známe σ) Pak H0 nyní nezamítáme! Rozdíl se nezměnil, pouze je menší n! Máme méně informace. 73,32:0 H 73,32:1 H n Xn Z /   68,073,5 87,3 10/12,18 73,3260,36   z 2/1975,096,168,0  zzz z statistika )73,5,73,32(~  n NX  Tomáš Pavlík Biostatistika Důležité poznámky k testování hypotéz Nezamítnutí nulové hypotézy neznamená automaticky její přijetí! Může se  jednat o situaci, kdy pro zamítnutí nulové hypotézy nemáme dostatečné  množství informace. Dosažená hladina významnosti testu (ať už 0,05, 0,01 nebo 0,10) nesmí být  slepě brána jako hranice pro existenci/neexistenci testovaného efektu.  Neexistuje jasná hranice pro významnost či nevýznamnost – často je velmi  malý rozdíl mezi p‐hodnotou 0,04 a p‐hodnotou 0,06. Malá p‐hodnota nemusí znamenat velký efekt. Hodnota testové statistiky a  odpovídající p‐hodnota může být ovlivněna velkou velikostí vzorku a malou  variabilitou pozorovaných dat. Výsledky testování musí být nahlíženy kriticky – jedná se o závěr založený  „pouze“ na jednom výběrovém souboru. Tomáš Pavlík Biostatistika Spojitost s intervaly spolehlivosti Opět se vraťme příkladu s objemem mužské prostaty (pro n = 100). Chceme ověřit platnost proti Na základě n = 100 jsme nulovou hypotézu zamítli. Zkusme vypočítat 95% interval spolehlivosti pro μ (tedy IS s α = 0,05): 95% IS neobsahuje H0. Co nám to říká? )()(1 2/12/12/1/2/1             zXzXPzzP nnn X )15,40;05,33()96,1*812,160,36;96,1*812,160,36(IS%95  n Xn Z /   96,1;812,1;60,36 975,0100 12,18  zX n  73,32:0 H 73,32:1 H Tomáš Pavlík Biostatistika Spojitost s intervaly spolehlivosti Můžeme zamítnout H0, protože 95% IS neobsahuje předpokládanou  hodnotu neznámého parametru (neobsahuje H0). Opět podstupujeme  riziko α = 0,05, že se mýlíme (tedy, že jsme naším 95% IS nepokryli hodnotu  μ). Testování hypotéz a intervaly spolehlivosti jsou velmi často ekvivalentní,  ale popisují trochu něco jiného: Interval spolehlivosti charakterizuje  přesnost bodového odhadu, zatímco test nulové hypotézy se zaměřuje na  pravděpodobnostní model v pozadí.  Vždy by měl být vedle výsledku testu publikována i velikost dosaženého  efektu s příslušným intervalem spolehlivosti. Ze samotné p‐hodnoty testu  nebo rozhodnutí zamítáme H0/nezamítáme H0 není zřejmé, v jakých mezích  se velikost účinku (rozdílu) pohybuje. 4. Síla testu Tomáš Pavlík Biostatistika Síla testu Pravděpodobnost chyby II. druhu značíme β. 1 – β se nazývá síla testu a vyjadřuje pravděpodobnost, že zamítneme H0 ve  chvíli, kdy H0 opravdu neplatí. Snažíme se sílu testu optimalizovat při zachování hladiny významnosti testu α → princip výpočtu velikos  experimentálního vzorku před provedením studie  (budeme se tomu věnovat někdy příště). Optimalizovat sílu testu a velikost vzorku předem není triviální, můžeme narazit  na spoustu problémů – biologické limity, etické limity, finanční limity. Tomáš Pavlík Biostatistika Faktory ovlivňující sílu testu Velikost vzorku: čím více pozorování (informace o platnosti nulové hypotézy),  tím větší má test sílu. Stejně jako u intervalů spolehlivosti, síla testu roste s  odmocninou z n. Velikost efektu (účinku): velikost rozdílu v neznámých parametrech také  ovlivňuje sílu testu. Vždy je jednodušší identifikovat jako významný velký efekt,  např. velký rozdíl ve středních hodnotách objemu prostaty dvou populací.  Naopak je těžší prokázat jako významný menší efekt (menší rozdíl). Variabilita dat: variabilita dat zvyšuje variabilitu odhadů a ztěžuje tak  rozhodnutí o H0. Čím více jsou pozorované hodnoty variabilní, tím více dat  bude potřeba pro přesný odhad velikosti účinku (rozdílu). Hladina významnosti: snížíme‐li hladinu významnosti testu (např. zvolíme 0,01  místo 0,05), bude obtížnější H0 zamítnout → sníží se síla testu.  5. Statistická versus  klinická/biologická významnost  Tomáš Pavlík Biostatistika Klíčové principy – významnost Statistická významnost Praktická významnost ANO NE ANO OK, praktická i statistická  významnost jsou ve shodě. Významný výsledek je statistický  artefakt, prakticky nevyužitelný. NE Výsledek může být pouhá  náhoda, neprůkazný výsledek. OK, praktická i statistická  významnost jsou ve shodě. Statisticky nevýznamný výsledek neznamená, že pozorovaný rozdíl ve skutečnosti  neexistuje! Může to být způsobeno nedostatečnou informací v pozorovaných datech! Tomáš Pavlík Biostatistika Příklad Standardní léčba hypertenze snižuje systolický tlak (TKs) v průměru o 20 mmHg (střední hodnota v populaci). Klinicky významné by bylo zvýšení účinnosti o  dalších 10 mmHg (klinicky významná odchylka).  Jak tedy může nová léčba hypertenze dopadnout? Tomáš Pavlík Biostatistika Příklad Možnost Statistická vs. klinická významnost a) V průměru došlo ke snížení TKs o 24,7 mmHg, ale byla pozorována taková  variabilita v účinku, že 95% IS pro průměr byl (16,5; 32,9). b) V průměru došlo ke snížení TKs o 30,1 mmHg, ale byla pozorována taková  variabilita v účinku, že 95% IS pro průměr byl (19,6; 40,6). c) V průměru došlo ke snížení TKs o 31,5 mmHg, ale byla pozorována taková  variabilita v účinku, že 95% IS pro průměr byl (26,0; 37,0). d) V průměru došlo ke snížení TKs o 36,2 mmHg a byla pozorována taková  variabilita v účinku, že 95% IS pro průměr byl (32,1; 39,3). e) V průměru došlo ke snížení TKs o 22,9 mmHg, ale byla pozorována taková  variabilita v účinku, že 95% IS pro průměr byl (18,3; 27,5). f) V průměru došlo ke snížení TKs o 25,1 mmHg, ale byla pozorována taková  variabilita v účinku, že 95% IS pro průměr byl (21,6; 28,6). Tomáš Pavlík Biostatistika Problém násobného testování hypotéz V klinickém výzkumu se často potřebujeme testovat více hypotéz zároveň – např. při hodnocení stejného primárního parametru v rámci různých podskupin  souboru pacientů (A, B, C a D) → Je zajímavé podívat se na rozdíl i mezi  podskupinami, tedy podívat se, jak se liší skupiny A a B, B a C, apod. Tento fenomén v praxi vede k tzv. problému násobného testování hypotéz.  S narůstajícím počtem testovaných hypotéz nám roste také pravděpodobnost  získání falešně pozitivního výsledku, tedy pravděpodobnost toho, že se při  našem testování zmýlíme a ukážeme na statisticky významný rozdíl tam, kde  ve skutečnosti žádný neexistuje (chyba I. druhu). Použití korekčních procedur: Bonferroniho procedura, metoda Steela a Dwasse. Tomáš Pavlík Biostatistika Příklad Modelová situace: provedeme zároveň 60 testů (v době srovnávání  biochemických a genetických parametrů to není zase tolik). Použijeme‐li  klasickou hladinu významnosti 0,05 (resp. 5 %), máme pro každý test 5% riziko  získání falešně pozitivního výsledku. Vynásobíme‐li 60 a 0,05, vyjde nám, že  zhruba u 3 testů bychom měli dospět k falešně statisticky významnému závěru.  V případě genomických analýz, kde jsou často různé testy pouze formou  exploratorní analýzy, nemusí být přítomnost falešně pozitivních výsledků  fatální, v klinické praxi to však může vést k zavádějícím výsledkům a mylným  interpretacím. Tomáš Pavlík Biostatistika Poděkování… Rozvoj studijního oboru „Matematická biologie“ PřF MU  Brno je finančně podporován prostředky projektu ESF č.  CZ.1.07/2.2.00/07.0318 „Víceoborová inovace studia  Matematické biologie“ a státním rozpočtem České republiky