Přednáška VI. Intervalové odhady Motivace Směrodatná odchylka a směrodatná chyba Centrální limitní věta Intervaly spolehlivosti Tomáš Pavlík Biostatistika Opakování – nestranné a MLE Jaký je princip nestranných odhadů? Jaký je princip odhadů metodou MLE? Jak vypadají nestranný a MLE odhad parametru σ2? Tomáš Pavlík Biostatistika Opakování – použití průměru a mediánu Jmenujte výhody a nevýhody průměru a mediánu jako statistik pro odhad střední hodnoty náhodné veličiny. Jmenujte příklad, kdy průměr je výhodnější než medián, a příklad, kdy medián je výhodnější než průměr. 1. Motivace Tomáš Pavlík Biostatistika Spolehlivost bodového odhadu R0 x1 R0 x2 R0 x Umíme-li „změřit“ celou cílovou populaci, nepotřebujeme interval spolehlivosti, protože jsme schopni odhadnout sledovaný parametr přesně – v praxi je tato situace nereálná.R0 x1 R0 x2 ( ) ( ) Celá cílová populaceVýběr číslo 2Výběr číslo 1 Pracujeme-li s výběrem z cílové populace, je třeba na základě variability pozorovaných dat spočítat tzv. interval spolehlivosti pro bodový odhad. Interval spolehlivosti na základě výběru číslo 1. Tomáš Pavlík Biostatistika Intervalový odhad Bodový odhad je prvním krokem ve statistickém popisu dat. Co nám říká jedno číslo? Studie 1 může publikovat číslo x1, studie 2 číslo x2. Které je správnější, lepší, přesnější? Bodový odhad je sám o sobě nedostatečný pro popis parametru rozdělení pravděpodobnosti náhodné veličiny. Zajímá nás přesnost (spolehlivost) bodového odhadu. 2. Variabilita pozorování a variabilita výběrového průměru Tomáš Pavlík Biostatistika Populace a náhodná veličina Cílová populace – skupina subjektů, o které chceme zjistit nějakou informaci. Realizujeme-li náhodně výběr z cílové populace, dostaneme výběrovou populaci (experimentální vzorek). Znak X = náhodná veličina X – vlastnost, která nás zajímá. Realizace náhodné veličiny – reálné číslo, pozorovaná hodnota na vybraném subjektu. Náhodný výběr – množina n nezávislých náhodných veličin se stejným rozdělením: X1, X2,…, Xn. Realizace náhodného výběru – reálná čísla, hodnoty pozorované na výběrové populaci. Cílová populace Vzorek Základní prostor Ω Jev A ω1 R0 x Náhodná veličina X Tomáš Pavlík Biostatistika Pravděpodobnostní chování náhodné veličiny F(x), f(x) a p(x) – popisují chování náhodné veličiny úplně, ale složitě. Dvě charakteristiky odráží vlastnosti rozdělení jedním číslem: střední hodnota a rozptyl. Odmocnina z rozptylu je směrodatná odchylka. Platí následující: Jednotlivé realizace náhodné veličiny vykazují variabilitu (dle SD(X)). Jakákoliv statistika (např. průměr) je jako transformace náhodných veličin také náhodnou veličinou. Má tedy i rozdělení pravděpodobnosti. Jednotlivé realizace statistiky nad různými náhodnými výběry také vykazují variabilitu (opět úměrnou SD(X)). )(),(),( XSDXDXE Tomáš Pavlík Biostatistika Co je zajímavé – výběrový průměr Rozdělení pravděpodobnosti výběrového průměru tím méně variabilní čím více pozorování je v průměru zahrnuto. Rozdělení pravděpodobnosti výběrového průměru se s rostoucím n přestává podobat rozdělení původních dat a začíná se podobat rozdělení normálnímu. Proč? Tomáš Pavlík Biostatistika Co je zajímavé – výběrový průměr Rozdělení pravděpodobnosti výběrového průměru tím méně variabilní čím více pozorování je v průměru zahrnuto → plyne z vlastností rozptylu transformované náhodné veličiny. Rozdělení pravděpodobnosti výběrového průměru se s rostoucím n přestává podobat rozdělení původních dat a začíná se podobat rozdělení normálnímu → plyne z centrální limitní věty. Tomáš Pavlík Biostatistika Charakteristiky výběrového průměru Máme posloupnost X1, …, Xn nezávislých, stejně rozdělených náhodných veličin, které mají konečnou střední hodnotu μ a rozptyl σ2. n n n i in n i in n i in i XDXSD XDXD XEXE XX NX σ σ µ σµ == == == = ∑ ∑ ∑ = = = )()( )()( )()( ),(~ 2 2 1 1 1 1 1 1 2 Pro odhad, respektive statistiku, se tomuto výrazu říká směrodatná chyba nebo standardní chyba („standard error“) a značí se SE. Tomáš Pavlík Biostatistika Příklad – výběrový průměr Základní prostor Ω Jev A ω1 R0 x Náhodná veličina X R0 x3x1 x2 x5x4 Náhodný výběr X1, X2,…, Xn Výběrový průměr X R0 x Tomáš Pavlík Biostatistika Shrnutí Směrodatná odchylka (SD) není směrodatná chyba popisné statistiky (SE)! Směrodatná odchylka (SD) je odrazem variability náhodné veličiny ve sledované populaci. Směrodatná chyba (SE) je odrazem přesnosti popisné statistiky jako odhadu střední hodnoty náhodné veličiny. Pozor na rozdíl mezi SD a SE v článcích a knihách – tabulkách a grafech! Tomáš Pavlík Biostatistika Příklad – výška člověka Náhodná veličina bude výška člověka: , tedy uvažujme střední hodnotu 175 cm a směrodatnou odchylku 15 cm. Jak se chovají průměry pro náhodné výběry o velikosti n = 10, n = 100 a n = 1000? Kód v R: )15,175(~ 2 NX x <- rep(0, 100) # vytvořím si vektor pro ukládání průměrů for (i in 1:100) { pom <- rnorm(10, 175, 15) x[i] <- mean(pom)} # cyklus pro výpočet výběrových průměrů pro n=10 hist(x, breaks=10, xlim=c(160,190)) # vykreslení histogramu pro výběrové průměry pro n=10 for (i in 1:100) { pom <- rnorm(100, 175, 15) x[i] <- mean(pom)} # cyklus pro výpočet výběrových průměrů pro n=100 hist(x, breaks=10, xlim=c(160,190)) # vykreslení histogramu pro výběrové průměry pro n=100 for (i in 1:100) { pom <- rnorm(1000, 175, 15) x[i] <- mean(pom)} # cyklus pro výpočet výběrových průměrů pro n=1000 hist(x, breaks=10, xlim=c(160,190)) # vykreslení histogramu pro výběrové průměry pro n=1000 Tomáš Pavlík Biostatistika Příklad – výška člověka Výběrové průměry ze vzorku n = 10 Výběrové průměry ze vzorku n = 100 Výběrové průměry ze vzorku n = 1000 Původní pozorování mají rozsah hodnot zhruba od 120 cm do 220 cm. Kde se pohybují jednotlivé průměry? Tomáš Pavlík Biostatistika Příklad – výška člověka Výběrové průměry ze vzorku n = 10 Výběrové průměry ze vzorku n = 100 Výběrové průměry ze vzorku n = 1000 ),175(~ 10 15 1 2 NX ),175(~ 100 15 2 2 NX ),175(~ 1000 15 3 2 NX Původní pozorování mají rozsah hodnot zhruba od 120 cm do 220 cm. Kde se pohybují jednotlivé průměry? od 160 cm do 190 cm od 170 cm do 180 cm od 173 cm do 177 cm 3. Centrální limitní věta Tomáš Pavlík Biostatistika Připomenutí: standardizace normálního rozdělení Standardizace je transformace náhodné veličiny s N(μ,σ2) na N(0,1). Důvod: řada statistických metod byla odvozena pro standardizované normální rozdělení, N(0,1). Děláme to tedy opět kvůli lepší možnosti hodnocení dat. Teoretická standardizace náhodné veličiny: Praktická standardizace naměřených hodnot: 2 σ µ− = X U 2 s xx u i i − = Tomáš Pavlík Biostatistika Centrální limitní věta Klíčová věta umožňující sestrojení intervalových odhadů. Máme posloupnost X1, …, Xn nezávislých, stejně rozdělených náhodných veličin, které mají konečnou střední hodnotu μ a rozptyl σ2. Pak platí, že pro má suma Xi přibližně normální rozdělení pravděpodobnosti. ∞→n ∑= i iX Tomáš Pavlík Biostatistika Centrální limitní věta Máme posloupnost X1, …, Xn nezávislých, stejně rozdělených náhodných veličin, které mají konečnou střední hodnotu μ a rozptyl σ2. Pak platí, že pro má výběrový průměr přibližně normální rozdělení se střední hodnotou μ a rozptylem σ2/n. Tedy má přibližně standardizované normální rozdělení pravděpodobnosti: ∫ ∞− −− ∞→ =≤Ρ x u n X n duexn 2/ 2 1 / 2 )(lim πσ µ ∞→n ∑= i in XX 1 )//()( nX σµ− Tomáš Pavlík Biostatistika CLV – zjednodušená interpretace Pokud je rozdělení pravděpodobnosti náhodné veličiny normální, pak je i rozdělení průměru pozorovaných hodnot normální (a to i pro n = 1). Pokud rozdělení pravděpodobnosti náhodné veličiny není normální, pak je rozdělení průměru pozorovaných hodnot přibližně normální, když n je dostatečně velké ( ). „Dostatečně velké“ znamená > 30 pro rozdělení podobná normálnímu a > 100 pro rozdělení nepodobná normálnímu. ∞→n Tomáš Pavlík Biostatistika Co je super… Centrální limitní věta funguje i když rozdělení původní náhodné veličiny není normální rozdělení pravděpodobnosti. A dokonce i když není spojité! Tomáš Pavlík Biostatistika Příklad – binomické rozdělení Chceme sledovat s jakou přesností lze odhadnout podíl hypertoniků v dospělé populaci ČR. Předpokládejme, že skutečný podíl dospělých s hypertenzí je 0,2. Náhodná veličina X: osoba trpí / netrpí hypertenzí. Pravděpodobnostní funkce X (alternativní rozdělení) NeAno Hypertenze Tomáš Pavlík Biostatistika Příklad – binomické rozdělení Náhodná veličina S bude součet Xi, i = 1, …, n. Náhodná veličina Y bude definována jako S/n. Jak se chová Y pro náhodné výběry o velikosti n = 10, n = 100 a n = 1000? Kód v R: s <- rbinom(1000, 10, 0.2) # vytvořím si 1000 realizací veličiny S při n=10 a p=0,2 y <- s / 10 # S transformuji na 1000 realizací veličiny Y hist(y, breaks=10, xlim=c(0,1)) # vykreslení histogramu pro výběrové průměry pro n=10 s <- rbinom(1000, 100, 0.2) # vytvořím si 1000 realizací veličiny S při n=100 a p=0,2 y <- s / 100 # S transformuji na 1000 realizací veličiny Y hist(y, breaks=10, xlim=c(0,1)) # vykreslení histogramu pro výběrové průměry pro n=10 s <- rbinom(1000, 1000, 0.2) # vytvořím si 1000 realizací veličiny S při n=1000 a p=0,2 y <- s / 1000 # S transformuji na 1000 realizací veličiny Y hist(y, breaks=10, xlim=c(0,1)) # vykreslení histogramu pro výběrové průměry pro n=1000 pnSEYE npSE == = /)()( )( nppnSDYD pnpSD /))1((/)()( )1()( 2 −== −= Tomáš Pavlík Biostatistika Příklad – binomické rozdělení p = 0,2 p = 0,2 p = 0,2 1000 realizací veličiny Y při n = 10 1000 realizací veličiny Y při n = 100 1000 realizací veličiny Y při n = 1000 Tomáš Pavlík Biostatistika Příklad – Poissonovo rozdělení Tomáš Pavlík Biostatistika Co když ale n nejde do nekonečna? Není-li velikost vzorku n dostatečně velká, nelze rozdělení výběrových průměrů považovat za normální. Aproximace Studentovým t rozdělením (viz přednáška o jednotlivých rozdělení pravděpodobnosti: Lze ho chápat jako aproximaci normálního rozdělení pro malé vzorky, pro velké velikosti souborů konverguje k normálnímu rozdělení). 4. Intervalové odhady Tomáš Pavlík Biostatistika Co je super … pokračování Centrální limitní věta mi říká, že rozdělení pravděpodobnosti výběrového průměru můžu při dostatečném n aproximovat normálním rozdělením. Když provedu standardizaci, tak dokonce standardizovaným normálním rozdělením. )1,0(~)(lim / 2/ 2 1 / 2 Nduex n Xx u n X n nn σ µ πσ µ − ∞− −− ∞→ →=≤Ρ ∫ Tomáš Pavlík Biostatistika Interval spolehlivosti Princip vytvoření intervalového odhadu pro výběrový průměr, respektive konstrukce intervalu spolehlivosti pro výběrový průměr, je shodný s teoretickým pozadím pravidla ± 3σ. 68,3 % všech hodnot 95,6 % všech hodnot 99,7 % všech hodnot Tomáš Pavlík Biostatistika Připomenutí – kvantilová funkce Inverzní funkce k distribuční funkci, výsledkem není pravděpodobnost, ale číslo na reálné ose, které odpovídá určité pravděpodobnosti. Distribuční funkce Kvantilová funkce )()( xXPxF ≤= )())(( 11 pFxXPFxp −− =≤= Spojitá náhodná veličina P x Tomáš Pavlík Biostatistika Kvantily standardizovaného normální rozdělení z0,025 = -1,96 z0,050 = -1,64 1,96 = z0,975 1,64 = z0,950 z0,005 = -2,58 2,58 = z0,995 1 - α α / 2α / 2 90 % 95 % 99 % Pravděpodobnosti Kvantily Tomáš Pavlík Biostatistika Kvantily standardizovaného normální rozdělení Oblast, kde se náhodná veličina se standardizovaným normálním rozdělením realizuje s pravděpodobností 1 – α lze vyjádřit pomocí následujícího vztahu: ααα αααα −=−−=−=≤≤ −− 11)()()( 222/)1,0(2/1)1,0(2/12/ zFzFzZzP NN 1 - α α / 2α / 2 90 % 95 % 99 % Tomáš Pavlík Biostatistika 100(1–α)% interval spolehlivosti pro μ Máme náhodný výběr X1, X2, …, Xn z normálního rozdělení. Budeme předpokládat, že σ známe! Z předchozího snímku víme, že platí: Když si rozepíšeme a upravíme výraz na levé straně, dostaneme: 100(1–α)% IS pro μ má tvar: ααα αααα −=−−=−=≤≤ −− 11)()()( 222/)1,0(2/1)1,0(2/12/ zFzFzZzP NN ),(~ 2 σµNXi )()()(1 2/1/2/12/12/12/12/ ασ µ αααααα − − −−−− ≤≤−=≤≤−=≤≤=− zzPzZzPzZzP n X )()( 2/12/12/12/1 α σ α σ α σ α σ µµ −−−− +≤≤−=≤−≤−= zXzXPzXzP nnnn );(),( 2/12/1 α σ α σ −− +−= zXzXHD nn Tomáš Pavlík Biostatistika 100(1–α)% interval spolehlivosti pro μ Co ten vzorec znamená? Tedy zjednodušeně: );(),( 2/12/1 α σ α σ −− +−= zXzXHD nn nn n XSE NX σσ σ µ == 2 2 )( ),(~ )(IS)%1(100 2/1 XSEzX αα −±=− Tomáš Pavlík Biostatistika Interpretace intervalu spolehlivosti Poloha neznámého parametru je konstantní (jsme-li frekventisti)! 95% interval spolehlivosti má následující interpretaci: Pokud bychom opakovaně vybírali skupiny subjektů o stejné velikosti (n) a počítali výběrový průměr s 95% IS, pak 95 % těchto intervalů spolehlivosti neznámý parametr obsahuje a 5 % ho neobsahuje. Tedy 95% IS obsahuje neznámý parametr s rizikem α. R0 μ x1 ( ) d1 h1 x2 ( ) d2 h2 x3 ( ) d3 h3 ……… x100 ( ) d100 h100 x99 ( ) d99 h99 cca 95 % cca 5 % x ( ) d h x ( ) d h Tomáš Pavlík Biostatistika Co když neznáme σ? V předchozím případě jsme předpokládali, že známe přesnou hodnotu rozptylu / směrodatné odchylky. To je v praxi nereálné! Musíme použít jinou statistiku s jiným rozdělením pravděpodobnosti. Čím bychom mohli nahradit σ? K čemu to povede? Tomáš Pavlík Biostatistika Co když neznáme σ? Musíme použít jinou testovou statistiku s jiným rozdělením pravděpodobnosti. Čím bychom mohli nahradit σ? Logické je použít výběrovou směrodatnou odchylku s. Náhrada ale není úplně jednoduchá – není to dosazení s za σ. K čemu to bude? Pomocí s2 vytvoříme statistiku s chí-kvadrát rozdělením (χ2) – tu pak použijeme pro vytvoření statistiky se Studentovým t rozdělením (viz přednáška o jednotlivých rozděleních pravděpodobnosti): )(~ / )(~),1,0(~ 2 ktT kQ X TkQNX →=→χ ∑= − − = n i i xx n s 1 22 )( 1 1 Tomáš Pavlík Biostatistika Co když neznáme σ? Lze ukázat, že statistika Použijeme ještě standardizovanou normální veličinu A obě dohromady použijeme pro vytvoření T statistiky: Z toho plyne tvar 100(1–α)% intervalu spolehlivosti pro μ v případě, že neznáme hodnotu σ: )1(~ /)1/()1( /)( )1/( 22 −→ − = −− − = − = ntT ns X nsn Xn nK Z T nn µ σ σµ )1,0(~ / N n X Z n σ µ− = )1(~ 1 22 2 − − = ns n K χ σ ))1();1((),( 2/12/1 −+−−= −− ntXntXHD n s n s αα Tomáš Pavlík Biostatistika Příklad – konstrukce intervalu spolehlivosti Chceme sestrojit 95% IS pro odhad střední hodnoty systolického tlaku studentů vysokých škol. 98,1)1( Hgmm4,1100/14 Hgmm0,14 Hgmm4,123 100 2/1 =− == == = = − nt SE SDs X n n α ))1();1((),(IS%95 2/12/1 −+−−== −− ntXntXHD n s n s αα naměřené hodnoty z tabulek ))99(4,123);99(4,123(),(IS%95 2/05,01100 0,14 2/05,01100 0,14 −− +−== ttHD )2,126;6,120(),(IS%95 == HD Tomáš Pavlík Biostatistika Šířka intervalu spolehlivosti Co ovlivňuje šířku intervalu spolehlivosti? 1. Velikost vzorku – s rostoucí velikostí vzorku je IS užší (máme více informace a odhad je přesnější), zároveň se kvantily t rozdělení blíží kvantilům standardizovaného normálního rozdělení. 2. Variabilita náhodné veličiny 3. Spolehlivost, kterou požadujeme ))1();1((),(proIS)%1(100 2/12/1 −+−−==− −− ntXntXHD n s n s ααµα Tomáš Pavlík Biostatistika Šířka intervalu spolehlivosti Co ovlivňuje šířku intervalu spolehlivosti? 1. Velikost vzorku 2. Variabilita náhodné veličiny – čím náhodná veličina vykazuje větší variabilitu, tím je IS pro odhad střední hodnoty širší, tedy odhad je méně přesný. 3. Spolehlivost, kterou požadujeme ))1();1((),(proIS)%1(100 2/12/1 −+−−==− −− ntXntXHD n s n s ααµα Tomáš Pavlík Biostatistika Šířka intervalu spolehlivosti Co ovlivňuje šířku intervalu spolehlivosti? 1. Velikost vzorku 2. Variabilita náhodné veličiny 3. Spolehlivost, kterou požadujeme – chceme-li mít větší jistotu, že náš IS pokrývá neznámou střední hodnotu, IS musí být samozřejmě širší, stačí-li nám menší spolehlivost, bude užší. Standardně se používá 95% IS (ale také 90% anebo 99%) ))1();1((),(proIS)%1(100 2/12/1 −+−−==− −− ntXntXHD n s n s ααµα Tomáš Pavlík Biostatistika Poznámka 1 Lze vytvořit i IS pro odhad parametru σ, který je založen na již zmíněné statistice K. Lze vytvořit i IS pro odhad podílu dvou parametrů σ1 a σ2 (pomocí F statistiky). Ten lze použít pro hodnocení homogenity rozptylů dvou výběrů, která je jedním z předpokladů v testování hypotéz. )1(~ 1 22 2 − − = ns n K χ σ Tomáš Pavlík Biostatistika Poznámka 2 Velmi důležitý je i IS pro odhad střední hodnoty rozdílu dvou náhodných veličin. Známe-li σ1 a σ2, provedeme standardizaci a pak odvodíme 100(1-α)% IS: Neznáme-li σ1 a σ2, použijeme statistiky K1 a K2, abychom se zbavili σ1 a σ2, výsledná statistika má opět Studentovo t rozdělení. ),(~ 2 11 σµNX ),(~ 2 22 σµNY ),(~ 2 2 2 1 2 1 21 nnNYX σσ µµ +−− ),(~ 1 2 1 1 nNX σ µ ),(~ 2 2 2 2 nNY σ µ )(1 2 2 2 ! 2 1 2 2 2 ! 2 1 2/1212/1 nnnn zYXzYXP σσ α σσ α µµα ++−≤−≤+−−=− −− ))2()2((1 2 2 2 1 2 1 2 2 2 1 2 1 212/121212/1 n s n s n s n s nntYXnntYXP +−++−≤−≤+−+−−=− −− αα µµα Tomáš Pavlík Biostatistika Příklad Radiofrekvenční ablace tkáně slinivky břišní u prasat. Sledujeme vliv typu chlazení okolních struktur (A – žádné, B – průplach vodou) na největší rozměr nekrózy. Zajímá nás rozdíl v efektu obou typů chlazení a jeho 95% IS. Dosadíme do vzorce s použitím příslušného t kvantilu: 17 18 = = B A n n mm8,21 mm1,25 = = B A x x mm58,017/4,2 mm19,018/8,0 == == B A SE SE 03,2)21718(975,0 =−+t ))2()2((1 2222 2/12/1 B B A A B B A A n s n s BABABAn s n s BABA nntxxnntxxP +−++−≤−≤+−+−−=− −− αα µµα 4,2 8,0 == == BB AA sSD sSD ))33(3,3)33(3,3( 17 4,2 18 8,0 975,017 4,2 18 8,0 975,0 2222 ++≤−≤+−= ttP BA µµ )5,41,2( ≤−≤= BAP µµ Tomáš Pavlík Biostatistika Poznámka 3 Interval spolehlivosti počítá pouze s variabilitou danou náhodným výběrem, nepočítá se zdroji systematického zkreslení. Příklady: Měření krevního tlaku může být systematicky zkresleno starým měřidlem („technical bias“). Měření krevního tlaku může být systematicky zkresleno tím, že se do studie přihlásí pouze určitá skupina osob („selection bias“). Tomáš Pavlík Biostatistika Neparametrické metody pro konstrukci IS Variabilitu výběrového průměru lze odhadnout i pomocí neparametrických metod: Bootstrap – je založen na principu opakovaného vzorkování naměřených dat s vracením, kdy pro vytvoření nového vzorku dat může být každý prvek použit více než jednou, právě jednou anebo není použit vůbec (ovšem se zachováním celkové velikosti souboru n i velikosti jednotlivých skupin). Jackknife – opakovaný výpočet sledované charakteristiky je prováděn vždy s vynecháním právě jednoho pozorování. Tento postup nám stejně jako v případě metody bootstrap poskytuje představu o rozsahu hodnot, ve kterých se námi sledovaná charakteristika může pohybovat, budeme li považovat naměřená data za reprezentativní vzorek z cílové populace. Tomáš Pavlík Biostatistika Příklad Máme náhodný výběr o velikosti n = 100 z N(0,1). Vytvoříme 95% IS pro průměr pomocí směrodatné chyby a pomocí metody bootstrap (1000 bootstrap vzorků). 079,0=x )284,0;126,0(),( −=hd )264,0;133,0(),( −=hd Tomáš Pavlík Biostatistika Poděkování… Rozvoj studijního oboru „Matematická biologie“ PřF MU Brno je finančně podporován prostředky projektu ESF č. CZ.1.07/2.2.00/07.0318 „Víceoborová inovace studia Matematické biologie“ a státním rozpočtem České republiky