Základní pojmy matematické statistiky Motivace: Matematická statistika je věda, která analyzuje a interpretuje data především za účelem získání předpovědi a zlepšení rozhodování v různých oborech lidské činnosti. Přitom se řídí principem statistické indukce, tj. na základě znalostí o náhodném výběru z určitého rozložení pravděpodobností se snaží učinit závěry o vlastnostech tohoto rozložení. Ústředním pojmem matematické statistiky je tedy pojem náhodného výběru. Definice náhodného výběru: a) Nechť X[1], ..., X[n] jsou stochasticky nezávislé náhodné veličiny, které mají všechny stejné rozložení L( ). Řekneme, že X[1], ..., X[n ] je náhodný výběr rozsahu n z rozložení L( ). (Číselné realizace x[1], ..., x[n] náhodného výběru X[1], ..., X[n] uspořádané do sloupcového vektoru odpovídají datovému souboru zavedenému v popisné statistice.) b) Nechť (X[1],Y[1]), ..., (X[n],Y[n]) jsou stochasticky nezávislé dvourozměrné náhodné vektory, které mají všechny stejné dvourozměrné rozložení L[2](υ). Řekneme, že (X[1],Y[1]), ..., (X[n],Y[n]) je dvourozměrný náhodný výběr rozsahu n z dvourozměrného rozložení L[2]( ). (Číselné realizace (x[1],y[1]), ..., (x[n],y[n]) náhodného výběru (X[1],Y[1]), ..., (X[n],Y[n]) uspořádané do matice typu n 2 odpovídají dvourozměrnému datovému souboru zavedenému v popisné statistice.) c) Analogicky lze definovat p-rozměrný náhodný výběr rozsahu n z p-rozměrného rozložení L[p]( ). Definice statistiky: Libovolná funkce T = T(X[1], ..., X[n]) náhodného výběru X[1], ..., X[n] (resp. T = T(X[1],Y[1], ..., X[n],Y[n]) náhodného výběru (X[1],Y[1]), ..., (X[n],Y[n])) se nazývá (výběrová) statistika. Definice důležitých statistik: a) Nechť X[1], ..., X[n] je náhodný výběr, n ≥ 2. M = … výběrový průměr, S^2 = … výběrový rozptyl, S = … výběrová směrodatná odchylka Pro libovolné, ale pevně dané reálné číslo x je statistikou též hodnota výběrové distribuční funkce b) Nechť je dáno r ≥ 2 stochasticky nezávislých náhodných výběrů o rozsazích n[1] ≥ 2, …, n[r] ≥ 2. Celkový rozsah je . Označme M[1], …, M[r] výběrové průměry a S[1]^2, …, S[r]^2 výběrové rozptyly jednotlivých výběrů. Nechť c[1], …, c[r] jsou reálné konstanty, aspoň jedna nenulová. … lineární kombinace výběrových průměrů, … vážený průměr výběrových rozptylů. c) Nechť (X[1],Y[1]), ..., (X[n],Y[n]) je náhodný výběr z dvourozměrného rozložení . Označme , výběrové průměry, , výběrové rozptyly. S[12] = … výběrová kovariance, R[12] = … výběrový koeficient korelace. Pro libovolnou, ale pevně zvolenou dvojici reálných čísel x,y je statistikou též hodnota výběrové simultánní distribuční funkce . Upozornění: Číselné realizace statistik M, S^2, S, S[12], R[12] odpovídají číselným charakteristikám m, s^2, s, s[12], r[12] zavedeným v popisné statistice, ale u rozptylu, směrodatné odchylky, kovariance a koeficientu korelace je multiplikativní konstanta , nikoliv , jak tomu bylo v popisné statistice. Jak uvidíme později, uvedené číselné realizace mohou být považovány za odhady číselných realizací náhodných veličin zavedených v počtu pravděpodobnosti. Charakteristika vlastnosti Počet pravděpodobnosti Matematická statistika Popisná statistika poloha E(X) = μ M m variabilita D(X) = σ^2 S^2 variabilita S společná variabilita C(X[1], X[2]) = σ[12] S[12] těsnost vztahu R(X[1], X[2]) = ρ R[12] r[12] rozložení Ф(x) F[n](x) F(x) Příklad (výpočet realizací výběrového průměru, výběrového rozptylu a hodnot výběrové distribuční funkce): Desetkrát nezávisle na sobě byla změřena jistá konstanta μ. Výsledky měření byly: 2 1,8 2,1 2,4 1,9 2,1 2 1,8 2,3 2,2. Tyto výsledky považujeme za číselné realizace náhodného výběru X[1], ..., X[10]. Vypočtěte realizaci m výběrového průměru M, realizaci s^2 výběrového rozptylu S^2, realizaci s výběrové směrodatné odchylky S a hodnoty výběrové distribuční funkce F[10](x). Řešení: Pro usnadnění výpočtu hodnot výběrové distribuční funkce F[10](x) uspořádáme měření podle velikosti: 1,8 1,8 1,9 2 2 2,1 2,1 2,2 2,3 2,4. Příklad (výpočet realizace výběrového koeficientu korelace): U 11 náhodně vybraných aut jisté značky bylo zjišťováno jejich stáří (náhodná veličina X – v letech) a cena (náhodná veličina Y – v tisících Kč). Výsledky: (5, 85), (4, 103), (6, 70), (5, 82), (5, 89), (5, 98), (6, 66), (6, 95), (2, 169), (7, 70), (7, 48). Vypočtěte a interpretujte číselnou realizaci r[12] výběrového koeficientu korelace R[12]. Řešení: Mezi náhodnými veličinami X a Y existuje silná nepřímá lineární závislost. Čím starší auto, tím nižší cena. Bodové a intervalové odhady parametrů a parametrických funkcí Vycházíme z náhodného výběru X[1], ..., X[n] z rozložení L( ), které závisí na parametru . Množinu všech přípustných hodnot tohoto parametru označíme Ξ. Tato množina se nazývá parametrický prostor. Např. je-li X[1], ..., X[n] náhodný výběr z rozložení N(μ,σ^2), pak a v tomto případě parametrický prostor Ξ = . Parametr neznáme a chceme ho odhadnout pomocí daného náhodného výběru (případně chceme odhadnout nějakou parametrickou funkci h( )). Bodovým odhadem parametrické funkce h( ) je statistika T[n] = T(X[1], ..., X[n]), která nabývá hodnot blízkých h( ), ať je hodnota parametru jakákoliv. Existují různé metody, jak konstruovat bodové odhady (např. metoda momentů či metoda maximální věrohodnosti, ale těmi se zde zabývat nebudeme) a také různé typy bodových odhadů. Omezíme se na odhady nestranné, asymptoticky nestranné a konzistentní. Intervalovým odhadem parametrické funkce h( ) rozumíme interval (D, H), jehož meze jsou statistiky D = D(X[1], ..., X[n]), H = H(X[1], ..., X[n]) a který s dostatečně velkou pravděpodobností pokrývá h( ), ať je hodnota parametru jakákoliv. Typy bodových odhadů Nechť X[1], ..., X[n] je náhodný výběr z rozložení L( ), h( ) je parametrická funkce, T, T[1], T[2], ... jsou statistiky. a) Řekneme, že statistika T je nestranným odhadem parametrické funkce h( ), jestliže E(T) = h( ). (Význam nestrannosti spočívá v tom, že odhad T nesmí parametrickou funkci h( ) systematicky nadhodnocovat ani podhodnocovat. Není-li tato podmínka splněna, jde o vychýlený odhad.) b) Jsou-li T[1], T[2] nestranné odhady téže parametrické funkce h( ), pak řekneme, že T[1] je lepší odhad než T[2], jestliže D(T[1]) < D(T[2]). c) Posloupnost se nazývá posloupnost asymptoticky nestranných odhadů parametrické funkce h( ), jestliže (Význam asymptotické nestrannosti spočívá v tom, že s rostoucím rozsahem výběru klesá vychýlení odhadu.) d) Posloupnost se nazývá posloupnost konzistentních odhadů parametrické funkce h( ), jestliže (Význam konzistence spočívá v tom, že s rostoucím rozsahem výběru klesá pravděpodobnost, že odhad se bude realizovat „daleko“ od parametrické funkce h( ).) Lze dokázat, že z nestrannosti odhadu vyplývá jeho asymptotická nestrannost a z asymptotické nestrannosti vyplývá konzistence, pokud posloupnost rozptylů odhadu konverguje k nule. Vlastnosti důležitých statistik a) Případ jednoho náhodného výběru: Nechť X[1], ..., X[n ]je náhodný výběr z rozložení se střední hodnotou μ, rozptylem σ^2 a distribuční funkcí Φ(x). Nechť n ≥ 2. Označme M[n] výběrový průměr, S[n]^2 výběrový rozptyl a pro libovolné, ale pevně dané označme F[n](x) hodnotu výběrové distribuční funkce. Pak pro libovolné hodnoty parametrů μ , σ^2 a libovolné, ale pevně dané reálné číslo x platí: E(M[n]) = μ, D(M[n]) = , E(S[n]^2) = σ^2, D(S[n]^2) = , kde γ[4] je 4. centrální moment, E(F[n](x)) = Ф(x), Znamená to, že M[n] je nestranným odhadem μ, S[n]^2 je nestranným odhadem σ^2, pro libovolné, ale pevně dané je výběrová distribuční funkce F[n](x) nestranným odhadem Φ(x). Posloupnost je posloupnost konzistentních odhadů μ, je posloupnost konzistentních odhadů σ^2 , pro libovolné, ale pevně dané je posloupnost konzistentních odhadů Φ(x). Ilustrace: Vlastnosti výběrového průměru a výběrového rozptylu budeme ilustrovat na náhodném výběru rozsahu 100 z rozložení Rs(0,1). V tomto případě E(X[i]) = 1/2, D(X[i]) = 1/12, i = 1, …, 100. Pomocí systému STATISTICA vygenerujeme pro každou z náhodných veličin X[1], …, X[100] 100 realizací a uložíme je do proměnných v[1], …, v[100]. Dále vypočítáme průměr a rozptyl těchto realizací, uložíme je do proměnných PRUMER a ROZPTYL. Graficky znázorníme hodnoty některé z proměnných v[1], …, v[100] (např. v[1]) a hodnoty proměnné PRUMER: Vidíme, že hodnoty proměnné v[1]^ kolísají od 0 do 1, zatímco hodnoty proměnné PRUMER se nacházejí v úzkém pásu kolem 1/2. Dále vypočteme průměr a rozptyl např. proměnné v1 a proměnné PRUMER a dále vypočtěte průměr proměnné ROZPTYL. Průměr proměnné v1 by měl být blízký 0,5, rozptyl 1/12 = 0,083. Průměr proměnné PRUMER by se měl blížit 0,5, zatímco rozptyl by měl být n = 100 x menší než 1/12, tj. 0,00083. Dále průměr proměnné ROZPTYL by se měl blížit 1/12 = 0,083. Nestrannost výběrové distribuční funkce budeme ilustrovat na náhodném výběru rozsahu 1000 z rozložení N(0,1). Získáme výběrovou distribuční funkci tohoto výběru a její graf porovnáme s grafem distribuční funkce náhodné veličiny se standardizovaným normálním rozložením. Graf výběrové distribuční funkce má černou barvu, graf distribuční funkce standardizovaného normálního rozložení má červenou barvu. Průběh výběrové distribuční funkce F[1000](x) je velmi podobný průběhu distribuční funkce Ф(x). Pokud bychom postup zopakovali s podstatně menším rozsahem náhodného výběru (např. n = 100), průběh obou funkcí by se lišil výrazněji: b) Případ r ≥ 2 stochasticky nezávislých náhodných výběrů: Nechť , ..., je r stochasticky nezávislých náhodných výběrů o rozsazích n[1] ≥ 2, ..., n[r] ≥ 2 z rozložení se středními hodnotami μ[1], ..., μ[r] a rozptylem σ^2. Celkový rozsah je . Nechť c[1], ..., c[r] jsou reálné konstanty, aspoň jedna nenulová. Pak pro libovolné hodnoty parametrů μ[1], …, μ[r] a σ^2 platí: , E(S[*]^2) = σ^2. Znamená to, že lineární kombinace výběrových průměrů je nestranným odhadem lineární kombinace středních hodnot a vážený průměr výběrových rozptylů je nestranným odhadem rozptylu σ^2. c) Případ jednoho náhodného výběru z dvourozměrného rozložení: Nechť (X[1],Y[1]), ..., (X[n],Y[n]) je náhodný výběr z dvourozměrného rozložení s kovariancí σ[12] a koeficientem korelace ρ. Pak pro libovolné hodnoty parametrů σ[12 ]a ρ platí: E(S[12]) = σ[12], E(R[12]) ≈ ρ (shoda je vyhovující pro n ≥ 30). Znamená to, že výběrová kovariance S[12] je nestranným odhadem kovariance σ[12], avšak výběrový koeficient korelace R[12] je vychýleným odhadem koeficientu korelace ρ. Pojem intervalu spolehlivosti Nechť X[1], ..., X[n] je náhodný výběr z rozložení L( ), h( ) je parametrická funkce, α (0,1), D = D(X[1], ..., X[n]), H = H(X[1], ..., X[n]) jsou statistiky. a) Interval (D, H) se nazývá 100(1-α)% (oboustranný) interval spolehlivosti pro parametrickou funkci h( ), jestliže: P(D < h( ) < H) ≥ 1-α. b) Interval (D, ∞) se nazývá 100(1-α)% levostranný interval spolehlivosti pro parametrickou funkci h( ), jestliže: P(D < h( )) ≥ 1-α. c) Interval (-∞, H) se nazývá 100(1-α)% pravostranný interval spolehlivosti pro parametrickou funkci h( ), jestliže: P(h( ) < H) ≥ 1-α. Číslo α se nazývá riziko (zpravidla α = 0,05, méně často 0,1 či 0,01), číslo 1 – α se nazývá spolehlivost. Postup při konstrukci intervalu spolehlivosti a) Vyjdeme ze statistiky V, která je nestranným bodovým odhadem parametrické funkce h( ). b) Najdeme tzv. pivotovou statistiku W, která vznikne transformací statistiky V, je monotónní funkcí h( ) a přitom její rozložení je známé a na h( ) nezávisí. Pomocí známého rozložení pivotové statistiky W najdeme kvantily w[α/2], w[1-α/2], takže platí: : P(w[α/2] < W < w[1-α/2]) ≥ 1 – α. c) Nerovnost w[α/2] < W < w[1-α/2] převedeme ekvivalentními úpravami na nerovnost D < h( ) < H. d) Statistiky D, H nahradíme jejich číselnými realizacemi d, h a získáme tak 100(1-α)% empirický interval spolehlivosti, o němž prohlásíme, že pokrývá h( ) s pravděpodobností aspoň 1 – α. (Tvrzení, že (d,h) pokrývá h( ) s pravděpodobností aspoň 1 – α je třeba chápat takto: jestliže mnohonásobně nezávisle získáme realizace x[1], ..., x[n] náhodného výběru X[1], ..., X[n] z rozložení L( ) a pomocí každé této realizace sestrojíme 100(1-α)% empirický interval spolehlivosti pro h( ), pak podíl počtu těch intervalů, které pokrývají h( ) k počtu všech sestrojených intervalů bude přibližně 1 – α.) Ilustrace: Jestliže 100x nezávisle na sobě uskutečníme náhodný výběr z rozložení se střední hodnotou μ a pokaždé sestrojíme 95% empirický interval spolehlivosti pro μ, pak přibližně v 95-ti případech bude ležet parametr μ v intervalech spolehlivosti a asi v 5-ti případech interval spolehlivosti μ nepokryje. Volba oboustranného, levostranného, nebo pravostranného intervalu závisí na konkrétní situaci. Např. oboustranný interval spolehlivosti použije konstruktér, kterého zajímá dolní i horní hranice pro skutečnou délku μ nějaké součástky. Levostranný interval spolehlivosti použije výkupčí drahých kovů, který potřebuje znát dolní mez pro skutečný obsah zlata μ v kupovaném slitku. Pravostranný interval spolehlivosti použije chemik, který potřebuje znát horní mez pro obsah nečistot μ v analyzovaném vzorku. Příklad: Nechť X[1], ..., X[n] je náhodný výběr z rozložení N(μ,σ^2), kde n ≥ 2 a rozptyl σ^2 známe. Sestrojte 100(1-α)% interval spolehlivosti pro neznámou střední hodnotu μ. Řešení: V tomto případě parametrická funkce h( ) = μ. Nestranným odhadem střední hodnoty je výběrový průměr M = . Protože M je lineární kombinací normálně rozložených náhodných veličin, bude mít také normální rozložení se střední hodnotou E(M) = μ a rozptylem D(M) = . Pivotovou statistikou W bude standardizovaná náhodná veličina ~ N(0,1). Kvantil w[α/2] = u[α/2] = -u[1-α/2], w[1-α/2] = u[1-α/2]. : 1 – α ≤ P(-u[1-α/2] < U < u[1-α/2]) = . Meze 100(1-α)% intervalu spolehlivosti pro střední hodnotu μ při známém rozptylu σ^2 tedy jsou: D = , H = . Při konstrukci jednostranných intervalů spolehlivosti se riziko nepůlí, tedy 100(1-α)% levostranný interval spolehlivosti pro μ je a pravostranný je . Dosadíme-li do vzorců pro dolní a horní mez číselnou realizaci m výběrového průměru M, dostaneme 100(1-α)% empirický interval spolehlivosti. Postup si ukážeme na následujícím numerickém příkladu. Příklad: 10 krát nezávisle na sobě byla změřena jistá konstanta μ. Výsledky měření byly: 2 1,8 2,1 2,4 1,9 2,1 2 1,8 2,3 2,2. Tyto výsledky považujeme za číselné realizace náhodného výběru X[1], ..., X[10] z rozložení N(μ, σ^2), kde μ neznáme a σ^2 = 0,04. Najděte 95% empirický interval spolehlivosti pro μ, a to a) oboustranný, b) levostranný, c) pravostranný. Řešení: Vypočteme realizaci výběrového průměru: m = 2,06. Riziko α je 0,05. V tabulkách najdeme kvantil u[0,975] = 1,96 pro oboustranný interval spolehlivosti a kvantil u[0,95] = 1,64 pro jednostranné intervaly spolehlivosti. ad a) d = m - u[1-α/2] = 2,06 - 1,96 = 1,94 h = m + u[1-α/2] = 2,06 + 1,96 = 2,18 1,94 < μ < 2,18 s pravděpodobností aspoň 0,95. ad b) d = m - u[1-α] = 2,06 - 1,64 = 1,96 1,96 < μ s pravděpodobností aspoň 0,95. ad c) h = m + u[1-α] = 2,06 + 1,64 = 2,16 μ < 2,16 s pravděpodobností aspoň 0,95. Šířka intervalu spolehlivosti Nechť (d, h) je 100(1-α)% empirický interval spolehlivosti pro h( ) zkonstruovaný pomocí číselných realizací x[1], ..., x[n] náhodného výběru X[1], ..., X[n] z rozložení L( ). a) Při konstantním riziku klesá šířka h-d s rostoucím rozsahem náhodného výběru. b) Při konstantním rozsahu náhodného výběru klesá šířka h-d s rostoucím rizikem. Ilustrace ad a) Grafické znázornění závislosti dolních a horních meze 95% empirických intervalů spolehlivosti pro střední hodnotu normálního rozložení při známém rozptylu na rozsahu náhodného výběru: Vidíme, že šířka intervalu spolehlivosti klesá se zvětšujícím se rozsahem náhodného výběru, zprvu rychle a pak stále pomaleji. ad b) Grafické znázornění závislosti dolních a horních mezí 100(1-α)% empirických intervalů spolehlivosti pro střední hodnotu normálního rozložení při známém rozptylu a konstantním rozsahu výběru na riziku: Vidíme, že šířka intervalu spolehlivosti s rostoucím rizikem klesá. Příklad: (stanovení minimálního rozsahu výběru z normálního rozložení) Nechť X[1], ..., X[n] je náhodný výběr z N(μ, σ^2), kde σ^2 známe. Jaký musí být minimální rozsah výběru n, aby šířka 100(1-α)% empirického intervalu spolehlivosti pro střední hodnotu μ nepřesáhla číslo Δ? Řešení: Požadujeme, aby Δ ≥ h – d = . Z této podmínky dostaneme, že . Za rozsah výběru zvolíme nejmenší přirozené číslo vyhovující této podmínce. Příklad: Hloubka moře se měří přístrojem, jehož systematická chyba je nulová a náhodné chyby měření mají normální rozložení se směrodatnou odchylkou σ = 1 m. Kolik měření je nutno provést, aby se hloubka stanovila s chybou nejvýše ± 0,25 m při spolehlivosti 0,95? Řešení: Hledáme rozsah výběru tak, aby šířka 95% intervalu spolehlivosti pro střední hodnotu μ nepřesáhla 0,5 m. Přitom σ známe. Z předešlého příkladu vyplývá, že . Nejmenší počet měření je tedy 62. Plánování pokusů Metody matematické statistiky často slouží k vyhodnocování výsledků pokusů. Aby mohl být pokus správně vyhodnocen, musí být dobře naplánován. Uvedeme zde nejjednodušší typy uspořádání pokusů Předpokládejme například, že sledujeme hmotnostní přírůstky selat téhož plemene při různých výkrmných dietách. a) Jednoduché pozorování: Náhodná veličina X je pozorována za týchž podmínek. Situace je charakterizována jedním náhodným výběrem X[1], ..., X[n]. Náhodně vylosujeme n selat téhož plemene, podrobíme je jediné výkrmné dietě a zjistíme u každého selete hmotnostní přírůstek. Tím dostaneme realizaci jednoho náhodného výběru. b) Dvojné pozorování: Náhodná veličina X je pozorována za dvojích různých podmínek. Existují dvě odlišná uspořádání tohoto pokusu. Dvouvýběrové porovnávání: situace je charakterizována dvěma nezávislými náhodnými výběry a . Náhodně vylosujeme n[1 ]a n[2] selat téhož plemene, náhodně je rozdělíme na dva soubory o n[1 ]a n[2] jedincích, první podrobíme výkrmné dietě č. 1 a druhý výkrmné dietě číslo 2. Tak dostaneme realizace dvou nezávislých náhodných výběrů. Párové porovnávání: situace je charakterizována jedním náhodným výběrem z dvourozměrného rozložení. Přejdeme k rozdílovému náhodnému výběru Z[i] = X[i1] – X[i2], i = 1, …, n a tím dostaneme jednoduché pozorování. Náhodně vylosujeme n vrhů stejně starých selat téhož plemene, z každého odebereme dva sourozence a náhodně jim přiřadíme první a druhou výkrmnou dietu. Tak dostaneme realizaci jednoho dvourozměrného náhodného výběru, kde první složka odpovídá první dietě a druhá složka druhé dietě. (Párové porovnávání je efektivnější, protože skutečný rozdíl v účinnosti obou diet je překrýván pouze náhodnými vlivy při samotném krmení a trvání, kdežto vliv různých dědičných vloh, který byl losováním znáhodněn, je u sourozeneckého páru selat částečně vyloučen.) c) Mnohonásobné pozorování: Náhodná veličina X je pozorována za r ≥ 3 různých podmínek. Existují dvě odlišná uspořádání tohoto pokusu. Mnohovýběrové porovnávání: situace je charakterizována r nezávislými náhodnými výběry až . Náhodně vylosujeme n[1 ], n[2], …, n[r] selat téhož plemene, náhodně je rozdělíme na r souborů o n[1 ], n[2], …, n[r] jedincích, první podrobíme výkrmné dietě č. 1, druhý výkrmné dietě číslo 2 atd. až r-tý podrobíme výkrmné dietě číslo r. Tak dostaneme realizace r nezávislých náhodných výběrů. Blokové porovnávání: situace je charakterizována jedním náhodným výběrem z r-rozměrného rozložení. Náhodně vylosujeme n vrhů stejně starých selat téhož plemene, z každého odebereme r sourozenců a náhodně jim přiřadíme první až r-tou výkrmnou dietu. Tak dostaneme realizaci jednoho r-rozměrného náhodného výběru, kde první složka odpovídá první dietě, druhá složka druhé dietě atd. až r-tá složka odpovídá r-té dietě.