5. Metody hledání bodových odhadů parametrů. Úvod do testování hypotéz. 5.1. Motivace: Nechť X[1], ..., X[n] je náhodný výběr z rozložení L( ), které závisí na parametru . Úkolem je najít statistiku T = T(X[1], ..., X[n]), která nabývá hodnot blízkých parametru resp. parametrické funkci h( ), ať je hodnota parametru jakákoliv. Seznámíme se se dvěma metodami hledání bodových odhadů, a to metodou maximální věrohodnosti a metodou momentů. 5.2. Definice: Definice maximálně věrohodného odhadu. Nechť X[1], ..., X[n] je náhodný výběr z diskrétního rozložení (je popsáno pravděpodobnostní funkcí π(x; ) resp. ze spojitého rozložení (je popsáno hustotou φ(x; )). Simultánní pravděpodobnostní funkce resp. simultánní hustota náhodného vektoru (X[1], ..., X[n]) je π(x[1] ; )…π(x[n] ; ) resp. φ (x[1]; )…φ (x[n]; ). Pro pevně dané x = (x[1], ..., x[n]) zavedeme věrohodnostní funkci = v diskrétním případě resp. = ve spojitém případě. Statistika , která má tu vlastnost, že , se nazývá maximálně věrohodný odhad parametru . (Místo věrohodnostní funkce používáme logaritmickou věrohodnostní funkci ln .) 5.3. Definice: Definice věrohodnostních rovnic. Nechť = . Logaritmickou věrohodnostní funkci ln parciálně derivujeme podle a derivace položíme rovny 0: , i = 1, 2, …, k. Dostaneme systém věrohodnostních rovnic. Jeho řešením je maximálně věrohodný odhad parametru : . 5.4. Příklad: (Maximálně věrohodný odhad v diskrétním skalárním případě) Nechť X[1], ..., X[n] je náhodný výběr z alternativního rozložení . Metodou maximální věrohodnosti najděte odhad parametru . Řešení: X ~ => π(x) = Věrohodnostní funkce: pro x[i] = 0, 1, = 0 jinak. Logaritmická funkce věrohodnosti: Věrohodnostní rovnice: Maximálně věrohodným odhadem parametru alternativního rozložení je tedy statistika , tj. výběrový průměr. 5.5. Příklad: (Maximálně věrohodný odhad ve spojitém vektorovém případě) Nechť X[1], ..., X[n] je náhodný výběr z normálního rozložení N(μ, σ^2). Metodou maximální věrohodnosti najděte odhad vektorového parametru = (μ, σ^2). Řešení: X ~ N(μ, σ^2) => φ(x) = . Věrohodnostní funkce: = . Logaritmická funkce věrohodnosti: = . Věrohodnostní rovnice: Z první rovnice plyne . Maximálně věrohodným odhadem parametru μ je tedy statistika , tj. výběrový průměr. Z druhé rovnice plyne . Za μ dosadíme odhad a získáme . Maximálně věrohodným odhadem parametru σ^2 je tedy statistika . 5.6. Definice: Definice momentového odhadu Nechť X[1], ..., X[n] je náhodný výběr z rozložení L( ), . Předpokládáme, že existuje prvních k počátečních momentů rozložení L( ), r = 1, 2, …, k. Označme výběrové počáteční momenty, r = 1, 2, …, k. Statistika , která je řešením systému momentových rovnic , r = 1, 2, …, k, se nazývá momentový odhad parametru . 5.7. Příklad: Nechť X[1], ..., X[n] je náhodný výběr z geometrického rozložení Ge . Metodou momentů najděte odhad parametru . Řešení: X ~ Ge => π(x) = . Lze odvodit, že . Momentová rovnice: , tj. . 5.8. Motivace k testování hypotéz. Častým úkolem statistika je na základě dat ověřit předpoklady o parametrech nebo typu rozložení, z něhož pochází náhodný výběr. Takovému předpokladu se říká nulová hypotéza. Nulová hypotéza vyjadřuje nějaký teoretický předpoklad, často skeptického rázu a uživatel ji musí stanovit předem, bez přihlédnutí k datovému souboru. Proti nulové hypotéze stavíme alternativní hypotézu, která říká, co platí, když neplatí nulová hypotéza. Alternativní hypotéza je formulována tak, aby mohla platit jenom jedna z těchto dvou hypotéz. Pravdivost alternativní hypotézy by znamenala objevení nějakých nových skutečností nebo zásadnější změnu v dosavadních představách. Např. výzkumník by chtěl na základě dat prověřit tezi (nový objev), že pasivní kouření škodí zdraví. Jako nulovou hypotézu tedy položí tvrzení, že pasivní kouření neškodí zdraví a proti nulové hypotéze postaví alternativní, že pasivní kouření škodí zdraví. Testováním hypotéz se myslí rozhodovací postup, který je založen na daném náhodném výběru a s jehož pomocí rozhodneme o zamítnutí či nezamítnutí nulové hypotézy. 5.9. Definice: Definice nulové a alternativní hypotézy. Nechť X[1], ..., X[n] je náhodný výběr z rozložení L( ), kde parametr neznáme. Nechť h( ) je parametrická funkce a c daná reálná konstanta. a) Oboustranná alternativa: Tvrzení H[0]: h( ) = c se nazývá jednoduchá nulová hypotéza. Proti nulové hypotéze postavíme složenou oboustrannou alternativní hypotézu H[1]: h( ) c. b) Levostranná alternativa: Tvrzení H[0]: h( ) ≥ c se nazývá složená pravostranná nulová hypotéza. Proti jednoduché nebo složené pravostranné nulové hypotéze postavíme složenou levostrannou alternativní hypotézu H[1]: h( ) < c. c) Pravostranná alternativa: Tvrzení H[0]: h( ) ≤ c se nazývá složená levostranná nulová hypotéza. Proti jednoduché nebo složené levostranné nulové hypotéze postavíme složenou pravostrannou alternativní hypotézu H[1]: h( ) > c. Testováním H[0] proti H[1] rozumíme rozhodovací postup založený na náhodném výběru X[1], ..., X[n], s jehož pomocí zamítneme či nezamítneme platnost nulové hypotézy. (Volba alternativní hypotézy není libovolná, ale vyplývá z konkrétní situace. Např. při současné technologii je pravděpodobnost vyrobení zmetku = 0,01. a) Po rekonstrukci výrobní linky byla obnovena výroba, přičemž technologie zůstala stejná. Chceme ověřit, zda se změnila kvalita výrobků. Testujeme H[0]: = 0,01 proti H[1]: 0,01. b) Byly provedeny změny v technologii výroby s cílem zvýšit kvalitu. V tomto případě tedy testujeme H[0]: = 0,01 proti H[1]: < 0,01. c) Byly provedeny změny v technologii výroby s cílem snížit náklady. V této situaci testujeme H[0]: = 0,01 proti H[1]: > 0,01.) 5.10. Definice: Definice chyby 1. a 2. druhu. Při testování H[0] proti H[1] se můžeme dopustit jedné ze dvou chyb: chyba 1. druhu spočívá v tom, že H[0 ]zamítneme, ač ve skutečnosti platí a chyba 2. druhu spočívá v tom, že H[0] nezamítneme, ač ve skutečnosti neplatí. Situaci přehledně znázorňuje tabulka: skutečnost rozhodnutí H[0] nezamítáme H[0] zamítáme H[0] platí správné rozhodnutí chyba 1. druhu H[0] neplatí chyba 2. druhu správné rozhodnutí Pravděpodobnost chyby 1. druhu se značí α a nazývá se hladina významnosti testu (většinou bývá α = 0,05, méně často 0,1 či 0,01). Pravděpodobnost chyby 2. druhu se značí β. Číslo 1–β se nazývá síla testu a vyjadřuje pravděpodobnost, že bude H[0] zamítnuta za předpokladu, že neplatí. Obvykle se snažíme, aby síla testu byla aspoň 0,8. Obě hodnoty, α i 1–β, závisí na velikosti efektu, který se snažíme detekovat. Čím drobnější efekt, tím musí být větší rozsah náhodného výběru. 5.11. Poznámka: Testování nulové hypotézy proti alternativní hypotéze třemi způsoby. Testování nulové hypotézy proti alternativní hypotéze lze provést pomocí kritického oboru, pomocí intervalu spolehlivosti nebo pomocí p-hodnoty. 5.12. Definice: Definice testového kritéria, oboru nezamítnutí, kritického oboru a kritických hodnot. Statistika T[0] = T[0](X[1], ..., X[n]) se nazývá testovým kritériem. Množina všech hodnot, jichž může testové kritérium nabýt, se rozpadá na obor nezamítnutí nulové hypotézy (značí se V) a obor zamítnutí nulové hypotézy (značí se W a nazývá se též kritický obor). Tyto dva obory jsou odděleny kritickými hodnotami (pro danou hladinu významnosti α je lze najít ve statistických tabulkách). 5.13. Věta: Rozhodnutí o nulové hypotéze pomocí realizace testového kritéria v oboru nezamítnutí či v kritickém oboru. Jestliže číselná realizace t[0] testového kritéria T[0] padne do kritického oboru W, pak nulovou hypotézu zamítáme na hladině významnosti α a znamená to skutečné vyvrácení testované hypotézy. Jestliže t[0] padne do oboru nezamítnutí V, pak jde o pouhé mlčení, které platnost nulové hypotézy jenom připouští. 5.14. Věta: Stanovení kritického oboru v případě oboustranné alternativy, levostranné alternativy, pravostranné alternativy. Kritický obor v případě oboustranné alternativy má tvar W = , kde K[α/2](T) a K[1-α/2](T) jsou kvantily rozložení, jímž se řídí testové kritérium T[0], je-li nulová hypotéza pravdivá. Kritický obor v případě levostranné alternativy má tvar: W = . Kritický obor v případě pravostranné alternativy má tvar: W = . 5.15. Poznámka: Doporučený postup při testování nulové hypotézy proti alternativní hypotéze pomocí kritického oboru. - Stanovíme nulovou hypotézu a alternativní hypotézu. Přitom je vhodné zvolit jako alternativní hypotézu ten předpoklad, jehož přijetí znamená závažné opatření a mělo by k němu dojít jen s malým rizikem omylu. - Zvolíme hladinu významnosti α. Zpravidla volíme α = 0,05, méně často 0,1 nebo 0,01. - Najdeme vhodné testové kritérium a na základě zjištěných dat vypočítáme jeho realizaci. - Jestliže realizace testového kritéria padla do kritického oboru, nulovou hypotézu zamítáme na hladině významnosti α a přijímáme alternativní hypotézu. V opačném případě nulovou hypotézu nezamítáme na hladině významnosti α. - Na základě rozhodnutí, které jsme učinili o nulové hypotéze, učiníme nějaké konkrétní opatření, např. seřídíme obráběcí stroj. (Při testování hypotéz musíme mít k dispozici odpovídající nástroje, nejlépe vhodný statistický software. Nemáme-li ho k dispozici, musíme znát příslušné vzorce. Dále potřebujeme statistické tabulky a kalkulačku.) 5.16. Věta: Testování nulové hypotézy proti alternativní hypotéze pomocí 100(1-α)% empirického intervalu spolehlivosti pro parametrickou funkci . Sestrojíme 100(1-α)% empirický interval spolehlivosti pro parametrickou funkci h( ). Pokryje-li tento interval hodnotu c, pak H[0] nezamítáme na hladině významnosti α, v opačném případě H[0] zamítáme na hladině významnosti α. Pro test H[0] proti oboustranné alternativě sestrojíme oboustranný interval spolehlivosti. Pro test H[0] proti levostranné alternativě sestrojíme pravostranný interval spolehlivosti. Pro test H[0] proti pravostranné alternativě sestrojíme levostranný interval spolehlivosti. 5.17. Věta: Testování nulové hypotézy proti alternativní hypotéze pomocí p-hodnoty. p-hodnota udává nejnižší možnou hladinu významnosti pro zamítnutí nulové hypotézy. Je to riziko, že bude zamítnuta H[0] za předpokladu, že platí (riziko planého poplachu). Jestliže p-hodnota ≤ α, pak H[0] zamítáme na hladině významnosti α, je-li p-hodnota > α, pak H[0] nezamítáme na hladině významnosti α. Způsob výpočtu p-hodnoty: Pro oboustrannou alternativu p = 2 min{P(T[0] ≤ t[0]), P(T[0] ≥ t[0])}. Pro levostrannou alternativu p = P(T[0] ≤ t[0]). Pro pravostrannou alternativu p = P(T[0] ≥ t[0]). (p-hodnota vyjadřuje pravděpodobnost, s jakou číselné realizace x[1], ..., x[n] náhodného výběru X[1], ..., X[n] podporují H[0], je-li pravdivá. Statistické programové systémy poskytují ve svých výstupech p-hodnotu. Její výpočet vyžaduje znalost distribuční funkce rozložení, kterým se řídí testové kritérium T[0], je-li H[0] pravdivá. Vzhledem k tomu, že v běžných statistických tabulkách jsou uvedeny pouze hodnoty distribuční funkce standardizovaného normálního rozložení, bez použití speciálního software jsme schopni vypočítat p-hodnotu pouze pro test hypotézy o střední hodnotě normálního rozložení při známém rozptylu.) 5.18. Poznámka: Ilustrace významu p-hodnoty. Oboustranný test Levostranný test Pravostranný test 5.19. Příklad: Nechť X[1], ..., X[400] je náhodný výběr z N(μ,0,01). Je známo, že výběrový průměr se realizoval hodnotou 0,01. Na hladině významnosti 0,05 testujte hypotézu H[0]: μ = 0 proti pravostranné alternativě H[1]: μ > 0 a) pomocí intervalu spolehlivosti b) pomocí kritického oboru c) pomocí p-hodnoty. Řešení: ad a) Při testování nulové hypotézy proti pravostranné alternativě používáme levostranný interval spolehlivosti. . Protože číslo c = 0 neleží v intervalu (0,0018; ∞), H[0] zamítáme na hladině významnosti 0,05. ad b) Vypočteme realizaci testové statistiky: . Stanovíme kritický obor: Protože testová statistika se realizuje v kritickém oboru, H[0] zamítáme na hladině významnosti 0,05. ad c) Při testování nulové hypotézy proti pravostranné alternativě se p-hodnota počítá podle vzorce: p = P(T[0] ≥ t[0]). V našem případě: . Protože p-hodnota je menší než hladina významnosti 0,05, H[0] zamítáme na hladině významnosti 0,05.