M5VM05 Statistické modelování 11. Konkrétní GLM modely - II.
Jan Koláček (kolacek@math.muni.cz)
Ustav matematiky a statistiky, Přírodovědecká fakulta, Masarykova univerzita, Brno
Jan Koláček (PřF MU)
M5VM05 Statistické modeloval
1/22
Motivace
Na minulé přednášce jsme si uvedli zobecněné lineární modely pro alternativní, binomická a poissonovská data. Tato přednáška navazuje na přednášku minulou. Nejprve budeme zkoumat problémy příliš velkého nebo příliš malého rozptylu v datech. Dále pak nastíníme modelování multinomických dat a jeho využití v testování nezávislosti v kontingenčních tabulkách.
Jan Koláček (PřF MU)
M5VM05 Statistické modeloval
2/22
Overdispersion, underdispersion
Předpokládáme, že náhodný výběr Y„ = (Yi,... ,Yn)T z rozdělení exponenciálního typu se řídí GLM modelem, tj.
f(y, Ô) = flňVi, Oi) = exp | £ yi6i~i{^6i) + d{Vi, <p) |. Předpokládejme, že platí
U<P) = ^7>°>
(V i
kde (x>i > 0 jsou známé apriorní váhy a <p > 0 je neznámý rušivý parametr. Škálová deviace
D = 2
fQ3m„;Y)-fQ3;Y)
1 "
= 7,2Ľ Wi [Yi(6i,max ~ Oi) ~ l{hmax) + 7(6,0]
T     i = l
= Id*
a D* nazveme neškálovou deviací (unsealed deviance).
an KoláCek (PřF MU) M5VM05 Statistické modelování
Overdispersion, underdispersion
Protože platí
1 1
d = —d* ~ x2(n — k) ED=-ED*^n-k, <P <P
pak
4>D* =
D* n — k'
Další často používanou mírou vhodnosti modelu je tzv. zobecněná Pearsonova statistika
a proto dalším momentovým odhadem založeným na této statistice je
X2
n—k'
Jan Koláček (PřF MU)
M5VM05 Statistické modelováni
Overdispersion, underdispersion
Přehled rušivých parametrů
Rozdělení	<P
Normální rozdělení	a2
Poissonovo rozdělení	1
Binomické rozdělení	1
Gamma rozdělení	l/a
Jan Koláček (PřF MU)
M5VM05 Statistické modeloval
Overdispersion, underdispersion
V prostředí R je k řešení tohoto problému k dispozici modifikovaná volba pro třídu exponenciálního rozdělení. V případě binomického rozdělení máme možnost volby
family=quasibinomial
a pro Poissonovo rozdělení
family=quasipoisson.
Nejde o nový typ exponenciálního rozdělení, ale o změnu ve výpočtu druhého momentu, pro jehož odhad se použije jednoduchý momentový odhad disperzního parametru <p. Výsledná korekce rozptylu je pak důležitá při testování hypotéz, nebot zohledňuje vyšší/nižší variabilitu v datech a zabraňuje tak nadbytku/nedostatku falešně pozitivních výsledků testů hypotéz o parametrech modelu.
Jan Koláček (PřF MU)
M5VM05 Statistické modeloval
6/22
Příklad
Příklad 1
V souboru „bees .RData" jsou uvedeny údaje o aktivitě včel v závislosti na čase. Jednou z důležitých charakteristik při zkoumání včelí aktivity je počet včel, které opustí úl kvůli práci ve vnějším prostředí. Studie se zabývala měřením této veličiny během několika slunečných dní v závislosti na čase během dne. Datový soubor obsahuje tyto proměnné
number   počet včel, které opustily úl
time   čas, kdy byl tento údaj zaznamenán
Modelujte závislost počtu včel, které opustí úl, na čase během dne.
Řešení. Pro modelování závislosti použijeme poissonovský model s kanonickou linkovací funkcí. Do modelu vstupuje jediná vysvětlující proměnná time a přidáme také její druhou mocninu.
Hodnota reziduálni deviace (4 879,3) je nepoměrně vyšší než počet stupňů volnosti (501). Je zřejmé, že došlo k „overdispersion" a v jazyce R je třeba volit f amily=quasipoisson. Použití této volby neovlivňuje odhady koeficientů, ale mění jejich odhady variability, což se projeví např. v intervalu spolehlivosti.
Jan Koláček (PřF MU)
M5VM05 Statistické modeloval
7/22
Příklad
Bees activity
8       10      12      14 16 time
Obrázek : Odhad regresní funkce bez vyrovnání se s problematikou velkého rozptylu.
Jan Koláček (PřF MU)
M5VM05 Statistické modeloval
8/22
Příklad
Bees activity
Obrázek : Odhad regresní funkce s vyrovnáním se s problematikou velkého rozptylu.
Jan Koláček (PřF MU)
M5VM05 Statistické modeloval
9/22
Modely pro multinomická data
Náhodný výběr Y = Y„ = (Ylr..., Y„)T, pro který n = } ■ K, tj.
Y = Y„ = (Yi.....Y„Y= (Yn.....Yix.....Y/i,...
Předpokládejme, že náhodný výběr Y je z Poissonova rozdělení,
Yjk~Po(\jk)     ; = 1...../;* = 1.....k
s tzv. celkovou dodatečnou podmínkou
N = E É v*   n e n+,
;=1 fc=l
kde     jsou realizace náhodných veličin Y^.
Jan KoláCek (PřF MU)
M5VM05 Statistické modeloval
Modely pro multinomická data
Rozdělení náhodného vektoru Y za podmínky z = N je multinomické
py|z =n(y) = <
nin n pro     yjk = 0,1.....n;  ; = 1...../;
k=l,...,K,
j    k j k
Ľ  Ľ Vik = n E  Ľ TTft = 1
7=1 )t=l ;'=1 k=l
, 0 jinak
Y|z.. = n    ~    Mn(N,Tľii,...,tzik,...,tzji,...,tzjk) ,
pricemz
EY;7t =N7T;-fc
DYjk =Nnjk(l - Tzjk) C{Yjk,Yjlkl) =-NTľjkTľjlkl
Jan Koláček (PřF MU)
M5VM05 Statistické modelováni
Kontingenční tabulky
Realizace náhodných veličin i teoretické pravděpodobnosti lze uspořádat do tzv. kontingenční tabulky:
Kontingenční tabulka četností
faktor A	faktor B				
	Bi	B2			Ľ
Ax	yn				Ni.
A2	2/21			y2K	N2.
Aj	yn				N/.
Ľ	N.i	N.2			N = N.
Jan KoláCek (PřF MU)
M5VM05 Statistické modeloval
12 / 22
Kontingenční tabulky
Kontingenční tabulka pravděpodobností
faktor A	faktor B				
	Bi	B2		B*	Ľ
Ax	7Tn	7T12			
A2	7T21	7T22			7T2.
A,	7TJ!	7Tj2			
Ľ	7T.1	7T.2			7T.. = 1
Jan Koláček (PřF MU)
M5VM05 Statistické modeloval
13 / 22
Kontingenční tabulky
Nejčastěji se v kontingenčích tabulkách testuje hypotéza, že
faktory A a B jsou nezávislé
tj-
faktor A	faktor B			
		Bk		L
Al		Kj.n.k		ni-
L		n.k		l
/ K
njk = Tíj.Tí.kr takže potom EY^ = Nnjn_^ , přičemž ^ 7tj_ = ^      = 1.
7=1 k=l
Jan Koláček (PřF MU)
M5VM05 Statistické modelováni
Log-lineární modely
Pro model s celkovou dodatečnou podmínkou lze hypotézu o nezávislosti dvou faktorů definovat takto
/ K
EYjk = NrCjTik ,       přičemž       ^ tl^ = 1      a       ^ tl^ = 1.
7=1 k=l
V GLM s log-lineární linkovací funkcí máme    rj^ = log EY^ = x^./3, tedy
Vjk = logEY;)t = log(N7r;-.7r.Jt) =   ]i   +   ctj   +   /3fc •
^■^^        v.^^ ^-^^
=logN      =log7Ty =l0g7TJc
Pokud bychom nepředpokládali nezávislost faktorů A a B, dostaneme maximální model
=l0gN =l0g7T;l
Hypotéza nezávislosti dvou faktorů v kontingenčních tabulkách je ekvivalentní s hypotézou neexistence interakcí v analýze rozptylu (deviace), tj.
h0:   (a% = 0 ; = 1...../; k=l.....K.
Jan KoláCek (PřF MU)
M5VM05 Statistické modeloval
15 / 22
Příklad
Příklad 2
V následující kontingentní tabulce jsou obsaženy údaje studie 400 pacientů o počtech různých typů onemocnění rakovinou kůže (Malignant Melanoma) v závislosti na části těla, kde se vyskytují.
		Část těla	
Typ rakoviny	končetiny	hlava a krk	trup
Hutchinson 's melanotic freckle	10	22	2
neurčitý	28	11	17
Nodular	73	19	33
Superficial spreading melanoma	115	16	54
Na hladině významnosti tx = 0,05 testujte hypotézu, zda typ rakoviny kůže závisí na části těla, kde se vyskytuje.
Jan Koláček (PřF MU)
M5VM05 Statistické modeloval
16 / 22
Příklad
Řešení Nejprve definujeme oba log-lineární modely, tj. model ml, který předpokládá nezávislost obou faktorů a model m2, který počítá i s interakcemi. Model ml je tedy submodelem modelu m2. K testování využijeme analýzu deviace, Pearsonův test. Jeho p-hodnota vychází 2,05 x 10~9 a proto zamítáme hypotézu o nezávislosti typu rakoviny kůže na části těla, kde se vyskytuje. Výsledky obou modelů lze také znázornit pomocí mozaikového grafu.
Jan Koláček (PřF MU)
M5VM05 Statistické modeloval
17 / 22
Příklad
Independent data
nodul
Type
Obrázek : Mozaikový graf pro model, který předpokládá nezávislost.
Jan Koláček (PřF MU)
M5VM05 Statistické modelováni
Příklad
Full model
Type
Obrázek : Mozaikový graf pro model s interakcemi.
Jan Koláček (PřF MU)
M5VM05 Statistické modelováni
Úlohy k procvičení I
Příklad 2.1
V souboru „ sharks. RData" jsou k dispozici data, která popisují počty napadení žraloky na Floridě v letech 1946 až 1999. Známe také velikost populace. Datový soubor obsahuje tyto proměnné:
Year rok
Population velikost populace
Attacks počet napadení žraloky
Fatalit i es počet úmrtí způsobených žraloky
Nejprve vykreslete bodový graf počtu napadení na 1 milión obyvatel v závislosti na čase. Pro modelování použijte binomický i poissonovský model s kanonickou linkovací funkcí. Pro matici plánu uvažujte kubický polynom v proměnné Year.
i
Jan Koláček (PřF MU)
M5VM05 Statistické modeloval
20 / 22
Úlohy k procvičení II
Příklad 2.1
Predikce obou modelů i s intervalem spolehlivosti pro regresní funkci vykreslete do obrázku. Zkoumejte také, jestli nenastal problém příliš velkého nebo příliš malého rozptylu. Pokud ano, předefinujte model a výsledky znovu vykreslete do obrázku. Pomocí výsledného modelu odhadněte, kolik útoků (na 1 milión obyvatel) způsobí žraloci na Floridě v roce 2013 a také v jakém intervalu se tato hodnota s 95% pravděpodobností bude pohybovat.
[Nastal problém příliš velkého rozptylu. Odhad: 33,96 útoků na 1 milión obyvatel, interval spolehlivosti: [3,207;359,55].]
Jan Koláček (PřF MU)
M5VM05 Statistické modeloval
21 / 22
Úlohy k procvičení
Příklad 2.2
V následující kontingentní tabulce jsou obsaženy údaje o počtech různých typů onemocnění horních cest dýchacích (Respiratory Tract Infections) v závislosti na čase.
Diagnóza	1-3/96	Časové období 4-6/96   7-9/96 10-12/96			1-3/97
Acute bronchitis	113	58	40	108	100
Acute sinusitis	99	37	23	50	32
URI	410	228	125	366	304
Pneumonia	60	43	30	56	45
Na hladině významnosti tx = 0,05 testujte hypotézu, zda onemocnění horních cest dýchacích závisí na čase.
-
[závisí]
Jan Koláček (PřF MU) M5VM05 Statistické modelování 22 / 22