M5VM05 Statistické modelování 11. Konkrétní GLM modely - II.
Jan Koláček (kolacek@math.muni.cz)
Ustav matematiky a statistiky, Přírodovědecká fakulta, Masarykova univerzita, Brno
Jan Koláček (PřF MU)
M5VM05 Statistické modelování
1/22
Motivace
Na minulé přednášce jsme si uvedli zobecněné lineární modely pro alternativní, binomická a poissonovská data. Tato přednáška navazuje na přednášku minulou Nejprve budeme zkoumat problémy příliš velkého nebo příliš malého rozptylu v datech. Dále pak nastíníme modelování multinomických dat a jeho využití v testování nezávislosti v kontingenčních tabulkách.
Jan Koláček (PřF MU)
M5VM05 Statistické modelování
Overdispersion, underdispersion
Předpokládáme, že náhodný výběr Yn = (Y\,...,Yn)T z rozdělení exponenciálního typu se řídí GLM modelem, tj.
i=l
Předpokládejme, že platí
i=l
= ^ > 0,
kde co i > 0 jsou známé apriorní váhy a 0 > 0 je neznámý rušivý parametr. Škálová deviace
D = 2
Z*(^;Y)-Z*(#Y)
,2      <x>/ [ Y j ( 6j/inax     @i)     T ( @i,max ) ~l~ T ( )
* z=l
1
= —D*
a D* nazveme neškálovou deviací (unsealed deviance).
Jan Koláček (PřF MU)
M5VM05 Statistické modelování
Overdispersion, underdispersion
Protože platí
1 1
D = -D* - x2(n -k) ED = -ED* « n - fc,
pak
D*
n —
Další často používanou mírou vhodnosti modeluje tzv. zobecněná Pea statistika
a proto dalším momentovým odhadem založeným na této statistice je
fc2 =
n — k
Jan Koláček (PřF MU)
M5VM05 Statistické modelování
Overdispersion, underdispersion
Přehled rušivých parametrů
Rozdělení	<P
Normální rozdělení	a2
Poissonovo rozdělení	1
Binomické rozdělení	1
Gamma rozdělení	l/a
Jan Koláček (PřF MU)
M5VM05 Statistické modelování
Overdispersion, underdispersion
V prostředí R je k řešení tohoto problému k dispozici modifikovaná volba pro třídu exponenciálního rozdělení. V případě binomického rozdělení máme možnost volby
family=quasibinomial
a pro Poissonovo rozdělení
f am i ly=quas i p o i s s on.
Nejde o nový typ exponenciálního rozdělení, ale o změnu ve výpočtu druhého momentu, pro jehož odhad se použije jednoduchý momentový odhad disperzního parametru (p. Výsledná korekce rozptylu je pak důležitá při testování hypotéz, neboť zohledňuje vyšší/nižší variabilitu v datech a zabraňuje tak nadbytku/nedostatku falešně pozitivních výsledků testů hypotéz o parametrech modelu.
Jan Koláček (PřF MU)
M5VM05 Statistické modelování
6/22
Příklad
Příklad 1
V souboru „bees .RData" jsou uvedeny údaje o aktivitě včel v závislosti na čase. Jednou z důležitých charakteristik při zkoumání včelí aktivity je počet včel, které opustí úl kvůli práci ve vnějším prostředí Studie se zabývala měřením této veličiny během několika slunečných dní v závislosti na čase během dne. Datový soubor obsahuje tyto proměnné
number   počet včel, které opustily úl
time   čas, kdy byl tento údaj zaznamenán
Modelujte závislost počtu včel, které opustí úl, na čase během dne.
Řešení. Pro modelování závislosti použijeme poissonovský model s kanonickou linkovací funkcí. Do modelu vstupuje jediná vysvětlující proměnná time a přidáme také její druhou mocninu.
Hodnota reziduálni deviace (4 879,3) je nepoměrně vyšší než počet stupňů volnosti (501). Je zřejmé, že došlo k „overdispersion" a v jazyce i? je třeba volit f amily=quasipoisson. Použití této volby neovlivňuje odhady koeficientů, ale mění jejich odhady variability, což se projeví např. v intervalu spolehlivosti.
Jan Koláček (PřF MU)
M5VM05 Statistické modelování
7/22
Příklad
Bees activity
8       10      12      14 16
time
Obrázek : Odhad regresní funkce bez vyrovnání se s problematikou velkého rozptylu.
Jan Koláček (PřF MU)
M5VM05 Statistické modelování
8/
Příklad
Bees activity
8       10      12      14 16
time
Obrázek : Odhad regresní funkce s vyrovnáním se s problematikou velkého rozptylu.
Jan Koláček (PřF MU)
M5VM05 Statistické modelování
9/
Modely pro multinomická data
Náhodný výběr Y = Yn = {Y\,..., Yn)T, pro který n = J • X, tj.
Y = Yn = (Yi,..., Yn)T = (Yn,..., Yik, ..., Yji,..., Yjx)T. Předpokládejme, že náhodný výběr Y je z Poissonova rozdělení, tj.
Yjk ~ Po(\jk)      j = 1,...,/; k = l,...,K s tzv. celkovou dodatečnou podmínkou
/ k j=l fc=l
kde yyfc jsou realizace náhodných veličin Yjk.
Jan Koláček (PřF MU)
M5VM05 Statistické modelování
10 / 22
Modely pro multinomická data
Rozdělení náhodného vektoru Y za podmínky Z.. = N je multinomické
Vjk
Nin n ^
)=\ k=l
Vjk'-
pro     yjk = 0,l,...,N;  / = !,...,/;
P\\z =n(y) = \
} k
j=l k=l
= N
k — 1,..., X,
/ k
L L njk = 1
;=1 fc=l
l o
jinak
YZ =N
Mfl(N, Tin,        7l1K,        7ľji,        7ljK) ,
pricemz
EYjk =Nnjk
DYjk
C{Yjk,Yrk,)
■Nnjk{l - njk)
■- - N7Tjk7Tjfkf
Jan Koláček (PřF MU)
M5VM05 Statistické modelování
Kontingenční tabulky
Realizace náhodných veličin i teoretické pravděpodobnosti lze uspořádat do tzv. kontingenční tabulky:
Kontingenční tabulka četností
faktor A	faktor B				
	Bi	B2	•  • •		Ľ
M	yn	yn	•  • •	ym	Ni.
A2	3/21	yn	•  • •	yiK	
	yn	yn	•  • •	yjK	
		N.2	•  • •	N.K	N = N..
Jan Koláček (PřF MU)
M5VM05 Statistické modelování
Kontingenční tabulky
Kontingenční tabulka pravděpodobností
faktor A	faktor B				
	Bi	B2	•      • •	BK	Ľ
M		7T12	•      • •		Ttl.
A2	7Z2\	Tt22	•      • •		n2.
A,	nn	7ľ}2	•      • •		7tj.
Ľ		Tl.2	•      • •		n. = 1
Jan Koláček (PřF MU)
M5VM05 Statistické modelování
Kontingenční tabulky
Nejčastěji se v kontingenčích ta bulkách testuje hypotéza, že
faktory A a B jsou nezávislé
tj-
TCjk = TCjjík, takže potom EYjk
faktor A	faktor B			
	Bk			L
Ai	. . .		. . .	
L	. . .		. . .	i
/ K
Nnjmnk , přičemž ^ ziy. = J^nk =
j=i k=i
Jan Koláček (PřF MU)
M5VM05 Statistické modelování
Log-lineární modely
Pro model s celkovou dodatečnou podmínkou lze hypotézu o nezávislosti dvou faktorů definovat takto
/ K
EYjk = NnjUk ,      přičemž      YLni=1      a       YL 71-k = 1-
j=l k=l
V GLM s log-lineární linkovací funkcí máme    t]jk = logEYjk = xJ^jS, tedy Vjk = logEYjk = logiNTtjnjk) = JJ^ +   ocj   + Jh^ .
=logN      =log7Ty. =log7r.fc
Pokud bychom nepředpokládali nezávislost faktorů A a B, dostaneme maximální model
Vjk = log EYjk = log(Nnjk) =   ]i   +ocj + pk + (oc^)jk
^-'
=logN =log7T;7t
Hypotéza nezávislosti dvou faktorů v kontingenčních tabulkách je ekvivalentní s hypotézou neexistence interakcí v analýze rozptylu (deviace), tj.
Hq :   (oc[})jk = 0 ; = !,...,/; k=l,...,K.
Jan Koláček (PřF MU)
M5VM05 Statistické modelování
15 / 22
Příklad
Příklad 2
V následující kontingenční tabulce jsou obsaženy údaje studie 400 pacientů o počtech různých typů onemocnění rakovinou kůže (Malignant Melanoma) v závislosti na části těla, kde se vyskytují
		■v Cast těla	
Typ rakoviny	končetiny	hlava a krk	trup
Hutchinson 's melanotic freckle	10	22	2
neurčitý	28	11	17
Nodular	73	19	33
Superficial spreading melanoma	115	16	54
Na hladině významnosti oc = 0,05 testujte hypotézu, zda typ rakoviny kůže závisí na části těla, kde se vyskytuje.
Jan Koláček (PřF MU)
M5VM05 Statistické modelování
16 / 22
Příklad
Řešení Nejprve definujeme oba log-lineární modely, tj. model ml, který předpokládá nezávislost obou faktorů a model m2, který počítá i s interakcemi. Model ml je tedy submodelem modelu m2. K testování využijeme analýzu deviace, Pearsonův test. Jeho p-hodnota vychází 2,05 x 10~9 a proto zamítáme hypotézu o nezávislosti typu rakoviny kůže na části těla, kde se vyskytuje. Výsledky obou modelů lze také znázornit pomocí mozaikového grafu.
Jan Koláček (PřF MU)
M5VM05 Statistické modelování
17 / 22
Příklad
hutch indet
B U)
"O
CO
Independent data
nodul super
Type
Obrázek : Mozaikový graf pro model, který predpokladá nezávislost.
Jan Koláček (PřF MU)
M5VM05 Statistické modelování
18
Příklad
"O
CO
tu
hutch
indet
Full model
nodul super
Type
Obrázek : Mozaikový graf pro model s interakcemi.
Jan Koláček (PřF MU)
M5VM05 Statistické modelování
19
Úlohy k procvičení I
Příklad 3
V souboru „sharks.RData" jsou k dispozici data, která popisují počty napadení žraloky na Floridě v letech 1946 až 1999. Známe také velikost populace. Datový soubor obsahuje tyto proměnné:
Year rok
Population velikost populace
Attacks počet napadení žraloky
Fatalities počet úmrtí způsobených žraloky
Nejprve vykreslete bodový graf počtu napadení na 1 milión obyvatel v závislosti na čase. Pro modelování použijte binomický i poissonovský model s kanonickou linkovací funkcí. Pro matici plánu uvažujte kubický polynom v proměnné Year.
Jan Koláček (PřF MU)
M5VM05 Statistické modelování
20 / 22
Úlohy k procvičení II
Příklad 3
Predikce obou modelů i s intervalem spolehlivosti pro regresní funkci vykreslete do obrázku. Zkoumejte také, jestli nenastal problém příliš velkého nebo příliš malého rozptylu. Pokud ano, předefinujte model a výsledky znovu vykreslete do obrázku. Pomocí výsledného modelu odhadněte, kolik útoků (na 1 milión obyvatel) způsobí žraloci na Floridě v roce 2013 a také v jakém intervalu se tato hodnota s 95% pravděpodobností bude pohybovat.
[Nastal problém příliš velkého rozptylu. Odhad: 33,96 útoků na 1 milión obyvatel, interval spolehlivosti: [3,207;359,55].]
Jan Koláček (PřF MU)
M5VM05 Statistické modelování
21 / 22
Úlohy k procvičení
Příklad 4
V následující kontingenční tabulce jsou obsaženy údaje o počtech různých typů onemocnění horních cest dýchacích (Respiratory Tract Infections) v závislosti na čase.
Diagnóza	1-3/96	Časové období 4-6/96   7-9/96 10-12/96			1-3/97
Acute bronchitis	113	58	40	108	100
Acute sinusitis	99	37	23	50	32
URI	410	228	125	366	304
Pneumonia	60	43	30	56	45
Na hladině významnosti oc = 0,05 testujte hypotézu, zda onemocnění horních cest dýchacích závisí na čase.
[závisí]
Jan Koláček (PřF MU) M5VM05 Statistické modelování 22 / 22