Osnova přednášky Vícerozměrné analogie t-testů
I. Úlohy o jednom náhodném výběru z vícerozměrného rozložení
1. Test hypotézy o vektoru středních hodnot
2. Příklad na vícerozměrný jednovýběrový t-test
3. Test hypotézy o úplné nezávislosti sledovaných proměnných
4. Příklad na test hypotézy o úplné nezávislosti sledovaných proměnných
II. Úlohy o dvou nezávislých náhodných výběrech z vícerozměrného rozložení
1. Test hypotézy o rozdílu vektorů středních hodnot
2. Test hypotézy o shodě variančních matic
3. Příklad na Hotellingův T2 test
I. Úlohy o jednom náhodném výběru z vícerozměrného rozložení
1. Test hypotézy o vektoru středních hodnot
Tento test je p-rozměrnou analogií jedno výběrového t-testu. Pro připomenutí:
Náhodný výběr X1,..., Xn pochází z rozložení N(j1, O2), kde parametry (1,02 neznáme. Na hladině významnosti a testujeme hypotézu H0 : (1 = c proti alternativě H1 : (1   c.
Testová statistika: T0= ——- se za platnosti H0 řídí rozložením t(n — l).
Kritický obor: W = (-«,, -(n -1)) u (t1_a/2 (n -1),«,). Jestliže t0 G W, H0 zamítáme na hladině významnosti a.
Poznámka: Vzhledem k tomu, že platí tvrzení: X ~ t(n) => Y = X2 ~ F(l,n), můžeme H0 zamítnout na hladině významnosti a, když tQ2 G    _a(l,n —
p-rozměrný případ:
Náhodný výběr Xt,..., Xn pochází z rozložení N (fi, X), kde parametry \i, E neznáme. Na hladině významnosti OC testujeme hypotézu H0 : \i = c proti alternativě H1 : \i   c, kde
c = (c:,..., cp )T je vektor reálných konstant. (Alternativa vlastně tvrdí, že aspoň jedna složka vektoru středních hodnot neodpovídá ověřovanému předpokladu.)
Testová statistika T0 = n(n~p) (M - c)T S"1 (M - c) se za platnosti H0 řídí rozložením
p(n-l)
F(p,n-p).
Kritický obor: W = (F1_ct (p, n - p), oo).
Jestliže t0 G W, H0 zamítáme na hladině významnosti a.
Poznámka: Test H0 : \i = c proti H: : \i ^ c nelze nahradit p jednorozměrnými t-testy
H0j 11^= c j proti H:j       c j, j = 1,..., p, protože při tomto postupu by pravděpodobnost chyby
1. druhu byla větší než a, dokonce až 1 — (l — a)P.
Pokud na dané hladině významnosti a zamítneme vícerozměrnou hypotézu H0 : \i = c ve
prospěch alternativy H: : \i ^ c, zjistíme, vzhledem ke kterým složkám vektoru \i byla nulová hypotéza zamítnuta.
K tomu lze použít p jednorozměrných t-testů H0j :|i = c] proti H:j IJLI^ c], j = 1,..., p, u nichž hladinu významnosti OC upravíme pomocí Bonferroniho korekce:
a
H0. zamítneme na hladině významnosti a, když vypočtená p-hodnota bude < —
P
2. Příklad na vícerozměrný jednovýběrový t-test
Výrobce určitého typu součástek uvádí, že nej důležitější čtyři rozměry nabývají těchto hodnot: 9,50 mm, 6,35 mm, 5,98 mm a 4,40 mm. Náhodně bylo vybráno 15 součástek, byly u nich zjištěny hodnoty těchto rozměrů a zapsány do proměnných XI, X2, X3, X4. Údaje jsou uloženy v souboru součástky.sta.
Za předpokladu, že data pocházejí ze čtyřrozměrného normálního rozložení s neznámým vektorem středních hodnot |X = (|LX1   JLl2   JLl3   |W4 )T a neznámou varianční maticí
f 2 G1 g12
g21 g2
°13 °14
°23 °24
g31    g32 g3
g
34 2
°43     ^4 y
, na hladině významnosti 0,05 testujte hypotézu, že tvrzení
výrobce je pravdivé. V případě zamítnutí nulové hypotézy zjistěte, které rozměry přispěly k jejímu zamítnutí.
Řešení:
Na hladině významnosti 0,05 testujeme hypotézu H0:
f \		f \
		9,50
	=	6,35
		5,98
v^4J		,4,40,
proti alternativě Hj
f \		f \
		9,50
		6,35
		5,98
v^4J		,4,40,
Hodnotu testové statistiky T0 = —-;-r- (M — c) S-1 (M — c) a odpovídající p-hodnotu
p(n-l)
vypočteme pomocí statistického software.
Proměnná	Test průměrů vůči referenční konstantě (hodnotě) (soucastky.sta) T2(celé případy ChD)=19,2432 F(4,11)=3,7799 p<,03597							
	Průměr	Sm.odch.	N	Sm.chyba	Referenční konstanta	t	SV	P
X1	9,491833	0,010695	15	0,002761	9,500000	-2,95748	14	0,010391
X2	6,357433	0,011481	15	0,002964	6,350000	2,50752	14	0,025099
X3	5,981467	0,011129	15	0,002873	5,980000	0,51043	14	0,617706
X4	4,400327	0,007024 15		0,001814	4,400000	0,18011	14| 0,859646	
Testová statistika vícerozměrného jedno výběrového t-testu se realizuje hodnotou 3,7799, odpovídající p-hodnota je 0,03597, tedy s rizikem omylu nejvýše 5 % považujeme za prokázané, že rozměry součástky neodpovídají deklarovaným hodnotám.
Protože jsme zamítli nulovou hypotézu, v dalším kroku zjistíme, které rozměry přispěly k jejímu zamítnutí. Budeme tedy simultánně testovat hypotézy H0i: |ii = 9,5, H02: U2 = 6,35, H03: jli3 = 5,98, H04: U4 = 4,4 proti Hn: jii ^ 9,5, Hi2: |í2 i1 6,35, Hi3: ji3 ^ 5,98, Hi4: ji4 ^ 4,4. H0j zamítneme na hladině významnosti a = 0,05, když vypočtená p-hodnota bude menší nebo rovna
-O-_ _ 0,05 _ q q^25 vidíme, že vícerozměrná hypotéza byla zamítnuta kvůli xi.
počet testů 4
Výpočet pomocí systému R
Načteme data:
soucastky<-read.excel(1 součástky.csv1)
Vypočteme vektor výběrových průměrů a výběrovou varianční matici:
colMeans(součástky)
Xl X2 X3 X4
fc.491833 6.357433 5.981467 4.400327 Ivar(soucastky)
Xl X2 X3 X4
Xl 1.143767e-04 8.879524e-06 2.229119e-05 -2.579524e-06 X2 8.879524e-06 1.318167e-04 -2.551810e-05 -8.874524e-06 X3 2.229119e-05 -2.551810e-05 1.238481e-04 4.012381e-06 X4 -2.579524e-06 -8.874524e-06   4.012381e-06 4.934210e-05
Ověříme vícerozměrnou normalitu dat. Načteme knihovnu mvnTest: 1 i brary(mvnTest)
"Provedeme Henzeův - Zirklerův test a nakreslíme chí-kvadrát diagram: HZ.test(součástky,qqplot=T)
Henze-zirkler test for Multivariate Normality
data : součástky
HZ : 0.8046086
p-value : 0.101327
Result   : Data are multivariate normal (sig.level = 0.05)
Chí-Square Q-Q Plot
-i-1-i-[-r
0 2 4 6 8 10
Squared Ma ha Ea robi s Distance
Pomocí jedno výběrového Hotellingova testu otestujeme hypotézu, že vektor středních hodnot je
roven zadanému vektoru c: |c<-c(9.5, 6.35, 5.98, 4.4)
Načteme knihovnu ICSNP:
library(ICSNP) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
Provedeme Hotellingů v jedno výběrový test: Hotel 1 i ngsT2(součástky,mu=c)
Hoteli ing's one sample T2-test
data: součástky
T.2 = 3.7799, dfl = 4, df2 = 11, p-value = 0.03597
alternativě hypothesis: true location is not equal to c(9.5,6.35,5.98,4.4) Protože jsme na hladině významnosti 0,05 zamítli hypotézu, že vektor středních hodnot je roven danému vektoru, zjistíme nyní, které rozměry součástek k tomu přispěly. Provedeme jednovýběrové t-testy s Bonferroniho korekcí.
Vypočteme korigovanou hladinu významnosti: (alfa. kon'g<-0.05/4) [1] 0.0125
Postupně pro každou proměnnou provedeme jedno výběrový t-test. Vypočtenou p-hodnotu porovnáme s 0,0125 a nulovou hypotézu zamítneme, když p < 0,0125.
Test pro proměnnou XI:
t.test(součástky$xl,mu=c[1])
One Sample t-test data: soucastky$xl
t = -2.9575, df = 14, p-value = 0.01039
alternative hypothesis: true mean is not equal to 9.5
95 percent confidence interval:
9.485911 9.497756 sample estimates: mean of x
9.491833
Test pro proměnnou X2:
t.test(součástky$x2,mu=c[2])
One Sample t-test data: soucastky$x2
t = 2.5075, df = 14, p-value = 0.0251
alternative hypothesis: true mean is not equal to 6.35
95 percent confidence interval:
6.351075 6.363791 sample estimates: mean of x
6.357433
Test pro promennou X3:
t.test(soucastky$x3,mu=c[3])
One Sample t-test data: soucastky$x3
t = 0.51043, df = 14, p-value = 0.6177
alternative hypothesis: true mean is not equal to 5.98
95 percent confidence interval:
5.975304 5.987630 sample estimates: mean of x
5.981467
Test pro promennou X4:
t.test(soucastky$x4,mu=c[4])
One Sample t-test data: soucastky$x4
t = 0.18011, df = 14, p-value = 0.8596
alternative hypothesis: true mean is not equal to 4.4
95 percent confidence interval:
4.396437 4.404217 sample estimates: mean of x
4.400327
Vidíme tedy, že vícerozměrná hypotéza byla zamítnuta kvůli proměnné XI.
3. Test hypotézy o úplné nezávislosti sledovaných proměnných
Rada statistických úloh vede na zkoumání závislosti mezi p sledovanými proměnnými. Nejdříve by se mělo zjistit, zda se nejedná o systém nezávislých proměnných. V takovém případě by bylo zbytečné pokračovat v analýze závislostí.
Na hladině významnosti 0,05 testujeme H0 : corX = I proti H0 : corX ^ I (I je jednotková matice řádu p).
Testová statistika n
f
1
^p(p-l)
v
2p + ll 6n
J
In R
se za platnosti H0 asymptoticky řídí rozložením
J
Kritický obor: W = (%
rP(p-D
,°°)
J
Jestliže t0 e W, H0 zamítáme na hladině významnosti a.
4. Příklad: Na základě dat z příkladu o rozměrech součástek testujte hypotézu, že mezi sledovanými čtyřmi rozměry není žádná závislost.
v
Řešení:
Logaritmus determinantu výběrové korelační matice je číslo ln R = -0,10371221.
f
Testová statistika o
tn = -n
1
2-p + ll
V
6n
f
J
ln R =-15
1
2-4 + 11
V
615
(-0,10371221) = 1,2273
J
Kritický obor W = (%2o,95(6),oo) = (12,5916; «>)
Protože testová statistika 1,2273 nepatři do kritického oboru (12,5916;°°), hypotézu o úplné nezávislosti čtyř rozměrů součástek nezamítáme na hladině významnosti 0,05.
Výpočet pomocí systému R
Vypočteme výběrovou korelační matici: R<-cor(součástky)
Načteme knihovnu psych: 1 i brary(psych)
Provedeme Bartlettův test nezávislosti: Icortest.bartlett(R,n=15,diag=T) l$chi sq l[l] 1.227261
l$p.value [1] 0.9755168
$df |[1] 6
Protože p-hodnota je 0,9755, což je větší než hladina významnosti 0,05, hypotézu o úplné nezávislosti čtyř rozměrů součástek nezamítáme na hladině významnosti 0,05.
II. Úlohy o dvou nezávislých náhodných výběrech z vícerozměrného rozložení
1. Test hypotézy o rozdílu vektorů středních hodnot
Tento test je p-rozměrnou analogií dvouvýběrového t-testu. Pro připomenutí:
Náhodný výběr Xn,..., Xln pochází z rozložení N(jii , g2), na něm nezávislý náhodný výběr
X21,..., X2n pochází z rozložení N(|í,2 ,o2), přičemž parametry \Xl, \X2,o2 neznáme. Označíme
2
n2n 2                      0 2   (n -l)S,2+(n -l)S2 Mj,M2 výběrové průměry, S í ,S2 výběrové rozptyly, S * =-vážený
průměr výběrových rozptylů. Na hladině významnosti OC testujeme hypotézu H0 : (l1 = \i2 proti alternativě H: : (l1 ^ \i2.
M-M2 ( ,
Testová statistika: T0=-} se za platnosti H0 řídí rozložením t(n1 + n2 — 2j
1
1 1
— + —
ni n2
Kritický obor: W = (-«>, - ix_al2 (n1 + n2 - 2)) u (t^ (n1 + n2 - 2), oo). Jestliže t0 G W, H0 zamítáme na hladině významnosti a.
Upozornění: Předpoklad, že rozptyly obou rozložení jsou shodné (tj. test nulové hypotézy
o 2 o 2
H0 : —l— = 1 proti alternativě H: : —l— ^1) ověřujeme F-testem.
g2 g2
s2
Testová statistika T0 :      se v případě platnosti H0 řídí rozložením F(n1 — l,n2 — l).
Kritický obor: W = (0,Fo/2(n1 -l,n2 - l))u(F1_(X/2(n1 -l,n2 -l),oo). Jestliže t0 G W, H0 zamítáme na hladině významnosti a.
p- rozměrný případ (Hotellingův T2 test)
Máme náhodný výběr Xn,...,Xln (kde Xn = (Xm,...,Xlip)T, i = 1,___,n1) z Np(^19E) a
dále na něm nezávislý náhodný výběr X21,..., X2ri2 (kde X2i = (X2il,..., X2ip )T, i = 1,..., n2) z N (fi2, X), přičemž parametry \ií, \i2, E neznáme.
Zavedeme označení:
n = n1 + n2 ... celkový rozsah obou výběrů 1 Dh
Mh = — ^ Xhi ... výběrový průměr j-té proměnné v h-tém výběru, h = 1,2, j = 1,..., p
J   n, i=i 1J
h
Mh = (Mhl   ...   Mhp )T ... vektor výběrových průměrů v h-tém výběru, h = 1,2
1        Qh T
Sh =-X (^M —     X^hi —     ) • • • výběrová varianční matice v h-tém výběru, h = 1,2
n — 1 i=i
h
„   (n,-l)S,+(n?-l)S?
S =- ... společná výběrová varianční matice
n -2
Na hladině významnosti a testujeme hypotézu H0 : \ií =\i2 proti alternativě H: : \i1 ^ \i2.
Testová statistika T0 = ° ~P~. •       (M1 - M2 )T S"1 (M1 - M2) se za platnosti H0 řídí
p(n-2) n
rozložením F(p, n — p — l).
Kritický obor: W = (Fla (p, n - p -1), oo).
Jestliže t0 G W, H0 zamítáme na hladině významnosti a.
2. Test hypotézy o shodě variančních matic
Předpoklad o shodě variančních matic můžeme ověřit pomocí Boxová M-testu.
Na hladině významnosti a testujeme hypotézu H0 : 2^ = E2 proti alternativě H: : 2^ ^ E
Testová statistika má tvar: T0 = — [(n - 2)ln|S| - (n1 -1)111^| - (n2 -l)ln|S2|], kde
C =1 +
p
2p2+3p-l 6(p + l)
í
1
1
1
+
^n^l   n2-l   n -2
je konstanta zlepšující aproximaci.
J
V případě platnosti H0 se statistika T0 asymptoticky řídí rozložením %
|p(p + l)
Pokud
J
t
v2      fpíP + l)
x,00), hypotézu o shodě variančních matic zamítneme na asymptotické
hladině významnosti OC. Aproximace je vyhovující, když rozsahy výběrů jsou aspoň 20 a počet proměnných je nejvýše 5.
V případě, že rozsahy výběrů jsou shodné, nemusíme Boxův test provádět.
Simultánní t-testy:
Pokud na dané hladině významnosti a zamítneme hypotézu H0 : \ií =\i2 ve prospěch
alternativy H1 : \i1 ^\i2, zjistíme, které proměnné jsou příčinou jejího zamítnutí.
V této situaci provedeme p simultánních testů H0j :jLllj=JLl2j proti H:j :|LXlj^=jLL2j, j = l,...,p
_n-p-l nin2 {m^-mJ p(n-2)    n S,
rozložením F(p, n — p — l).
11     p     í   ii,ii~     Vij 2]/
pomocí testové statistiky 1   = —--------, která se za platnosti H0j řídí
Kritický obor: W = (F1_ct(p,n-p-l ),«>).
Jestliže t0j G W, H0j zamítáme na hladině významnosti OC
3. Příklad na Hotellingův T2 test
23 náhodně vybraných mužů a 22 náhodně vybraných žen mělo posoudit podobné výrobky od tří firem - označme je A, B, C - na škále 0 bodů (naprosto nevyhovující) až 10 bodů (zcela vyhovující). Výsledky jsou uloženy v souboru hodnoceni_vyrobku.sta. Za předpokladu, že data tvoří realizace dvou nezávislých náhodných výběrů ze dvou třírozměrných normálních rozložení se stejnými variančními maticemi, Hotellingovým T testem ověřte na hladině významnosti 0,05 hypotézu, že hodnocení mužů a žen se neliší. Pokud dojde k zamítnutí nulové hypotézy, zjistěte, které firmy se v hodnocení mužů a žen liší. Řešení:
Na hladině významnosti 0,05 testujeme hypotézu
Hq:
f \	f \		f \		f \
hi					
		proti alternativě Hi:			M^2
					M^23
v J	v J		l J		l J
Hodnotu testové statistiky T0 =
n - p -1 r^n
p(n-2) n hodnotu vypočteme pomocí statistického software
(M1 -M2 )TS"1 (M1 - M2) a odpovídající p-
Proměnná	t-testy; grupováno: ID: pohlaví respondenta (hodnoceni_vyrobku.sta) Skup. 1: muž; Skup. 2: žena Hotellingovo 15,5599 F(3,41)=4,9454 p<,00506										
	Průměr muž	Průměr žena	t	sv	P	Poč.plat muž	Poč.plat. žena	Sm.odch. muž	Sm.odch. žena	F-poměr Rozptyly	P Rozptyly
X1	5,086957	4,545455	0,697666	43	0,489142	23	22	2,574579	2,631807	1,044950	0,917081
X2	5,434783	3,818182	2,098562	43	0,041766	23	22	2,642762	2,519190	1,100510	0,829044
X3	5,304348	3,045455	3,117687	43	0,003246	23	22	2,770540	2,011332	1,897411	0,147512
Testová statistika Hotellingova testu nabývá hodnoty 4,9454, odpovídající p-hodnota je menší než 0,00506, tedy na hladině významnosti 0,05 zamítáme hypotézu, že vektory středních hodnot proměnných XI, X2, X3 jsou v obou skupinách shodné. S rizikem omylu nejvýše 5 % jsme tedy prokázali, že mezi muži a ženami existuje rozdíl v hodnocení výrobků tří firem. (Vidíme, že hodnocení mužů je příznivější než hodnocení žen.)
Nyní pomocí simultánních testů zjistíme, které firmy jsou rozdílně hodnoceny muži a ženami. Pro simultánní testy musíme spočítat statistiky
^     n-p-1 11,11, (M -M )2
T0J = -r-^—z •        •     J    2   J   , j = 1, 2, 3 a najít kvantil F0,95(3, 41). p(n-2)    n S,.
V našem případě n = 45, p = 3, ni = 23, n2 = 22, tedy
n-p-1 n^, 20746
p(n-2)
n
5805
	Průměr	Průměr	Sm.odch.	Sm.odch.	T0j	kvantil
Proměnná	muž	žena	muž	žena	=(20746/58	=VF(0,95;3;
X1	5,086957	4,545455	2,574579	2,631807	0,154700	2,832747
X2	5,434783	3,818182	2,642762	2,519190	1,399710	2,832747
X3	5,304348	3,045455	2,770540	2,011332	3,089293	2,832747
Vidíme, že statistika T03 se realizuje v kritickém oboru W = (2,8327; oo). S rizikem omylu nejvýše 5 % jsme tedy prokázali, že výrobky firmy C jsou odlišně hodnoceny muži a ženami.
Výpočet pomocí systému R
Data jsou uložena v excelovském souboru hodnoceni_vyrobku.xls. Načteme je pomocí Environment v prostředí R Studia:
Environment - Import Dataset - From Excel - Browse - najdeme soubor
hodnoceni_vyrobku.xls - Otevřít - Import.
Načtený soubor přejmenujeme: data<-hodnoceni_vyrobku
Proměnnou ID zavedeme jako faktor a popíšeme její varianty: data$iD<-factor(data$iD,levels=c(l,2),1abels=c("muz","zena"))
Vypočítáme průměry pro muže a pro ženy: colMeans(data[data$iD=="muz",1:3])
Xl X2 X3
5.086957 5.434783 5.304348 > colMeans(data[data$iD=="zena",1:3])
Xl X2 X3
ft.545455 3.818182 3.045455
Vypočítáme výběrové varianční matice pro muže a pro ženy: var(data[data$iD=="muz",1:3])
Xl X2 X3
b(l 6.628458 5.142292 5.063241 pi2 5.142292 6.984190 5.679842 X3 5.063241 5.679842 7.675889 var(data[data$iD=="zena",1:3])
Xl X2 X3
kl 6.926407 4.532468 4.307359 b(2 4.532468 6.346320 4.294372 b(3 4.307359 4.294372 4.045455
Nyní pomocí H-Z testu ověříme, zda data pro muže a pro ženy pocházejí z třírozměrného normálního rozložení.
HZ.test(data[data$ID=="muz",1:3],qqplot=T)
Henze-zirkler test for Multivariate Normality data : data[data$ID == "muz", 1:3] HZ : 0.5900191
p-value : 0.4456571
Result   : Data are multivariate normal (sig.level = 0.05)
Chi-Square Q-Q Plot
4 6 Squared Mahalanobis Distance
HZ. test (data [data$lD=="zena" ,1:3] ,qqp~lot=T)
Henze-zirkler test for Multivariate Normality data : data[data$ID == "zena", 1:3] HZ : 0.4815084
p-value : 0.7512396
Result   : Data are multivariate normal (sig.level = 0.05)
i i i i i i r
1 2 3 4 5 6 7
Squared Mahalanobis Distance
K ověření shody variančních matic použijeme Boxův M-test z knihovny biotools
1 i brary(bi otools)
boxM(data[,1:3],groupi ng=data$ID)
Box's M-test for Homogeneity of covariance Matrices data:   data[, 1:3]
Chi-Sq (approx.) = 9.3635, df = 6, p-value = 0.1541
Předpoklady jsou splněny, přistoupíme k provedení Hotellingova dvouvýběrového testu: 1 i brary(lCSNP)
|HotellingsT2(data[data$iD=="muz",1:3], data[data$iD=="zena",1:3])
Hotel ling's two sample T2-test
Idata:   data[data$iD == "muz", 1:3] and data[data$iD == "zena", 1:3] T.2 = 4.9454, dfl = 3, df2 = 41, p-value = 0.005062
[alternative hypothesis: true location difference is not equal to c(0,0,0)
Provedeme simultánní testy. nl<-table(data$iD)[1] n2<-table(data$iD)[2] n<-nl+n2 k<-3
ml<-colMeans(data[data$iD=="muz",1:3]) lm2<-colMeans(data[data$iD=="zena",1:3]) Ivarl <- diag(cov(data[data$iD=="muz",1:3])) Ivar2 <- diag(cov(data[data$iD=="zena",1:3])) var <- ( (nl-l)-varl + (n2-l)*var2 )/(n-2) If.stat <- nl*n2*(n-k-l) * (ml-m2)A2 /(var*n*k*(n-2)) Ip.hodnota <- l-pf(f.stat, k, n-k-1) Ikvantil <- qf(0.95, k, n-k-1)
"tab <- round(rbind(f.stat,p.hodnota, kvantil),digits=4) rownames(tab) <- c("f","p-hodnota", "kvantil") tab
Xl        X2 x3 If 0.1547 1.3997 3.0893
p-hodnota 0.9261 0.2566 0.0375 kvantil     2.8327 2.8327 2.8327
Rozdílné hodnocení mužů a žen je na hladině významnosti 0,05 prokazatelné u firmy c.