MULTIVARIÁTNA ANALÝZA 2 1. Kvadratické formy Defini cia 1.1. Nech Xi,X2, ...,Xn si* nezávislé, N(0,1) rozdelené náhodné veličiny. Potom Y = Xl + X22 + ...+Xl má rozdelenie \n (centrálne chi kvadrát rozdelenie s n stupňami volnosti). Veta 1.2. Nech Y ~ \n- Y m^ hustotu 1 _Ä »_! i ——t—re 2 y 2 * pre y > (J, /»(z/)=<( 2^r(f) 0 máe. Dôkaz. Pozri [Anděl, str. 79]. Poznámka. \n rozdelenie je špeciálny pripad gama rozdelenia s parametrami a, p (a > 0,p > 0), ktoré má hustotu -e_aa;aľp_1 pre x > 0, 0 inde. Označujeme ho r(a,p). Piati, že je rozdelenie T ( (r(p) = /0ooe-^-1dí, P>o.) 1 n} 2 ' 2 J Definícia 1.3. Nech Xi, X2, ...,Xn sú nezávislé, Xi ~ A(/íí, 1), z = 1,2,..., n. iVec/i A = 5^™=i M? 7^ 0- Náhodná veličina Y = Xl + X22 + ...+X2n má necentrálne \2 rozdelenie s n stupňami volnosti a koeficientom necentrality A. Označujeme ho \„ \ - Veta 1.4. Nech Xi, X2, Xn sú nezávislé, Xi ^ N(iii, í), i = 1,2,..., n. Rozdelenie pravdepodobnosti náhodnej veličiny Y = 5^™=i -^i > (teda, Xn \' kde A = 5^ľ=i Ä) závisi len od n a A (nezávisí od jednotlivých fii, \xn). Dôkaz. Pozri [Anděl, str. 80]. Lema 1.5. Nech X ~ N(/i, 1). Náhodná veličina X2 má hustotu e^i + ^ + ^ + ...| t>0, fx-{ť) = \ V 2! 4! 0 t < 0 2 Dôkaz. X2 má distribučnú funkciu pre t > O /Vi 1 , _ ,2 —^e-^i—dx. -Vi v2tt Preto je hladaná hustota pre t > 0 „ . . dFX2Ít) 1 1 (vt-ri2 1 1 <-v-t-rí2 fx2(t) =-= —f^=e 2 H--f^=e 2 = w dí 2VÍ V2ŤF 2VÍ v^ŤF t+u2 2y/tV2ŤŤ V^V* V 2! 4! Samozrejme pre í 5; 0 je /x2 (t) = 0. □ Poznámka. Použili sme vzorec Vy) Jxi(ť)i/>xi(ť)...i/>X2(ť) = it v-fc 2 (1 — 2zí)f (l-2íí)í kde A = Ej=iM2- 4 Veta 1.6. Nech náhodné premenné Xi, X2, ...,Xn sú nezávislé, Xi ~ N{hí, 1), i = 1,2,n. Potom n n i=i i=i má xi g rozdelenie práve vtedy ak (i) 7i = O alebo 1 pre i = 1,2, n, (zij ak 7i = O =>■ bi = O pre i = 1,2, n, (iii) c=Eľ=i&2-j4ä; síí podmienky (i),(ii) a (iii) splnené, tak k = Eľ=i 7i a ^ = Eľ=i 7i + Mi)2- Dôkaz. Porovnáme charakteristické funkcie iJjt(-) a iJjy(-), kde y ~ x2. s. Piati V>t(*) = £ (eítT) = £ V E"=i 7,^+2 E"=i ^i+=+2Ľ" = i &^ ■ 7j#0 7j#0 7j=0 = £ j=i 7^0 7^0 7j=o 7j#0 n ^(2¥) n ^(7jí), kde & - N (/ii + |, l) ak 7i ^ 0 a & - iV (/i*, 1) ak 7i = 0. Podlá (1.2) j (1.4) ipT(t)=e v 7^o Jj=0 3 = 1 "i 1j=0 ; 1 n"=i V1 - 2ií7i = l l-2itTj- 7j#0 Podlá (1.3) pre charakteristickú funkciu Y ^ \1 s piati (1.5) Vy(*)= 1 ~ HU VT^Wt 5 Porovnaním (1.4) a (1.5) musí platit pre každé t g 72 n k j=l 1 = 1 a súčasne z čoho je jasne vidiet, ako dokončime dôkaz. □ Veta 1.7. Nech £ ~ -/V„(/x,I), An,n je symetrická, b g 72.™ a c g 72. Náhodná premenná T = A£ + 2b'£ + c má %| á rozdelenie práve vtedy ak (z) A2 = A, (^j b g /i(A), (mj c = b'b. Ak sú podmienky (i),(ii) a (iii) splnené, takk = h(A), S = (b + /x)'A(b + /x). Dôkaz. Pre A existuje ortogonálna matica P, že piati P'AP = A (diagonálna matica), P'P = PP' = I (pozri napr. Rao, str. 62). Potom 77 = P'£ ~ N(P'(j,,ľ) a £ = Pi?. Preto T = £'A£ + 2b'| + c = í?'P'APí? + 2b'Pí? + c = í?'Aí? + 2b'Pí? + c. Podlá vety 1.6 má T rozdelenie x\ s práve vtedy ak (i) {A}ll = 0 alebo 1 pre'í = 1,2, ...,n <ř=> A2 = A ^ P'APP'AP = P'A2P = P'AP <ŕ=> A2 = A, (ii) {A}íí = 0 =>• {P'b}i = 0, čo je ekvivalentné s tým, že P'b g /t(A) •<=> PP'b = b g /i(PP'AP) = m(AP) = n(A), (iii) c = (b'P)P'b = b'b. Ak sú podmienky (i),(ii) a (iii) splnené, potom podlá vety 1.6 k = 5^ľ=i{A}ii = trA = h(A) = ft(PAP') = h(A) a ô = Eľ=i{A}«({p'b>i + ípW02 = (b'P + /x'P)A(P'b + P'/x) = (b + /x)'PAP'(b + /x) = (b + /x)'A(b + /x). □ Veta 1.8. Nech £ ~ Nn(fj,, S), AKí„ je symetrická, b g 72™ a c g 72. Náhodná premenná T = A£ + 2b'£ + c má x2. á rozdelenie práve vtedy ak (i) SASAE = SAS ^ (SA)3 = (SA)2, (ii) S(A/x + b) g /i(SAS), fm) (A/x + b)'S(A/x + b) = /x'A/x + 2b'/x + c. j4ä; síí podmienky (i),(ii) a (iii) splnené, tak k = ír(AS) a S = (b +A/x)'SAS(b + A/x). Dôkaz. Faktorizujeme maticu S = JJ', kde J je typu n x h (E) (pozri Anděl, str. 64). Vieme, že P{£ = /x + Jrj} = 1, kde »7 ~ iVh(s)(0,I) (Anděl, str. 76). Teda T = £'A£ + 2b'í + c = (/x + Jí?)'A(/x + Jí?) + 2b'(/x + Jí?) + c = = í?'J'AJí? + 2(A/x + b)'Jí? + /x'A/x + 2b'/x + c. 6 Podia vety 1.7 má T rozdelenie \\ s Práve vtedy ak (1) J'AJJ'AJ = J'AJ, (2) J'(A/x + b) e m(J'AJ), (3) (A/x + b)'JJ'(A/t + b) = /x'A/x + 2b'/t + c. Ďalej piati J'AJJ'AJ = J'AJ JJ'AJJ'AJJ' = JJ'AJJ', čiže SAEAE = SAS, a tiež naopak SASAS = SAS => JJ'AJJ'AJJ' = JJ'AJJ' => (J'J) ij'.JJ'AJJ'AJJ'.JtJ'J) 1 = (J'J)^J'.JJ'AJJ'.JÍJ'J) \ čiže J'AJJ'AJ = J'AJ, čo dokazuje prvú časí (i). Ekvivalencia SASAS = SAS & (SA)3 = (SA)2 je jedným smerom (=>•) zrejmá. Ku opaku potrebujeme nasledovné tvrdenie (1.6) 3 D„,„ : SAS = SASAD. Tvrdenie (1.6) dokážeme takto: /i(SAS) = /i(JJ'AJJ') ^ /l((J'J)-1J'.JJ'AJJ'.J(J'J)-1) = /i(J'AJ). Podia Anděl, str. 62 je (1.7) /i(J'AJ) = /í(J'AJJ'AJ) ^ /í(JJ'AJJ'AJ) = /í(SASAJ), ale ft(SASAJ) = /í(JJ'AJJ'AJ) ^ ^(J'J^J'.JJ'AJJ'AJ) = (1.8) = /i(J'AJJ'AJ) = /i(J'AJ), a preto z (1.7) a (1.8) /i(SAS) = ft(SASAJ) S /i(SASA) ^ /í(SAS), teda ft(SASA) = ft(SAS). Pretože zrejme /i(SASA) C /i(SAS) a hodnosti matic vytvárajúcich tieto pod-priestory sa rovnajú, piati /i(SASA) = /i(SAS) 7 a dostávame vztah (1.6). Z predpokladu (SA)3 = (SA)2 pomocou (1.6) dostávame SASASAD = SASAD => SASAS = SAS, čim sme (i) úplne dokázali. Podme teraz dokázat (ii), čiže dokázat, že J'(A/t + b) e /z(J'AJ) m S (A/x + b) e /x(SAS). Ak J'(A/t + b) e m(J'AJ), tak JJ'(A/t + b) e /t(JJ'AJ) = /t(SAJ) = = /x(SAJJ'AS) = /x(SASAS) = /i(SAS) (podlá (i)). Naopak ak S(A/t + b) e /i(SAS), tak (J'J)-1J'.JJ'(A/t + b) = J'(A/t + b) e /i((J'J)_1 J'.JJ'AJJ') = /i(J'AJJ') C /i(J'AJ), čim sme dokázali (ii). Samozrejme (iii) už máme dokázané (je ekvivalentné (1)). Dôkaz vety už dokončime jednoducho. Podlá vety 1.7 je totiž k = /i(JJ'A) = ír(SA) = ír(AS) a S = ([J'(A/x + b)]'J'AJ[J'(A/x + b)]) = (A/t + b)'SAS(A/t + b). □ Uvedieme bez dôkazu vety o nezávislosti kvadratických foriem. Podrobnejšie pozri [Rao, Mitra, kapitola 9]. Veta 1.9. Nech Y ~ Np(fj,, S) a Qi = Y'AY, Q2 = Y'BY dve kvadratické formy. Nutné a postačujúce podmienky nezávislosti Qi a Q2 sú (a) SASBS = 0,SASB/t = 0, SBSA/t = 0 a /t'ASB/t = 0, ak A a B sít symetrické, nemusia byt pozitivně semidefinitné, pričom S nemusi byt regulárna. (b) ASBS = 0, ASB/t = 0, ak A je pozitivně semidefinitná. (c) ASB = 0, ak A aj B sú pozitivně semidefinitné. (d) ASB = 0, ak S je regulárna, A a B sú symetrické, nemusia byt pozitivně semidefinitné. Veta 1.10. Nech Y - Np((i, S) a Q1 = Y'AY+2a'Y+a, Q2 = Y'BY+2b'Y+/3 dve lineárne-kvadratické formy. Nutné a postačujúce podmienky nezávislosti Q\ a Q2 sú (a) SASBS = 0, SASb = 0, SBSa = 0 a a'Sb = 0, ak /t = 0, pričom S nemusi byt regulárna. (b) ASB = 0,BSa = 0,ASb = 0 a a'Sb = 0, ak S je regulárna, pričom fi môže byt aj nenulový vektor. 2. WlSHARTOVO ROZDELENIE 2.1. ÚVODNÉ POZNÁMKY A DEFINÍCIA Majme Ui ~ Np(fii,T,), í = 1,2,..., k, ktoré sú nezávislé, S je pozitivně deŕinitná matica. Označme = (Uu, U2i,Upi)'', Y j = (Uj±, Uj2,Ujk)', j = 1,2, ...,p a /Uu U12 U13 ... Ulk\ U2\ U22 U23 .. . u2k V Upi up2 up3 ... upk J 8 Teda Vy'/ ďalej označme / Mu M12 Mi3 M21 M22 M23 Mife\ M2fe (/ii:/x2: ■ ■ ■ :/ife)- V /ipl /ip2 Mp3 ■ ■ ■ Mpfe / Pre pevný vektor 1 G 1ZP sú náhodné veličiny l'Ui ~ ÍV(1'aií, l'Sl = ít;2), i = 1,2, ...,k nezávislé (lebo Uj sú nezávislé). Náhodný vektor Wl = íY^i je lineárna kombinácia normálne rozdelených nezávislých náhodných vektorov, pričom (2.1) iY~Nk(Ml,cTflk,k). ak b = (61, b2, bk)' je vektor konštánt, tak (2.2) U'b = b1\J1 + ... + bkUk - Np(M'b, b'bS). Poznámka. Nech / «ii «21 din \ a2n V »ml Kroneckerov súčin matic A a B je ; B r, s b2i bis\ b2i 1 A (8) B / anB ai2B a2iB &22B \amiB am2B \bri ... brs J alnB \ «2«B Vlastnosti Kroneckerovho súčinu matic pozri napr. v [Rao]. ak napišeme "pod seba" stĺpce matice K, povieme, že sme vykonali na matici operáciu vec. Teda U2 » wecW = UfePji = w 9 Ukážte, že (2.3) vedA' = U ~ Nkp(vecM', lkM ® a (2.2) sa dá zapisat ako (2.4) U'b = (b' IptP)vecUŕ - Aíp((b' Ifejfe)i;ecM', (b' IPtP)(IPtP Sp,p)(b Poznámka. Nech bi 7^ b2, bi,b2 G 7?.fe. Piati cov(U'b1,U'b2) = (bi Ip,p)(I£)(b2 ®Ip,p) = b^ba ® S = b^E. ak b'1b2 = 0, t.j. ak bi a b2 sú ortogonálně, tak U'bi a W'b2 sú neskorelované, t.j. v tomto pripade nezávislé. Podlá predchádzajúcej poznámky iahko dokážeme nasledujúcu lemu Lema 2.1. Ak bi, b2,br, r ^ k tvorí ortonormálny systém v lZk, tak Vi =Z/bi,Vr =W'br sm navzájom nezávislé a majú normálne rozdelenie, pričom Vj ~ -/Vp(M'bi, S), íahko dostaneme aj nasledujúci dôsledok Dôsledok 2.2. Ak je ortogonálna matica (BB' = B'B = I), tak V j = illiĽ.illHB!.. = U'iB}., ~ ^(M'ÍB}.,,^), z = 1,2,..., A; a co^V,,^-) = ({B}^ <8)Ip,p)(I(8) S)({B}.j (8)1) = {B}^{B}.j (g, T, = 0 pre i ^ j, teda Vi,...,Vfe sú nezávislé. Definícia 2.3. Združené rozdelenie prvkov matice SPíP = EÍLi U^U^ = W'W sa nazýva Wishartovo rozdelenie s k stupňami volnosti a znači Wp(k, S, M). Ak M = 0, jedná sa o centrálne rozdelenie, označujeme ho Wp(k,'S). Poznámka. (i) {Sk = {Eli UjU;}^ = Eti UuUji = Y[Y3 = {U'U}13, lebo TÍ! S VEti^^ií Eti^^í ... Eti^í / (ii) Pre p = 1 a /zn = /Z12 = ... = Mife = 0 sú Ut = [/H - ÍV(0, cr2), z = 1, 2,k nezávislé, U'U = EÍ=i uií ~ ct2)- Pretože ^ - N(0,1), má EÍ=i ^ - Xfe rozdelenie a W'W ~ c2x| rozdelenie. (iii) Pre k ^ p existuje hustota Wp(k,T,,M.) rozdelenia, ináč nie. Dôkaz je naznačený v [Rao, str. 641]. 10 2.2. Niektoré vlastnosti Wishartovho rozdelenia Lema 2.4. Nech S ~ Wp(k, S, M) a 1 G 7ČP, 1 ^ 0 je tjefcíor konštánt. Potom l'M'Ml £>Ôfcaz. S = EtiUiUÍ. Preto ľS1 = Eti^UiUÍ1 = EtiO'Ui)2 = iY' iY CTi XÍi. kde 5 l'M'Ml lebo iY - Nk(Ml, crflfe.fe). ak M = 0, tak 6 = 0. □ A/p(0, S), z = 1,2,..., sít nezávislé, Aktk reálna syme- Lema 2.5. iVec/i Uj žricfcá matica. U'AU ~ Wp(r, S) práve vtedy ak V 1 G 7?.p, 1 7^ 0, iY'A iY — cr2^2, K2 = ľ£l, iY=Wl). 1/ žoražo prípade r = h(A) = tr(A). Dôkaz. Z lemy 2.4 vyplýva, že ak W'AW - Wp(r, S), tak V 1 G ftp iY'A iY - a\xl-Samozrejme z (2.1) {Y ~ Nk(0,cr?Iktk), čiže £ - Nk(0,Ik,k). Teda podlá vety 1.8 X2 •<=> A2 = A a v tom prípade r = h(A) = tr(A). Naopak ak V 1 G W iY'A iY = VWAU\ ~ cr2^2, čo je podlá vety 1.8 ekvivalentné tomu, že A2 = A, pričom v tom pripade h(A) = ŕr(A). A je reálna symetrická matica, idempotentná a h(A) = r. Teda A je pozitivně semideŕinitná a preto existuje ortonormálny systém vektorov bi,bk G lZk, že A = Ej=i Ajbjbj, I = Ej=i '-'i'-'í (reálne čisla Ai ^ A2 ^ ■■■ ^ Ar > 0 sú vlastné čisla matice A a bi,br im prislúchajúce charakteristické vektory). Z rovnosti A2 = A dostávame r r r j=l s=l t=l A?bibi + AÍ;b2b2 + ...A2brb; = Aibibi + A2b2b2 .ArbrbJ., z čoho vyplýva, že A2 = Aj, i = 1, 2, ...,r, čiže Ai = A2 = ■■■ = Ar = 1 (lebo Aj > 0). Môžeme písat A = Ej=i hjh'j a tiež U'AU = Yľ^U'hjh^U = Ej=ivjVj, pričom podlá lemy 2.1 Vj ~ ^(0, S) a Vi, V2,Vr sú nezávislé. Z deŕinicie preto U'AU- Wp{r, S). □ Veta 2.6. iVec/i S ~ Wp(k, S) a BPjg matica konštánt. Potom B'SB ~ B'SB). Dófcaz. B'SB = B'W'WB, kde /U'iX ' Uí » WB /Vi \ B /c, p V V'/ U j ~ ^Vp(0, S) sú nezávislé. Preto /VU /U'lBx ' U2B » Vvl/ VuiB/ má riadky nezávislé, cov(B'Vl, B'Uj) = B'ccw(Uj, U,)B = 0 a B'U4 - iVg(0, B'SB). Platí B'SB = EÍ=i V*Vi ~ B'SB) (priamo z definície). □ 11 Dôsledok 2.7. (a) Diagonálne submatice matice S majú tiež Wishartovo rozdelenie, lebo ak g _ / Sn S12 kde Su je rozmeru l x Z, íafc (IM 0)8^ =Sn. f6j afc S ~ Wp(Ä;,I) a afc pre BPjg platíB'B = I, potom B'SB - Wq(k,ľ). Veta 2.8. iVec/i S ~ Wp(/s, S) a a G 7?.p je čafa/ vektor konštánt, že a'Sa 7^ 0. a Sa q Potom ——— ~ vt. a'Sa A/" Dôkaz. Podia vety 2.6 piati, že a'Sa ~ a'Sa), čo znamená podlá poznámky a'Sa (ii) pod definíciou 2.3, že -~ x\- ^ a'Sa Veta 2.9. Nech U1;U„ je náhodný výber z Np(0, S) (žeda U'U ~ Wp(n, S) j, Cn,n Je symetrická matica. Piati U'CU ~ Wp(r, S) <ŕ=> C2 = C. 1/ takomto prípade r = ŕr(C). Dófcaz. Podlá lemy 2.5 je W'CW - Wp(r, S) <ř=> V 1 G iY'C iY - crfxl, {°i = ľSl, iY = U\). V tomto prípade r = h (C) = tr(C). Pretože podlá (2.1) je v v' v 1 Ar ŕn ^ í„ „^T„ 1 7 .vr- .v _, ~2„2 l1 r- 1 _, ,.2 ._ Wp(0,1), je podlá vety 1.7 fif'C iY - ít2*2 & -^=C^= ~ xl ^ C2 = C. V tomto prípade r = /i(C). □ Lema 2.10. Nech Si ~ Wv{n\, S), S2 ~ Wp(n2, S). Si a S2 sw nezávislé. Potom S1 + S2~Wp{n1 + n2,Y,). Dôkaz. Si = WÍWi, S2 = W^W2, kde W{ = i l J, J„ :. W2 = (Uni+i:..;:Uni+na) a U, ~ Np(0,Ti),í = l,2,...,ni + n2 sú nezávislé. Preto ak označime U' = {U[:U'2)p,ni+n2, tak Si + S2 = (U[UX + U'2U2)=U'U ~ Wp(nx +n2,S). □ Veta 2.11. iVec/i Cní„ = C je p.s.d. matica konštánt, Uj ~ -/Vp(0,S),z = 1,2, ...,n nezávislé. Piati, žeU'pnCU ~ Eľ=i ^)> ^e -^1; ■■■i^n sm vlastné čisla matice C a Wj^^l, S),Wpn\í, S) sú nezávislé. Dôkaz. Môžeme pisat C = Eľ=i ^íPíPÍj I = Eľ=iPíPÍ' pričom Ai ^ ... ^ A„ 0 sú vlastné čisla matice C a pi, ...p„ ortonormálně vektory. Teda U'CU = Eľ=i AiWpiP^W = Eľ=i ^vívÍ> kde v» ~ np(°, s) a sú nezávislé (lema 2.1). Z vety 2.9 vieme, že W'p.p^W = V,V^ - W^\í, S). □ 12 Ui, U2,U„ sú nezávislé, Lema 2.12. Pre matice príslušných rozmerov piati (2.5) vecABC = (C ®A)vecB, vecA. Dôkaz. Lemu dokážte ako cvičenie. Veta 2.13. Nech V, ~ Np(fj,, £), i = 1,2,..., Ci,C2 symetrické a idempotentné. U'G\U a tí'C2W sm nezávislém C!C2 = 0. Dôkaz, ak W'Ci a WC2 sú nezávislé, tak sú nezávislé aj U'C-JA a WC2U. U'Ci a WC2 sú nezávislé práve vtedy ak sú nezávislé JLÍ'Ci a K/C2 a to je práve vtedy ak sú nezávislé vec(VJ'Ci) a vec(VJ'C2), čiže podlá lemy 2.12 ak sú nezávislé vektory (C[ TjvedA' a (C2 I)(I <8> £)(C2 <8> I) = (CiC2® S) = 0, sú W'Ci a WC2 nezávislé. Teraz už lahko dokončime dôkaz. □ Veta 2.14. Nech S ~ Wp(k, £), S je regulárna, k^p-í. Platí: (a) Xfe-(p-i) a nezávisí od {S}i,j í = 1,2, ...,p-l, j = 1, 2, ...,p-l. f6; Pre fcaiáy 1 g 7?.p, 1 7^ 0 je ťS-1! l'S"1! Xfe-(P-i)- £Ófcaz. S = £ľ=iuiuí> Uj ~ ^Vp(0, S), Uj nezávislé, U, S = Up-iti V ypi / S21 S22 u. u* y, p2 i = 1,2,..., A;, U* ~ Np_i(Q, Sn), kde /i(Sn) = p — í. Ďalej označme U fe,i — \UpkJ í Nk(0,{-Ľ}ppIKk), m = VEtiMu*)' Eti^ p —1,2 / « = 1,2, Podlá lemy 4, Anděl, str. 121, P{Eľ=i Ui (Ui)' Je pozitivně deŕinitná} = 1, ak k^p-í, teda P{h{Ylt=1 U* (U*)') = p - 1} = 1. Pre maticu piati k e1 i=l x x'x, /"ll "12 "21 "22 "2fe "p-1,1 \ "p-1,2 V"lfe k Uplu[ = U'X a -J i=l k 1=1 x'u. 13 (a) {s-^pp = íEvl É(u*)'^(Éu.*(u.*)')_1 Ewr1 i=l i=l k i=l i=l {u'u - e(u*)'me vuu*)')-1 e wr1 i=l i=l i=l (pozri anděl, str. 66). Podmienené rozdelenie UP\/\J\ = ui,...,U£ = je to isté ako Upi/Ul = Ui (lebo Upi nezávisi od U2,.-,Ufc) a teda UP\/\J\ = ui ~ N(0 + S2iSíilui. s22 - S21Sn1S12), čo je A^E^m, {S^1}^)- analogicky t/pi/U? = Ui ~ ^(SaiS^Uj, {S"1}^1), í = 2, 3,(pričom pre i ^ j sú nezávislé). Preto í = = U/UJ =Ul,..,U£ = ufe ~iV( pričom podstatné je aj to, že / £2i£n ui \ \S2iSíilufe/ (2.6) /^S21Sn1u1\ /u'1Sí1Si2\ ^l^n U2 u2^11 ^12 VS21Sn1ufe/ = X7. Dostávame, že rozdelenie rg_n—/U^ = Ui,UJÍ = je rozdelenie {S }pp í'í - e u^(é uiuí)_1 éu^ = ^ - x(x'x)-!x')e 2—1 J —1 í — 1 Podia vety 1.8 má kvadratická forma — X(X'X)_1X')£ rozdelenie {^~1}^Xk-(p-i)j ktoré vďaka (2.6) nezávisi od podmienky (teda od {S}jj, i, j G {1, 2, ...,p — 1}) a je preto aj nepodmieneným rozdelenim. Dostávame, že {S 1}pp ^ 2 rc-ii ~ Afe-(p-i)- Pretože dôkaz sme úplne analogicky mohli urobit pre rU = (Uri, Č7r2,Urk)', r G {1,2,...,p} piati, ^ {S }rr ^ xl_{p_íY r e {1,2,...,p}. (b) Vezmime ortogonálnu maticu B, ktorá má prvý riadok ľ. Podlá vety 2.6 piati BSB' - Wp(k, BSB'). Pretože (BSB') 1 = BS "1B'J (BSB')"1 = BS^B' 14 dostávame z (a) {BS^B'h! _ |TiTFľS 1 {BS-iB'}n ~ ^rl'S-il Xfe-(p-i) (ortogonálnou transformáciou sa prislušné hodnosti v dôkaze (a) nemenia). □ K dôkazu vety 2.16 potrebujeme nasledujúce tvrdenie: Lema 2.15. Nech X ~ Xm a^ ^ Xn sí* nezávislé. Potom x*y ~ S §)■ Dôkaz. Pozri Rao, vztah (3b.1.12), dokážte ako cvičenie. (náčrt dôkazu: U ~ Xmi V ~ X„, tak f u (u) = fv(u) = n 1, . e~^ti?-1 pre f > 0, jľv / 2~r(f) ť ' 2-r(f) e 2 -u 2 1 pre m > 0, U + V zy z J \z(l-y) DT(V, z) =det((_Zz 1^)) = * /W(v) = /ffW/vW, fwv)(v,z)= [2?r(f)]"1e-^(zy)?-1x [2fr(f)]^1e^f£ií[z(l-y)]f-1z /(y) = Jo-00 /(J/. = 5^yJ/¥_1(i -z/)*"1 Veta 2.16. iVec/i Si ~ Wp(fci,E), S2 ~ Wp(Ä;2,S) sú nezávislé, S je regulárna. i i afc &i ^ p — 1, íafc |g[+g2| "lá rozdelenie ako súčin r}\...r}p nezávislých náhodných veličin, rji ^ B kx—p+i fe2 a nezávisí ívisi od {Si + S2}ij, i, j g {1, 2, - 1}. Dôkaz. Označme Si = YŽU UjU^, S2 = Eľ=fcf+i u*uí kde u* ~ s)> * = 1, 2,k\ + Ä;2 a nezávislé. / ^ \ U i S = tf2 Up-i,i V Op* / u* i = í,2,...,k1+k2, U* ~iVí,_1(0,Sii), kde S2i s22 dalej označme ft(Sn) = p-l. U fel+fe2,l Up2 u2. ^{1)Ufcl,i U,; = Nkl+k2(0,{-Ľ}ppI), i = 1,2, ...,kx + k2 \Up-lA / 15 s=/EtiU*(u*y Eľ=iU*t/PA = /sn s12 fel (Si + S2)ll (Si + S2)l2 (Si + 82)21 (Si + S2)22 VEľ=i^(u*)' Eľ=i^ o , o = (Eľ=ífe2 u*(u*)' Eľ=f2 u*t 2 VEtífe2^(u*)' Eľif2^2 Podlá lemy 4, anděl, str. 121, P{E^=i U*(U*)' je pozitívne definitná} = 1, (pretože kľ ^ p - 1), teda P{MEľ=i Ui (Ui)') = p - 1} = 1. (Samozrejme aj P{h(Y,'-LÍk2 U*(U*)') = p - 1} = 1. ďalej označme ' u12 U22 >^lfe1 U2k1 up-1,1 \ Up-1,2 x2 = / "l.fei + l ^2^ + 1 Ml,fe!+2 W2jfe1+2 Mp-l.fei + l \ up-l,k1+2 X = Xi x2 úplne analogicky ako vo vete 2.14 (a jej dôkaze) dostávame e u4< = xíxl e = (1)u'xi> e= xí (1)u< e ^ = (1)u'(1)u i—l i—l i—l 2 = 1 a &i +^2 i^fci+i Konečne &1+&2 &1+&2 &1+&2 e uíuí = x2x2, e ^x = (2)u'x2> e u*up> = x2 (2)u< e ^ i=fei+l i=fei+l i=fei + l ((1)u-(2)u')(Su) {sr1}«, = { (1)u' (i>u-^(u,')'[/p,(^u«(u:)rlEf,u!T1, í—1 í—1 í—1 {(s1 + s2ri}PP = {(«u': (2)u')( Su) &1+&2 &1+&2 &1+&2 E (u*)'M E ^(u*)')-1 E u*™*}-1- i—l i—l i—l Pretože piati (anděl, str. 66) {S = (S22 — S2iS111Si2) 1 = IS22 — S2iS111Si2l 1 {S 1}pp — ■■íl l^ail |Sn||S22 — S2iS111S12| 16 dostávame (2.7) {sr'}„; = p\= (1}v «'>u-iimľ^Enwr'^w, (2.8) {(8I + W-.,-' = 1|l^L = (..W«>U1(SS)- &1+&2 &1+&2 &1+&2 i=l i=l Zhodne ako vo vete 2.14 sa ukáže, že i=l S2lSn U2 \S2iS111ufel+fe2 / pričom £i je fci rozmerný a £2 je /s2 rozmerný náhodný vektor. Preto podmienené rozdelenie {(Si + S2)-1}-1/UÍ = Ul, ...,U*i+fe2 = ufel+fe2 je rozdelenie kvadratickej formy í'í - í'xíx'x)-^^ ~ {^-%pxt1+k2-p+1, pričom nezáleži na podmienke a preto je totožné s nepodmieneným rozdelenim. Rozdelenie {Si^Vp/UÍ = ui> ■■■>ufe1+fe2 = ufci+fc2> ktoré je rozdelenim kvadratickej formy = <í'^> ((í S) " (í) WXO-WiO)) (|) =ŕAÍ ~ ~ 1}pp1Xfe1-p+l; nezávisi na podmienke a je preto totožné s nepodmieneným rozdelenim. Podlá vety 1-8 je {(Si + S2)~ }m - {S1 }~p /Uí = ui, ...,U£i+fe2 = ufel+fe2 = ,f/o o \ /XiKxiXi + x^-i-íxiXi)-1^ 5 U o Ife2,fej ^ X2(X'1Xi + X2X2)-1X'1 X2(X'1Xi+X2X2)-1X2 J ľ" 17 = í'BÍ~{S-1}-1xŽ2. nezáleží od podmienky a je preto opát totožné s nepodmieneným rozdelenim. Mimo toho lahko sa ukáže, že {(Si + S2)~1}~p1 - {S^^pp/UÍ = ui> ■■■>ufe1+fe2 = ufei+fe2 nezávisi od ísi }PP /uí - ui> ■■■>ufe1+fe2 - ufei+fe2 (lebo AB = 0). Preto 11-1 _ ro-li-l , rn-b-1 / Ul — Ul; Ufe1+fe2 - Ufei+fe2 {(Si + S2) 1}pP - {S1 }pP + {S1 }pP je rozdelené ako (2-9) , , , Afei-p+l ^ Afe2 pričom a xj^ +1 v (2.9) sú nezávislé. Podia lemy 2.15 má preto —{Sl 1}pÍ,-i rozdelenie B (fcl~2p+1, ^) a nezávisí od {Si + S2}íj, i, j G {1,2, p-1}. (en cil ••• ciT C21 C22 ■■■ C2r I ako Ctí Cr2 ■■■ Cr \C\r, r G {1,2, Využijúc (2.7) a (2.8) dostávame, že rozdelenie ' 1' Uí = ui,U£i+fe2 = ufel+fe2 = |Si + S2|/ |Si|p IsiIp-i ISi|p-i__|Si |p_2 |Si |i Si + s2|p |Si + s2|p_i -|Si + s2|i/ Ul - Ul' Ufei+fe2 - Ufel+fe2' |Si + S2|p_i |Si + S2|p_2 pričom |Si + S2|p_i a nezávisi od lsilp-i /tt*-,, tt* -„ / fci - p +1 fc2 Si + s2|p /Ul - Ul' -'u*i+*2 - u^+^ ~ s —^—' T Si |p-i |Si + S2L_1/Ul ~ Ul' -'Ufei+fe2 - Ufel+fe- Si + s2|p_2 ktoré má By1 2 ; 2 J rozdelenie nezávislé od podmienky, atd. Teda |g[+g2| má rozdelenie ako súčin rj\...rjv navzájom nezávislých náhodných veličin, pričom 18 Veta 2.17. ak Ui,...,U„ sú nezávislé, Np(fi,'S) rozdelené, S = — Eľ=i(Uj — U)(Ui-U)', kdeV= ±Eľ=iU^ tak nS~Wp(n-1,1i). Dôkaz, (pozri aj Vetu 2.9) nS = Eľ=i(Uí-U)(Uj- U)' = Eľ=i U.U^-nU Tľ' = W'W- iW'l„,ili„W = U'(I - ±U')U = U'AU = Ú'AU, kde Ú' = (Ui - /x,U„ - /x), lebo ((i,..A = 0. Podlá lemy 2.5 Ú1 AU ~ Wp(r,£) •<=> VI G 7?.p ľÚ'AÚl ~ (l'Sl)x2, pričom v tomto prípade r = /i(A) = tr(A). Pretože (U2 - Wl= . = !Y~iVn(0,(ľSl)I) \(Un-M)'l/ (pozri (2.1)), má l'W'AWl rozdelenie %2 (podlá vety 1.8) práve vtedy ak A2 = A. V tomto pripade r = h(A) = tr(A). Je zrejmé, že v našom pripade A2 = A a r = h(A) = tr(A) = n - 1, preto nS - Wp(n - 1, S). □ Veta 2.18. ak Ui,U„ sú nezávislé, Np(fi, S) rozdelené, tak U = ^ Eľ=i o, nS = Eľ=i UjU^ — nU U sú nezávislé, pričom U ~ Np(fj,, — E) a nS ~ Wp(n — 1,S). Dôkaz. Nech C„ín je ortogonálna matica taká, že jej n—ty stĺpec je (^, ■ Označme Potom V -7-(Ui (u1:...:u„)c = (v1:...:v„). + U„) = U resp. U = -j-V. /Ui\ n u' s = ^u,u;-nuu' = (u1;..-un) 2 n—V —V = = (v1:...:v„)cc /vi \ V u;/ v v' = Vvv'-V v' = Vvv' n-1 2—1 2 — 1 V v / Pretože Vi,V„ sú nezávislé, dostávame tvrdenie lemy (pomocou vety 2.17). □ 3. hotellingovo t2 rozdelenie Nech Sp p je matica náhodných veličin (náhodná matica) dp i náhodný vektor nezávislý na S, S ~ Wp(k,T,), d ~ NP(S, c-1£). Hotellin gova zovšeobecnená štatistika T2 je definovaná ako T2 = cJfcd'S-M = j^^ďľ'd. V nasledujúcom budeme uvažovat á = 0, c = 1, S = I, teda S ~ Wp(/s,I), d ~ A/p(0,1). Hotellingovo T2(p, k) rozdelenie je T2 = kd'S-i-d a pišeme fcd'S^M ~ T2(p, /j). 19 Veta 3.1. Nech X ~ Np(fj,, S) aS~ Wp(k, S) sú navzájom nezávislé, S regulárna. Potom fc(X - /x/S"1 (X - /x) - T2(p, Dôkaz. S = UAU', I = UU',A = diag{X1,Xp}, Ai ^ A2 ^ ... ^ Ap > O, = Udmíř{A^,...,Ap^}U', £s = Udíaff{Af,A| }U'. Položíme d* = £-5(X-/x), S* = xHsxH, teda (S*)-1 = S5S_1S5. Zrejme d* - Np(0,I), S* - Wp(k,ľ) a preto podlá definície fc(d*)'(S*)_1d* = k (X - /x/S^X - /x) ~ T2(p, k). □ Dôsledok 3.2. Majme Ui,...,U„ nezávislé, Uj ~ Np{^i, S), S regulárna, U = i Eľ=i uí; s = i Etiíu, - u)(u4 - u)', s* = ^ Er=i(u4 - u)(u4 - u)'. (n - 1)(U- /x/S^fU - ,x) = n(U- /x/S^fEJ - ,x) ~ T2(p,n- 1). Dôkaz. TJ ~ Np((j,, iS), teda VnU-]Vp(vn/x, S), S* = ^-S, čiže (n—1)S_1 = nS^1, ďalej nS ~ Wp(n — 1, S) (pozri vetu 2.17), U a S sú nezávislé (veta 2.18), teda (n - l)Vrc(U-/x)'(nS)_1V™(U- /x) = (n - 1)(U- /x/S-^U-/!) = = n(U-/x)'S;1(U-/x) ~T2(p,n-l). □ Veta 3.3. 2 mp T (p, m) = -—FPtTn-p+1. m — p + 1 Dôkaz. Podlá deŕinicie má T2(p,m) rozdelenie náhodná veličina md'S_1d, kde d ~ Np(0,T), S ~ Wp(m, I). Teda náhodná veličina (3.1) ^ ďd = m- d'd d'd ď S-1 d Podlá vety 2.14 (b) menovatel v (3.1) nezáleži od d a má Xm-p+i rozdelenie (pre lubovolnú realizáciu náhodného vektora d má Xm-p+i rozdelenie), čitatel v (3.1) má podlá vety 1.7 xp rozdelenie. Preto (3.1) je podiel dvoch nezávislých náhodných veličin, s x2 rozdelenim, a sice rozdelenie (3.1) je 2 mp—^ T2/ n mXP P mp T [P,m) = -2- = -g- = -—□ Xm-p+1 , , ^ Xm-p+1 m-p+í {m—p+l)--- m — p + 1 20 Lema 3.4. Súčin k navzájom nezávislých náhodných veličin s rozdelením Bfy, Si), i = 1, 2, k takých, že ji = 7i+i + i = 1,2, k — 1 má rozdelenie B{^k, 5\ + ... + sk). Dôkaz. Pozri viac v Rao, 3a.3. Lema 3.5. Nech d ~ A/p(0,1) a s ~ Wp(m,T) sú nezávislé, teda md'S_1d ~ T2 (p, m), m^ĺ p — 1. Piati 1 | r2(p,m)\ = |S| B(m-p+l p IS + dďl V 2 '2 Dôkaz. Podia anděl, str. 63 pre determinant štvorcovej matice ( ^, ^ ) piati S d ď -1 = -|S + dď| = -|S|(1 + d'S^d) teda T2 {p, m) \ (í + ďs-M)-1 |S + dď pričom S ~ Wp(m,T), dď ~ Wp(l,I), (nezávisi od S) a podlá lemy 2.10 S + dď ~ ISI Wp(m + 1,1). Preto podlá vety 2.16 má ^ dd'\ rozc^er^e ako sučin navzájom nezávislých náhodných veličin s rozdelenim beta a parametrami m — p + í 1\ (m— p + 2 1\ /m 1 2 y V 2 2 / V 2 2 Podlá lemy 3.4 má tento súčin B (---, — J rozdelenie. □ Dôsledok 3.6. Nech X a S je aritmetický priemer a výberová kovariančná matica z výberu rozsahu n z rozdelenia Np(fi, S). Potom ^-^(X - /x/S^X - M) ~ Fp^p. p Dôkaz. Podlá dôsledku 3.2 má (n— 1)(X — /x)'S_1(X — /x) ^ T2(p,n — 1) rozdelenie, čiže podia vety 3.3 má n~P-(X- /x/S-1 (X - /x) ~ ^P-T2(p,n- 1) = p p(n — 1) n — p p (n — 1) pyn — 1) n — 1 — p + 1 rozdelenie. □ 21 4. Ine rozdelenia vyskytujúce sa pri multivariátnych štatistických analýzach Definícia 4.1. Nech A ~ Wp(m, I), B ~ Wp(n, I) sm nezávislé, m > p — 1. Potom hovoríme, že náhodná veličina A = ^ = |I + A"Bl" má Wilksovo lambda-rozdelenie s parametrami p, m, n. Označujeme ho A(p,m,n) Veta 4.2. Wilksovo A(p,m,n) rozdelenie, m > p — í, je totožné s rozdelením , /m—p + in^ súčinu ľ]i...r]p nezávislých náhodných veličin, pričom r/i ~ B I---, — Dôkaz, ak A ~ Wp(m, I), B ~ Wp(n, I) sú nezávislé, tak podlá vety 2.16 má rovnaké rozdelenie ako súčin rj\...rjv nezávislých náhodných veličin, pričom r/j /m-p + í n\ B{—2—>2)- Poznámka, ak Si ~ Wp(fci,I), S2 ~ Wp(Ä;2,I) sú nezávislé, &i ^ p — 1, tak A 1*1 |Si + S2 má rozdelenie rovnaké ako súčin rj\...rjv nezávislých náhodných veličin, pričom r/j B -—2^~'' ' ^° ^e Poc^a ve*y 2-16 to isté ako rozdelenie IGil |G1 + G2| kde Gi ~ Wp(ki, S), G2 ~ Wp(Ä;2, S) sú nezávislé, S je regulárna a &i ^ p — 1. Teda A nezáleži od S a môžeme ju zadeŕinovat ako A 'Gl' |G! + G2|' kde Gi ~ Wp(/íi, S), G2 ~ Wp(k2, S) sú nezávislé, S je regulárna a k\ ^ p — 1. Poznámka, ak S ~ Wp(n—l, S), d ~ Np(0, S) sú nezávislé, tak Wilksovo lambda-rozdelenie s parametrami p, n — 1,1 je to isté ako rozdelenie náhodnej veličiny --r, teda (podlá lemy 3.5) B f -, - |S + dď|' V 2 2 Zo vztahov medzi beta rozdelenim a f1 rozdelenim možno odvodit vztahy medzi A a F rozdelenim: 1 - A(p,m, 1) p Va/ \ í <\ ~ i i trp,m—p+1 A(p,m,l) m—p+1 22 1 - A(í,m,n) n [b -771-^- ~ —-ľn,r, A(l,m,n) m 1 - y/A(p,m,2) p y/A(p,m,2) m — p+i 1 - y/A(2,m,n) n ^A(2,m,n) m-1 Pre ostatné hodnoty n a p za podmienky, že m je velké, možno použit Bartlettovu asymptotickú aproximáciu 1 2( - \ m- -(p-n+l) \\iíA(p,m,n) ~ xlp- Pri hladani simultánnych intervalov spolahlivosti parametrov multivariátnych lineárnych modelov sa použiva nasledovné rozdelenie. Definícia 4.3. Nech A ~ Wp(m, S), B ~ Wp(n, S) sm nezávislé, m > p — í, S je pozitivně definitná. Rozdelenie najväčšej vlastnej hodnoty 9 matice (A + B)_1B označujeme 6{p, m, n). Podlá Rao, str. 588 toto rozdelenie nezávisi od S. Poznamenávame tiež, že 9 môžeme definovat ako najväčši koreň rovnice |B-0(A + B)| = 0. ak A je vlastná hodnota A_1B, tak ^ je vlastná hodnota (A + B)_1B. Keďže ide o monofónnu funkciu premennej A, 9 je dané vztahom 9- Xl ITv kde Ai znači najväčšiu vlastnú hodnotu matice A_1B. Pretože Ai > 0, piati 0 < 9 < 1. Vztahy medzi rozdeleniami 9, A a, F sú: (a) 9{p,m,n) a 9(n,m + n — p,p) majú rovnaké rozdelenie, 6(1,m,n) 1— A(l,TO,n) 71 p 1 — 9(1,m,n) A(l,m,n) m n'mi 9(p,m, 1) = 1 - A(p,m, 1) ^ p f ^ 1 — 9(p, m, 1) A(p, m,l) m — p + 1 p'm p+ 5. Metóda maximálnej vierohodnosti a test pomerom vierohodnosti Združenú funkciu hustoty rozdelenia náhodného výberu X„pi = (X'1;X^)' uvažovanú pri danom x (realizácia X G 1ZP) ako funkciu vektorového parametra 6 G lZq nazývame funkciou vierohodnosti L(x;0) = f[/(xi;0), i=l 23 resp. jej logaritmus, teda n Z(x,0) =Z(Xl,x2,...,x„,0) =lnL(x;0) = Eln/(xi;0). Vierohodnostnými rovnicami rozumieme systém ^91n/(Xí,0) i=l 0, A: = 1,2, ..., s). Za určitých podmienok regulárnosti pre každý 0 g fžo mťí —21nA(X) asymptoticky (pre n —> oo) rozdelenie Xq-S (l~s možno chápat ako počet reštrikcii na parametre 0i, ■■■,9q). Ilustrácia: (a) Nech X = (X1; X2,X^)'je náhodný výber z Np(fj,, S), S je známa pozitivně deŕinitná matica. H0: h = no X TJi : /x 7^ /x0. Potom L(x;/x,£) = |27rSrf e-|Eľ=i(xi -m)'S_1(xí - m) = = |27rS|-fetíí-{S"1S(reo0}e-?(5f-^'S"1(5f-^'. ak piati Hq, tak /x = /xo a max L(x; /x, S) = L(x; /xo, S) = = |27rS|-f e" f MS^S^Vf (x - /Xo/S^x - /x0) (je to jediné čislo). ak /x "nie je ohraničená", q = p, teda max^gTjp L(x; /x, S) sa dosahuje pre /x = /x = x a preto max L(x; /x, S) = L(x; /x(reaí), S) = = |2^srfe-fír[s_ls(rea°]e-f^-'i(rea'))'s_1^-'i(rea0) = Preto testovacia štatistika (vlastne jej realizácia) je |27rS|-f e-§M^S^'^-f(x - /Xo/S^x - Mo) -21nA(x) = -21m n n-í „fv — lc(reat)] \2ir-Ľ\-2e-2tr^ S J = n(x- /x0)'S_1(x- /x0). 25 Je to realizácia statistiky n(X —/x0)'£ 1(X — fi0), ktorá má za platnosti H0 podia vety 1.8 Xp rozdelenie. (Poznamenávame len, že h(Q0) = s = 0, teda aj podia tvrdenia vety 5.2 sedi pre asymptotiku, že q — s = p — 0 = p.) (b) (Hotellingov jednovýberový T2—test.) Majme náhodný výber X = (Xj,X2, ...,~x.'n)' z np((j,, S), S je neznáma pozitivně deŕmitná matica. H0 : n = no X Íri : /í/(x0. S sa musi odhadnut vzhladom na Hq ako aj "bez ohraničenia". Dá sa ukázat, že odhady ziskané met'odou maximálnej vierohodnosti (ich realizácie) sú za platnosti H0 : fi{real) = /x0, ±{real) = S{real) + dď, kde d = x - /x0, "bez ohraničenia": /i(rea0 = x, £(reaí) = s(reaí). Dostávame, že za platnosti Hq max L(x; /x, S) = L(x; /i0, S(reaí> + dď) = =_1_e-f {ŕr(S(reaí)+dď)_1S(reaí) +d'(S(reaí) + dd')_1d} = (27r)T|S(''eaí)+dď|f 6 = _l__e-f ír(S(reaí) + dä')"1^6"0 + dď) = 1 _"p -e 2 . (27r)Tŕ|S("a0 + dď|f ďalej max L(x; S) = Z, (x; x, S(reaí)) (27r)^|S(''eaí)|f ^{-fíríS^0'))-^^0') - ^(x-xnS^^-^x-x)} 1 _2I£ -e 2 , (2Tr)^\S(real)\i-teda testovacia štatistika (LR - štatistika) je -21nA(X) = -2ln ' 'S' |S+(X-/i0)(X-mo)'| (5.1) =-nlnf-=--L- V|S+(X-Mo)(X-Mo)'| Za platnosti Hq je V"(X - /x0) ~ np(0, S); podlá vety 2.18 nS - Wp(n - 1, S), pričom -y/řI(X — Hq) a n S sú nezávislé. Preto podlá poznámky za vetou 4.2 l»S| ISI |»iS + n(x - mo)(X - Mo)'| |S + (X - /x0)(x - mo)'| 26 má A(p,n — 1,1) rozdelenie. Podia lemy 3.5 je to totožné s rozdelenim (1 + T ^"í"1^)-1' č° Je rozdelenie náhodnej veličiny (1 + (X — /xo)'S_1(X — /x0))_1 (pozri dôkaz lemy 3.5) a podia poznámky za vetou 4.2 to je B ( —-—, — J rozdelenie. asymptoticky má teda podia vety 5.2 -21nA(X) = -nln f|g ,- |S' --) = nln(l + (X-^^(X-Mo)) Xp rozdelenie. ak chceme použit neasymptotický test, tak za platnosti Hq má náhodná veličina (l + (X-,x0)'S-1(X-/x0))-1 Ti — P P\ B ( —-—, — J rozdelenie, alebo podia dôsledku 3.6 má za platnosti H q štatistika ^^(X-/x0)'S-1(X-/x0) FPtn-p rozdelenie, (c) Hypotézu H0 : S — S0 X Hi : S^So ( fi nepoznáme), pričom máme výber z Np(fj,, S) rozdelenia o rozsahu n testujeme tak, že ziskame odhady met'odou maximálnej vierohodnosti. Za platnosti H0 : /t(reaí) = x, S = S0, "bez ohraničenia" : fi^real^ = x, ±(real) = s(real\ Preto za platnosti H0 je max /(x; m, s) = Z (x; x, s0) = m 2^ - ^ ln |£0| - ^(E^S^) S—So z z z a "bez ohraničenia" je maxZ(x;/x,S) = /(x; x, S) = - ^ ln 2ir - - ln |S I - ^. Teda testovacia LR - štatistika je -21nA(X) = nír(S0"1S) -nlnlSSp"1! -np. Táto náhodná veličina má zložité rozdelenie, ale asymptoticky má Xm rozdelenie, kde m = \p(j> + 1). (d) Hypotézu Hq : S12 = 0 ( fi nepoznáme), pričom máme výber z Np(fj,, S) rozdelenia o rozsahu n testujeme tak, že normálne rozdelený náhodný vektor rozdelime na podvektory s pi a p2 27 zložkami, pi + P2 = P- Predpokladajme rovnaké delenie kovariančnej matice S = /S S \ ] . Dá sa ukázat, že odhady met'odou maximálnej vierohodnosti za V ^21 ^"22 / platnosti Hq sú: fi = X, É = ( _^ ) (Sn a S22 sú príslušné submatice V U *22 / matice S). Test pomerom vierohodnosti má testovaciu štatistiku -21nA(X) = 2{-^ln27r- |ln|S| - ^(S^S) + y ln2tt+ 1« 11« i 1 n-í /Sn1 0 \ /Sn S12\\ |Sn||S22| + -ln|Sll||S22| + -ír^ Ji s-iJ^S2i S22J)=-ln^^ = 1 |S| , |Sn||S22 - S2iS111Si2| c-ic c-io 1 = -nln jšuira = -nln-\š^\— = -nln 11 -s- S2lS- Sl2'- Tato štatistika má asymptoticky x2 rozdelenie s p\P2 stupňami volnosti (pip2 = q, s = o). (e) Hypotéza Hq : S = diag (špeciálny prípad (c)) ( fi nepoznáme), pričom máme výber z Np(fj,, S) rozdelenia o rozsahu n je tá istá ako hypotéza H0 : R = I (R je korelačná matica). Tvrdi, že zložky vektora X sú nezávislé. Test pomerom vierohodnosti má testovaciu štatistiku (jej realizáciu) -21nA = -nln|Rx,x| (Rx,x je výberová korelačná matica). Táto štatistika má asymptoticky x2 rozdelenie s \p(j> — 1) stupňami volnosti. 6. Lineárny model a metóda najmenších štvorcov 6.1. úvod Majme lineárny regresný model (LRM) (6.1) YKíi = X„íP/3Píi + £„,i, £{e) = 0, cov(e) = cr2I. Veta 6.1. Y^7=i £f = £'£ = (Y ~ X/3)'(Y _ X/3) nadobúda minimum (vzhladom na (3) pre (3, ktoré je (ľubovolným) riešením normálnych rovnic (6.2) X'X/3 = X'Y. Toto minimum je rovnaké pre všetky riešenia rovnic (6.2). Dôkaz. /z(X') = m(X'X) =^> X'Y e /i(X'X) =^> (6.2) sú vždy riešitelné. Ich lubovolné riešenie označme (3. Piati (Y - X/3)'(Y - X/3) = (Y - X/3 + X/3 - X/3)'(Y - X/3 + X/3 - X/3) = 28 (Y - X/3)'(Y - X/3) + (/§ - /3)'X'X(/3 - /3) ^ (Y - X/3)'(Y - X/3). Teraz už dôkaz lahko dokončime. □ Označme ešte Ý = X/3 a i?2 = (Y — X/3)'(Y - X/3) = Y'(I - X(X'X)"X')Y. 6.2. Matica plánu X má plnú hodnosť Nech /i(X„íP) = p 5; n. Veta 6.2. Majme Li?M fč.ij, pričom /i(X) = p. PZató fa) /3 = (X'X^X'Y, £(/3) = /3 f6; cot;/3 = cr^X'X)-1. Dôkaz. Pozri Anděl. Veta 6.3. Pre lubovolné p G 7^.p má odhad p'/3 = p'/3 minimálnu disperziu zo všetkých lineárnych nevychýlených odhadov funkcie p'/3. Dôkaz. Pozri anděl. Veta 6.4. £(JĽ)=(72. \n-pj Dôkaz. £ í= -J—sľY'íl-JííX.'X.y^Y) = \n — p J n — p = —í— {[/3'X'(I-X(X'X)-1X.')Xl3 + tr[(I-X(X.'X.)-1X.')c72I}} = cr2. □ Veta 6.5. V LRM (6.1) nech Y ~ Nn(Xf3. or2!), h (X) =p (c) (3 a Rq sú nezávislé, (d) (/3 — /3)'X'X(/3 — /3) ~ o2\2p a nezávisí od Rq. Dôkaz. (a) zrejmé; (b) M = Y,i-*(x;x)-ix'Y = (Y _x/3yi-x(x-x)-^ _ m. Xft(i-x(X,x)-1X') rozdelenie podlá vety 1.8; , , ,y,yWy,v ^i-xtx'x)-1^ , , . I-X(X'X)-'X' . (c) (X X) XX Y a Y---Y su nezávisle, lebo---je az a2 j_XÍX'X) ^X! pozitivně semideŕinitná matica a (X'X)_1X'cr2I--- = 0, teda podlá ŕj anděl, str. 81 (alebo podlá vety 1.10) sú /3 a R\ nezávislé; 29 (d) (/3-/3)'^J(/3-/3) = (Y-X/3)'X(-X'Xj ^(Y-X/3) má podlá vety 1.8 X2 rozdelenie; i?2 = (Y-X/3)'(Y-X/3) = (Y-X^I-XtX'X^X'XY-X/S) a podlá vety 1.9 sú (/3 — /3)'X'X(/3 — /3) a i?2, nezávislé. □ Poznámka. Hypotézu H0 : (3 = Po X Hi : /3 ^ /30 testujeme štatistikou (/3-/30)'X'X(/3-/30)n-p R2 p ' ktorá má za platnosti Ho rozdelenie Fp^n-p. Zadefinujme R2H= min (Y-X/3)'(Y-X/3). /3: A/3=c Veta 6.6. Nech AqtP má hodnost h(A) = q, c g PZaíi (za predpokladu normality rozdelenia Y j faj R2H-R2o = (A/3 - c/tA^'X^A')-1^ - c), (b) £(R2H - Rl) = 2 rt^ rt0 2 i?2 (podia vety 1.8). Vo vete 6.5 sme dokázali, že —j ~ X2_p- ďalej máme Eg = Y'(I - X^'X^X')'^ - X^'X^X^Y. 31 Pretože cot;((A(X'X)-iA')_t(A/3 - c), (I - X(X'X)_1X')Y) = 0, sú R2H — Rq a í?q nezávislé. Za platnosti H : A/3 = c má e>2 ľ>2 a2q _ n- p R2H - í?2. Rl q R2 (6.3) F = cr2(n — p) Fq,n-p rozdelenie. □ Poznámka. Hypotézu H : AqíP(3 = cqA testujeme pomocou štatistiky (6.3). Přiklad. Testovanie hypotézy H0 : A[f3 = ct X Hx : A!fi + ^. Testovacia štatistika je t = KP - A[(3 = A = P {|ŕj| íí f (/j, n — p,a) Ví} ^í^i^fe Pravděpodobnost, že /j intervalov A^/3 ± v(k, n-p, a)sy A-(X'X)_1Aj, i =1,2, súčasne pokryje všetkých k lineárnych kombinácii A^/3 je 1 — a. Hodnoty v (k, n — p, a) sú napr. v Lamoš, Potocký, tab. VII. ak sú A^/3 lineárne závislé, treba v nahradit inou hodnotou, pozri napr. Hahn, Hendrickson, Biometrika 58, 1971. Intervaly v tomto pripade zostanú rovnaké. (c) Scheffeho meťoda. Je založená na vete 6.8, ktorá zase vychádza z nasledujúcej lemy Lema 6.7. Nech Mtít je pozitivně definitná matica. Pre ľubovolný x£Ä! piati x'Mx ^ 1 ^> (h'x)2 ^ h'M^h V h e 11*. Dôkaz, pozri anděl, str. 147. 33 Veta 6.8. Nech lineárny priestor B C 1ZP je generovaný vektormi ai, ...,a.k, čiže B = n(a.i'....:a.k)p,k a nech h(&i:...:&k) = k. Potom P Á |a'/3 - a'/3| ^ sJkFk,n-P{l - a)a'(X'X)-1a V a e B \ = 1 - a Dôkaz. Označme A' = (ai:...:afe), teda A = | : ] , pričom h(A) = k. Podlá vety 6.6 (c) má ^k / k,p (n - p)(A/3 - A/3Y(A(X.'X.)-1A')-1(Al3 - A/3) k (n — p)s2 (A/3 - Af3)'(A(X.'X.)-1A')-1(A$ - A/3) ks2 rozdelenie. Teda P {(A/3 - A/3)'(A2(fXrlA,rl(A/3 -Ap) = l\ = l-a { kszFk^p(l - a) J a podia lemy 6.7 je P j h'(A/3 - A/3) 2 ^ [Ä:s2Ffej„_p(l - o^h'AtX'X)-1 A'h Vh e ftfe j = 1 - a, čiže P j (A'h)'(/3 - /3) 2 ^ Ä;s2Ffej„_p(l - a)(A'h)'(X'X)-1 A'h Vh e ftfe j = 1 - a, čo je to isté ako p|(a'/3-a'/3)2 ^ Ä;s2Ffej„_p(l - ^a^X'X)-^ Vae ju(A') =fí| = 1-a. □ 6.3. Matica plánu X nemá plnú hodnosť Nech /i(X„p) = r < p 5; n. Normálne rovnice majú veia rôznych riešeni, pričom jedno riešenie /3 nemôžeme považovat za odhad /3. Treba odstranit nejednoznačnost. Robi sa to nasledujúcim spôsobom. Uvažujme maticu Bp_rp, ktorej riadky sú nezávislé, t.j. h (B) = p — r, pričom tieto riadky nezávisia od riadkov matice plánu X. Preto h ( ^ j = p (matica plnej hodnosti v stĺpcoch). Pre maticu ( J^~n'P j = ~Fn+p_rp piati, že h(F) = p. Preto p x p matica F'F = (X' B') ( g ) = x'x + B'B Je regulárna 34 (/i(F'F) = /i(F'), čiže aj h(F'F) = h(F') = h(F) = p). K normálnym rovniciam X'X/3 = X'Y pridáme rovnice B'B/3 = 0 a dostávame X'X/3 + B'B/3 = F'F/3 = X'Y, ktorých riešenie (3 = (F'F)_1X'Y je jediné. Pre toto (3 piati S (P) = (F'F)_1X'X/3 = (F'F)_1(X'X + B'B)P = p. Dostávame teda "zúženie" systému normálnych rovnic, ktorý má takto jediné riešenie (postup pri analýze rozptylu). Definícia 6.9. A'P je lineárne nevychýlené odhadnutelná ak existuje pre ňu lineárny nevychýlený odhad, t.j. ak existuje 1 G TU1, že é!g(l'Y) = A'P V/3 G 1ZP. Lenia 6.10. A'/3 je lineárne nevychýlené odhadnutelná práve vtedy ak A e /i(X'). Dôkaz, nájdete v anděl. Veta 6.11. Nech A'P je lineárne nevychýlené odhadnutelná, /3 je lubovolné riešenie normálnych rovnic, t.j. X'X/3 = X'Y. Potom (a) A'P je jednoznačný, (b) A'P je NNLO (najlepší nevychýlený lineárny odhad) A'P, t.j. pre každý iný lineárny nevychýlený odhad A'P funkcie A'P pla'ti 2?(A'/3) — 2?(A'/3) ^ 0. Dôkaz. Nájdete v anděl. Skôr ako ukážeme test hypotézy H : A/3 = 0, dokážeme si dve lemy. Lenia 6.12. Nech Am^,Bnj); sú lubovolné pevné matice, h(B) = r íí min{n, k}. Piati (6.4) h(t)= h[A(I - B'(BB')-B)] + h(B). Dôkaz. Matica (B':I — B'(BB') B)fe„+fe má hodnost k, lebo každý stĺpec matice B', teda B'e^ je kolmý na všetky stĺpce matice I — B'(BB')~B, teda na (I — B'(BB')"B)ej ] 1,2,..., k. lebo e£B(I-B'(BB')"B)ej = 0, j 1,2,...,k. Teda B' má r lineárne nezávislých stĺpcov, I — B'(BB')~B má k — r lineárne nezávislých stĺpcov (lebo h(I — B'(BB')"B) = k — r). Tiež B'e^ je kolmé na (I-B'(BB')"B)ej, j g {1,2, ...,k}, teda (B':I-B'(BB')"B)fe,„+fe má k lineárne nezávislých stĺpcov, teda h(B':I — B'(BB')~B) = k (plná hodnost v riadkoch). Teraz h = h = h 0 BB' £W;i-B<(BBrB) = ft(£: Ad-B'(BB')-B) -AB'(BB')-I A(I-B'(BB')"B) 0 0 AB' A(I B'(BB') B) BB' 0 h(B) + h[A(I - B'(BB')-B) □ 35 Lema 6.13. ak /i(X„íP) = r < p íí n, AgíP má hodnost h(A) = q, tl(^^J=r + q (riadky A sú lineárne nezávislé s riadkami X j, tak lubovolné 0 g /i(X) sa dá pisai ako Xá, kde A8 = 0. Dôkaz. Zrejme /z(X) d /i(X(I-A'(AA')"A)). ale podlá (6.4) je hodnost /i(X(I-A'(AA')-A)) = ^ ( a) ~ = r + 9- 9 = r = ^X), teda m(X) = m(X(I - A'(AA')"A)) t.j. každé 0 g /x(X) sa dá pisat ako Xá, kde Aá = 0. □ ak chceme testovat H : A/3 = 0 keď /i(X) = r < p, /i(Agp) = g, pričom /i^^^j = r + g, tak podlá lemy 6.13 R2„ = min (Y-X/3)'(Y-X/3) = min(Y-X7)'(Y-X7)' = i?2 (3: A/3=0 7 a TJq nevieme testovat (podia vety 6.6). Definícia 6.14. Hypotéza H0 : A/3 = 0 je testovatelná, ak riadky matice A sú lineárne kombinácie riadkov matice X, t.j. ak existuje matica Mgí„, že A = MX. Poznámka. Hypotéza H0 : A/3 = 0 je testovatelná, ak každá lineárna kombinácia A^/3 = {A}iJ3 je lineárne nevychýlené odhadnutelná. Poznámka, ak máme Hq : A/3 = c, tak vezmime /3q — lubovolné riešenie systému A/3 = c a vytvorme S = (3 — (3q. Model Y = X/3 + e prepišeme na model Y —X/3o = X(/3 —/3o) + e, čiže (pri označeni observačného vektora Y* = Y —X/3o) dostávame model Y* = Xá + e. V tomto modeli testujeme hypotézu AS = 0. Pôvodná hypotéza Hq : A/3 = c je teda testovatelná práve vtedy ak hypotéza AS = 0 je testovatelná v "novom" modeli, teda ak A = MX. Veta 6.15. Nech H0 : A/3 = c, kde Aqp má hodnost h(A) = q íí r, je testovatelná, t.j. A = MX (Y je normálne rozdelenú). Nech Rl = min(Y - X/3)'(Y - X/3), R\= min (Y-X/3)'(Y-X/3). (3: A/3=c ak Hq piati, tak (a) R2H-R2 = (A/3 - c)'(A(X'X)-A')_1(A/3 - c), kde (3 je lubovolné riešenie normálnych rovnic X'X/3 = X'Y, n-rR2H-Rl ~q Rj Dôkaz, pozri anděl (b) 2 ~ FqtTl_r. q n0 7. Viacrozmerná regresná analýza 7.1. úvod Na každom z n objektov robime merania p znakov. Výsledky merani na z—tom 36 objekte sú realizácie náhodného vektora Y- = {YllYl2...Ylp) = (xtlxl2...xlq) /?21 /?22 ■■■ /?2p pričom Yn je meranie l— tého znaku na z—tom objekte. Všetky merania dávajú maticu Y„p náhodných veličin (jej z—ty riadok znači p merani na z—tom objekte), teda Y12 . Y22 Y2p \Ynl Yn2 . Y J ± np 7 X 21 2ľ22 Xlq\/Pll P: X2q \ /P11 Ä2 ■■■ ÄP\ /ei \ ^21 ^22 ■■■ @2p Ynp J V ■ľni n 2 ■ ■ ■ %nq /3q2 ■■■ /3qp ~Y~n,p ^-n,q^q,p &n,p- (7.1) V modeli (7.1) je X„ g daná pevná známa matica, B matica neznámych parametrov, £i = {£n£i2---£ip)' je chybový vektor na z—tom objekte a / £11 £12 ■ ■ ■ £lp \ £ll £12 • •• £lp ~n,p V Enl £n2 ~np J je matica náhodných chýb. Piati Si ~ Np(0, S), ei,e2, ■■■,£n sú navzájom nezávislé, Bgp = (/3i,(3p). Vektor merani z—teho znaku je (YiiY2i...Yni)' = Zj e Kn, í = 1,2, Teda cov (zi) = J = 1;2, COf '(Zí.Zj) = / cov(Yu,Yij) cov(Yu,Y2j) cov (Y2i,Yij) cov (Y2l ,Y2j) cov(Yu,Ynj) \ cov(Y2l,Ynj) \cov(Ynl, Yi j) cov (Yni ,Y2j) 0 ... 0 \ cov( /o i j 0 O i j Vo o ú" 37 Iné vyjadrenie modelu je vecY = Z„„ i = ^2 \zpJ o x ... o Vo o ... x/ f ece, -uecY = (g) X„jg)rerB + uece, cof(fecY) = Spp (8 I„, ri-ak /i(X) = q < n, tak najlepši lineárny nevychýlený odhad /3i je Á = (x'x)-1^ a nevychýlený odhad <7zl je Z^I-XiX'^-iXOZ, _ fí2(i,í) „ n — q n - q Teda NNLO parametrov B je Označme B = (X'X)_1X'Y Ä^Í^^ÍZí-X^Zj-X^-)-Pre vektor Zj + Zj piati £(Z, + Zj) = X(A + /3j), co^Z, + Z,) = (ít* + 2^- + n33)l. NNLO A + (3j je (X'X^X'^ + Zj) = /3,+/3j Nevychýleným odhadom a a + 2a íj + a jj (Z, + Zj)'(I - X^'X)-^')^ + Zj) n — q n — q n — q n — q teda nevychýleným odhadom er^- je Matica R a i j = -. n — q /R20(l,l) i?2(l,2) . 'i?02(2,l) i?2(2,2) . ■o — RÍM \R2(p,í) R20(p,2) ... R20(p,P)J 38 je zvyškovou maticou súčtov štvorcov a súčinov. Nevychýleným odhadom matice S je teda S =-R0. n — q Dá sa pisat R0 = Y'(I - X(X'X)_1X')Y = Y'PY. ak sú merania na jednotlivých objektoch nezávislé a majú mnohorozmerné normálne rozdelenie s tou istou kovariančnou maticou S, potom môžeme považovat £±,£2, ...,£„ za náhodný výber z A/p(0, E). V takom pripade má vec£ rozdelenie Nnp(0, SPíP <8>In,n) (vyplýva z deŕinicie mnohorozmerného normálneho rozdelenia). Preto v takom pripade vecY ~ Nnp((LptP ® X)i>ecB, SPíP ® ln,n). Piati veta Veta 7.1. iVec/i íj modeli (7.1) je £i,£2, ■■■,£n náhodný výber z Np(0, S). Potom (a) B má normálne rozdelenie (rozumie sa tým, že vecB má mnohorozmerné normálne rozdelenie). (b) Y'PY - Wp(n- q, T,) (c) B a S sm nezávislé (rozumie sa tým, že vecB a vecS sú nezávislé). Dôkaz. (a) Pretože B = (X'X^X'Y, je vecB = veciX'X^X'Y = í;ec(X'X)_1X'YI = (I (X'X)~1X')vecY, z čoho je tvrdenie (a) evidentné. (b) Y'PY = Y'P'PY = (PY)'P(XB + e) = e'Pe ~ Wp(w, £) mm P2 = P, (pozri vetu 2.9), čo je splnené. V tomto pripade w = trP = n — q (c) vecB = (I (X'X^X'WY a vec± = --yecR0 = -vecCY'Cl - n — q n — q X(X'X)-!X')Y) = —!— veciY'il-XiX'X^X'Yil-XiX'Xy^Y). Stačí n — q ak ukážeme, že (I (X'X^X'^ecY a vec(I - X(X'X)"1X')Y = (I (I -X(X'X)_1X'))fecY sú nezávislé. Pretože (I (X'X)_1X')[ccw(í;ecY)](I (I - X(X'X)_1X')) = = (I <8> (X'X)_1X')(S <8> I)(I <8> (I - X(X'X)_1X')) = 0, dostávame aj tretie tvrdenie vety. □ 7.2. Testovanie hypotéz V modeli kde h(X) = q(S n), £ testujeme hypotézu e2 , pričom £i, £2, ■■■,£n Je náhodný výber z Np(0, S), iř0: C!B = D, Ci je známa g x q matica, h(Ci) = g, D je známa g x p matica. 39 Veta 7.2. V modeli (7.1) nech h (x.) = q, n — q ^ p — 1, E je regulárna, Bo je lubovolné riešenie rovnic CiB = D. Označme Y+ = Y — XBo- Za platnosti H0 : CiB = D, (/i(Ci) = g) má = |Y'PY| |y'py + y;p2y+| Wilksovo A(p, n — q, g) rozdelenie, pričom P = I — X(X'X)_1X', p2 = x.(x.'x.)-1c'1(c1(x.'x.)-1c'1)-1c1(x.'x.)-1x.'. Dôkaz. Y'PY = (XB + e)'P(XB + e) = e'Pe. Podlá vety 2.9 má Y'PY rozdelenie Wp(r, S) práve vtedy ak P2P, pričom v takomto pripade r = ŕrP. lahko sa vidi, že naozaj P2P a r = ŕrP = n — q, teda Y'PY ~ Wp(n - g, S). Tiež platí Y^P2Y+ = (Y-XB0)'X(X'X)-1C'1(C1(X'X)-1C'1)-1C1(X'X)-1X'(Y-XB0) a za platnosti Hq je np2Y+ = = (X(B-B0)+e)'X(X'X)-1C'1(C1(X'X)-1C'1)-1C1(X'X)-1X'(X(B-B0)+£) = = e'X(X'X)-1C'1(C1(X'X)-1C'1)-1C1(X'X)-1X'£. Podlá vety 2.9 má Y^P2Y+ rozdelenie Wp(g, S). Podlá vety 2.13 sú Y'PY a Y^|_P2Y+ nezávislé, lebo (i - xix'x^x^xix'x^c'^dix'x^c'^dix'x^x' = 0. Podlá poznámky pod vetou 4.2 má |Y'PY| |y'py + y;p2y+| Wilksovo A (p, n — q, g) rozdelenie. □ Hypotézu H o : CiB = D teda testujeme pomocou A (p, n — q, g) rozdelenia. Zamietame ju pre malé hodnoty A. Poznámka. Podobne v modeli (7.1), kde h (x.) = q, S je regulárna, môžeme testovat všeobecnejšiu hypotézu H0 : C1BM1 = D, kde Mj je známa p x r matica s /i(Mi) = r. Z modelu (7.1) totiž vyplýva model (7.2) Y„,pM1 = X„,gBg,pM1 + en,pMi, v ktorom je matica observácii YMi, matica plánu X a matica "neznámych parametrov" BMi, pričom e'e~Wp(n, £) a podlá vety 2.6 má M'1e'eM1 ~Wp(r, M^SMi) rozdelenie. (eMi)' je preto náhodný výber z Np(0, MjSMi) rozdelenia. Teraz už úplne analogicky ako vo vete 7.2 dostávame, že za platnosti H0 : C^BMi = D |H + E| A (r, n-q, g) rozdelenie, pričom E = (YMi)'P(YMi) a H = [(Y - XB0)M1]'P2 [(Y-XBq)Mi]. 40 7.3. Intervaly spoľahlivosti pre parametre modelu Pomocou kapitoly 7.2 nájdeme intervaly spolahlivosti pre lineárne kombinácie b'CiBA (alebo b'CiBMiA) v prípadoch, že A, b sú pevne dané; A je pevne dané a pre každé b; pre každé A, b. Nech B sú skutočné parametre (ich skutočná hodnota). Položime tentokrát Y+ = Y XB. Nech AeF, b e Ka sú pevne dané. Podlá lemy 2.12 b'Ci(X'X)_1X'Y+A = vec(b'C1(X.'X)-1X.'Y+A) = = vec(b'C1(X.'X.)-1X.'eA) = (A' b'C1(X.'X.)-1X.')vece, pričom cov(vecs) = cov(vecY) = SPíP (8> In,n (pozri kapitolu 7.1). Preto ^(b'C^X'X^X'Y+A) = V{{A' b'C1(X.'X.)-1X.')vece) = = (Aŕ^bŕC1(X.ŕX)-1X.ŕ)(^I)(A^>JÍ(X.ŕX.)-1Cŕ1b) = (A'SA)(b'Ci(X'X)-1C'1b) Už v kapitole 7.2 sme ukázali, že Y'PY = Y'(I - X^'X^X^Y ~ Wp(n - q, £) a teda pre A 4^ 0 je podlá vety 2.8 Samozrejme pričom e A A'Y'PYA A'EA Xn—q' A'Y'PYA 2 _ A'e'PeA _ (eA)'PeA A'EA Xn-q ~ A'EA ~ A'EA b'Ci(X'X)_1X'Y+A = b'Ci(X'X)_1X'eA, /£'lA\ e'2A V e'A/ Nn(0, (A'SA)I„in). Podlá vety 1.10 sú A'Y'PYA A'EA a b'C^X'X^X'Y+A nezávislé, lebo —!— (A'SA)I-X(X'X)-1C'1b = 0. A'EA1 ' 2 1 7 1 Pretože b'Ci(X'X)-1X'Y+A = b'Ci(X'X)-1X'eA má iVi(0, (A'SA)(b'C1(X'X)-1C'1b)) rozdelenie, má 1 ,ÍL„ '______t J . , roz- delenie x2 a je nezávislé od A'Y'PYA A'EA (b'C^X'X^X'Y+A)2 (b'CitX'X^CibXA'EA) ktoré má Xn—q rozdelenie. Dostávame, že 1 (b'CitX'X^CibXA'Y'PYA) n-q Pl,n — q- 41 Pre pevné A g 1ZP, b g 1Z9 [(b'dCX^-^YA-b'dCX^-^'XBA)2 ^ 1 1 (b'CMX'Xj-iCíbXA'Y'PYA) =n-/1'^91 ,h ' P jtb'C^X'X^X'YA - b'CiBA)2 ^ ^ —Fln_„(l -aOb'CitX'Xr^bA'Y'PYAl = 1 - a, n — q ' J čo je to isté ako (7.3) pjb'CiBA g (b'CitX'X^X'YA- 1 -Fi,„_g(l -oOb'CitX'X^CÍbA'Y'PYA, b'C^X'X^X'YA- n — q -^-Fi,„_g(l - ^b'C^X^-iCíbA'Y'PYA^ j = 1 - a. Poznámka. Tento výsledok dostaneme aj ked uvažujeme regresný model YA = XBA + e A, kde observačný vektor je YA, vektor parametrov je BA a chybový vektor e A (pozri přiklad za vztahom (6.3)). Hladajme teraz intervaly spolahlivosti, ktoré súčasne pokrývajú všetky b'CiBA, kde A g 1ZP je pevné, ale b sa meni a môže byt lubovolné z lZg. Budeme potřebovat nasledujúcu lemu. Lema 7.3. Nech Atít,Ntít sú symetrické matice, pričom N je pozitivně definitná. Potom a. ) pre lubovolné c g 72*, c^O (7.4) max ^-'- = c'N^c, x^o pričom maximum sa dosahuje pre x = N_1c; b. ) r r, r\ X'AX (7.5) max = Ai, x^o kde Ai je najväčšia vlastná hodnota matice AN-1. Dôkaz. Schwarzova nerovnost tvrdi, že pre lubovolné dva vektory x, y g 72* piati (x'y)2 5; x'x y'y. Maticu N môžeme pisat ako N2N2, maticu N-1 môžeme pisat ako N"3N"5 (pozri anděl, str. 64). Preto pre vektory u = iVJx, v = N~iy (x, y lubovolné z 72*) piati (u'v)2 = (yĽNÍN-iy)2 = (x'y)2 S u'u v'v = x'Nx y'N_1y, 42 čiže pre lubovolné x, y g TZf (7.6) (x'y)2 S x'Nx y'N^y a.) Vezmime lubovolné ceK1, c^O. Pre každé x£Ä! piati zo (7.6) (c'x)2 ^ x'Nx c'N_1c, čiže pre každé xeR', x^O piati < c'N-c, x'Nx - teda max < c'N^c, xe-R' x'Nx -x^o pričom je lahko vidiet, že maximum sa dosahuje pre x = N_1c. b.) Označme Ai ^ A2 ^ ... ^ At korene rovnice |A — AN| = 0. Pretože IA-ANI = 0 IAN" AIIINI = 0 IAN"1 -AI| =0, sú Ai,...,At aj práve všetky vlastné hodnoty matice AN 1. Podia Rao, lc.3 (II) existuje matica R, ktorá je regulárna a piati (7.7) kde A = R 1AR 1 N = R 1 R-1, A = /Ai 0 ' 0 A2 Vo Pretože každý vektor x g V} môžeme pisat ako R 1u, u g V} (čiže V} {R"1!!, u g K1}), platí zo (7.7) u'Au u'R-^AR-'u x'Ax max-= max-;-= max-= Ai, uen' u'Nu ue-R* u'R 1 R % xgä' x'x lebo x'Ax _ ELi ^xf E- á Ai E; E: = Ai a rovnost sa dosahuje napr. pre x = (1, 0,0)'. □ Podía (7.4) sa maximum výrazu (b'C^X'X^X'Y+A)2 (7.8) (b'Ci (X'X) -1 Ci b) (A'Y'P YA) 43 dosahuje vzhladom na b (A je pevné, teda Ci(X'X) 1X'Y+A je "fixné") ak b = (CitX'X^Ci^CitX'X^X'Y+A a toto niaximuni je A'Y^pCÍX'XÍ-^iíCiíX'XÍ-^^-^iíX'XÍ-^'lY+A (7.9) A'Y'PYA A'[Y^P2Y+]A _ A'HA A'EA A'EA lahko sa ukáže (pozri vetu 7.2 a vetu 2.9), že H = Y^_P2Y+ ~ Wp(g, S) (tentokrát Y+ = Y XB), E = Y'PY ~ Wp(n - q, S), pričom H a E sú nezávislé (podlá vety 2.13). Preto podlá vety 2.8 má A'HA 2 A'EA ~ Xg A'EA 2 y^n—o A'EA /ín-q a posledné dve náhodné veličiny sú nezávislé. Dostávame, že n-q A'HA ~ A'EA Zo vztahov (7.8) a (7.10) dostávame, že pre pevné A e 7?.p f (b'CMX'XriX'Y+A)2 ^ (b'C^X^-iCi^íA'Y'PYA) - 5; —-—F„ n-o(l — a) pre každé b e 7?.s J- = 1 — a, n — q 1 P jtb'C^X'X^X'YA - b'C^BA)2 ^ - ~ň~^~q~F9'n~q(1 ~ a)b'Ci(X'X)_1CíbA'Y'PYA Pre každé b^9 = 1 — a. Teda intervaly spolahlivosti, ktoré súčasne pokrývajú všetky kombinácie b'C^BA (A pevné, b e 1Z9 sa meni) s pravdepodobnostou 1 — a sú (7.11) b'Ci(X'X)"1X'YA±y'—9— Fs,„-g(l - oOb'CitX'X^CibA'Y'PYA. Poznámka. Tento výsledok sa zhoduje s vetou 6.8 (Scheffeho met'oda), ak uvažujeme regresný model YA = XBA + eA. 44 Teraz preberme prípad, keď "sa menia" vektory A aj b (A e 1ZP, b e 1Z9). Podlá (7.5) je AHA max . . = Ai, Aeizp A'EA A#0 kde Ai je najväčšia vlastná hodnota matice HE_1. Poznamenávame len, že E ~ Wp(n - q, £) a preto E = Y,?=ľ kde Či; Č2, čn-g sú nezávislé Np(0,T,) rozdelené a podia anděl, str.121 piati pre n — q ^ p, že P{E je pozitivně deŕinitná matica } = 1. Podlá Kubáček, Kubáčková, Volaufová, str. 445 je H + E pozitivně deŕinitná matica (H je pozitivně semideŕinitná a E je pozitivně deŕinitná matica). Preto A = — 1 nemôže byt vlastným čislom matice HE_1. ak by totiž —1 bola vlastným číslom matice HE1, tak |HE-1+I| = 0, ale |HE-1+I| = |(H+E)E"1| = |H + E||E_1| 0. ďalej máme, že A (7^ —1) je vlastným čislom matice HE 1 práve vtedy ak 1 - ATI = n ^> íIHE 1 |HE — AI| = 0 (^t+äJ IHE"1 - AI||E| = 0 ^> j^Y |H - AE| = 0 ^ |H^ -^£1=0^ ^ IH (1 - t+ä) - T+äE| = 0 ^ |H - ^(H + E)| = 0 ^ ^ |(H + E)[(H + E)-1!! - ^I])! = 0 ^ |(H + E) - = 0, čiže práve vtedy ak ——- ie vlastné čislo matice (H + E)_1H. Funkcia ——- ie 1 + A v ; 1 + A rastúca pre A g (—00, 00), preto ak Ai je najväčšia vlastná hodnota matice HE_1, tak je najväčšia vlastná hodnota matice (H + E)_1H. Nasledujúce ekvi- 1 + Ai valencie nám dokazujú, že A je vlastná hodnota E_1H práve vtedy ak je vlastnou hodnotou HE_1: (7.12) |HE_1 - AI| = 0 ^> |HE~5 - AE5||E_3| = o ^> ^> \EÍ\\E-iHE-i — AI| |E_ * I = 0^==> |E"i||E"ÍHE"i -AI||E*| = 0 ^> ^> |E-1H — AI| = 0. ak A je vlastná hodnota matice E_1H (teda práve aj matice HE_1), tak zo (7.12) je A 0. Preto 9 = --najväčšia vlastná hodnota matice (H + E)_1H musi byt v intervale < 0, 1). Keď 9 považujeme za náhodnú premennú (najväčšiu vlastnú hodnotu náhodnej matice (H + E)_1H), tak 9 má podlá deŕinicie 4.3 9(p, n — q, g) rozdelenie. Piati tiež pre a—kritickú hodnotu rozdelenia 9, t.j. pre také 9a, že P{9 > 9a} = a, že P{9 ^9a} = l-a, čiže P{Ai S (l + \i)9a} = í-a, 45 P{X1(l-0a)^0a} = l-a, (7.13) P{A1^T^} = l-a (pretože Ai ^ 0, je 9 e< 0,1)). Vrátme sa teraz k (7.9). ak A e TZP, A ^ 0 (pevné), tak (b'C^X'X^X'Y+A)2 _ A'HA bej* (b'Ci(X'X)-1 Cib)(A'Y'PYA) ~ A'EA (pozri (7.10)). Podlá (7.5) je zase A'HA AeK" A'EA A#0 Ai, kde Ai je najväčšia vlastná hodnota matice EH. Podlá (7.13) P{\i 5;--—} = 1 — 0a 1 — a. Preto P jOa'C^X'X^X'YA - b'CiBA)2 ^ S 1 dan b'Ci(X'X)~1C'1bA'Y'PYA pre každé A e W a každé b e U9 1 = 1-6*0, J = 1 — a, čiže intervaly spolahlivosti, ktoré súčasne pokrývajú všetky lineárne kombinácie b'C^BA s pravdepodobnostou 1 — a sú b'C^X'X^X'YA ± J—2—b'C^X'X^CibA'Y'PYA. V 1 — 6 a ak chceme vediet intervaly spolahlivosti pre lineárne kombinácie b'CiBMiA, kde Mi je matica p x r s hodnostou /i(M) = r, postupujeme tak, že vytvoríme model (7.2) a v ňom postupujeme úplne analogicky ako v tejto kapitole. Príklad (Lamoš, Potocký, str.24-6). V tabulke sú uvedené hmotnost pšenice Yi a hmotnost slamy Zi z i—teho pozemku, i = 1,2,...,7. x u = 1, i = 1,2,...,7 a X2i znamená množstvo hnojiva použitého na z—tom pozemku. Za predpokladu, že závislost Yi & Zi od x u a x2i je lineárna, nájdite regresné koeficienty. Potom testujte hypotézu o tom, či závislost je významná, t.j. overte, či j32 = 72 = 0. Hladina významnosti a = 0.05. pozemok 1 2 3 4 5 6 7 Y 30 35 31 18 28 18 29 Z 35 38 30 20 30 22 28 x2 15 21 18 9 14 9 12 Riešené. Model je Yt = faxu + /32x2l