Lineární statistické modely II 1 Úvod Prednášky z predmetu Lineární statistické modely II nadväzujú na predmety , Pravděpodobnost a statistika I, II a Linearné statistické modely I. Predpokladajú sa znalosti získane v túchto predmetoch. Odporúčaná literatúra k štúdiu je Andei, J., Matematicka statistika, SNTL, Praha, 1985. Rao, C., R., Lineérné metody statistické indukce a jejich aplikace, ACADEMIA, Praha, 1978. Zvara, K., Regresné analýza, ACADEMIA, Praha, 1989. 2 Testy dobrej zhody 2.1 Multinomicke rozdelenie Majme urnu a v nej gulky k farieb. Pravdpodobnst vytiahnutia gulky i—tej farby je ôi, i = 1, 2,k, 0 < ôi < 1, ô\ + ô2 + ... + ôu = 1. n—krút nezavisle tahúme vzdy jednu gulku s vratením. Označíme si jej farbu. Nech núhodnú premennú X{n) je počet vytiahnutých guliek 1. farby v n tahoch núhodna premenna x2(tí) je počet vytiahnutych guliek 2. farby v n tahoch (n) núhodnú premenna Xu je pocet vytiahnutych guliek k. farby v n tahoch. Teda múme nahodny vektor = (x^\ X^1^ , X(n sú diskrétne nahodne premenne, ktoré nadobúdajú hodnoty z {0,1,n}. Pocítajme p{X(n) = x1,X(n) = x2,...,X(n) = xk] . Zrejme tato pravdepodobnost je nenulova len pre xi G {0,1,n}, pricom x\ + x2 + ... + xu = n, inde je nulovúa. Pravdepodobnost postupnosti vytiahnutych guliek, ktorú (postupnost) obsahuje xi guliek 1.farby, x2 guliek 2.farby,...,xu guliek k.farby je ô3^ ô2;2 ...ô3^'. Pocet moznych "vytiahnutúch postupností" guliek, ktoré obsahujú xi guliek 1.farby, x2 guliek 2.farby,...,xu guliek k.farby je ŕn\ŕn — x A (n — xi — ... — xu-2' \xi)\ x2 J"\ xu-i , n! (n — xi)! (n — xi — ... — xu-2)! n! (n — xi)! xi! (n — xi — x2)! (n — xi — ... — xu-2 — xu-i)! xu-i! xi! x2!...xuľ teda P (X(n) = x) = ——n]-- ô31 ô32...ôlk (1) V ; xi! x2!...xu! 12 u K ' 1 2 pre xi G {0,1,n}, xi +x2 + ... + xn = n, inde je rovná 0. Rozdelenie pravdepodobnosti dané pravdepodob-nostnou funkciou (1) sa volá multinomické s parametrami n, 9i,9k a značíme X(n) — Mu(n, 9i,9k). Poznámka 2.1: V Mu(n, 9i,9k) rozdelení je k — 1 "nezávislých" parametrov. Označme Xij nahodnu veličinu 1, ak v i— tom tahu vytiahneme gulku j—tej farbý, 0, inak, i = 1, 2,...,n, j = 1, 2,k. Platí P {Xij = 1} = 9j, P {Xij =0} = 1 — 9j, E (Xij) = 0(1 — 9j ) + 19j = 9j, D(Xij) = E (Xij — 9j )2 = E (X2) — E2(Xj) = 02(1 — 9j ) + 129j — 9j2 = 9j (1 — 9j), cov(Xij, Xis) = E ((Xij — 9 j )(Xis — 9s)) = E (Xij XiS) — 9 j 9S = —9 j 9S pre j = s, lebo náhodna veličina Xij-Xis nadobúda len hodnotu 0. Teda výsledok i—teho tahu popisuje nahodná vektor Xi {Xn\ Xi2 \Xih J , E (Xi) = e: — 9i) 92 — 9291 , covXi = w \ —9k 9i — 9i 92 92(1 — 92) —9i9k \ — 929k 9k (1 — 9k)J Zrejme platí Xj ~ Mu(í, 91,9k) (dokážte ako cvičenie) a tiež X1-"-1 = ™=i Xi; pričom Xi, X2,X„ nezávislé. V dalSom označme A /9ľ 0 . . . 0 A /91\ 0 . . . 0 D = , Q = I \ 0 ... yfQ~h) /9kJ Veta 2.2: (Vlastnosti Mu(n, 91,9k).) Nech X(n) - Mu(n, 91,9k), potom platí (i) E(X(n)) = ne, /n9i(1 — 9i) —n9i92 ... —n9i9fc \ —n929i n92(1 — ... —n929fc (ii) covX(n) V —n9k 9i (iii) hodnost /i(covX(n)) = k — 1. n9fc (1 — 9k)j (iv) jedna zovseobecnená inverzia matice covX(n) je covX(n) 1 n»2 0 0 0 0 0 3 Dôkaz: (i) pretôZe X(n) = £n=1 Xi, je E(X(n)) = E£n=1 Xi = £n=i E(Xi) = nO, (ii) Xi, X2,Xn sú nezávisle, pretô ÍQi(1 - Qi) -Q1Q2 ... -OiOk \ cov (X(n)) = cov(y^^ Xi) = ^""^ covXi i=1 i=1 ?i Q2(1 - Q2) \ —QkQi >2Qk (iii) platí cov (X(n)) M 0 0 Q2 ... 0 0 . . . Qk 0\ /Qi\ 2 = n[DD - DUUD] = nD(I - UU)D = nDQD, (poznamenajme len, ze D je regulárna matica a U'U = 1) h(Q) > h(DQD) > h(D-1DQDD-1) = h(Q), Qk(1 - Qk) . (Q1,Q2 ,...,Qk ) Qk h(Q) = h(DQD) = h(nDQD) = h (covX(n)) (Q je idempôtentna) h(Q) = trQ = tr(I - UU') = trIkk - trUU' = k - trU'U = k - 1, (iv) (covX(n)) nD-1D-1 (covX(n)) = nDQD nD-1D-1 nDQD = nDQD = (covX(n)) teda D-1D-1 0 0 -k 0 ^ ^ 0 0 -k M v0 0 nk M V 0 0 0 je jedna zovšeobecnená inverzia matice covX(n). n6k J Q.E.D. Poznámka 2.3: Lahkô vidíme, ze covXi = DQD. Velmi dôlezite asmptôticke vlastnôsti nahôdnehô vektôra s Mu(n, Q1,Qk) rozdelením pravdepôdôbnôsti dôstaneme pôúzitím mnhôrôzmernej centrálnej limitnej vety a mnôhôrôzmernej Sverdrúpôvej vety. Veta 2.4: (Mnôhôrôzmerná centrálna limitna veta.) Nech Š1, Š2,... sú nezávisle, rôvnakô rôzdelene nahôdne vektôry z Rk, ktôré majá stredná hôdnôtú fi a kôvariancnú maticú V (s kônecnymi prvkami). Ak ôznad'me Zn = -jn(Ši - f) + ... + -jn(Š n - f), tak -> Nk (0, V) =n =n 1 n n 4 (konvergencia v distribúcii). Dokaz: najdeme v knižke Anděl, J., Matematická statistika, SNTL, Praha, 1985, str. 185. Veta 2.5: (Mnohorozmerna Sverdrupova veta.) Ak b : TTk — R1 je spojita reúlna funkcia a ín í, tak b(£J b(i). n n Dôkaz: jednorozmernej Sverdrupovej vety najdeme v knižke Andel, J., Matematická statistika, SNTL, Praha, 1985, str. 185. Veta 2.6: (Asymptoticke vlastnosti nahodneho vektora X(n).) Pre nahodny vektor X(n) platí: (i) Yn D-1(X(n) - nO) Nk(0, Q), Dôokaz: (i) Platú (xkn) - ne0)2 d x2 nô3 Yn = -=D-1(Xi + X2 + ... + Xn - nO) = D-1(Xi - O + X2 - O + ... + Xn - O) = nn = ^(D-1Xi - D-1O) + ^(D-1X2 - D-1O) + ... + ^(D-1Xn - D-1O). n n n Zrejme D-1X1, D-1X2,... sú nezúvisle k-rozmerne nahodne vektory, rovnako rozdelene, so strednou hodnotou D-1O a kovariancnou maticou D-1(ccwXj)D-1 = D-1DQDD-1 = Q. Preto podla mnohorozmernej centrúlnej limitnej vety (Veta 2.4) platí Yn = --= D-1(X(n) - nO) = ^(D-1Xi - D-1O) + ... + -^(D-1Xn - D-1O) Nk(0, Q). i/n yjn \Jn n (ii) Funkcia b : Rk — R1 danú predpisom b(z) = z'z je spojita, Yn = D-1(X(n)-nO) -—— Nk (0, Q) nn (podla (i)), teda podla mnohorozmernej Sverdrupovej vety (Veta 2.5) b(Yn) = Y^Yn = n (x(n) - n0j'D-1D-1 (X(n) - rúty = -(xin)-nei,x2n)-ne2,...,x(kn)-nek) 0 -k ^ ^ 0 0 -k 0 X2n) - n92 \4n - nOkJ Vek /x[n)-ne1\ \ Vôl XP - n61 Xkn) - nô2 X^> - nôh (n) n \ Vôl VÔ2 ' '"' sjtik K (Xkn) - nô3 )2 E 3=1 — Y'Y, 0 1 5 kde Y ~ Nk(O, Q). Pretože Q je idempotentná matica, je I jej jedna zovšeobecnená inverzia a Y'Y (Y - O)'Q-(Y - O) ~ xh(Q). Ciže * (X(n) - n6j)2 v 2 Poznámka 2.7: (i) k (y(n) „e )2 k [x(n) k Y(n)„e k „2e2 x2 = \p(xj — n0j) v [xj J _2y x j + V „—i- = (n)X ^ „e, ^ „e, ^ „e, ^ „e, k \x(n)]2 k k k \x(n)]2 j=1 j=1 j=1 j=1 lebo Efc=i xjn) = „ a Efc=i ej = 1. (ii) V praxi sa aproximácia x2 použije ak „ei > 5 pre všetky i = 1, 2,k. (iii) Realižacie náhodných veliďn x(n),x2n), ...,xjn sa volajú empirické četnosti a ^1,^2, ...,„ek sa volajú teoretické (četnosti. 2.2 Testy dobrej zhody pri známych (niekedy rušivých) parametroch Majme nahodný pokus, pri ktorom môže nastat k rožných vúsledkov A\, ...,Ak, priCom pre i = j je Ai n Aj = 0 a Uk=1Ai = Q (istá udalost), P(Ať) = ^ G (0,1), i = 1,2,k, EfcU PAi) = Eti ^ = 1. Tento pokus nežavisle opakujeme „—krat a ožnacme xjn) - pocet výskytov vúsledku Aj (realižáciou tejto náhodnej veliciny je empirická cetnost Aj). Zrejme X(n) = (x(n), ■■■,x{n))' — Mu(u,e1,...,ek) (dokážte ako cvicenie). Majme (hypoteticke) hodnoty e10, e20,...,ek0, 0 < ei0 < 1, i = 1, 2,k, Ek=1 ei0 = 1 a testujeme hypotežu Ho : e1 = e10,ek = < H : neplatí H0 (x(n) — „e -0)2 Za platnosti H0 má testovacia statistika (n)X2 = Efc=1 —j-ä-j- — x\-1 roždelenie (asymptoticky). Ak realižácia tejto statistiky je vacsia ako xk-1(1 — a) ( (1 — a)—kvantil x2 roždelenia s k — 1 stupnami volnosti), tak H0 žamietame (na hladine vyžnamnosti a). Príklad 2.8: Pri pokuse - hod mincou ožnacme (vysledok) A1—padne cáslo a A2—padne žnak (k = 2). 100—krat hodíme mincou („ = 100), pricom 51—krát sa objavilo cáslo a 49—krát žnak. Nahodna velicina x(100) je pocet padnutí v císla a x2100) je pocet padnutí žnaku pri tychto 100 hodoch, P(Ai) = ei, i = 1, 2. Testujeme H0 : e1 = 2, e2 = 2 < H : neplatá H0 (teda testujeme hypotežu, že minca je homogenna, e1 = e2 = ^). 6 „ (51 - 1002)2 (49 - 1001 )2 Realizácia testovacej statistiky (100)X2 je -lnn i 2--1--77^ 100 2 100 2 50 + 50 0,04. Pretoze 0, 95—kvantil \\ rozdelenia je \\ (0, 95) = 3, 84 a realizácia testovacej štatistiky je 0,04 < 3, 84, nezamietame Hq (nezamietame hypotezu, Ze minca je homogenna) na hladine významnosti a = 0,05. Príklad 2.9: (Andei, J., Matematická statistika, SNTL, Praha, 1985, str.195.) Chceme testovat hypotezu, ze deti v Ceskoskovensku v roku 1957 sa rodili rovnomerne. OznaCme pi pravdepodobnost, ze dieta sa narodí v i—tom mesiaci (prirodzene pre i=1 je to "leden", pre i = 2 je to "únor", atd.) a nahodnu veliCinu Xi — poCet narodených detí v i-tom mesiaci. Test založíme na údajoch z nasledujúcej tabulky (udúva pocet narodenúych detúí v Ceskoslovensku v roku 1957 v jednotlivyúch mesiacoch). mesiac i realizúcia Xi pocet dní pi npi (Xi-npi)2 npi 1. 21 182 31 0,08493 21 465 3,731 2. 19 960 28 0,07673 19 393 16,578 3. 22 787 31 0,08493 21 465 81,420 4. 22 805 30 0,08219 20 773 198,769 5. 23 120 31 0,08493 21 465 127,604 6. 21 859 30 0,08219 20 773 56,775 7. 21 367 31 0,08493 21 465 0,447 8. 20 357 31 0,08493 21 465 57,194 9. 20 946 30 0,08219 20 773 1,441 10. 20 037 31 0,08493 21 465 95,000 11. 18 728 30 0,08219 20 773 201,320 12. 19 592 31 0,08493 21 465 163,435 252 740 365 1,00000 252 740 1 003,744 1 1 Keby bol pocet narodených detí nezúvislú na rocnej dobe, bola by pravdepodobnost narodenia dietata v danom mesiaci úmerna poctu dní v tomto mesiaci (napr. pre "leden" p;l = 36L = 0, 08493, pozri 4. stlpec tabulky). Vzhladom k zaokruhlovacím chybúm sa upravovali tieto pravdepodobnosti tak, aby ich vyslednú súcet bol 1. V tomto prípade n=252 740 a k = 12. Realizúcia testovacej statistiky (252740)X2 je 1003,744 a to je viac ako 0.95-kvantil x21 rozdelenia (x2 i(0, 95) = 19, 7). Preto zamietame H0, ze sa deti rodili rovnomerne v Ceskoslvensku v priebehu roka 1957 (na hladine vyúznamnosti 0.05). 2.3 Testy dobrej zhody pri neznámych parametroch Casto sa stava, ze ô1,ô2, ...,ôk multinomickeho rozdelenia nepoznúme, alebo su funkciami inych parametrov a1, a2,am, (m < k — 1). Ilustrujme to na nasledujúcej situacii: Nech Y1,Y2 ,...,Yn je nahodny vúber z rozdelenia s distribučnou funkciou F (x, a) (teda zavisí na a = (a1, a2,am)'). Rozdelme os x na k intervalov I1,I2,Ik, aby Uk=1Ij = (—x, to), Ij P\ Ik = 0 pre i = k. Ozna cme núahodnuú veli cinu X(n) — pocet realizacií z {y1 ,y2,...,yn}, ktoré padnú do Ii (empirickú pocetnost). 7 Nech Y má distribučnú funkciu F (x, a), 9i = P {Y G Ii} = ^ dF (x, a) = 6i(a), i = 1, 2,k. V tomto prípade má X(n) = (X(n), X2(n),X(n)) - Mu(n,91 (a),92(a),...,9k(a)) (přesvědčte sá áko cvičenie), tedá (pre dáně a) k (X(n) — n9i(a))2 , (n)X (a) = g^Mä (ásymptoticky, t.j. pre velke n). Xk-1 a(n) = a(n)(X1n\X2n\...,Xkn)) = a^mm („)x2(a) názúváme odhádom a metódou minimálneho x2 . 9 (n)X2(a) Odhád a (n) riesi rovnice = 0, j = 1, 2,...,m. Pocítájme cize d (n)X2(a) = _d_ * (X(n) — n9i(a))2 = daj da.j n9i(a) = * — 2(X(n) — n9i(a))n ^ n9i(a) — (X(n) — n9i(a))2n ^ = = ^ n292(a) = i_1 i * { 2X(n — n9i(a) (X(n) — n9i(a))2 \ d9i(a) = 0 . = 12 m ží\ 2 9i(a) n92 (a) j da3 0 j = 1 A f X(n) — n9i(a) + (X(n) — n9j(a))2 } d9i(a) 0 = m i_1 9i (a) 2n92(a) f daj (X(n) — n9i( a))2 2n92(a) Ukázuje sá, ze vplyv clená —i o 2 ^- pri dostátocne velkom n nie je podstátnú. Zánedbúme tento clen á dostáváme sustávu rovníc * X(n) — n9i(a) d9i(a)=0 = m _ 9i(a) daj =0 , j = 1,2 , ...,m Pretože A (a) d9i(a) A d9i(a) d A ( 0 konecne dostúváme rovnice, ktorých riesenie a(n) = a(n)(X(n), X2[í\ X(n)) je odhádom a metódou modifikovaného minimálneho x2. Ich tvár je * [ X(n) d9i(a) 1 ft . 1 „ ^ 9i(a) daj Veta 2.10: Nech 9i(a),92(a), ■■■,9k (<*) sú funkcie parametra a G Rm, m < k — la nech pre všetky body a = (a\, am)' nedegenerovaneho koneCneho uzavreteho intervalu A C Rm platí 8 1. 0i (a) + ... + 9k (a) = l, 2. 3c > 0, že 0j(a) > c, i = 1, 2,...,k, 3. pre každe i G {1, 2,..., k} existujú spojité derivácie —^—^, j G {1, 2,..., m} a tiež ——i( ), j,l G —aj —a j —ai {1,2,...,m}, 4. matica —e fdd1(a) ôa>i S92(a) dai S9k (a) \ dai S92(a) dam d9k (a) má hodnost m. Nech a° je vnútorným bodom A. Ožnacme 6i0 = 0,—°). Nech X(n) = (x[n),X(n\ ...,Xikn)^ Mu(n, 610, 620,0ko). Potom sústava A \x^_ d6i(a) U [6i(a) —aj 0, j = 1, 2,...,m má práve jedno riesenie a(n) = (al ), a°) a platí (asymptotický) n) n) n) ktore je konzistentným odhadom a° (teda ain) -> (n)X2 = Yl (X(n) - n6i(a(n))2) — n Xk—m— 1. i = 1 n0i( — (n)) Dôkaž: požri napríklad v knižke Andel, J., Matematická statistika, SNTL, Praha, 1985, str. 197. Po-žnamenavame len, že a (n) —a ° <=^- y e > 0 P {u : \\ a (n)(u) — a °\\2 > e} -> 0. nn Poznámka 2.11: Veta 2.10 hovorí, ako dostat konžistentnú odhad a° a ako testovat, ci nas model "je dobrý", t.j. napr. ci údaje pochádžajú ž nahodneho výberu s danám roždelením pravdepodobnosti (týpom roždelenia), ktoreho distribucna funkcia je F (x, a ). 2.4 Overenie normálneho rozdelenia Majme nahodný váber Y1 ,Y2, ...,Yn ž roždelenia s (nejakou) distribučnou funkciou F (y). Testujeme hýpotežu H0 : nahodný váber je ž normalneho roždelenia < H1 : neplatá H0. Realnu os roždeláme na k disjunktnách intervalov I1 = (—cc,b1), I2 = (b1,b2), ... Ik-1 = (bk-2,bk-1), Ik = (bk-1, 00) (b0 = —00 < b1 < b2 < ... < bk-1 < bk = 00, b1,b2, ...,bk-1 sá vhodne žvolene reálne cásla, o ich volbe si povieme v Požnamke 2.12). Ožnacme nahodná veliclnu X(n) X(n) — pocet realižách ž množiný {y1, y2,yn}, ktore padli do Ii, i = 1, 2,k, a = (/j,, a)', kde j G (—00, 00), a > 0. Za platnosti H0 je ľbi 1 (x — j)2 6i(a) = 6i(j,a) = P{Yj G IJ = P{b— Ii (a (n) ) J I, Rovnica (2) sa da upravit u x(n) r ľ ô (u i a-) / xf (x; fl(n),a(n))dx — U(n)ôi(U(n),a(n)) =0, i=i ôi(u(n),a(n)) \_JI, teda u X(n) u (n) y2 0 i--T / xf (x; u(n),a(n))dx = u(n)Y\ X(n) = ôi(u(n),a(n)) Ju 1=[ a keďze YlU=i = n, dostavame 1 u X(n) U(n) = ~£ /w~ Í ~-V / xf (x; U(n),a(n))dx. (4) n j=[ ôi(u(n),a(n)) JIí Z rovnice (3) zase dostavame u (n) u (n) g ôi(p^a{n))Jh (x — U(n))2f (x; U(n),a(n))dx = (a(n))2 £ ô^a^) ďciďze 1 u (n) (a(n))2 = ^£ô7^-) (x — U(n))2f (x; u(n),a(n))dx. (5) n ôi(u(n),a(n)) J U a 10 Rovnice (4) a (5) sa riesia (pre dane n) iteracne. Urcúme císla _b>2 + 61 _ 63 + 62 _bk-1 + bk-2 c2 = —2—, c3 = —2—, ... ck-1 =-2-, C1 = 61 — (c2 — 61) = -2-, ck = bk-1 + (bk-1 — Ck-1) = -2- a nultyú odhad k 1 (n) n i=1 1 k (n) (0 Ô"(n))2 = "V) X(n)c2 — (0M(n))2 n i=1 (pozor, neodporúca sa pouzit Y namiesto 0/t(n) a S2 = n~1 Sí=1 (Y — Y)2 namiesto (0a(n))2). Teraz spocíta zo vztahu (4) 1 ^ X(" n 1 k X( ) 1M(n) = ~ ^2 Q , , i---r / xf (x;0 A(n),0 Ô"(n))dx. n = °i(0M(n),0 xk-3(1 — a), tak H0: výber pochadza z normaineho rozdelenia zamietame na hladine vúznamnosti a. Poznamenúvame len, ze xk-3(1— a) je (1—a)—kvantil xk-3 rozdelenia, m pou zitúe vo Vete 2.10 je v tomto prúípade rovnúe 2. Poznámka 2.12: Císla 61, 62,6k-1 treba volit tak, aby pre kazde i platilo nôi > 5, teda aby v kazdom intervale I7 bolo aspon 5 realizacií z {y1,y2, ...,yn}. Ako sa overuje, ci nahodny vúber pochadza z exponencialneho rozdelenia alebo z Poissonovho rozdelenia pozri v kni zke And el, J., Matematickáa statistika, SNTL, Praha, 1985, na stranúach 201, 207. Pretoze testovanie normality je velmi dolezite, ukazeme si este iny spôsob testovania, ci núhodny vúber pochúdza z normúlneho rozdelenia. Definujme si výberový obecný moment k—teho rádu 1n M'k = -J2 Xk, k = 1, 2, 3,..., i=1 sa a 11 keď Xi, X2,Xn je náhodný výber. (Poznamenávame len, že xi, x2,x„ je realizácia náhodného výberu a n £n=i Xi je realizácia M^,.) Výberový centrálny moment k—teho rádu je 1 n — Mk = -Y)(Xi - X )k, k = 1, 2,..., výberová šikmosi je a výberová ipicatost je M Ä3 = M23 A4- ,f2- M4 Tietô pôsledne dve nahôdne veliciny sú výberovými "prôtajskami" parametrôv sikmôsti _3 a spicatôsti ~7=4 (Mi je (teôretická) centralny môment i-tehô radú úvazôvanehô rozdelenia). U nôrmalnehô rôzdelenia 42 je sikmôst rôvná 0 a spicatôst rôvna 3. Pretô v prípade, ze náhôdná vyber pôchadza z nôrmálnehô rôzdelenia, pre velke n by malô platit Ä3 « 0 a Ä4 « 3. Dá sa úkázat , ze ak nahôdny váber pôchadza z nôrmálnehô rôzdelenia N(^,a2), tak E (A3 )=0 V(Ä3 )=( ^(ľ^ (n + 1)(n + 3) w , n 6 ^, t , 24n(n - 2)(n - 3) E (Ä4) = 3--D(Ä4) =--K----'— y = n +1 K ' (n +1)2(n + 3)(n + 5) a tiez , ze pre n — 00 majá A/nÄ3 a -y/nÄ4 asymptôticky nôrmalne rôzdelenie, cize 3 V (n + 1)(n + 3)7' 4 V n + ť (n + 1)2(n + 3)(n + 5) J Teda Ä3 = Ä3V(n +1)(n + 3) ^ N(0, l), Ä4 - 3 + V/D(Ä3) V6(n - 2) ' ' / 24n(n - 2)(n - 3) N(0,1), . n +1 ~ N(0,1). (n+1)2(n+3)(n+5) Ak realiácia náhôdnej veliciny (testovacej statistiky) ^Jp^^) ^ vačsia alebô rôvna u(2) (2-kriticka hôdnôta N(0,1) rôzdelenia), tak na hladine vyznamnôsti a zamietame hypôtezú H0: výber pochádza z normálneho rozdelenia. Tôtô je test normalitý založený na Šikmosti. Ak realiácia nahôdnej veliciny (testovacej statistiky) J—4-=ÄÄ=)J- je väcsia alebô rôvna u(a), tak na hladine vyznamnôsti a zamietame hypôtezú H0: výber pochádza z normálneho rozdelenia. Tôtô je test normalitý zalošený na špicatosti. Poznámka 2.13: Pre male výberý n G {7, 30} sa oďporáC a Shapirov-Wilkov test normalitý (pozri napr. KubaCková, L., Metády spracovania experimetálnych Údajov, VEDA, Bratislava, 1979). Pre n G {31, 50} sa oďporáC a D'Agostiniho test. Pre n > 50 sa už oďporuCa Pearsonov x2 test dobrej zhoďý. 12 2.5 Overenie Poissonovho rozdelenia Teraz si overíme, ci výber pochádza z Poissonovho rozdelenia iným spôsobom než Pearsonovym x2 testom dobrej zhody. Pri odvodzovaní budeme potrebovat tzv. polynomická vetu. Veta 2.14: (Polynomicka veta.) Nech a1,an sU reálne Čísla, j cele nezáporne Číslo. Platí (ai + ... + an)0 = j! vi!v2Í...vn! ^ a2 {v1,v2,...,vne{0,1,...,j}^ n=1 Vi=j} 1 2 n j — krát a11 a22 ...ann Dokaz: Keď roznasobíme (a1 + ... + an)j = (a1 + ... + an)(a1 + ... + an)...(a1 + ... + an), dostaneme sácet sácinov a!1 a"2 ...aVnn, kde v1,vn sU nezáporne cele císla a v1 + v2 + ... + vn = j. Vlastne v1, v2,vn G ď ď j! {0,1, 2,...,j~). Pre jednu (lubovolná vhodnU) n—ticu v1,v2, ...,vn dostaneme práve —:—:-- sUcinov a"1a22 ...aVnn, lebo a1 "vyberieme" z ("J "zatvoriek", a2 "vyberieme" z "zátvoriek", an—1 "vyberieme" z Vrl-2) "zatvoriek", an "vyberieme" uz len z tách zatvoriek, ktore "zostali". Takto pre (lubovolnu vhodnu) n—ticu v1, v2,vn dostaneme V1!i/2Ľ.Vn! ŕ ~ (í ~ Vl ~ ■■■ ~ Vn - A _ J!__(j ~ vi)! (j ~ v\ ~ ■■■ ~ vn - 2)! _ j! V'l/ V v2 )"\ Vn-1 J - Vi)! V2Í(j - Vi - V2)! "' Vn-1 !v„! Vi^Ľ^J súčinov ai1 av22 ■ ■■ann. Q.E.D. A* Ak náhodnú veličina X ~ Po(A), tak jej pravdepodobnostnú funkcia je P {X _ i} _ e-A —, i! i _ 0,1, A > 0, f (X) _ A, D (X) _ A. Nech X1,X2, ■■■,Xn je núhodný výber, pričom X* ~ Po(A). Združene rozdelenie Xi,X2, ■ ■■,Xn mú pravdepodobnostnú funkciu P{Xi _ Xi,...,Xn _ Xn} _ e-nX ^X% ak xi,X2, ■■■,Xn G {0,1, ■■■} (inak P {Xi _ xi, ■■■,Xn _ Xn} _ 0). Pre dane (fixne) nezúporne cele číslo t ma podmienene rozdelenie Xi,X2, ■ ■■,Xn/J2n=i Xi _ t pravde-podobnostnU funkciu n P {Xi _ Xi, X2 _ X2, ■■■,Xn _ Xn/^X* _ t} _ i=1 P {X1 = X1,X2 = X2,...,Xn = n= X, = t} ] _ p n X = t} ak P i=1 Xi = t} = 0, >i=i X* _ t} (6) 0 v inom prúípade. Kedý Pn=i X* _ t} _ 0 ? V prípade, že nahodný výber je z Po(A) rozdelenia, je Pn=i X* _ t} _ 0 prave vtedý ak Xi, x2, Xn G {0,1, t} a súcasne Yln=i x* _ t. Preto P{X1 = X1,X2 = X2, ...,Xn = Xn/^Xi = t} = i=1 13 n rr-\n v ,-. ak xi, xn G {0, 1i ...,t} i Z—l i=i Xi t1 P{,Li=i Xi = t} (7) 0 v inom práípade. Pre n—ticu xi, x2,xn nezaporných celách císel, pre ktore platí En=i xi = t je n P {Xi = Xi,X2 = X2, ...,Xn = Xn,'^jXi = t} = P {Xi = Xi, X2 = X2, ...,Xn = Xn} = i=i = e-X —r e-X — ...e-X — = e-nX-■-- = e-nX —-- (8) Xi' X2 r Xn Xi' Xn Xi' Xn n P (52 Xi = t} = J2 P = Xi,...,Xn = Xn } = i=i {x1,x2 ,...,xne{0,i,...,t}: J2í=1 Xi =t} x - X Axi X Ax2 X Axn = ? e —Te —T -T = z—' xi! X2! xn! {xi ,x2,...,xne{0,i,...,t}: J2í=1 xi = t} E e-nX = e-nXAt ]T -J-^. (9) f * -T*-i 1 r 1 * * -T*-i 1 r 1 i * * * * n • _ i • • • • n * {xi,x2,...,xne{0,i,...,t}: J2í=i xi = t} {xi,x2,...,xnE{0,i,...,ť}: J2í=i xi=t} Ak vo Vete 2.14 zvolíme ai = a2 = ... = an = 1, dostávame XXi ! ...XXn! t! E1 n . . X7T-77 = *, (10) {xi,x2,...,xn^{0,i,...,t}: ^2n=i xi = t} teda dosadenáím (10) do (9) dostaávame nt P Xi = t} = ]T P {Xi = xi,...,Xn = xn} = e-nXAt ^. (11) i=i {xi,x2,...,xne{0,i,...,t}: Y,7=i xi = t} ! Ak (8) a (11) dosadáíme do (7) dostaávame n P {Xi = Xi,X2 = X2, ...,Xn = Xn/'^jXi = t} = i=i a* e-nX i " = f — ) ak x1, ...,xn G {0, 1, -n t}t Z~2ij = 1 xi = t, W e-nXAt n_ x1!...xn! W (12) e A t! 0 v inom práípade. Pretože t = x1 + x2 + ... + xn, konecne dostavame P {Xi = Xi,X2 = X2, ...,Xn = Xn/^Xi = t} = i=1 (n) ..^n) ak xi,...,Xn G {0,1,...,t}, ^n=1 Xi = t, xi!...Xn! \nj \n) i 1 (13) 0 v inom práípade. Vidíme, ze za platnosti H0 : X1,X2, ...,Xn je nehodný výber z Po(A) rozdelenia Xi,X2, ...,Xn/J2n=1 Xi = t multinomicke Mu(t, n, n,n) rozdelenie. v-v-' n-krát a 14 Zrealizujeme nahodný vyber a zistíme, ze x\ + x2 + ■■■ + xn = t (tentokrút n je pevne Císlo - rozsah výberu). Vieme, ze ak ^n=1 Xi = t, tak X\,X2, Xn majú multinomicke rozdelenie Mu(t, n, n, n). Ak t je dostato cne ve lkúe, múa E(Xi — t n 1 2 -JT^— ~ Xn-i rozdelenie. i=1 n V skuto cnosti vlastne ™ X — n En=iX?) = ™ (Xi — X)2 = nM1 = Q 2 2. nEXj 2-, X Mi Q ~ Xn-i■ i=i n j= Ak reálizúciá Q(reai) > xn~i(1 — f) álebo Q(reai) < X1n-i(f), ták ná hládine vúznámnosti a zámietáme H0 : Xi, X2,Xn je náhodný výber z Po(X) rozdelenia (xn~i(1 — f) je (1 — f)—kvántil x2 rozdeleniá s n—1 stupňámi volnosti). Upozorňujeme len, ze áproximáciá x2 rozdelením je moznú len ák X = n ^n—i Xi > 5. 2.6 Test nezávislosti v kontingenčných tabulkách Nech X, Y sú diskretne náhodneveliciny, X G {1, 2,r}, Y G {1, 2,s}, pij = P {X = i,Y = j}, i = 1, 2,r, j = 1, 2,s je právdepodobostná funkciá náhodneho vektorá (X, Y)'. Oznácme Pi. = p{x =i} = y^pij, = p{Y=j} = Y^pij. j — i i—i Predpokládájme, ze pij > 0 pre vsetky i = 1,2, ...,r, j = 1, 2,s. Májme núhodny vyber ^y1^ ^ Y^) , " , (y") o rozsáhu n z rozdeleniá rovnákeho áko má {^y^J ■ Mozne vúsledky (reálizúcie) sú (1)-(2)--(D-(Í)-(2)--(2)--0-Q-O tedá rs "tried". Nech núhodná veliciná Čil je pocet tych (X), ktore nádobudli je pocet tych (^^j, ktore nádobudli ^ ) je pocet tych (^^j , ktore nádobudli ^ ^ . Núhodne veliciny £(n),£(n), ...,£,rs) májú multinomicke rozdelenie Mu(n,pii,pi2, ...,prs) s právdepodobnost-nou funkciou rs P= xii,C(n) = x12, ...,^,rn) = xrs} = -n-! Í^Ti1 ...prSS , xij G {0, 1, 2, -v^h XUľxij = n. xii —xrs • ...... i— j— (n) (14) Ak oznácíme nij reálizáciu núhodnej veliciny ^(jn') (pocet tych clenov náhodneho vyberu, ktore nádobudli hodnotu ), môzeme vsetky vysledky (reálizúcie) zápísát do kontingenčnej r x s tábuíký: 15 Y X 1 2 .. . s S 1 n12 ... nis ni. 2 «21 n22 ... «2s n2. r . . . nrs S n,i n,2 ... n,si n V kontingencnej tabulke ni. = Yfj=1 n%j, n.j = 2r=1 nij, n = J2Ti=1Yfj=1 nj; n., n.j sú marginálne početnosti. Lema 2.15: X a Y sú nezúvisie pj = pit p,j pre každe i G {1, 2,r}, j G {1, 2,s}. Dokaz: X a Y sú nezúvisie práve vtedy, ak pre každe dve boreiovske množiny A, B je P {X G A,Y G B} = P {X G A}P {Y G B}. Ak X,Y su diskrétne a X G {1, 2,...,r}, Y G {1, 2,..., s}, tak je nutna a postačujúca podmienka nezavisiosti X a Y jednoduchšia, a síce P{X G A, Y G B} = P{X G A}P{Y G B} pre kazdú A C {1, 2,...,r}, B C {1, 2,..., s}. Nech sú X a Y nezavisie. Potom pre A = {i}, B = {j}, i G {1, 2,...,r}, j G {1, 2,..., s} dostavame Pij = P {X = i,Y = j } = P {X = i}P {Y = j} = pi.p.j. Naopak, nech piati pij = pit p,j pre kazde i G {1,2,...,r}, j G {1,2,..., s}. Vezmime iubovoinú A = {i1,...,ia }C{1, 2,...,r}, (i1,...,ia sú rôzne), B = jb} C {1, 2,...,s}, (j1,...,jb sú rozne). Potom P {X G A, Y G B} = P {X G {n, ...,ia},Y G {j1, ...,jb}} = = P {X = i1,Y = j\ U X = i1,Y = j2 U ...X = i1,Y = jbU UX = i2,Y = j1 U X = i2,Y = j2 U ...X = i2, Y = jbU UX = ia,Y = j1 U X = ia, Y = j2 U ... X = ia,Y = jb} = a b a b \ \ predpoklad \ \ = fil.f.jl + pil • p.j2 + ... + Pil.p.jb + +pi2.p.jl + pÍ2.p.j2 + ... + pÍ2.p.jb + +Pia. P.j1 + Pia.P.j2 + ... + Pia.P.jb = = (Pil. + Pi2. + + Pia.)P.jl + + (Pil. + Pi2. + + Pia.)P.jb = = (pil. + pi2. + ... + Pia.)(p.jl + P.j2 + - + P.jb ) = = (P {X = i1} + P {X = i2} + ... + P {X = ia}) (P {Y = j1} + P {Y = j2} + ... + P {Y = jb}) = 16 Teda hypotúeza je ekvivalentnaú s = P {X G A}P {Y G B}. H0 : X a Y su nezávislá Q.E.D. H0 : Pij Pi, P, j pre každá i G {1, 2,...,r}, j G {1, 2,...,s}. Za platnosti H0 majú nahodne veliclny £(™),£(n), ...,prs) multinomicke rozdelenie, pricom parametre pij sú funkciami parametrovp1,,p2,, ...,pr,,p,1,p,2, ...,p,s (pij vyjadríme pomocou nich). Je tu este malú kom-plikacia, a síce to, ze "nezúvislych " parametrov je iba r+s—2. Sú to napríklad p1t,p2,, ...,pr-1,,p,1 ,p,2, ...,p,s-1 (v tomto prúípade je pr, 1 r-1 p , p i=1 pi,, p,s 1 5^S-1 p,j). Teda (za platnosti H0) pij = pij (p1.,p2., ...,pr-1.,p.1,p.2, ...,p.s-1) i = 1, 2,...,r, j = 1, 2,...,s sú pravdepodobosti. Menovite P11 = P1,P,1, ...,P1s = P1,(1 P21 = P2,P,1, ...,P2s = P2,(1 p,1 — p,2 p,1 — p,2 p,s-1), p,s-1), pr1 = (1 — p1, — p2, pr-1,)p,1, ... , prs = (1 — p1, p2, pr-1,)(1 — p,1 — p,2 p,s-1). Sú dostatocne hladke funkcie "neznamych" parametrovp1,,p2,, ...,pr-1,,p,1,p,2, ...,p,s-1. Tieto parametre odhadujeme metodou modifikovaneho minimalneho x2. Hladúme riesenie sústavy Napísme si (15) pre k d[p1.p. 1] p(n) p1,p,1 p(n) dpk, + EE a=16=1 rs EE } dpab Pab dpk, dpab 0k 0 l 1,2,...,r—1, 1, 2,...,s 1. (15) (16) a=1 b=1 1 , 2, ... , r — 1 (naschvúal niekde ponechúavame pr,, p,s) p(n) p1.p.2 p2,p,1 d[p2.p.1] dpk. + p(n) p2.p.2 d [p1.p.2] dpk. d[p2.p.2] dpk. + ... + Š1 (n) p1.(1 — p.1 + ... + p(n) (1 — p.1 _ d[p1.(1 — p.1 — ... — p.s-1)] + — p.s-1) dpk. _ d[p2.(1 — p.1 — ... — p.s-1)] + p.s-1) dpk. prn) d[(1 — p1. — p2. — ... — pr-1.)p.1] + + _£ľ_ d[(1 — p1. — p2. — ... — pr-1. )(1 — p.1 — ... — p.s-1)] =0 pr.p.1 dpk. "' pr.p.s dpk. (17) Ak (17) derivujeme podla p1., dostaneme (n) (n) (n) p11 p12 -p.1 +--p. 2 + ■ p1.p.1 p1.p.2 + p (n) p1.p.s p.s p(n) pr.p.1' p.1 p (n) pr. p.s p.s 0, cize p(n)+p(n)+...+p(n) prn)+prn)+...+p(nn 0. p1. pr. Oznacme nahodnú velicinu - pocet tych yúch XYii ktorúe nadobudli hodnotu \lubovolne císlo j (18) a 17 j-(n) íxA /lubovolne cískA f*k' náhodnu velicinu - pocet tách \y J, ktore nadobudli hodnotu I k J) tak (18) môžeme páísa t (n) (n) S1. fr* = 0 ô1* Vr* Ak (17) derivujeme podla pk*, k = 2, 3, ...,r — 1, dostaneme analogicky t(n) t(n) Vk, Vr, a triviáalne aj t(n) t(n) Vr , Vr, Teda ak Vô1*, Vô2*, , Vôr* suá rie senia (15), tak t(n) t(n) tk* tr* =0, k =1,2,...,r, (19) Vôk* Vôr* (n) Vô Rovnice (20) spocítame a dostavame ffcľJ = k^Vk*, k =1,2,...,r. (20) teda k=1 Vôr* k=1 Vôr* „ = —- Vôr* až (19) máme odhady žískane metádou modifikovaneho minimálneho x2 (v prípade platnosti H0 o nežávislosti x a Y) Uplne analogickou cestou ž rovníc (16) žískame Podla Vety 2.10 nm ža platnosti H0 o nežávislosti x a Y / F(n)An) )2 vj — „ J r s (t(n) _ „ô ô )2 r s \ *ij „ I 2 v ulôi*lô*j) v v \ J asymptoticky 2 x = Z^2_^ „ô)- ô ■ =2-^2.^ Án)An) y xf, i=1 j=1 i=1 j=1 i* *j „ poCet tried poCet prrametrov pricom f = /"rsN — (r — 1 + s — 1) —1 = rs — r — s + 1 = (r — 1)(s — 1). 2ij, „*j — realižacie nahodnách velice , , <**j ( „i* H* j )2 — —) i=1 j=1 i=1 j=1 i=1 j = 1 i=1 j=1 V kontingencnej tabulke mame „ij, „*j — realižácie náhodnách velicín fi(n'), f(n\ f(n^ Ak teda X XI „^„J^ = X X „. „ . — 2 X XI „i^j rlij + X X 'ň^ň*j rlij 18 r s 2 >ee ni n j 1 j=1 i j 2n +--(n1. + ... + Ur,) (n.1 + ... + n.s) : r s 2 r s ni2j >ee; > X(r-1)(s-1)(1 — a), ni n j i=1 j=1 i j tak na hladine vyznamnosti a zamietame hypotezu o nezávislosti X a Y (x2r-1)(s—1)(1 — a) je (1 — a)—kvantil X2r-1)(s-1) rozdelenia). Velicina ( ni,n,j)2 ee i=1 j=1 ni n j je (len) testovacou charakteristikou, nie je to miera zaávislosti medzi X a Y. Vyáhodnejďsie je poďcátaďt tento vzďtah ako n ir=1 i=1 j=1 ni n j n, lebo vidíme, kde (v ktorom polícku kontingencnej tabulky) nadobáda x2 veďlkej hodnoty a je (najviac) poruďsenaá nezáavislosďt medzi X a Y. Test moďzno pouďziďt len ak pre kaďzduá dvojicu (i, j) je l* ,j > 5. CCísla uj sá empiricke cetnosti a l* ,j ocakavane cetnosti (pri nezávislosti X n n a Y). Príklad 2.16: (Andel, J., Matematická statistika, SNTL, Praha, 1985, str. 212.) Rodinná stav zenícha resp. nevesty môze byt "slobodní(á)", "ovdovely(á)" a "rozvedeny(á)". V nasledujácej tabulke su ádaje o (pôvodnom) rodinnom stave zenícha a nevesty v (Československu v roku 1957. Treba zistit, ci rodinná stav zenícha a nevesty sá nezávisle. rod. stav nevesty rod. stav zenícha slobodna ovdoveláa rozvedenáa celkom slobodny 75 564 (71 501) 824 (2 033) 3 463 (6 317) 79 851 ovdovely 1 370 (2 751) 904 (78) 798 (243) 3 072 rozvedeny 4 603 (7 285) 590 (207) 2 943 (644) 8 136 celkom 81 537 2 318 7 204 91 059 Čísla v zatvorkách su teoreticke cetnosti (v prípade nezavislosti), napr. 71 501 = (79 851.81 537)/91 059. Hodnota x2 kriteria je 2 (75 564 — 71 501)2 (2 943 — 644)2 2, x =--7ľ^01-L + - +--64^^ = 22 850, 4 > xl(0,95) = ^ 488. Preto zamietame hypotezu o nezávislosti (povodneho) rodinneho satvu zenícha a nevesty na hladine váznamnosti 0,05. n n 2.7 Test homogenity Teraz riesme inu álohu. Pozorujeme (meráme) diskrétnu náhodnu velicinu X, ktorej hodnoty môzu byt x1, x2,xr (napr. X — znamka z matematiky, x1 = 1,x5 = 5). Majme s > 2 nezavislych vyberov (napr. 8. trieda, ktorá ucí ucitel A1, 8. trieda, ktorá ucá ucitel A2,...,8. trieda, ktorá ucí ucitel As). Rozsahy tychto vyberov nech sá n,1,n,2, ...,n,s (známe, fixne cásla). Oznacme náhodne veliciny X(i) — znaámka z matematiky u uďciteďla Ai i = 1, 2, ... , s. 19 Nech X^tX^, ...,Xn}t je náhodný výber z X(1) rozsahu n.i, X1 s),x2s), ...,Xn^s je náhodný výber z X(s) rozsahu n,s. Všeobecne pre i = 1, 2,s je p {x 1i) = x i} =(i) e i, p {x (i) = x2} =1i) e2, ..., p {x 1i) = xr} =1i) er. Sá rozdelenia pravdepodobnosti náhodnách veliďn X(1),X12), ...,X1s) rovnake ? Ide vlastne o test /11)ei\ /12)ei\ As)eA /«eA Aj)eA Ho : X Hi : existuje i = j že OznaCme náhodná veliCinu £ij — poCet realizácií (hodnôt) v j—tom výbere j = 1, 2,s, i = 1, 2,r a říj realizaciu nahodnej veliCiný £ij. Dostaneme r x s kontingenCnu tabulku = V0 OrJ výber hodnota žnaku 1 2 s nii nis ni. X2 «21 «22 «2, xr nri Ur2 nrs nr, n.i n,2 n si n Da sa ukazat (pozri napr. Cramer, H., Mathematical Methods of Statistics, Princeton University Press, 1946), Ze ak -J_ X = EE n,nnj > X2r-i)(s-i)(1 - a). ř tak zamietame H0 na hladine významnosti a. Tento test sa nazýva test homogenity. Prilizný 100(1 — a)%— ný konfideCný interval pre 1a)9j —1b) 9á (teda pre P {X1a) = xá} — P {X1b) = xá}) je í nja njb Vx2r-i)(s-i)(1 - a) \ nja L_ nja\ L_ njb\ n,a V n,a) + n,b\ n,b) n a n b nja njb n a n b + nja L_ njA njb A _ njb\ n,a V n,a J + n,b \ n,b J n. a n b \j4r-i)(s-i)(1 - <*) \ Ak tento interval neobsahuje 0, zamietame na hladine významnosti a hýpotežu H0 : (a)Oj =(b) Oj. 20 2.8 Štvorpoíné tabulky (čtyřpolní tabulky) Ak X a Y sá dichôtômicke znaky (dvôjhôdnôtôve), teda ak v kôntingencnej tabúlke r = s = 2, dôstávame 2 x 2 tabúlkú (ctyrpôlní tabúlkú) Y X 1 2 S 1 nii ni2 ni. 2 n2. S n.i n.2 n V tômtô prípade (r = s = 2) sa (velmi) zjednôdúsí vápôcet x2 = £l=iYľj=i f ni.n.j)2 ni.n.j Pô cáítajme f ni.n.j )2 = Inij (ng + ni2 + n2i + n22) - (ng + ni2)(nj + n2j )~| 2 = V ij n J n = nijng + nijni2 + njn2i + njn22 - ngnij - ngn2j - ni2'nij - ni2'n2i n (21) Pre i = í,j = 1 je čitatel v (21) rovný + «11«12 + «11«21 + «11«22 — ngUg — «11«21 — «12«11 — «12«21 = («11«22 — «12«21)2, pre i = 1, j = 2 je čitatel v (21) rovný «12«11 + «12«12 + «12«21 + «12«22 — «11«12 — «11«22 — «12«12 — «12 «22 = (—«11 «22 + «12«21 )2- Aj pre i = 2, j = 1 a i = 2, j = 2 je čitatel v (21) vždý rovný «22 — «12«21 )2. Teda n 2 2 Inij n.n.j y Z^As ni.n.j i=i j=i —^— )2 2 2 )_ = (niin22 - ni2n2i)2 2 ni n j = n(nnn22 - ni2n2i)2 Ui.n.i + ni.n.2 + n2.n.i + = n2 L ni.n.in2.n.2 n(niin22 - ni2n2i)2 (ni. + n2.)(n.i + n.2) (niin22 - ni2n2i)2 = -7,- - = n-. n2 ni.n.in2.n.2 ni.n.in2.n.2 Ak y2 > yi2(1 - a), tak (asymptôticky) na hladine váyznamnôsti a zamietame hypôtáezú ô nezáavislsti X a Y. Pôzôr, pre kazde i, j G {1, 2} músí byt ni. n. j > 5. Teraz si úkázeme este iná (asymptotický) spôsôb testôvania nezavislôsti dvôch diskretnych nahôdnych velicín X a Y, ktôré môzú nadôbádat len dve hôdnôty. Veta 2.17: Nech X a Y sú diskrétne náhôdne veliciny, ktôré môzú nadôbádat len dve hôdnôty. X a Y sá nezávisle ==> ô = PiiP22 = 1 (ôznacenie z kapitoly 2.6). P2iPi2 n 1 21 Dôkaz: Ak X a Y sú nezávislé, tak = Pi,p,j pre každé i, j G {1, 2}, čiže , P11P22 P1.P.1P2.P.2 1 P21P12 P2.P.1P1.P.2 Naopak, ak S =1, tak P21P12 = P11P22. Preto P1.P.1 = (P11 + P12 )(P11 + P21) = P11P11 + P11P21 + P12P11 + P12P21 = Pn(P11 + P21 + P12 + P22) = P11. P11P22 Podobne dostaneme Pij = PitP,j pre každe i, j G {1, 2}. Q.E.D. P11 Poznámka 2.18: S = P11P22 = -PP12 sa volá aj teoretická interakcia resp. pomer šancí (odds ratio). Jej P21P12 í-fi P22 odhad je ô = £n£22 . Realizácia tohto odhadu je 11 22 . S21S12 «21 «12 Bez dôkazu uvedieme nasledujúcu vetu. Jej dokaz pozrite napríklad v knižke Andel, J., Zaklady matematickí statistiky, MFF UK, Praha, 2005. Veta 2.19: Nech X a Y sú diskretne náhodne veličiny, ktore mozu nadobúdat len dve hodnoty a P11P22 ô Č11Č22 - -, ô = -—-—. Náhodna veličina P21P12 S21S12 ln ô - ln S ~1 1 1 + 1 + 1 + 1 £11 £12 £21 £22 má asymptoticky N(0,1) rozdelenie. Je zrejme ako budeme testovat Ho : S = So X H1 : S = Sq a teda aj nezávislost X a Y (specialny prípad tejto hypotezy ak S0 = 1). 2.9 Fisherov exaktný test pre štvorpolnú tabulku (Fisherov faktoriúlový test) V predaskach Pravdepodobnost a statistika I sme si dokázali Cauchyho kombinatorická vzorec. Lema 2.20: (Cauchyho kombinatoricky vzorec.) Pre lubovolne realne císla x, y a cele nezaporne císlo n platí V ÍX\Í y \ = fX + ^ k=0\kj\n - k) \ n j' Ak x, y, n su cele nezaporne císla, tvar predchadzajúceho vzorca je min{x,n} / \/ \ / . \ \p ľAÍ y \ = fx + y\ ^ UAn - k) V n J k=max{0,n-y} Budeme ho v nasledujúcom potrebovat. S 22 X a Y su dichotomicke znaký (dvojhodnotove), ^y/^ , i^Y^j'" ^ľ") je naáhodnýá váýber o rozsahu ř z rozdelenia rovnakeho ako ma [^y J . Pri oznaCení z kapitolý 2.6 majá nahodne veli Ciný ^2"^ 42" multinomicke rozdelenie Mu(n,pii,pi2,P21,P22) s pravdepodobnostnou funkciou P tó" = = ni2,C2ľ = n2i,C2ľ = n22} t(") ŕ(") n! = ř = nii!ni2 !n2i!n22! Pľí1 P"22 P"f P2222, (22) ak nj G {0,1,n}, 2=i Xj=i nj = n. To znamená, ze (22) je pravdepodobnost , ze dostaneme stvorpolná tabulku s hodnotami nii, ni2, n2i, n22 (pri nahodnom výbere rozsahu n). Za predpokladu, ze X a Y sá nezavisle, je „"11 P"12 P"21 P"22 = „"11 P"11 P"12 P"12 P"21 P"21 P"22 P"22 = P"1. P"2> P">1 P">2 = Q Teda pravdepodobnos t, ze dostaneme stvorpo lnuá tabu lku s hodnotami nii , ni2, n2i , n22 (pri naáhodnom výbere rozsahu n) a za predpokladu, ze X a Y sá nezavisle, je 1") 1") 1") 1") n! ii i2 2i 22 nii!ni2!n2i!n22! Q. (23) Pravdepodobnost , ze pri danom rozsahu váberu n a nezavislosti X a Y vznikne stvorpolna tabulka s (danými) marginalnými poCetnost ami ni.,n2.,nt1,nt2 (vlastne staCí mat urCene dve z nich ostatne sa uz dopoCítaju, napr. ak máame ni , n i , tak n2 = n — ni , n 2 = n — n i ) je vlasne pravdepodobnos t, ze vznikne jedna z tabuliek týpu (tvaru) i ni t — i n2, — n, i + i = n, i — i = n — (ni , + n, i) + i ni. n — ni. n, i n — n, i n Samozrejme ni . > 0, n11 > 0, nit < n, n11 < n i > 0 i > (ni, + n,i) — n = n,i — U2, => i > max{0, n11 — n2t} a tie z (24) i i < min{n1t,nt 1}. (25) Pravdepodobnos t ka zdej takejto vhodnej tabu lký je danaá vz tahom (23). Preto pravdepodobnost , ze (pri danom rozsahu výberu n a nezávislosti X a Y) vznikne stvorpolna tabulka s marginálnými poCetnostami n1t, n2t (= n — n1t), nt 1, nt2 (= n — nt 1) (priCom n1t,nt 1 > 0, n1t,nt 1 < n) je min{"1,,",1} ErxA") ■ A") ■ A") ■ A") i n P = i,4i2 = ni, — i,42i = n, i — i,í2,2 = n—-ni. —n, i + i} = i=max{0,",1 —"2*} "2 23 min{ni • ,n*i} E i=max{0,n,i —n2*} min{ni, ,n,i} E i=max{0,n,i — } u! i!(u1* — i)!(u*l — i)!(„2* — u*1 + i)! Q „!„1*!„2*! „1*!„2*!i!(„1* — i)!(„*2 — („*1 — i))!(„*1 — i)! Q min{ni.,n«i} / \/ \ I / I \ Q-r^ E M ( „2* ) = Q—t—Ául*+ „2*) 1*! 2*! i *1 — i 1*! 2*! *1 i=max{0,n,i—n2»} ( !)2 (n) u1*, f*2 (n) (n) u*2,t*1 = u*1,t*2 = u*2J. (n) 1*! 2*! *1 ! *2! pricom sme použili Cauchyho kombinatoricky vžorec (Lemu 2.20). Ak „1* = „u + „12, „2* = „21 + „22, u*1 = „n + „21, u*2 = „12 + „22, tak žrejme platí (n) (n) (n) (n) (n) (n) (n) (n) P = u11,t12 = u12,t21 = u21,?22 = u22,?1* = u1*,t*2 = u*2,f*1 = u*1,f*2 = u*2| = P {f(n) = u11,f1^ = u12,f2ľ = n21,f22' = „22 L lebo nahodna udalost {UJ : = u11,f(n)(W) = u12,f(n)(W) = „21,t(n)(w) = '„22-, f(n)(w) = u1*,ání)(uj) = u*2,f(n)M = u*1,t*n\uJ) = u*2} {UJ : f(n')(W) = u11,f(n)(W) = u12,t(1)(W) = u21,f(n)(W) = u22}. Ak teda rožsah náhodneho vyberu je u a x, Y sá nežavisle, je podla (23) (n) (n) (n) (n) (n) (n) (n) (n) (n) (n) (n) P = u11,t12 = u12,t21 = u21,?22 = u22,?1* = u1*,t*2 = u*2,f*1 = u*1,f*2 = u*2} (n) (n) (n) (n) (n) (n) (n) (n) (n) (n) (n) P{t11 = u11,t12 = u12,t21 = u21,?22 = u22}, (n) (n) (n) ! 11 ! 12! 21 ! 22! Q, ak „1* = „n + „12, „2* = „21 + „22, H*1 = „u + „21, H*2 = „12 + „22, inak ak „1* = „n + „12, „2* = „21 + „22, H*1 = „u + „21, H*2 = „12 + „22, inak. Podmienená pravdepodobnost (26) (n) (n) (n) (n) (n) (n) (n) (n) P = u11,t12 = u12,t21 = „21 ,f22 = u22/?1* = u1*,t*2 = u*2,f*1 = u*1,f*2 = u*2} 24 (p{M =nii^=ni2^n2i,&r22,é;?=ni.4?=n.24n) =n.uÚn)=n.2}, ak m. = nu + U12, p =ni.,5.2 =n.2 =n.i,ÍÍ2 =n.2} (podďla (23) a (26)) n! nn!n12!n21!n22! (U!)2 n1 ! n2 ! n 1 ! n 2! n!n11!n12!n21!n22! n1 !n2 !n 1!n 2! U2. = U21 + U22, n.1 = nu + U21, U.2 = U12 + U22, a "menovateďl" = 0, inak ak U1. = nu + U12, U2. = U21 + U22, n.1 = nu + U21, U. 2 = U12 + U22, a "menovateďl" = 0, inak. (27) Jednostrannáy test H0 : X, Y sá nezávisle x H1 : cím sá "vacsie" hodnoty X, tym su "vacsie" hodnoty Y (alebo H1 : cím sá "mensie" hodnoty X, tym su "mensie" hodnoty Y) na hladine vyznamnosti najviac a sa realizuje tak, ze sa spocíta (27) pre danu tabulku, ale aj pre vsetky dalsie, ktore z nej vznikná postupnym znizovaním najmensej pocetnosti o jednicku pri zachovaní marginálnych po cetnostáí (v setky takáeto tabu lky toti z sved cia e ste viac proti hypotáeze nezaávislosti X a Y). q q Príklad 2.21: (Andel, J., Matematicka statistika, SNTL, Praha, 1985, str. 215.) U 27 nahodne vybranyách pacientiek trpiacich chráípkou sa zis tovalo, ci boli proti nej o ckovanáe a akyá priebeh máa choroba. Vyásledky suá v nasledujuácej tabu lke. priebeh choroby lahky ta zkyá ockovana 10 2 12 neockovana 4 11 15 14 13 27 Zaujíma nas,ci suvisí ockovanie s priebehom choroby, teda testujeme H0 : ockovanie nesávisí s priebehom choroby x H1 : (jednostranná) ockovanie "pozitívne" ovplyvní priebeh choroby Najmensia pocetnost v tabulke je n12 = 2. Spocátame (27) pre daná tabulku (P=0,004491) ako aj pre tabu lky 25 priebeh choroby priebeh choroby láhkú tá zkyú láhky tá zkúy oňckovánúá 11 1 12 ockováná 12 0 12 neoňckovánáú 3 12 15 neockovánú 2 13 15 14 13 27 14 13 27 (P=0,000272 á P=0,000005). Sucet vsetkúch tychto právdepodobností je 0,004768. Je mensí áko a = 0, 05 Preto Ho zámietáme v prospech Hi ná hládine vyúznámnosti men sej álebo rovnej 0,05. Poznámka 2.22: Dá sá ukúzát (pozri nápr. Andel, J., Matematická statistika, SNTL, Práhá, 1985, str. 215), ze hládiná vyúznámnosti tohto testu je men siá álebo rovnúá a. Obojstránnyú test, ktorúy múá álternátúívu Hi: cím sú "väcsie" hodnoty X, tym sú "vácsie" hodnoty Y álebo cím sú "väcsie" hodnoty X, túm sú "men sie" hodnoty Y sá konstruuje omoho tázsie. Je ále velmi cásto pouzívánú v práxi, preto ho popíseme. Má 4 zákládne váriánty (pozri And el, J., Mátemátickóá státistiká, SNTL, Práhá, 1985, str. 215), my si uvedieme jeden z nich. V námeránej stvorpolnej tábulke nájdeme nájmensiu pocetnost. Pozrieme ná márginálne pocetnosti riádká á stlpcá, ktore sá pretínájú v tejto nájmensej pocetnosti. Vyberieme si tú márginálnu pocetnost z nich, ktorá je mensiá á urobíme líniu (spojnicu mensej márginálnej pocetnosti á nájmensej pocetnosti). Pre námeránuú stvorpo lnuú tábu lku spo cúítáme P z (27). Teráz vytvúáráme novúe stvorpo lnúe tábu lky ták, ze v zdy znízime v dánej tábulke minimúlnu pocetnost o jednu (pri záchování márginálnych pocetností) á v obdrzánej táb lke spo cúítáme P z (27) (áko u jednostránnúeho testu). Potom v lúínii v pôovodnej tábu lke zámenúíme pocetnosti. Vytvúráme opát nove tábulky ták, ze nájmensiu pocetnost znizujeme o jednu (pri záchování márginálnych pocetností). Vzdy spocítáme P z (27). Spocítáme vsetky tákto získáne P á ked ich súcet neprekroňcúí a, zámietáme Ho o nezáúvislosti X á Y oproti obojstránnej álternátúíve. Príklad 2.23: V Príkláde 2.21 nech álternátívná hyptezá je Hi : ockovánie môze pozitívne áj negátívne ovplyvniňt priebeh choroby. V poôvodnej tábuňlke priebeh choroby láhky ňtáňzkyú ockováná 10 2 12 neockovánú 4 11 15 14 13 27 je minimálná pocetnost ni2 = 2, márginálne pocetnost nti = 12 < n2, = 13, preto líniá je nii ni2 nti (ňciňze 10 2 12). Právdepodobnosňt P z (27) pre tuúto tábuňlku je P=0,004491. Postupne spoňcútáme P z (27) pre tábuňlky 26 priebeh choroby priebeh choroby l ahky t azkú l ahkú t azkú ockovaná 11 1 12 ockovana 12 0 12 neockovana 3 12 15 neockovana 2 13 15 14 13 27 14 13 27 (P=0,000272 a P=0,000005). Teraz "vymeníme" v línii v pôvodnej tabulke n\\ a nyi (pri zachovaní marginálnych početností) a dostavame tabulku priebeh choroby lahky t a z ky ockovaná 2 10 12 neockovaná 12 3 15 14 13 27 (pre túto tabulku je P=0,001497) a postupne tabulky priebeh choroby priebeh choroby l ahky t azky l ahky t azky ockovaná 1 11 12 ockovana 0 12 12 neockovaná 13 2 15 neockovana 14 1 15 14 13 27 14 13 27 (P=0,000062 a P=0,000001). Sucet P zo vsetkúch siestich tabuliek je 0,006328, je mensí ako a = 0,05, teda obojstrannú test zamieta H0 (priebeh choroby nezávisí s ockovaním) na hladine významnosti mensej alebo rovnej 0,05. 3 Vseobecný lineárny model 3.1 Najlepsie nevychylene (nestranne) lineárne odhady parametra (3 v regulúrnom linearnom modeli (Yn1, X(3k 1, V) je vseobecny linearny (regresny) model, ak náhodny vektor Y G Rn (ktoreho realizacie meráme, pozorujeme, observujeme, nazyvame ho aj observacnúm vektorom) ma strednú hodnotu E (Y) = X(3k 1, Xnk je znama, "pevná" matica (tzv. matica planu experimentu), 3 G Rk je vektor neznamych (ale "pevnúch", t.j. nenahodnych) parametrov, ccwY = V je znama pozitívne semidefinitna (p.s.d.) matica, alebo ccwY = a2H, kde a2 je znamy alebo neznámy parameter (skalarny faktor kovariancnej matice, jednotková disperzia) a H je známa matica, ccwY nezavisí od 3, n > k. Vseobecny linearny model (Yn1, X(3k 1, V) je regulírny, ak hodnost h(X) = k a cowY je pozitívne definitná (p.d.) matica (teda regulárna). 27 Definícia 3.1: (i) Nech g : (Rn, Bn) — (Rk, Bu) je meratelne zobrazanie. b = g(Y) je linearnym odhadom vektora parametrov 3k i, ak b = u + UY, kde u G Rk a U je reúlna k x n matica. (ii) b je nevychélenym (nestranným) odhadom 3, ak E@(b) = 3 pre kazde 3 G Rk. (Zamena to tolko, ze ak vektor neznamych parametrov je 3 (lubovolny k—rozmerny vektor), tak stredna hodnota odhadu je prave tento vektor 3 .) (iii) b je najlepěém nevychélenym (nestranném) lineérnym odhadom (NNLO) vektora parametrov 3, ak pre kazdy iny nevychyleny linearny odhad b* parametrov 3 patí, ze cov(b*) — cov(b) je p.s.d. matica. Veta 3.2: Linearny odhad b = u + UY je nestrannym odhadom 3 prúve ak u = 0 a UX = Ik _ k. Dôkaz: E (b) = E (u + UY) = u + UE (Y) = u + UX( = 3 V 3 G Rk u = 0 a UX = Ik , k Q.E.D. V dďalďsom budeme potrebovaďt nasledujuúcu lemu. Lema 3.3: Pre kazdú maticu Dk i i platí M(D) = M(DD'), kde M (D) = {Du : u G U1} je vektorovy priestor generovany stlpcami matice D (podpriestor priestora Rk). Dokaz: Oznacme [M(D)]1 ortogonúlny doplnok priestora M(D) v (celom) priestore Rk. Platí M(D) = M(DD') [M(D)]1 = [M(DD')]1. Budeme dokazovat rovnost priestorov [M(D)]1 a [M(DD')]1. Ak z G [M(DD')]1 =^ z'DD' = 0 => z'DD'z = 0 =^ (D'z)(D'z)' = 0 => D'z = 0 =^ z'D = 0 => z G [M(D)]1, teda [M(DD')]1 c [M(D)]1. Ak z G [M(D)]1 =^ z'D = 0 => z'DD' = O =^ z G [M(DD')]1, teda [M(D)]1 c [M(DD')]1 Lema 3.4: V regularnom lineúrnom modeli je X'V-iX re gularna matica. Dokaz: V regularnom linearnom modeli je h(Xnk) = k. Vyuzijuc tvrdenie Lemy 3.3 môzeme písat h(X) > h(X'V-iX) = h(X'V-1 V-2X) = h(X'V-1) > h(X'V-1V2) = h(X), preto h(X'V-iX) = h(X) = k, pricom rozmer matice X'V-iX je k x k. (Matice V-2 a V-2 sme si definovali v predaske Lineúarnúí statistickúe modely I.) Q.E.D. Veta 3.5: V regulúrnom linearnom modeli je (Ynji, X3ki, V) je b = (X'V-iX)-iX'V-iY NNLO parametra 3. Dôokaz: (i) b = (X'V-iX)-iX'V-iY je lineúrnym odhadom (matica U je v tomto prípade (X'V-iX)-iX'V-i). (ii) UX = (X'V-iX)-iX'V-iX = Ikjk, teda podla Vety 3.2 je b nestrannym odhadom. (iii) nech b* = WY je iny nestrannú odhad, teda WX = Ikk, cov(b*) = WVW', potom cov(b*) — cov(b) = WVW' — (X'V-íX)-1X'V-1VV-1X(X'V-1X)-1 = = WVW' — I(X'V-1X)-1I = WVW' — WX(X'V-1X)-1X'W' = = W(V2 V1 — V1 V-2X(X'V-1X)-1X'V-2V2 )W' = WV1 (I — V-1 X(X'V-1X)-1 X'V-1) V1W' = v-^-' symetrická a idempotetná matica A=AA = (WV1 A)(WV1 A)' 28 je pozitívne semidefinitna matica, lebo Vx GRu x'(WV1 A)(WV1 A)'x = y'y > 0. Q.E.D. Príklad 3.6: (Vážený priemer.) Nech Y1 ,Y2,...Yn sú nezávislé, £ (Yj) = /x, i = 1, 2,...,n a D(Yj) = a2, i = 1, 2, ...,n, vSetký a2 > 0 a vSetký poznáme. Potom Y = (Yi,Y2, ...,Yn)' sa riadi obecným lineárnym modelom, priCom E (Y) 1 1 1 a2 U = 1n,iU, cov(Y) 0 00 0 0 an2 V. NNLO parametra u (neznama spolocnú strednú hodnota vsetkúch Yi) je podla Vety 3.5 b = (1'V-i1)-i1' V-iY: (1, 0 0 4y 1,..., 1) V 0 0 0 0 i 1 0 (1,1,..., 1) V 0 4y ... 0 0 \ M\ Y2 00 Tento odhad (túto núhodnu velicinu) nazyvame vaZené priemer Yi,Y2,...,Yn. Veta 3.7: Nech Yi, Y2, ...Yn sú nezavisle, Yi ~ N (u, a2), i = 1, 2,n, vsetky a2 > 0 a vsetky pozname. Potom b = í u 1 Y^n=i~22 je NNLO parametra u. Štatistika x2 = En=i n (Yi — b)2 x2n n n-i b ~ N u, E ^ a2 Dokaz: Pretoze Y = (Yi, ...,Yn)' ~ N(1njiu, cov(Y) = diag(a^, ...,an)), je (podla Príkladu 3.6) b = (1'(cov(Y))-i1)-i1'(cov(Y))-iY a teda b ~ N I u, En=i a"2 ) j . DDalej platú i= ai2 i= ai2 ai2 ai2 ai2 ai2 a 2 ai2 ai2 a 2 i= i i= i = i= i i= i = i= b2 0 i a i n i 29 o 4? \ o o E^ — E -4 E^E Vf o o 0 ... 0\ 0 i2 - 0 IV0 0 Ok) 1 1 1 a1 a2 o1 ) n Y 1 1 1 1 2 2 2 '1 a2 Y. (28) Pretože AE (Y) 1$ 0 ... 0\ 0 4? ... 0 \0 0 4. 11 1 t2 a2 a 2 '1 a2 1/x = O, možeme písat X2 = YAY = (Y - E (Y))'A(Y - E (Y)). Podla Vety 13 kapitoly V. knihy Andei, J., Matematická statistika, SNTL, Praha, 1985 (dokazovali sme ju aj na prednaSke Lineární statisticke modely I), v prípade, že A je symetrická, p.s.d. matica, Accw(Y) = 0 a idempotentná, tak (Y — E (Y))'A(Y — E (Y)) ~ X^aco^y)] . Overme si vsetky predpoklady Vety 13. A = A (žrejmíe) Vx G Rn x'Ax = Yľi=1 (En=1 a^)2 < En=1 a2 En=1 j zvolíme C. Ak vo Schwaržovej nerovnosti ai = —' ffj dostávame, že En=i —2 En=i 1 i V^n xi \ En=1 —2 ) C > 0, teda C > 0 a preto Vx G Rn x'Ax > 0. A je p.s.d. matica. ak J Acov(Y) 1$ 0 0 4? 00 0 0 (En=1 Ol) 1 a? ' a? ' a? o12 0 . . . 0 0 o.22 . . . 0 0 0 (En=1 Oi) In,n Acov(Y)Acov(Y) (1,1'...' 1) = 0 (mimodiagonalne prvky tejto matice sá nenulove). 1 30 T - 2 1 (1,1,...,: J 1 2 (1, 1,..., 1) (1,1,..., 1) J + (EL1 a1*) E n k=1 I )■' (1,1,..., 1) = AcowY. Platí tr[Accw Y] = trTnn (E "Ú tr (1,1,..., 1) J tr(1,1,..., 1) V n — 1. Q.E.D. Poznámka 3.8: Štatistiku x2 = £n=1 —~—2- z Vety 3.7 využijeme pri testovaní rovnosti stredných "i hodnot. Majme Y1,Y2, ...,Yn nezávisle a Y ~ N(pi,a2), i = 1, 2, ...,n, (vsetky a2 poznáme). Ho : /Ji = /J2 = ... = X Hi : 3i = j = Hj Yľi=\_ "ä) ^Tj=1 "2 ■ Za platnosti Ho testujeme pomocou statistiky x2 = Yln=1 (y—2~b~, priCom b S "j ma x2 ~ i rozdelenie. Teda ak realizácia x^^i > xíl-1(1 _ a), tak H0 na hladine vážnamnosti a žamietame. Príklad 3.9: Test rovnosti korelačných koeficientov. Majme n nezávislých náhodných výberov z dvojrozmerného regulýrneho normýlneho rozdelenia, teda (^p <1)aí (1)"2 <1)p (1)ai (1)"2 <1)a2 )) 1 1 1 ( 10. Vieme, že pre Fisherovu Z _transformáciu platí 2 2 1 _ R \2 1 -W P k2 _ 3y ' ' ' ' ' kde _ _ Ejk= 1( Xíl-1(1 — a), tak H0 zamietame na hladine významnosti a. 3.2 Poznámky k pseudoinverznym maticiam Lema 3.10: Nech A, B sU k x l reýlne matice. AA B = B M(B) C M (A). Dokaz: M(B) C M(A) ==> stlpce matice B sa dajý naplsat ako linearne kombinacie stlpcov matice A =^ [Bj.j = Adj, dj GUl, j = 1,2,...,l =^ 3DM = (di,d2di), ze B = AD. Nech AAB = B => 3D (= A-B), ze AD = B => M(B) C M(A). Naopak ak M(B) CM(A) ^ 3D,ze B = AD => AA-B = AA-AD = AD = B Q.E.D. Uplne analogický dokazeme nasledujýcu lemu (dokaz spravte ako cvicenie). Lema 3.11: Nech A, B sý k x l reýlne matice. BA-A = B ==^- M(B') C M(A'). Lema 3.12: Amn je realna matica. Potom (i) [(A'A)-]' je g-inverzna matica k matici A'A; (ii) A(A'A)-A'A = A (teda (A'A)-A' je jedna g-inverzia A-; (iii) A(A'A)-A' nezývisí na volbe (A'A)- a je vzdý sýmetricka (a jedina). Dôkaz: (i) Platý (A'A)(A'A)-(A'A) = (A'A). Ked tuto rovnicu transponujeme (lavu aj pravý stranu), dostavame (A'A)[(A'A)-]'(A'A) = (A'A). (ii) Pretoze podla Lemý 3.3 M(A') = M(A'A), priamo z Lemý 3.11 dostavame A(A'A)-A'A = A. (iii) Nech (A'A)- a (A'A)- sý dve g-inverzie matice (A'A). Potom pomocou Lemý 3.10 a Lemý 3.11 dostýavame [A(A'A)-A' — A(A'A)-A'][A(A'A)-A' — A(A'A)-A']' = = A(A'A)- A'A[(A'A)-]'A' — A(A'A)- A'A[(A'A)-]'A' — y-v-' V-v-' A' A' —A(A'A)- A'A[(A'A)-]'A' +A(A'A)- A'A[(A'A)-]'A' = 0. v-v-' v-v-' A' A' Podla Lemý 3.3 je M(0) = M{[A(A'A)-A' — A(A'A)-A'][A(A'A)-A' — A(A'A)-A']'} = = M(A(A'A)-A' — A(A'A)-A'), teda A(A'A)-A' — A(A'A)-A' = 0 a A(A'A)-A' = A(A'A)-A'. 32 Vidíme, že A( A'A) A' nezávisí od volby (A'A) a je jediná. Zoberme si lubovolná maticu (A'A) . Potom matica ii {(A'A)- + [(A'A)-]'} je symetrická g-inverzia matice A'A (dokážte). Matica A2 {(A'A) + [(A'A) ]'}A' je ale symetricka a preto matica A(A'A) A' je symetrická pre lubovolnú volbu (A'A) . Q.E.D. Veta 3.13: Aknx = yn i nech je konzistentný system (t.j. má riesenie). A nech je lubovolna (ale pevná) g-inverzia matice A. Prave vsetky riesenia systemu Ax = y su z množiny A = {x G Rn : x = A -y + (I - A -A)z, z GRn}. Dokaz: System Ax = y je konzistentná (ma riesenie) 3x : Ax = y y G M (A) 3w : y = Aw. Nech x0 G A, teda x0 = A-y + (I - A-A)z0 => Ax0 = AA-y + A(I - A-A)z0 = AA-Aw = V-v-' 0 Aw = y x0 je riesením systemu Ax = y. Naopak ak x* je riesením konzistentneho systemu Ax = y, tak polozme z = x* a A-y + (I — A-A)z = A-y + (I - A-A)x* = A-y + x* - A- Ax* = x*. Teda x* G A. Q.E.D. y 3.3 Model s neúplnou hodnostou, cov(Y) = a2I Majme LRM - lineárny regresny model (Yn _i, Xn _ k/3k i, a2I), v ktorom h(X) < k < n. Volame ho modelom s neúplnou hodnostou (matice plánu). Nasim cielom bude odhad c'/3, odhad a2 a statisticka inferencia o neznámych parameroch (inferencia - proces logickeho odvodzovania vyrokov z inych vyrokov). Príklad 3.14: Majme tri nezávisle skupiny pozorovaní Y11,Y12, ■ ■■,Y1ni náhodny váber z N(^i,a2) rozsahu ni, Y21,Y22, ■■■,Y2n2 náhodny váber z N(^2,a2) rozsahu n2, Y3i,Y32, ■ ■■,Y3n3 náhodny váber z N(^3,a2) rozsahu n3. Model (celáeho) merania je Yij í^i + £ij i 2, 3, j 2, ni, Y Y.11 Y21 Y2n2 Y31 \Y3nJ íl 0 0\ Y1 Y2 Y3 E (Y) V3J X*y , cov(Y)= a2IE 3=1 m, E3 00l E?=i n,3 Je to LRM (Y, X*y, a21) plnej hodnosti. Ak tento model preparametrizujeme tak, ze polozíme ^ = í + ai, i = l, 2, 3, máme 4 parametre strednej hodnoty íi,a1,a2,a3. Parametre ai volame efekty. 33 Preparametrizovanú model je Y Y.11 Y1 n1 Y21 Y2n2 Y31 \Y3nJ Y1 Y2 Y3 Yij = y + ai + £ij i 1100 1, 2 3, j = 1, 2,...,ni, E (Y) 1100 1010 1010 1001 1001 íy\ a1 a2 a3 X3, cov(Y) = a2l£3=i m,j:3i= Tento model je LRM (Y, X/3, a21) s neúplnou hodnostou, lebo h(X) = 3 (prvú stlpec matice planu je súctom druheho, tretieho a stvrteho stlpca), teda h(X) = 3 < k (=4 < 3=1 ni = n). ni Veta 3.15: Majme LRM (Yn 1, Xn _ k/3k i,ff2I) neáplnej hodnosti, teda h(X) < /c < n. Ak b je rieSením normálnych rovníc X'Xb = X'Y, tak min^k (Y - Xj)'(Y - X7) = (Y - Xb)'(Y - Xb), teda b = argmin^ERk (Y - Xj)'(Y - Xj). Pre kaZde rieSenie b normalnych rovníc ma váraz (Y - Xb)'(Y - Xb) rovnakuá hodnotu. Dokaz: Najprv ukaZeme, Ze system X'Xb = X'Y (pre neznamu b) je konzistentná. X'Xb = X'Y je konzistentný X'Y G M(X'X). Pretoze X'Y G M (X') = M(X'X) (Lema 3.3), je X Xb = X Y konzistentnyá systáem (pre akáeko lvek Y). Nech b je ( lubovolne) riesenie X'Xb = X'Y, cize X'(Y - Xb) = 0, ale aj (Y - Xb)'X = 0'. Potom pre lubovolne j G Rk platí (Y - Xj)'(Y - Xj) = (Y - Xb - (Xj - Xb))'(Y - Xb - (Xj - Xb)) = = (Y - Xb)'(Y - Xb) - (Xj - Xb)'(Y - Xb) - (Y - Xb)'(Xj - Xb) + (Xj - Xb)'(Xj - Xb) = = (Y - Xb)'(Y - Xb) - (X(j - b))'(Y - Xb) - (Y - Xb)'X(j - b) + (X(j - b))'X(j - b) = = (Y-Xb)'(Y-Xb)-(j-b)' X'(Y - Xb) - (Y - Xb)'X(j-b)+(j - b)'X'X(j - b) > (Y-Xb)'(Y-Xb). v-^-' v-^-' v-^-' 0 0' >0 Zostava este dokázat , ze (Y-Xb)'(Y-Xb) je rovnake pre kazde riesenie b normalnych rovníc X'Xb = X'Y. Podl a Vety 3.13 práve vsetky riesenia normálnych rovníc sá {(X'X)^X'Y + (I - (X'X)~X'X)z : z G Rk} ((X'X)~ je lubovolná, ale pevná g-inverzia matice X'X). Pre kazde riesenie b normálnych rovníc je (Y - Xb)'(Y - Xb) = Y'Y - Y'Xb - b'X'Y + b' X'Xb = Y'Y - Y'Xb = X'Y = Y'Y - Y'X{(X'X)"X'Y + (I - (X'X)"X'X)z} = Y'Y - Y'X(X'X)"X'Y, (29) lebo podla Lemy 3.11 je -Y'X + Y' X(X'X)^X'X = 0. Podla Lemy 3.12 (iii) vyraz (29) nezálezí od volby V-v-' X (X'X)~ a preto (Y - Xb)'(Y - Xb) je rovnake pre kazde riesenie b normalnych rovníc. Q.E.D. 34 Veta 3.16: Sustava normálnych rovníc X'Xb = X'Y je ekvivalentná sustave = 0, l = 1, 2,..., k. d(Y - Xy)'(Y - Xy) Dokaz: Platí ci ze teda (Y - Xy)'(Y - Xy) = ]T(Y -J2{XhjYj)2, i=1 j=1 d(Y - Xy)'(Y - Xy) — ]T(Yi - ({X}i1Y1 + {X}i2Y2 + ... + {X}ikYk))2 2j2(Yi - ({X}i1Y1 + {X}i2Y2 + ... + {X}ikYk))(-{X}i i=1 0, l = 1, 2,...,k, = 0, l = 1, 2,...,k, J2(Yi - ({X}nY1 + {X}i2Y2 + ... + {X}ikYk)){X}i i=1 = 0, l = 1, 2,...,k, (Y - Xb)'X = 0, X'(Y - Xb) = 0 X'Y = X'Xb, co su normálne rovnice. Z Vety 3.15 a Vety 3.16 dostavame Q.E.D. Dôsledok 3.17: V LRM (Yn1, Xnk (3k 1,a2I) neúplnej hodnosti, teda h(X) < k < n platí b = argminYeRk(Y - Xy)'(Y - Xy) = argminYeRk||Y - Xy||2 X'Y = X'Xb. Oznacme = Xb, kde b je lubovolne riesenie normálnych rovníc X'Y = X'Xb. Potom Y = Xb = X {(X'X)-X'Y + (I - (X'X)-X'X)z} = X(X'X)-X'Y (30) pre jednu pevne vybratu (X'X)- . Podla Lemy 3.11 (iii) vztah (30), teda Y nezávisí od volby g-inverzie (X'X)- a je jedine. Y0 je ortogonílnou projekciou Y na priestor .a/í(X). Platí toti z , ze Y0 G .m(X) a vx gM(X) je (Y - Y)'x = (Y - Xb)'Xu = (Y'X - b'X'X) u = 0, teda Y - Y0 1. m (X) a "Y je takú prvok z m (X), ktory je najbli zsie k Y. 35 Definícia 3.18: Nech b je lubovolne riesenie normalnych rovníc. Se = (Y — Xb)'(Y — Xb) = ||Y — Xb||2 = Y'Y — Y'Xb = Y'(I — X(X'X) — X')Y je reziduálny sú čet štvorcov (reziduálne sou čet čtverců) RSC. 3.4 Odhad skaiarnej parametrickej funkcie parametra 3 vo všeobecnom lineárnom modeli Definícia 3.19: Majme LRM (Yn1, Xnik(3k 1, V). Povieme, že (skalarna) parametricka funkcia e = e(() = c'3, (c G Rk pevne daná vektor) je nestranne lineárne odhadnutelná, ak existuje jej linearny nestranná odhad a + u'Y, t.j. ak 3a G R, u GRn, že £p(a + u'Y) = c'3 Vf3 G Rk. Podotykame len, že odhadujeme c'3 pomocou observacneho vektora Y linearne, t.j. linearnou funkciou nahodneho vektora Y, teda linearny odhad je tvaru a + u' Y. Veta 3.20: V LRM (Yn1, Xnk 3k 1, V) je parametricka funkcia e = c ' 3 lineárne nestranne odhadnutelna prave vtedy ak c G M(X') (t.j. ak 3 w G Rn, že c = X ' w). Dôkaž: e = c' 3 je linearne nestranne odhadnutelna 3 a G R, u G Rn, že £p(a + u ' Y) = c '3 \/3 G Rk 3 a G R, u G Rn, že a + u' X( = c '3 V( G Rk a = 0 a 3 u G Rn, že u ' X = c ' 3u GRn, že X ' u = c. Q.E.D. Dôsledok 3.21: V LRM (Yn1, Xnk 3k1, V) je e = a + u ' Y nestranná linearny odhad nestranne odhadnutelnej parametrickej funkcie e = c' 3 (t.j. c G M (X')), prave vtedy ak a = 0 a X ' u = c. Dôsledok 3.22: V LRM plnej hodnosti je každá funkcia e = e(3) = c' 3 linearne nestranne odhadnutelná, lebo M (X 'kn) je podpriestor Rk, pricom h(X') = k, teda M (X ') = Rk. Definícia 3.23: Majme LRM (Yn1, Xnk 3k 1, V). Povieme, že e = u ' Y je najlepší nestranný lineárny odhad (NNLO) lineárne odhadnutelnej skalárnej parametrickej funkcie e = e(3) = c '3, (c G M(X') je pevne dany vektor), ak e je lineárny nestranny odhad c '3 a pre každá iny lineárny nestranny odhad e* funkcie c ' 3 platí D (e*) > V(ô). Veta 3.24: V LRM (Ynj1, Xn,k3k1,a2I), v ktorom h(X) < k < n, nech e = c' 3 (c G Rk je pevny vektor) je lineárne nestranne odhadnutelná parametricka funkcia (t.j. c G M(X ')). NNLO tejto funkcie je e = c ' b, kde b je lubovolne riesenie normálnych rovníc X ' Xb = X ' Y. Odhad e = c ' b nežaleží na volbe rie senia normáalnych rovnáíc. Doôkaž: Pod la Vety 3.20 je e = c 3 lineaárne nestranne odhadnute lnaá práave vtedy ak c G M(X ). Preto že podla Lemy 3.3 je M(X ') = M(X ' X), 3 w GRk, že c = X ' Xw. Odhad c ' b = w ' X 'Xb = w ' X ' Y = u ' Y (pomocou normalnych rovníc) je linearny odhad. 36 £(c'b) = £(w'X'Xb) = £(w'X'Y) = w'X'X/3 = c'3 V 3, teda c'b je lineárny nestranný odhad parametrickej funkcie ô = c' (3. Ak su b^i) a b^2) lubovolne dve riešenia normýlnych rovníc X ' Xb — X ' Y, potom c ' b(1} - c ' b*2) = w ' X ' X(b(1) - b*2)) = w '{X ' Y - X ' Y} = 0. Teda ô = c ' b nezýleží na volbe riešenia normýlnych rovníc X ' Xb = X ' Y. Vezmime si lubovolný iny (iny) nestranný linearny odhad funkcie c' (/, a síce ô* = v ' Y. Z nestrannosti vyplyva £ (v ' Y) = v ' X/3 = c ' ( V ( GRk, ciže X 'v = c. (31) Pocítajme D(ô*)-D(c'b) = D(v'Y)-D( c'b )= cr2v'v - a2w'X'Xw = cr2v'v - a2 w^XIX(X'X)-X'Xw = w'X'Xb=w'X'Y c' c = a2{v ' v - v ' X (X ' X)-X ' v} = a2v '{I - X(X ' X)-X '}v > 0, v-v-' =c' z (31) A lebo A nezýleží na volbe (X' X)-, je jedina, symetrický a idempotentna. Preto c 'b je NNLO nestranne lineírne odhadnutelnej parametrickej funkcie ô = c' (/. Q.E.D. 3.5 Odhad vektorovej parametrickej funkcie parametra (3 vo všeobecnom lineárnom modeli Op1 = C' (, kde C 'pk je matica realnych císel, nazyvame (p-rozmernou) vektorovou parametrickou funkciou. Definícia 3.25: Majme LRM (Yn1, Xnk (3k 1, V). Povieme, že vektorova parametrický funkcia Op_ 1 = C' (C ' je p x k realna matica je nestranne lineárne odhadnutelná, ak existuje jej linearny nestranný odhad a + UY, t.j. ak 3a €Up, Up,n, že Ep(a + UY) = C '(3 V/3 €Uk. Podotykame len, že odhadujeme C' 3 pomocou observacneho vektora Y lineýrne, t.j. p- rožmernou linearnou funkciou nahodneho vektora Y, teda odhad je tvaru a + UY. Veta 3.26: V LRM (Yn _ 1, Xn _ k3k 1, V) je vektorova parametrický funkcia Op_ 1 = C' 3 linearne nestranne odhadnutelný prýve vtedy ak existuje p x n matica U, že C = X' U '. Ak navyse platí h(C' ) = p, tak h(U) = p. Dokaž: Op_ 1 = C '3 je linearne nestranne odhadnutelný 3 a G Rp, Up_ n že £p(a + UY) = C '3 V3 G Rk <=^ 3 a G Rp, Up,n že a + UX3 = C '3 V3 G Rk <=^ a = 0 a 3 Upnn, že UX = C ' 3Up nn, že X ' U ' = C. Nech navyse platí h(C ') = p. Potom p = h(C) = h(X ' U ') < min{h(X '),h(U' )} < h(Upnn) < min{p, n} < p, teda h(U) = p. Q.E.D. 37 Dôsledok 3.27: V LRM (Yn1, Xnk3k 1, V) je 6 = ap1 + UpnY nestranný lineárny odhad nestranne odhadnutelnej parametrickej funkcie 6Pt\ = C'3 (t.j. C = X'U'), práve vtedy ak a = 0 a X'U' = C. Lema 3.28: V LRM (Y„i, Xnk 3k i, V) je vektorová parametricka funkcia 6Pt\ = C'3 lineárne nestranne odhadnutelná práve vtedy ak existuje k x p matica S, že C = X'XS. Ak navySe platí h(C') = p, tak h(S) = p. Dokaž: Podla Vety 3.26 9Pi1 = C'3 je nestranne linearne odhadnutelna 3 Upn, že C = X'U', teda {C}., = X'{U'}M, i = 1, 2, ...,p. Pretože podla Lemy 3.3 je M(X') = M(X'X) a {C}., G M(X'), i = 1, 2,...,p, 3 s1, s2,..., sp, si G TZk, že {C},i = X'Xsj, i = 1, 2,...,p. Preto existuje matica Skp = (si, s2,sp), že C = X'XS. Ak navyse h(C') = p, potom p = h(C) = h(X'XS) < min{h(X'X), h(S)} < h(Skp) < min{k,p} < p, teda h(S) = p. Q.E.D. Poznámka 3.29: Je žrejme (dokažte si), že vektorova parametrická funkcia 6p1 = (01,...,0p)' je nestranne linearne odhadnutelná práve vtedy, ak je nestranne lineárne odhadnutelna každa jej žložka 0i, i = 1, 2,...,p. Definícia 3.30: Majme LRM (Yn1, Xnik3k 1, V). Povieme, že 9Pi1 = UY je najlepší nestranný lineárny odhad (NNLO) linearne odhadnutelnej vektorovej parametrickej funkcie 9Pi1 (3) = C'3, (C'p,k je pevne daná matica), ak 6 je linearny nestranny odhad C'3 a pre každy iná lineárny nestranny odhad 6* funkcie C'3 platí, že cov(6*) — cov(6) je požitívne semidefinitna matica. Veta 3.31: V LRM (Yn1, Xnk3k1, a2I), v ktorom h(X) xrx' cov(Y) = o a idempotentnú, tak (Y - E (Y))' I-X(X;2X)-X' (Y - E (Y)) — x2 . ,_x 0 (35) (ž predpokladov). Inac pre lubovolnú maticu D je hodnost h(D) = trDD-, lebo DD- je idempotentna, teda h(DD-) = tr[DD-] a h(D) > h(DD-) > h(DD-D) = h(D), ciže h(D) = h(DD-) = tr[DD-]. Okrem toho ž Lemy 3.3 vyplýva, že M(X' X) = M (X '), teda h(X' X) = h(X') = h(X). Q.E.D. Veta 3.35: V LRM (Yn,i, Xrítk3k1, a2I), v ktorom h(X) = r ) = Y'(I - X(X'X)-X')Y nezávisle ak X'a2I(I - X(X'X)-X') = 0, Co je pravda (podotúkame, ze I - X(X'X)-X' je p.s.d. matica). Pretoze Ô = X(X'X)-X'Y, ô = U(U'U)-U'Y = U(U'U)-K'X'Y sú funkcie X'Y, teda aj Ô - ô=[X(X'X)" - U(U'U)-K']X'Y a Se sú nezavisle. Teda Čitatel a menovatel v (36) sú nezavisle náhodne veliCiny. S Nech pre Y platí model M\ (Cize aj model M). Podla Vety 3.34 je —2 ~ xíi-r. Dalej a2 E (Ô - ô) = E [(X(X'X)-X' - U(U'U)-U')Y] = X(X'X)-X'U/3 - U(U'U)"U'U/3 = = x(X'X)-x'xk/ - u/ = xkp - u/ = 0, '-X-' >U cov(ô - ô) = [X(X'X)-X' - U(U'U)-U']a2I[X(X'X)-X' - U(U'U)-U'] = (lebo nezálezí na volbe g-inverzií) XK=U K'X'=U' = a2{X(X'X)-X' _ X(X'X)-X'^UJ(U'U)-U' _ U(U'U)- JJ^X(X'X)-X'(U'U)-U'} = XK K'X' = a2{X(X'X)-X' _ U(U'U)-U'}. (38) Podla Vety 12, str. 79 v knihe Andel, J., Matematická statistika, SNTL, Praha, 1985, dokazovali sme si ju na prednaske Linearní statisticke modely I) platí, že (p _ V)'[cOV(fx _ V)]-(p _ V) ~ xl[cov<(i-í>)\, (bež ohladu na volbu g_inverzie (cov(p, _ V))-), teda (p _ V)'-L{X(X'X)-X' _ U(U'U)-U'}-(p _ V) ~ xlccovíí.-í)]. PretoŠže X(X X)-X _ U(U U)-U je idempotentnáa matica (požri (38)), je jednotkovaá matica T jej jedna g_ inveržia a dostaávame, Šže -9 (A _ V)'(A _ V) ~ x2r-r1, a2 lebo h[cov(p _ V)] = h(a2[X(X'X)-X' _ U(U'U)-U']) = h[X(X'X)-X' _ U(U'U)-U'] = = tr[X(X X)-X _ U(U U)-U ] = tr(X(X X)-X ) _ tr(U(U U)-U ) = = tr(X'X(X'X)-) _ tr(U'U(U'U)-) = h(X) _ h(U) = r _ r1 43 (podia záveru dôkazu Vety 3.34). Preto (A - v)'(a - v) F = a2(r - r1) = (A - V)'(A - V) n - r F F c a ~ Fr—ri Se Se r - ri a2(n - r) Vztah (37) dokaZeme ápine analogicky. Q.E.D. Hypotézu H0 : piati submodei M\ X H\ : neplatí H0 testujeme nasledovne. Ak realizácia Freai > Fr-rin-r (1 - a) (F dane vztahom (36)), tak H0 zamietame na hladine váznamnosti a. Veta 4.3: Nech Mi je submodeiom modelu M a M2 je submodeiom modelu Mi. Odhady a, v, t, Se spinujá identity (i) Se + (A - v)'(a - V) + (V - t)'(v - t) = Y'Y - t 't, (ii) Se + (A - v)'(a - v) = Y'Y - v't, (iii) Se = Y'Y - a't Dokaz: Se = (Y - a)'(Y - A) = Y'(I - (X(X'X)-X')Y = Y'Y - Y' X(X'X)-X'X(X'X)-X'Y = Y'Y - a'a --v-' X (iebo nezaiezi na vybere g-inverzie (X'X)-). Dokazaii sme (iii). Pretoze X(X'X)-X' - U(U'U)-U' je symetricka a idempotentná matica (pozri (38)), je (A - v)'(a - V) = Y'[X(X'X)-X' - U(U'U)-U']'[X(X'X)-X' - U(U'U)-U']Y = = Y'[X(X'X)-X' - U(U'U)-U']Y = Y' X(X'X)-X'X(X'X)-X'Y - Y' U(U'U)-U'U(U'U)-U'Y = --v-'--v-' X U = a'a - v'v. (39) Analogicky lahko sa dokaze, ze aj U(U'U)-U' - T(T'T)-T' je symetricka a idempotentna matica a preto (V - t)'(V - t) = Y'[U(U'U)-U' - T(T'T)-T']'[U(U'U)-U' - T(T'T)-T']Y = = Y'[U(U'U)-U' - T(T'T)-T']Y = Y' U(U'U)-U'U(U'U)-U'Y - Y' T(T'T)-T'T(T'T)-T'Y = --v-'--v-' U T = V 'v - t 't. (40) Pomocou (39) a (40) je evidentne (i) a (ii). Q.E.D. 44 5 Analýza rozptylu 5.1 Analýza rozptylu jednoduchého triedenia Majme I nezávislých náhodných váberov z normalneho rozdelenia s rovnakými disperziami, teda 1. výber Y1j1, Y1j2,Y1"1 rozsahu n1 z N(j1,a2), 2. výber Y24, Y2,2,Y2,"2 rozsahu n2 z N(j2,o2), I—tý výber Yji 1,Yji2,...,YJ"I rozsahu nj z N(jj,o2). Cielom je overit hýpote áezu Ho : ji = J2 = im = ... = X Hi : 3 i = j jj>i = jj>j Ide o lineáarný regresnáý model ktorý môz eme zapísat maticovo Y" , 1 /Yi\ Yii Yi2 Yi"1 Y2i Y22 Y2"2 Yji Yj2 Yj"I 10 10 10 01 01 01 00 00 0 0 0 0 0 ji j2 jj kde n = £j=1 m, e1 - N(0", i,o2I"") a ^(X1) = I, teda ide o model plnej hodnosti. Reparametrizujeme model, teda zavedieme nove parametre j, a1,aj, a síce ji = j + ai, i = 1, 2,I 1 45 teraz Yij ~ N (j + ai, a2), i = l, 2,I, j = l, 2,ni. Maticovy zápis reparametrizovaneho modelu je Yn 1 Y1 Y2 YI Y11 Y12 Y1ni Y21 Y22 Y2n2 YI1 YI2 \YmJ llo llo l lo ol ol lol loo oo o o o o o «1 \aIJ Xn,I+1ßI+1,1 + en,1, kde e ~ N (0n1, a2Inn) a h(X) = I (prvá stlpec matice X je sáctom ostatnách stlpcov), teda ide o model e — neuplnej hodnosti. /i volame celkový efekt ošetření a cti je efekt i-teho ni krát nj krát ošetření. Cielom je odhad vektora e (Y) = (j + a1,j + a1,j + aI,j + )' = Xß. Podla Poznámky S.S2 tento odhad vzdy existuje a NNLO vektora e (Y) je e (Y) = Xß = Y = Xb, kde b je lubovolne riesenie normalnych rovníc X 'Xb = X 'Y. Podla Vety S.16 je sustava normalnych rovníc ekvivalentna sástave dS d j o, (4l) dS o, i = l, 2,...,I, kde S(j,«1, ) =J2 Ii=1YJn^ 1(Yij - J - ai)2. Ozna cme ni I ni I l ni l E Yij = Yi., E E Yij = Z Yi. = Y", n~ E Yij = n~Yi' = yi*, ni ni j=1 i=1 j=1 j=1 (42) I l I ni l n=^y2y2Yij = -y*.=y.. nn i=1 i=1 j=1 (zau záívanáe ozna cenie). Rovnice (4l),(42) suá nJ + e ni«i = Y.., i=1 (4S) a l ntj + nt«t = Yt., t = l, 2,...,I (44) 46 (preverte). Ako vyžerajý normalne rovnice X ' Xb = X ' Y ? X Xb 1 . . . 1 1 1 . . . 1 0 0 . . . 0 1 0 teda 00 1 0 0 1 n n1 n2 . .. ni \ n1 n1 0 . . . 0 n2 0 n2 . . . 0 ni 0 X Y ni 110 110 110 101 101 101 100 100 / j \ Yi. 0 0 0 0 0 / j \ «1 co sý (pochopitelne) tie iste rovnice ako (43) a (44). Zrejme sustava (43) a (44) mý singularnu maticu, lebo sýcet rovm'c (44) dava rovnicu (43). Staď ným ale najst lubovolne riesenie tejto sýstavy. Môžeme napríklad žvolit riesenie j* = 0 a a* = yit, i = 1, 2,...,I. Budeme postupovat inýc (osvedcilo sa to aj pri inych modeloch analyžy rožptylu), a síce pridame dalsiu rovnicu (podmienku) i ai = 0 i=1 tžv. reparametrižadcnuý rovnicu. Takto dostaývame suýstavu i niai = 0 i=1 i + niOi = Y.. i=1 0 0 1 1 1 a 47 ntjj> + UtO,t = Yt., t = 1, 2,..., I, ktorej (jediné) rie senie je Teda NNLO j° = y.., a°t = yt. - y.., t = 1,2,..., I. (i = E (Y) = X ji° + a\ ji° + a\ ji° + a°2 ji° + a°2 y . y . y . y2. y2. y . y . Ak mame testovat v pôvodnom modeli (s plnou hodnostou, str. 44) Ho : ji = j2 = im = ... = j Hi : 3 i = j ji = jj, tak v reparametrizovanom modeli (s neúplnou hodnostou, str. 45) je to ekvivalentne testovaniu Ho : a = a2 = a = ... = a Hi : 3 i = j ai = a j. Za platnosti H0 máme namiesto modelu M : Y - N(X/3,cr2I) submodel M1 : Yij = y + eij, i = 1, 2, j = 1, 2, ...,ni, eij — N(0,a2) (vsetky nezavisle) s maticou plánu Unj1 = (1,1,1)'. Zrejme M(U) C M(X), lebo U = X(1,0,0)'. Submodel M1 je plnej hodnosti. Odhadneme v nom 7. NNLO parametra 7 je 7 = (U'U)_1U'Y = — \=\ E1 Yij = — Y,, = n j n y... Preto í> = E (Y) y.. y. y.. ln,1y... Podl a Vety 4.3 je režidualny sucet stvorcov (RSC) Se = Y'Y — /lx ' ô a Se + (/ô — V)'(/ô — ô) = Y'Y — V 'ô. Nahodná velicinu Y'Y — ô'ô nažyvame ST - totálny (celkový) sášet štvorcov a náhodná velicinu (/ô — ô)'(/ô — ô) volame - súšet štvorcov medzi triedami, alebo súšet štvorcov medzi riadkami, alebo súšet 48 Ztvorcov ak je zdroj menlivosti "A" (t.j. ô uvazuje "A" a v neuvazuje "A" (zdroj menlivosti)). Platí teda ÍV1.\ yi. y 2, y 2, y 2, \yi.J y,, y,, y,, y,, y,, y, y, y,, 1 ni Y2 I ni St = ££ Yj - ny2. = Y2 i=1 j=1 i=l j = l SA = (A - *)'(£ - V) = n'A - ií'V = É niyi2. - ny2. = É — - — ni n i=l i=l I ni Yi2 i=1 j=1 ni Za platnosti H0 : = a2 = ... = aI platí podla Vety 4.2 = (ô — ô)'(ô — ô) n — h(X) = Sa n——I (Y — ô)'(Y — ô) h(X) — h(U) Se I — 1 Ak realizacia Freai > FI(1 — a), tak na hladine vyznamnosti a zamietame H0. Fl-1,n-I ■ Tabuďlka analyúzy rozptylu jednoduchúeho triedenia. zdroj variability sáCet Štvorcov stupne volnosti S/f F = S/f Se/fe skupiny (riadky, Sa f A = I - 1 Sa fA SA/fA -4 4,4, Se/fe "typ pody",...) Se fe reziduály Se f e = n - I - celkový St f T = n - 1 V = V poslednom stúlpci tabu lky je hodnota testovacieho kritúeria. Ak túato hodnota je takúa, ze test zamieta nulovuú hypotúezu na hladine vyúznamnosti a = 0, 05, hodnota testovacieho kritúeria sa ozna cúí jednou hviezdi ckou. Ak 49 táto hodnota je taká, že test zamieta nulovú hypotézu na hladine významnosti a = 0, 01, je zaužívané hodnotu testovacieho kriteria sa označit dvomi hviezdičkami. Poznámka 5.1: (Bartlettov test) Aby sme mohli realizovat analýzu rozptylu, musíme overit, či disperzie v triedach su rovnake (predpokladame normalitu pozorovaní, tato normalita sa tiez overuje testami normality). Bartlettov test: s2 = |eYJ --v^ , i = 1,2,I s2 = —T Y(n - 1)s2, C =l^-J—( ---L-^ . n - I j-f 3(I - 1)1 ni - 1 n - II Za platnosti hypotezy H0 a2 = a2, = ... = a\ (rovnake disperzie v triedach) platí 1 ľ 1 B = c (n - I)ln s2 -J2 (ni - 1)ln s2 L i=i Ak realizacia Breai > x2-i(1 - a), zamietame hypotezu o rovnosti disperzií na hladine vyznamnosti a. Test sa dú aplikovat ak ni > 6 pre vsetky i =1, 2,I. Poznámka 5.2: Ak H0 : a1 = a2 = ... = ai zamietame, potom sa pytame pre ktore i = j je ji = j j (ai = a j). Teda vlastne pre kazde i = j testujeme Ho : ji = j j X Hi : ji = j j. Ho zamietame na hladine vyúznamnosti a, ak \Vi. - Vj.\ >< (I - 1) —T {- + -\ Fi-inn-i (1 - a). (45) n - I ni nj Túto metoda sa volú Scheffého metoda, jej analúza a odvodenie nújdete v knizke Andel, J., Matematická statistika, SNTL, Praha, 1985, str. 147. Ak n1 = n2 = ... = ni, tak sa a pouzit aj metoda Tukeyho (pozrite tiez v knihe Andel, J., Matematicka statistika, SNTL, Praha, 1985 na str. 150). :X2-i. Príklad 5.3: (Andel, J., Matematické statistika, SNTL, Praha, 1985, str. 156.) U styroch odrodach zemiakov (A,B,C,D) sa zistovala celkovú hmotnost zemiakov, ktore vyrastli v jednom trse. Vysledky sú v nasledujucej tabulke: odroda hodnoty (realizacie) Yij pocetnost ni sucet Yit priemer yit j ij A 0,9 0,8 0,6 0,9 4 3,2 0,8 2,62 B 1,3 1,0 1,3 3 3,6 1,2 4,38 C 1,3 1,5 1,6 1,1 1,5 5 7,0 1,4 9,96 D 1,1 1,2 1,0 3 3,3 1,1 3,65 celkom n =15 Y„ = 17,1 Ei Ej Yjj = 20, 61 50 Vzhladom k malým poCetnostiam ni nerealizujeme test normalitý ani Bartlettov test. Y2 Y2 S a = £ í =i n 3,22 3,62 7,02 3,32 17,12 + ^7^ + ^- + ^---hr~ =0, 8160, 4 Y2 3 20, 61 5 17,12 15 3 1,1160, 15 Se = ST — SA = 1,1160 — 0, 8160 = 0, 3. Tabulka analýzý rozptýlu. zdroj variabilitý sáCet stvorcov stupne volnosti S/f F = S/f Se/fe odrodý SA = 0, 8160 3(= I — 1) 0, 2720 9, 971 reziduáalý Se = 0, 300 11(= n — I) 0, 02727 — celková ST = 1,1160 14 Pretoze 9, 97 > F3j11(0, 95) = 3, 59, zamietame na hladine významnosti 0,05 (5%) hýpotezu, ze stredna hodnota hmotnosti trsu zemiakov nezávisí na odrode. Scheffeho metodou chceme odhalit , ktoré odrodý sá váýznamne odli snáe medzi sebou. Se Se 0,02727, F3 11(0, 95) = 3, 59, (I — 1)—e— F3 11(0, 95) = 0, 29370, nI n — I n — I preto tabulka pre porovnavanie dvojíc Scheffeho metodou výzera nasledovne zrovnaávanáe odrodý absolutna hodnota rozdielov \yi, — yj, \ \j (i—d "i "j )Fj(0, 95) A,B A,C A, D B, C B, D C, D \yi, \yi, \yi, \y2, \y2, y2 \ = 0, 4 y3 \ = 0, 6i y4 , \ = 0,3 y3 \ = 0, 2 y4 \ = 0, 1 \ y3 y4 \ = 0, 3 0,41 0,36 0,41 0,40 0,44 0,40 Len pri porovnávaní odrod A a C mozno na hladine váznamnosti 0.05 prehlasit , ze tieto dve odrodý sá ( statistický) výáznamne odli snáe. 5.2 Analýza rozptylu dvojného triedenia bez interakcií Príklad 5.4: (Andel, J., Matematická statistika, SNTL, Praha, 1985, str. 167.) Skámali sa výnosý sena v q/ha v závislosti na A—týp pôdý i = 1, 2 a B—sposob hnojenia j = 1, 2, 3. Kazda kombinacia týpu podý (normalna, kýselá) bola realizovaná s kazdým sposobom hnojenia (bez hnojenia, chlievska mrva, vapenate hnojivo) v zdý stýrikraát (na stýroch pozemkoch) nezaávisle. Váýsledký suá v nasledujuácich tabu lkáach: n n 51 spôsob hnojenia j typ pôdy A i bez hnojenia 1 čhlievska mrva 2 vapenate hnojivo 3 súčet Yit, V V Y 2 j k ijk normálna 1 28 32 30 30 37 36 39 36 34 38 37 36 413 14 355 kyselá 2 31, 27 30 29 34 34 30 38 42 40 41 39 415 14 653 súčet Y,j, 237 284 307 Y...=828 V V4 Y2 Z-^i Z—ik ijk 7039 10 138 11 831 V V V Y 2 /—tj Z-^k ijk =29 008 Yij. j = 1 j = 2 j = 3 i = 1 120 148 145 i = 2 117 136 162 2 3 = 115 758, nij =4, i = 1, 2, j = 1, 2, 3. i=i j=i V tomto prípade múme dva triediace znaky (typ pody —A, spôsob hnojenia —B). Mame nij pokusov takúčh, ze ú nich je A na i—tej a B na j—tej úrovni (v tomto prípade i = 1, 2, j = 1, 2, 3). Vúsledky (v tomto prípade vúnosy) týchto nij pokusov sú realizacie nahodnych veličín Yij1, Yij2,Yijnij (v tomto prípade napr. realizúcia Y111 je 28, realizacia Y112 je 32, realizacia Y232 je 40, atd.). Zakladnú úloha je rozhodnút, ci vsetky úrovne B (spôsob hnojenia) majú na vynosy rovnakú vplyv, alebo nejaky sposob hnojenia je "signifikantne iny" (lepsí, horsí). Niekedy treba naviac rozhodnút, ci vúnosy zavisia od typú pôdy. Model je Yijk —ij + ^-ijki (46) eijk ~ N(0, a2), i = 1, 2,I, j = 1, 2,J, k = 1, 2,nij a vsetky eijk sú nezavisle. Ak oznacíme — = E j=1 —ij — =J2 i=1 —ij — = £ i=1^ j=1 —ij ( o) = _— _— + — —i. = j , _.j = i , = ij , (aP)ij = _ij _i. _.j + potom H a.i ííj (aíí)ij _ij = + (— i. — _..) + — ) + (— ij — _i. — _.j + —^^), a dostúavame preparametrizovanyú model (46) v tvare Yijk = — + a + 0j + (+ eijk, (47) eijk ~ N(0, a2), i = 1, 2,I, j = 1, 2,J, k = 1, 2,nij a vsetky eijk sú nezavisle. Parameter — volame celkový efekt, parameter ai je efekt i—teho riadku (i —tej úrovne faktora A), parameter 0j je efekt j — teho stĺpca (j —tej úrovne faktora B) a (a(0)ij je interakcia. V nasledujúcom búdeme predpokladat, ze interakcia je rovnaú 0 (pre vdsetky i, j), teda Yijk = — + a + 0j + eijk, (48) eijk ~ N (0,a2), i = 1, 2,...,I, j = 1, 2,..., J, k = 1, 2,...,nij a vsetky eijk sú nezúvisle. Model (48) volúme modelom dvojneho triedenia bez interakcií. 52 Poznámka 5.5: Ak je v každej triede rovnaký pocet pozorovaní, t.j. nij = K, i = 1, 2,...,I, j = 1, 2,J, tak model (alebo triedenie) voláme vyvážený (vybalancovaný), inak nevyvážený. V nasledujácom uvažujme vývažený model (rovnako je tomu aj v Príklade 5.4). Model (48) sa da maticovo zapísat ako M : Y = Xa + e, Y = (Yni, Y112,Yjjk)', kde matica X týpu n(= £j=1 £j=1/~2K=1 nijk) x (I + J +1), ktorej prvý "blok" je matica X„jj+1 zo str. 45 a druhý "blok" si napíste ako cvicenie, a = (i, a1,aj, (31,(3J)', pricom hodnost h(X) = I + J — 1 = r (1. stlpec matice X je sáctom stlpcov druheho až (I +1)—veho, a takisto je sáctom stlpcov druheho "bloku"). V modeli M chceme testovat hýpotezu Hbo : Ä = Í2 = ... = Í3j > Hbi : 3 s = tps = pt (nulovost efektov osetrenia B). Za platnosti Hbo dostávame submodel Mi : Yijk = ii + a + Cijk, ktorá môžeme maticovo zapásat ako Mi : Y = Uô + e, Y = (Ym, Y112,Yjjk)', kde matica Unj+1 je ta ista ako matica X žo str. 45 a ma vždý JK rovnakách riadkov, vektor parametrov ô = (i, a1, a2,aj)'. Lahko vidíme, že U = X í J +1'J +M , ^(U) = I (I < I + 1 (-poce stlpcov matice U) V 0J,j+1 y a I +1 < I + J +1 (-pocet stlpcov matice X)). Preto M1 je submodelom modelu M (požri Definíciu 4.1). V modeli M1 chceme testovat hýpotežu Hao : a1 = a2 = ... = aj x Ha1 : 3 s = t as = at (nulovost efektov osetrenia A). Za platnosti Hao dostávame submodel M2 : Yjjk = i + eijk, ktorá môžeme maticovo žapásat ako M2 : Y = Ty + e, Y = (Ym, Y112,Yjjk)', kde matica Tn1 je matica samých jedniciek a vektor parametrov j = i (skalár). Lahko vidíme, že M2 je submodelom modelu M1 . V modeli M odhadneme E (Y) = Xa, odhad je ô (kvoli rovnakemu žnaceniu ako v kapitole 4. Normalne rovnice suá dS di ' dS — =0, i = 1, 2,...,I, dai dS — =0, j = 1, 2,..., J, kde S = S (i, a1,aj, Í1,Íj ) = £ j=1 Y, J=1 Y, K=1(Yijk — i — aj — í j )2. Po derivovaná dostavame 53 i J IJK a + JKj^a + IKJ2^ = Y"', J JKô + JKaj + Kj2^j = Yj.., i = 1, 2,...,I j=i i IK a + Kj^ai + IK/j = Y.j., j = 1, 2,J. i=i Pridáame reparametriža cnáe rovnice i j J^ai = 0, Y.Pj = ° (aby sme dostali jednožna cnáe rie senie). Toto rie senie je A = y... , aj = yi.. — y... , i = 1, 2,...,I, I6j = y.j. — y... , j = 1, <2, ...,J. Urobme e ste niekolko pomocnych vypoctov: J 1 11 J^y.j. = y.i. + y.2. +- + y.j. = ik(y.i. + y.2. +... + y.j.) = jkY... = JjjkY... = Jy... (4g) j=i a analogicky 1 1 1 1 i=i JK JK IJK dalej J J J J 53(y.j.—y...)2 = E(y2j.—2y.j.y...+y2„)^Ey2j.+Jy...—2y... (Ey.j. ) = Ey2j. — Jy.. j=i j=i j=i j=i j=i Jy%%% podla (49) (51) a analogicky I I ^2(yi..— y...)2 = E(y2..— 2yi..y...+y2..) = Ey2..+Iy2..— 2y... [ ^2yi..\ = Ey2..— Iy.... Iy... podla (50) (52) Preto v modeli M : Y - N(Xa, cr2I) je K krat K krát K krát --*----*-s /-*-- 54 i j i j i í j i=1 j=1 i=1 j = 1 i=1 lj=1 KY 0 podla (49) J J j=1 j=1 JK krat J K krát podla (51) ey2j« — Jy.. j=1 i=1 Yy2» +0: i j = y2.. + IKY, y22 j. — UKyl i=1 j=1 a h(X) = I + J — 1. V submodeli M1 : Y - N(Uô, a2I) je JK krat ttjc / o , o 0,00,0 o, o o, o o , o \ / v= Uô = (j + a1 + a1,^ + a2,...,j + Fj-liIJK-I-J+l(1 - a), zamietame Hbo na hladine významnosti a. Ak Hbo nežamietame, mozeme pristápit k testovanie Ha0. V prípade, ze realizacia FAeal > FI-lIJK-I -J +i (1 - a), zamietame Ha0 na hladine váznamnosti a. Tabu lka (vyvúa zenej) analúyzy rozptylu dvojnúeho triedenia bez interakciúí. zdroj variability súcet stvorcov stupne volnosti s/f F = S/f Se/fe riadky (typ pôody) stúlpce (spôosob hnojenia) reziduaúly Sa Sb Se f a = h(U) — h(T) = I — 1 f b = h(X) — h(U) = J — 1 fe = n — h(X) = IJK — I — J +1 Sa fA Sb fB Se fe S /j = FI-1,IJK-I-J+1 S /f = F J-1,IJK-I-J+1 celkovúy f T = fe + f A + fB = IJK — 1 Poznámka 5.6: Ak ide o vyvazenú model, je jedno, ci najprv testujeme HB0 a potom Hao, alebo naopak (testovacie statistiky vyjduú rovnako). Ak je model nevyvúa zenúy, suú to rozdielne cesty a interpretúacia je tazkú. Podrobnejsie pozri v knizke Andel, J., Matematicka statistika, SNTL, Praha, 1985, str. 160. Poznámka 5.7: Ak zamietame HB0 alebo Hao, Scheffeho (alebo niekedy aj Tukeyovou) metodou sa zistuje, medzi ktorymi úrovnami faktorov sú rozdiely (pozri v knizke Andel, J., Matematické statistika, SNTL, Praha, 1985, str. 161). 56 5.3 Dvojné triedenie s interakciami M9ze sa stat u dvojneho triedenia, ze efekty riadkov a stlpcov sa jednoducho nescátajá. Napr. v Príklade 5.4 by mohlo d9jst k tomu, ze niektorá druh hnojiva ma specificky ácinok s istym druhom pody. Preto sa uvazuje (vo vseobecnosti) realistickejsí model (47) teda Yijk = / + o-i + /3j + (aP)ij + tijk, ei.jk — N (0,a2), i = 1, 2,...,I, j = 1, 2,..., J, k = 1, 2,...,nij a vsetky eijk sá nezávisle. Je to model dvojneho triedenia s interakciami. Testy v tomto modeli pozri v knizke Andel, J., Matematická statistika, SNTL, Praha, 1985, str. 164. Samozrejme uvazujá sa aj modely trojneho a vyssích triedení aj s interakciami (aj vyssích radov), pozri tiez napr. v IX. kapitole knizky Andel, J., Matematicka statistika, SNTL, Praha, 1985.