BAYESOVSKÉ METODY
Marie Hušková
OBSAH
Předmluva 5
Kapitola 1. Úvod
1.1 Formulace problematiky 7
1.2 Bayesova věta a její použití 10
Kapitola 2.     Volba     apriorního rozdělení
2.1 Úvod 13
2.2 Konjugované systémy hustot 15
2.3 Princip neurčitosti, Jeffreysova hustota
a limitní aposteriomí hustoty 26
2.4 Empirické bayesovské metody 35
Kapitola 3.     Statistické rozhodovací funkce
3.1 Formulace problému 38
3.2 Bayesovské rozhodovací funkce 43
Kapitola 4.     Úloha odhadu
4.1 Úvod 50
4.2 Bodový odhadj jednorozměrný případ 50
4.3 Bodový odhad; vícerozměrný případ 61
4.4 Věrohodnostní množiny 65
-3-
Kapitola 5.     Testování hypotéz
5.1 Úvod 70 5«2   Ztrátové funkce používaná při testovaní
hypotéz 70
5.3 Testy při *<®0) =0 76
5.4 Testy o střední hodnotě normálního rozdělení 79
Apendix : Přehled použitých rozdělení 86
Literatura 93
\
-4-
PŘEDMLUVA
Bayesovské metody představují jeden ze základních přístupů teoreticko-pravděpodobnostního myšlení i matematicko-statistických vyhodnocovacích metod.
Vychází se z předpokladu, že naše informace (apriorní znalost, zkušenost) a hodnotě neznámého parametru může být vyjádřena pomocí pravděpodobnostního rozdělení, tj. neznámý parametr můžeme považovat za náhodnou veličinu. K závěrům o hodnotě neznámého parametru využijeme jednak apriorní informaci o hodnotě parametru, jednak experimentální výsledky (nezávislé na. této apriorní informaci). Tento přístup byl a dosud je předmětem kritiky mnoha statistiků.
Ha bayesovské metody však můžeme hledět jako na metody, které nám poskytují jisté řešení statistických problémů.
Bez ohledu na výše zmíněnou kritiku mohou být bayesovské metody užitečné v řadě praktických situací, především v případech, kdy jsou dostupné výsledky obdobných experimentů z minulosti,(např. při kontrole jakosti výrobků).
Účelem skript je vyložit základy bayesovských metod v úlohách testování hypotéz a teorie odhadu. Skriptum je rozděleno do šesti kapitol. V první kapitole jsou vyloženy základní principy bayesovské-ho přístupu k řešení statistických problémů. V druhé se čtenář seznámí s možnostmi volby apriorního rozdělení, v další se základy teorie rozhodovacích funkci. Čtvrtá a pátá kapitola je věnována teorii odhadu resp. testování hypotéz. Poslední kapitola obsahuje přehled používaných rozdělení.
- 5 -
Skriptum bylo napsáno jako pomůcka k přednášce Matematická statistika II., ale může sloužit i širšímu okruhu čtenářů, neboí pokud je mi známo, nebyla dosud v českém jazyce publikována samostatná knížka věnovaná pouze bayesovským metodám.
Předpokládá se, že čtenář je seznámen se základy vyšší matematiky a. matematické statistiky na úrovni knihy J. Anděl! Matematická statistika, kap. 1-10, 13—15- Značení je převzato z této knihy.
Závěrem bych chtěla poděkovat recenzentovi prof. ing. !F. Fabiánovi, CSc a dr. D. Vorlíčkové za podnětné připomínky a paní I. Marešové za pečlivé přepsání rukopisu.
- 6 -
1. ÚVOD
1.1   FORMULACE PROBLJJMATIKY
Nechl X * (XX^)' je náhodný vektor s hustotou r(j|e) vzhledem k <r-kone*né míře v , kde 6 = (e.,,...,^)' je parametr s hodnotami z neprázdné borelovské množiny <S> o R^.
Při klasickém (nikoli bayesovskóm) přístupu k problému odhadu parametru 6 nebo testováni hypotézy o § považujeme § za neznámou konstantu popř. vektor neznámých konstant a k závěrům o hodnotě parametru G použijeme pouze I » (i1,... ,Xn)* a tvar rozdělení X.
Při bayesovskám přístupu k závěrům o parametru 6 použijeme kromě X ještě informaci (byí neúplnou) o parametru 8, kterou máme k dispozici nezávisle na realizaci X. Mluvíme o tzv. apriorní informaci* Tato informace může mít objektivní či subjektivní charakter, popř. může být kombinací informací obou typů. 0 objektivní apriorní Informaci mluvíme, jestliže využijeme informaci z podobných úloh, problémů z minulosti. Subjektivní apriorní informace vyjadřuje názor či zkušenost nějakého subjektu. Apriorní informace se vyjadřuje předpokladem, že 6 je náhodný vektor popř. náhodná veličina s rozdělením, které je více Si méně známo v závislosti na tom, jak úplnou Si neúplnou informaci o § máme.
Výjimečně pracujeme s náhodným 6 jako metodou získání závěrů o parametru 6 (náhodnost tedy nevyjadřuje žádnou apriorní informaci, ale slouží jako prostředek jak obdržet závěry o §). V kapitole 3 uvidíme, že znáhodnění parametru 8 je jedna e možnosti jak zavést uspořádání na množině rozhodovacích funkcí a definovat kritérium optimality.
- 7 -
Přiklad 1.1. Uvažujme problém odhadu kvocientu inteligence 6 u určitého dítSte na základě testu s výsledkem X. Dlouholeté výskumy ukazují, že X má rosdělení H(8,100), kde 6 je kvocient inteligence, Se 6 je obecné různé u různých dští a lze ho považovat za náhodnou veličinu s rozdělením H(100,225). Poslední uvedeny fakt lze považovat za objektivní apriorní informaci - závěr ze série předchozích realizací.
Příklad 1.2. Ha základe krevní zkoušky se má rozhodnout, zda pacient trpí jistou chorobou. Z předchozích výzkumů je známo, že touto chorobou trpí asi 5 % populace. Toto je opět objektivní apriorní informace dostupná před provedením zkouSky. Při bayesovském přístupu použijeme pro zmíněné rozhodnutí jak výsledku krevní zkoušky, tak apriorní informace o procentu populace trpící touto chorobou.
Příklad 1.3. Úkolem fyzika je odhadnout jistou fyzikální konstantu 8. Fyzik má určitou představu o možných hodnotách 8. Připouští několik možných hodnot 6, přikládá jim obecně různé váhy (pravděpodobnosti) a tedy považuje je z tohoto hlediska za náhodné veličiny. Různí fyzikové mohou vyjádřit svou představu o hodnotě parametru 6 obecně různými rozděleními. Tato apriorní informace je subjektivní. Opět k závěrům o hodnotě fyzikální konstanty použijeme jak výsledku (popř. výsledků) příslušného experimentu tak apriorní informace.
Přiklad 1.4. Při předpovědi počasí se běžně používají nejen výsledky měření provedených v minulosti a současnosti, ale i subjektivní názory (Informace) zkušených meteorologů. Kromě výsledků měření v současnosti tedy použijeme jak objektivních tak subjektivních apriorních informací.
Je nutné si povšimnout rozdílné interpretace rozdělení parametru 6 v jednotlivých příkladech. Zatímco v 1. a 2. příkladě bylo rozdělení parametru 8 získáno z řady (objektivních) měření a 8 lze
- 8 -
skuteční pokládat za náhodnou veličinu, ve třetím přiklade rozdělení parametru 6 vyjadřuje "stupeň vízy" v Jednotlivá hodnoty parametru 6 (popř. víry, že náleží do určité množiny). V prvníoh dvou příkladech se jedná o běžné rozdělení pravděpodobností s četnostní interpretací tak jak se e ní běžně setkáváme v klasické statistice. Ve třetím příkladě rozdělení pravděpodobností parametru zachycuje "stupen víry" v určitá hodnoty 6, pro různé subjekty je obecně toto rozdělení různé. Z těchto důvodů nepřipadá v úvahu četnostní interpretace. V tomto případě mluvíme obvykle o tzv. subjektivní pravděpodobnosti, o které se předpokládá, že vyhovuje Kolmogorově definici pravděpodobnosti. Rozdíl je pouze v interpretaci. Subjektivní pravděpodobnost vyjadřuje víru subjektu, že určitý jev nastane.
Určení subjektivní pravděpodobnosti je velkým problémem. Hej-jednoduSSí způsob určení subjektivní pravděpodobnosti je porovnat relativní věrohodnosti. Hapř. chceme-li najít pravděpodobnost jevu £, tj. P(E), srovnáme věrohodnosti E a jeho doplňkového jevu B°. Přikládáme-li oběma jevům stejnou Šanci, klademe P(E) « P(EC) - 1/2. Přikládáme-li Jevu £ třikrát větSí Šanci než E°, klademe P(B) - 3/4, P(BC) - 1/4. Jiné možnost je porovnávat víry ve dvojice jevů na základě sázek. Za určitých předpokladů potom existuje jediná pravděpodobnost na uvažované ť-algebře jevů. Podrobný postup spolu s diskusí o dalSích možnostech lze najít např. v [2], [5]*
Se subjektivní pravděpodobností se setkáváme i v běžném životě. Mluvíme o naději (Šanci) oblíbeného fotbalového družstva. Uvažujeme o možnosti nepříznivého počasí o nejbllžSím víkendu a podobně. Přikládáme vlastně váhy možným výsledkům, obvykle říkáme, že ten či onen výsledek je nejpravděpodobnějSí, méně pravděpodobný či málo pravděpodobný.
Nyní obrátíme pozornost na výhody a nevýhody bayesovakého přístupu. Jeho kladem je bezesporu využiti i apriorní informace. Ba
- 9 -
druhou stranu je bayesovský přistup předmětem kritiky mnoha statistiků, která ae týká v podstatě tři bodů, a to konstrukce rozdělení parametru 6 na základě apriorní informace, použití subjektivní apriorní informace a v některých případech připustit, že 8 je náhodná veličina. Část kritiky je filozofického rázu. Většina statistiků nemá námitek vůči postupu v příkladě 1, kde g lze skutečně považovat za náhodnou veličinu a rozdělení parametru g je konstruováno na základě předchozích objektivních měření. V příkladě 3 však může být obtížné považovat fyzikální konstantu 8 za náhodnou veličinu s určitým rozdělením. Subjektivní informace může výrazně ovlivnit závěry o parametru g (na základě apriorní informace dvou různých subjektů můžeme dojít k diametrálně odlišným závěrům).
Je-li apriorní informace velmi neurčitá či žádná, může volba apriorního rozdělení parametru g způsobit značná problémy. Je nutná si uvědomit, že různé volby apriorního rozdělení mohou vést k různým závěrům. Poznamenejme, že pro n dostatečně velké a za jistých podmínek regularity závěry o g nezávisí na volbě apriorního rozdělení parametru 6 (viz Věta 2.1).
1.2 BAYESOVA VĚTA A JEJÍ POUŽITÍ
Necht g » (81t...,6^)' je náhodný vektor s hustotou q(g) vzhledem k if-konecné míře X na (© , &(@)), kde © je neprázdná borelovská podmnožina R^, &(@) označuje borelovské podmnožiny ® . Kechf J ■ (Z^,*..,!^)' je náhodný vektor s podmíněnou hustotou **(x) 6) při daném 8 vzhledem k ť-konečná míře vn na (R^, ébn), kde @>n označuje borelovské podmnožiny ILj, tj*
P(geB, JeC) - \ ( ^r(x|8)d^x))q(g)dX(e), (1.1) B C
kde B a C jsou libovolná měřitelná množiny.
- 10 -
Yžta 1.1 (Bavesova). Pro podmíněnou hustotu t( §|x) náhodného vektoru § při daném X platí
q(6)r(x|8) t ff(6jx ) - .     /        ~ ,        je-li $q<8>r<x|e)d>(ô> / 0, Sq(&)r(xlg)dX(e)
& (1.2) * 0 jinak.
Důkaz provedeme stejně jako důkaz věty III.3«14 v [i] (str. 54). Ze vztahu (1.1) je vidět, že r(x|6)q(§) je sdružená hustota vektoru (x',6')' vzhledem k v„»)i • Proto podle věty III.3.7 v [i] o marginální hustotě je
\ q(G)r(s|e)dÄ(e)
marginální hustota vektoru X. Tvrzení věty nyní plyne z věty III.3.13 v [1]. Q.E.D.
Tato věta má v bayesovských metodách klíčové postavení. Je-li 6 parametr uvažovaný v minulém paragrafu, nazýváme q( 0) apriorní hustotou, nebol   vyjadřuje   informaci o   8   ještě před realizací £. Podmíněnou hustotu  fr(6]x) parametru § pak nazýváme hustotou aposteriomi. nebol jde o hustotu parametru G po realizaci X. E závěrům o parametru G pak použijeme aposteriorní hustotu r(Jj?|x), která v sobě zahrnuje jak apriorní informaci o parametru § tak informaci plynoucí z realizace £. Poznamenejme, že při klasickém přístupu použijeme k závěrům o parametru § pouze r(jc|6).
atr. 8
Příklad l.l(pokraSováni). Apriorní hustota parametru G je N(100,225), podmíněné rozdělení X při daném G je H( 6,100). Pak aposteriorní hustot* je B(22Ífffijfo10°i 69,23), je-li x hodnota X. Kvocient inteligence můžeme odhadnout (viz str. 52) 8 střední hodnotou příslušnou aposteriorní hustotě, tedy hodnotou 3§|*x + ^°^.100. Příslušný rozptyl je 69,23« Zatímco při klasickém přístupu bychom použili jako odhad G přímo x, jehož rozptyl je 100. Tedy použití bayesovského
- 11 -toéoma mat-fc fofofty UK
přístupu redlo k odhadu s menSím rozptylem neS při klasickém přístupu.
Povšimneme si nyní vzorce (1.2). Existují-li měřitelné funkce h.,(§,x.) a h2(g) takové, že
1<ft) r(*lÔ> - ^(§,35) hgCs), (1.3) pak apostsriorní hustotu *(fi\x) můžeme přepsat následovně.
-   0 jinak.
Odtud je vidét, že nahradíme-11 v (1.2) q(§) funkcí cq(g), kde o Je kladná konstanta, apostsriorní hustota ir(glx) so nesmení. Někdy dokonce za hustotu q(B) volíme tzv. nevlastní hustotu, která je definovaná jako ne záporná měřitelná funkce (nemusí být integrova-telná). Jak uvidíme v dalším, použití nevlastní hustoty někdy vede k výsledkům rozumným, Jindy k nesmyslným. Proto je nutné nevlastní hustoty používat velmi opatrné.
Ba závěr si ještě uvedeme vzoroe pro (nepodmíněnou) střední hodnotu a rozptyl náhodné veličiny Z^.
HC± - EÍECqle)) = J ( Sxir(xJg)dH(X))q(g)dX(§), (1.5)
var I± - E(Xi-B(7^\&)2 + varlEttJg)! -- B varjj^lgj + var^Bt^lg)! .
Hepodmínôná hustota náhodného vektoru Z vzhledem k vn je
• Lq(g)r(x|g)d*(g). (1.7) 9
12
2. VOLBA APRIORNÍHO ROZDĚLENÍ
2.1 ÚVOD
Jak je vidět z úvah v úvodní kapitole, měla by apriorní hustota q(6) odrážet naSe apriorní informace (subjektivní i objektivní) o parametru 6. Jakmile jsou naSe informace malé nebo vůbec žádné a chceme-li použít bayesovský přistup, vyvstává problém volby apriorního rozdělení. Možnosti se dají v podstatě klasifikovat do čtyř skupin t
1. tvar hustoty q(8) (včetně hodnoty parametrů) vyplyne z apriorní informace;
2. jako hustotu použijeme histogram (při informaci objektivní ® rozložíme na sjednocení disjunktních měřitelných množin
a zjistíme četnosti jednotlivých množin) při subjektivní in-formaoi také rozložíme © a zjistíme subjektivní pravděpodobnosti jednotlivých podmnožin)}
3. volíme hustotu (hladkou), která dobře aproximuje histogram;
4. předpokládáme, že hustota má určitý funkcionální tvar, neznáme pouze parametry.
Tyto možnosti odpovídají v podstatě volbám rozdělení náhodných veličin při klasickém přístupu. Při bayesovském přístupu (podobně jako při klasickém dáváme přednost pracovat s hustotami q(@) určitého funkcionálního typu (aí už s parametry známými či neznámými). Běžně se používají jednak tzv. syBtémy konJugovanich rozdělení. Jednak typy rozdělení, které odpovídají tzv. principu neurčitosti. Kou Jugováným systémem rozdělení rozumíme takový systém, že apriorní i aposte-rioraí hustota do něj patří. Těmto systémům je věnován $ 2.2. Princip neurčitosti používáme, pokud nemáme žádnou informaci o 6.
Dle něho za apriorní rozdělení bereme rovnoměrné rozdělení na £*) . Příslušnou hustotu budeme značit qQ. Další výklad je v í 2*3*
Někdy máme apriorní informaci v následujícím tvaru: Y.j,*..,Yjf jsou nezávislé náhodné veličiny, které představují minulé výsledky,
má podmíněnou hustotu rCyl^), 6^®, i - 1,...,N; gjj jsou nezávislé náhodné vektory, 9^ má hustotu q(6). Pomocí náhodných veličin Yp...tY^ odhadneme nepodmíněné rozdělení
r(y) « $r(y|§)q(@)d*(@)
náhodných veličin Y^, i = 1,..*,H nebo také nepodmíněnou střední hodnotu EYi a nepodmíněný rozptyl var Y^, což nám za jistých předpokladů umožní odhadnout bud q(5) nebo aspoň některé momenty tohoto rozdělení* Takové metody jsou známy pod názvem empirické bayesovské metody. Podrobněji se s nimi seznámíme v $ 2.4-
Ha závěr tohoto odstavce si zformulujeme tvrzení, které říká, Se pro n dost velká a za poměrně obecných dalších předpokladů apos-tériorní hustota téměř nezávisí na apriorní*
Věta 2.1. Hechí ® c Rk je neprázdná borelovská množina. Mějme na bo-relovakých podmnožinách & definovánu nějakou tr-konečnou míru A . Hechl r(x|§) je hustota náhodného vektoru X = (X.,,...,*^)' vzhledem k nějaké ff-konečné míře Vnpři dané hodnotě 6e®. Nechí q(6) je nezáporná omezená měřitelná funkce na <š>. Předpokládejme, že pro daný xe^ platí
0* i*(x|§)d>(g) < 0<^$ r(x|8)q(g)dM§) c + ~.
Označme
lechí existuje taková borelovská množina A c ® , že pro daná čísla a,b,c (O^a-O, b»0, c > 0) plstit
- 14 -
(   TTQ(g|x)d>(g) > 1 - a, (2.2)
m » ±nf   q(§) > O, (2.3) Se A
sup   q(6) i (1+b)m, G<£ A
sup       q(6) é (1+c)m. Be © -A
Pak platí
Důkaz lze najít např. v Li] kap. JVI.3, Věta 1 (str. 288).
Věta říká, Se aposteriorní hustoty 7r0(§]x) a ir(e]x) se nebudou příliš lišit, jestliže   a   a   b   budou dostatečně malá nezáporná čísla a   c   nebude příliš velká. Uvědomíme-li ai význam čísel a,b,c, předpoklady znamenají, že na množině A je koncentrována velká část pravděpodobnosti odpovídající Fq(8|x), q(8) musí být na A prakticky konstantní a nenulová a omezená na ®- A. Je-li X^...,^ náhodný výběr z rozdělení r(x[8), pak při dostatečně velkém n je často aposteriorní hustota Tq(Q|$) koncentrována kolem nějakého bodu. Pak lze najít množinu A (většinou k-rozměrný interval) splňující (2.2) a takovou, že ^(A) je velmi malá a široká třída hustot q(Q) splňuje (2.3), pak většinou stačí, aby q(8) byla hladká na A a omezená na ®- A.
2.2 KONJUGOVANÉ SYSTÉMY HUSTOT
Hechl I * (1^...,^) je-náhodný výběr z rozdělení s hustotou
- 15 -
r(i|6) vzhledem k a -konečné míře v, 6e ® / ®«
Systém Q apriorních hustot q(6) nazveme systémem kon.lugovanvm ff JfflftffŤf1* Sr(xl6). B^©}. jestliže při dost velkém n a při libovolných hodnotách I - x,, které splňují
0 <  C ff r(xJ§)q(e)d*(g) <L +~,
patří aposteriorní hustota do systému Q.
Vezmeme-li za Q systém viech hustot vzhledem k ^-konečné míře X, jde samozřejmé o systém hustot konjugovaných s (r(x|6)j §€. ®\ • Pro praktioké účely se příliš nehodí. Vhodné budou systémy obsahují-oí co nejméně hustot.
Poznamenejme, Se poušití konjugovaných systémů hustot vede vět-Sinou k poměrně jednoduchým výsledkům.
lyní si uvedeme metodu konstrukce konjugovaných systémů hustot vyuSívajíoí postačující statistiky. Označme SJX(Z1,...,2^) postačující statistiku příslušející systému hustot j      ríxje)} ge©} . Předpokládejme, Se existuje nQ takové, Se pro vš. n>nQ existují nezáporné funkoe ^ a h^ takové, Se
rCxilg) - g^xhe^íx.). (2.4)
kde Tn(I1,... ,In) je r-rozměrná postačující statistika, r nezávisí na n. Označme Sn - [\f t«Tn(X)j množinu vš. bodů URy, kterých může nabývat náhodný vektor 3^(X). Předpokládejme, Se pro každé teSn platí
0< $ 6n(íl§HX(e) < +
®
Pak'systém hustot
ifn,t(§>» *6 V B>nol (2'5) je systém konjugovaný s jr(xjB); §« ©}, kde
řn,t(Č> - ^JlS^S €fe<*#fl>**Cfi»"1- C2.6) - 16 -
Ukážeme si, že toto tvrzení skutečně platí. Heohí Xi,...,!^ a Y.j,.• •»^a 3«ou dva nezávislá výbery z rozdělení 0 hustotou r(x|§). Hechí m>nQ> n>nQ. Sdružená hustota obou výberu má tvar
f rCxJe) . ff tíj±\Q i«i j*1
takže
(2.7)
Pro jednoduchost nyní předpokládejme, ie b&(x)> 0 pro každá n>nQ. Becht teSm. Pak existuje taková     R^, že t ■ T^jr). Je-li apriorní hustota parametru 8 rovna řm^t(8)t pak podle Bayeaovy věty je aposteriorní hustota dána vzorcem
Tr(ejx) - k fr rUJe) fB(t(í),
kde k je normující konstanta. Odtud dále dostaneme Tedy z (2.7) vyplývá
kde u ■ T    (x.v). c ■ ■■  ^ «
w" ^ J^(t.fi>«<fi>Vx>
Odtud je již vidět, že
"<eix) - «^(»,8) (S ^(LÍÍdWí))"1, (2.8)
O
kde u& Sn+Jn« Tím jsme dokázali, že ¥ patří do systému (2.5).
Systém hustot (2.5) někdy nazýváme přirozený konJugovanf systém. Jak uvidíme z následujících příkladů Saato pracujeme se systémem hustot, který je o něco bohatěí než přirozený konjugovaný sys-támi budeme ho nazývat obvyklým.
- 17 -
lyní si uvedeme přehled kanjugoraných systémů hustot, které přísluší nejbéSnéjĹ poušíraným systémům rozdělení [r(x|6)* . Podrobní probereme případ binomického a normálního (jedno- i vícerozměrného) rozdílení.
Binomické rosdíleni ■ T^rfyyftirT faift)' * j« dáno* ® - <0,1>.
Postačující statistika je Z Z±, tedy S  - Í0,1,2,...,nm\. Vzhledem
i»1
k U.1) je
g^yie) - e7 (i-o)"*-7, y*sn
Odtud a s (2.6) plyne
f   ,.(9) - G7 (l-e)"11"7 (B(y+1,mn-y+1))~1 Ge(0,l) n, y
n * 1,2,...j y ■ 0,1,2,*..,mn.
Tedy přirozený konjugovaný systém je systém beta rozdělení s parametry (y+1,a&-y+1), kde y - 0,1,...,mn, n > 1,2,3,...
Obvyklý konjugovaný systém je systém beta rozdělení s parametry (o< , /2>), kde o(> 0,   /3>0.
Je-li apriorní rozdílení beta rozdělení s parametry (o< , /J ), je apoa-
n
teriorní rozdělení beta rozdělení s parametry (°< + H Xit /3 + mn -- ^ MarglTiáliTf rozdílení (1^....J^)je podle (1.7)
B(c* +£xj, (3+ mn -^-x.)        x* ■ 0,...,m
PCIi-xiW--5^73-       9   i *i.......
Žolssonovo rozdílení s parametrem Oi ® - (0,+~).
lóstacujíoí statistika je Z X±» tedy sn - £o,1,2,...$.
i»1
Přirozený konjugovaný systém vzhledem k Lebesguově míře je systém ~
------y,  1       £ V'
gama rozdělení s parametry (m,t), t - 1,2,...» m - 1,2,... Obvyklý - fM- f   A 1
konjugovaný systém tvoří systém gama rozdělení s parametry (a,p), 1^
a> 0, p>0. Je-li apriorní rozdělení gama rozdělení (m,t), je apos-
n
teriorní rozdělení též gama s parametry (m-mj t+Z I4). I'11"t'' ,
i-1 A '■ ■ J 1 '
Negativně binomické rozdělení a parametry (s.6)t s je známé,® - <0,1>.
n , Postačující statistika je £*if sn " fa, 1,2,...}.     ^      , , . jr . ( y *»,-;. ■   '   0. -
Přirozený konjugovaný systém je systém beta rozdělení s parametry (sm+1,t), t « 1,2,...; m = 1,2,...
Obvyklý konjugovaný systém je systém beta rozdělení s parametry
<o< , (i),        o, /2»0.
Je-li apriorní rozdělení beta rozdělení      f/3), pak apoeteriorní
n
rozdělení je opět beta rozdělení (« + sn, p> + TL^ XA) •
-1,/
M  > 1
''i.
'.- * 4 J 1
Exponenciální rozdělení s parametrem 9: © = (0,+«). /
Postačující statistika Je 21 X,, tedy S_ - (0,+«).
i=1 ^ n
Přirozený konjugovaný systém je systém gama rozdělení s parametry   ' i (t,m), t > 0, m « 1,2,*..
Obvyklý konjugovaný systém je systém gama rozdělení (t,m), t> 0, .
m >0. . . ' f      ' i
Apriorní hustotě gama rozdělení (t,m) odpovídá apoeteriorní hustota
n
gama rozdělení (t+ 2_ X.., m+n).
i«1 1
Rovnoměrné rozdělení na (0.6) i ®= (0,+-). 7, !
Postačující statistika je max    X., tedy Sn - (0,+»).
1*i«n   1 n
Přirozený konjugovaný systém je systém Paretových rozdělení s para-, , metry (m,t), m - 1,2,...; t> 0.
Obvyklý konjugovaný systém je systém Paretových rozdělení (m,t),m>0; t > 0.
Apriorní hustotě - Paretovo rozdělení (mít) odpovídá apooteriorní hustota - Paretovo rozdělení (m+n,max(t,X1,...,X_)).
j^'^^ BgrBWiraf rgrtfttBž aft <g1Jigli ® - fcW* e^e^.
^ ^' Postaoujloi statistiky jsou (min    L, mx    Z,), tedy 8M * i(t1tt9)f
*     * ^Přirozený konjugovaný systém je systém dvourozměrnýoh Paretových res-
<i     ,ö >j delení (t^t^m), t^tg, a « 1.2,...
Obvyklý konjugovaný syst an je systém dvourozměrných Paretových rozdělí ö,\y lení s parametry (riar2-«( ), r^řg, or>0. Je-li apriórni rozdělení '1" CfjVří^-i/;Atretovo rozdělení Ct^tg.a), pak aposterlorní rozdělení je opit Pa-
t e   .j, rétovo s parametry (mln(t1tX1t...,1^), max(t2,It.....J^), m+n).
N '   •    - )  -s:-.\ t • c u j . rtu-t '   1 í - : /   - k.,, • o ŕ' *- - ' -*
■4-
lí^miM rft»*81*** »Cyi-tfg^. <rg>0 známé, ® - R~ '.^L Postavující statistika je £ ■ K1
i*
í, St-
al »
"Přirozený konjugovaný systém je systém normálníoh rozdělení (a$ofyn),
acR1( q ■ 1,2,.».
í Obvyklý konjugovaný systém je systém rozdělení I(a,b^), a«.Rv b*>0. 4    /Je-li apriorní rozdělení H(a,b2), pak aposterlorní je Ify^.r2), kde
I X^2 + a*g nb2 + tf2, *
,2.-^š
1    nb2 +0-2 "
(2.9)
Marginální rozdělení Žije podle (1.7)
Í!
í
r<x) -^2T<r2p-»/2exp^iž(xi-u)2] (arf)"1'^^^«)*.
- (2T)-a/2(nb2+<ř2r1/2C<r52)(n-1)/2 exp{^^(^2/^2 42,10)
(x1.....
+ n(x-a)2/(nb2+o§)]^
4 m > /. •
'■  j 4".. - I,,
- a
v •
var X± « Cq + b2
oovU^Xj) - b2, ijtj
- 20 -
(2.11)
(2.12)
(2.13)
ff^TlMn* rffg^lení J(p0.ff2). fiQ známé, ® - (0,+«). -   VI .
n p
Postačující statistika je  Z  (Xj-un)' l SL ■ (0,+«»).
i-1     x ru, n
Přirozený kanjugovaný systém pro 1/6"   je systém gama rozdílení 0 pa-
(5
rametry (t,m/2), t > 0, m » 1,2,... Obvykle bereme t > 0, »>0. Je-li apriorní hustota gama hustota (t,m/2), pak aposteriorní hustota je téi gama s parametry (t + X (Ii-ut))2/2t (m+n)/2).
Pozor t Za neznámý parametr bereme 1/ff2 (nikoli ff2), nebol systém konju govanýoh rozdelení pro 1/ťľ2 má jednodušší tvar. se nSkdy nazývá
parametr přesnosti.
Hormální rozdělení g(^.C2). p. i fl"2 neznámá, ® ■     x(0, +«•).
Postačujíoí statistika je ( Jí X1t  H !?), tedy S„ » R. x(0,+«& a
i-1   1   i-1   x n i
é^ít^tgiu.ff2) - <Tn eai)^--Í5<t2-2 t^t+njn2)!     t1sR1, t2>t2ní. Odtud a z (2.6) plyne
^.t1,tí<P.*e> ■ (^5)1/2 -»{- £ <|"-*'»"M t2-1+)
Přirozený konjugovaný systém pro parametry (^,1/6" ) je systém rozdelení vymezený následovně: podmíněné rozdělení ji při daném 1/gr2 je !I(a,ff r   ) a marginální rozdělení 1/6"   je gama rozdělení (o,d), kde a&R^, r - 1,2,...} 2d - 1,2,..., o>0. Obvykle bereme aeR^, r> 0, c > 0, d > 0. Takovéto rozdělení budeme nazývat normální - gama s parametry (a,r,c,d). Apriornímu rozdělení popsaného typu odpovídá aposteriorní rozdělení normální - gama s parametry (ji* ,r+n,o* ,d*), kde
c* - o +
d* = d + n/2 (2.17)
■i n
. ,    ' n itl 1
Tedy apriorní sdružená hustota (^.,1/ff ) (tj. hustota normálního - gama rozdělení s parametry (a,r,c,d)) je
|u&R.j» cT2>0,
což implikuje, že marginálni hustota ^u. je až na násobící konstantu rovna
1      aWii o^2 -(2d+1)/2 (i +^ . MM*? ) peH,. (2.19)
1/2
Jinými alovy (|H-a)(dr/c) 'má t-rozdšlení o 2d stupních volnosti (pro 2d přirozené). Marginální hustota (X1t...,Xn) je
-1/2
•d,,...,^) = JJ ^ (2ir<r2rn/2 oxpj- iři(ii-n)^(2T02/r)-1 - <Sfc»V2 (2"_n/2 <*1eR*
Vícerozměrná rozděleni
Mt^i^ rozděleni a parametry (b.p). g = (p1.....Pk)^ s je známé,
i k ,
(*> - \p - (p1>««-tPk)l 0<.p±*1, i - 1,...,k, x. Pí - 1\«
- 22 -
Postačující statistika jej Z x-m» 1 - 1,...»k], tedy S_ -
lj=1   13 k
= Jt = (t.,,...,tk)±± = 0,1, ...,sn; i « 1t...,k| f   t± = snf.
Přirozený konjugovaný systém je systém Dirichletových rozdělení s parametry (ttk), ti = 1,...,s, i - 1,...,k, s = 1,2,... Obvykle používáme systém s -t^> O, i ■ 1,...,k. Je-li apriorní rozděleni Dirich-
letovo s parametry (t1,...,tk), pak aposteriorní rozdělení je také
n n Dirichletovo s parametry (t 1 + X In»• • •»ti_+ jL Xt, ).
1 d=i 13       * j=i *J
Vícerozměrné normální rozdělení ^^..Iq). kde xq je známá symetrická pozitivně deřinitní matice typu k* k, <3> » R^.
Postačující statistika je £ = (X.,,...,^), Xi = j I X^. Podle (2.6) a (A.29)
g^Jll*) = expj- ^-trl'o Cř4-£)}
nk n h^x) = (2f)"T (detž0)-n/2 expj- j  1(^-1)'í S^Si-pl
Tedy přirozený konjugovaný systém je systém normálních rozdělení HJj.(a,x0/n), asR^, n = 1,2,... Obvykle bereme systém Sfc(a,bXQ), aeRjj., b>0.
Apriorní hustotě Hk(a,]!p, B positivně definitní symetrická typu k x k, odpovídá apoeteriorní hustota Nk(a'*,B*), kde
a* = (n£"1 + B~1 B* = (ni;1 + B*"1
Vícerozměrné normálni rozdělení ^(^p* II definitní symetrická neznámá matice k x k ně definitní matice kxkj. Postačující statistika je V « (v^i
rij
£ (*iq" ľ±0> q«1
"1 (n^p1X+ B"1a) (2.21)
-1
(2.22)
, jíq je známé, £ pozitivně ® » \B} symetrická pozitiv-
* ♦ • f 1c'
- 23 -
1*0 = ty 10* * * •,/*k0^* Sn = ^ symetrická pozitivně definitní matice k«      . Podle (2.6) a (A.29) a (A.31)
SaCYír1) - CdetZ-1)072 exp[- \ trj£"1 v}}
5 «n<Z>r1> ^ » Cdet v)"<-k+l)/2 c-1n+k+i ®
kde je dáno (A.32), tr\.\ označuje stopu matice. Přirozený konju-
govaný systém pro Xl~1 je systém (centrálních) Wishartových rozdělení s r stupni volnosti a parametrickou maticí g, kde r <■ k+1,...,Re<S> . Je-li apriorní rozděleni Wishartovo s a stupni volnosti a parametrickou maticí R, pak aposteriorní rozdělení je opeč Wishartovo s a+n stupni volnosti a parametrickou maticí g" splňující
R*"1 = g"1 + Y .
Vícerozměrné normální rozdělení Hfcfyi.X). g i £ > 0 neznámé, 0 » ■ |a, §>0j aeR^, B symetrická pozitivno definitní matice typu kt k\.
Postačující statistika je (X,S), kde
a Sn B **k* 5 ~ symetrická pozitivno definitní matice typu k x k}. Dle (2.6) a (A.29) platí
«n(M»ti-£> - (detir1^2 exp {- j(t^> ' Z'\%- ji)}. (2.24)
. exp i-trlT1 §\.
Odtud plyne, že přirozený konjugovaný systém pro ({i , 2f!> můžeme popsat následovně: podmíněné rozdělení jjl při daném £ je ^(St1*-1 £)»
q
marginální rozdělení ^     je k-rozměrné Wishartovo rozdělení s stupni volnosti a parametrickou maticí V, přičemž agB^, r=1,2,...|
- 24 -
I je symetrická pozitivně derinitní matice typu k * k, q > k-1. Obvykle pracujeme e r>0 nikoli jen 0 r přirozenými. Sdružená rozdělení p a
X má tvar
(deti)"172 expj- § tT&-\-fL)(ti-*)')}Tk/2. (2.25) . ckq ( det V)-^2 (det£)-(tl-k-1)/2 expj- \ tr(rV"1)} .
Odtud lze integrací zíakat marginální rozdělení ^ . Stačí vlastně vypočítat integrál
^(dst£r(*-k)/2 «xp[- \ trCE-^p^-sjQé-a)'* r1))J d£-1
a uvědomit si, že funkce pod integrálem je až na násobící konstantu rovna hustotě k-rozměmého Wishartova rozdělení s (q+1) stupni vol-nosti a parametrickou maticí (r(^-g)(jsí-a) "+V~ )" . Odtud dostaneme, že marginální hustota ^   je až na násobící konstantu rovna
(detíV"1 + r<£-a)<£-a)')r(q+1)/2 -
- Qí1
=(det V/1 . (1 + r^u-ar^-a))) ~.
Porovnáním s (A.33) je vidět, ze ^ má k-rozměmá t-rozdělení
11 «• 1
s (q-k+1) stupni volnosti a parametry a a yj" r~ (q-k+1) • Apriornímu rozdělení (2.25) odpovídá aposteriomí rozdělení, která lze popsat následovně: podmíněná rozdělení j£  při danám £ je Hj^uSír+n)   21), rozdělení L.     je k-rozměrné Wishartovo s (q+n)--stupni volnosti a parametrickou maticí V*, kde
ŕ- ff? * (2-26) r1 - r1 + § + ^t-z Cft-ixrf)'- (2.27)
K odvození tohoto výsledku lze použít faktu, že aposteriomí hustota je až na násobící konstantu rovna součinu gn(fc;§|/%»3s) dané (2.24)
- 25 -
a pravé strany (A.29).
Je-li £ » S"2ík» kde Ik je jednotková matice typu k x k, je ob-vykly konjugovaný systém pro (^,6"   ) tvořen hustotami
expj-        (n-arCn-a)} (r(2W6"2)-1)l/2 . (6-2)d"1cd T(d)r1exp{-c.«-2!
V <T2>0, (2-28) kde parametry (a,r,c,d) probíhají množinu R^ *(0,+*») *(0,+o>} * (0,+«£, tj. podmíněné rozdělení |u při daném (7    je N^Ca.ff r   1^) a marginální rozdělení 5"~2 je gama rozdělení s parametry (c,d). Marginální rozdělení ju je až na násobící konstantu rovno
1  dr(fi-a) 'Cfi-a) -(2d+1)/2 (1 +153-5-) ,   f&&\ '
Apriornímu rozdělení (2.28) odpovídá aposteriorní rozdělení
expU ^| (£->'<ří((r+n)(2Fř2)"1)1/2 . (2.30) . (ff-2)dW2-1 c.,d+n/2 (fíd^))-1 exp^<r2\, ^R^ <r2>0,
kde ^ je dáno (2.26)
o** = c + \ I (Z^I)'(I±-I) + ^^gfey (I-a)'(X-a) (2.31)
2.3      PRINCIP NEURČITOSTI,  JBFFREYSOVA HUSTOTA, LIMITNÍ APOSTERIORNÍ HUSTOTY
Neohí r(jle) je podmíněná hustota náhodného vektoru J=(X1,.,Xn)' při dané hodnotě parametru 9 6 © €• &k, © jí /Ď. Pokládáme-li g za náhodný vektor, o němž víme jen to, že 8 « ®, vzniká problém jak volit apriorní rozdělení. Některým řešením tohoto problému se budeme věnovat
- 26 -
v tomto paragrafu.
Podle principu neurčitosti bereme za apriorní rozdělení 0 rovnoměrné rozdělení na ®. Příslušnou hustotu budeme značit qQ(9) a příslušnou aposteriorní hustotu TTq( 6)35). Pro ® nanejvýš spočetnou půjde o hustotu vzhledem k čítací míře. Je-li Lebesgueova míra ® kladná, bude qQ hustota vzhledem k Lebesgueově míře. 7 obou případech je rovna identicky kladné konstantě, pro účely výpočtu aposteriorního rozdělení ji vzhledem k (1.4) můžeme klást rovnu 1. Je-li Q nekonečná spočetná nebo je-li Lebesgueova míra ® nekonečná, je hustota q0(6) nevlastní.
Je-li např. (I1,... .J^)' náhodný výběr z alternativního rozdělení s parametrem 8€.(0,1) a nemáme-li o parametru 8 žádné informace, volíme apriorní hustotu (vzhledem k Lebesgueově míře) rovnu
q0(8) = 1     pro 8 e(0,1).
Příslušná aposteriorní hustota je
1T0(8|x) = (Bílili, n-^x±+1))"1 81     (1-8)    1 8e(0,1),
tj. beta rozdělení s parametry (X x..-i-1,n-Z.x.,+l).
i   1 1 1
Je-li náhodný výběr z N(p,ff2), kde ff2> 0   je známé
a ju. je parametr, o němž pouze víme, že pcR^. Pak podle principu neurčitosti vezmeme za apriorní hustotu (vzhledem k Lebesgueově mí-
:?e)
q0(p.) = 1 u^Ri
a odpovídající aposteriorní hustota je opět H(X,n~1). Definujme si nyní náhodnou veličinu
Z = 1 - (Lt .
Z výše řečeného plyne, že podmíněné rozdělení Z při daném Ž je N(0,9 /n) a že rovněž podmíněné rozdělení Z při daném \i je
- 27 -
N(0,fr2/n). Tudíž Z a Z jsou nezávislé náhodná veličiny a podobně Z a |U jsou nezávislá náhodné veličiny. Var Z, var I a var ju. jsou konečné a tedy
var X = var p + var Z
var p = var S + var Z,
což implikuje, že var Z = 0 a tedy Z je skoro jistě konstanta. Toto je spor s tím, že Z má rozdělení N(0,62/n), S2 > 0. V tomto případě tedy není použití principu neurčitosti vhodné, neboí vede k nesmyslným závěrům.
Je vidět, že při použití principu neurčitosti musíme postupovat velmi opatrně. Princip neurčitosti má ještě další nevýhodu, změníme--li totiž parametrizaci modelu (tj. místo parametru G vezmeme tj » 8 ), apriorní hustota nového parametru už není rovnoměrná.
Nechí je X1,...,Xn výběr z Poissonova rozdělení s parametrem 6 «■( 0, +•»). Apriorní hustotě
qn(8) - 1 8c(0,+-) 0 (2.32) = 0 8^(0,+-)
přísluší aposteriorní hustota gama rozdělení s parametry (n,lxi+l).
1/2 1 Definujme nový parametr A » 8 ' , pak apriorní hustota parametru
(odpovídající (2.14)) je
q(X) - \ *>0
(2.33)
= 0 % £,0.
Tedy není již konstantní. Je vidět, že nevíme-li nic o hodnotách 8, máme již jakousi inřormaoi o "X, což je paradoxní závěr. Navíc aposteriorní hustota 7r(7k\x) příslušná apriorní hustotě (2.33) je
XXj+1
Tttl5)«£L- e"       A    1 X>0
r(Ixi+1)
>é0
- 28 -
Zatímco apriorní hustotě
q*U) - 1
A >0
. o
* «0
přísluší aposteriorní hustota
X > 0
o
Tedy aposteriorní hustoty T a T* jsou různé, ačkoli oba postupy, kterými jsme k nim dospěli, jsou z hlediska logického rovnocenné.
Tyto úvahy vedly k závěru, že místo podle principu neurčitosti bychom měli volit apriorní rozdělení takové, aby nezáviselo na počáteční parametrizaci modelu. Následující věta nám dává řešení pro případ, že a  je Lebesgueova míra a m®) > 0.
Nejprve si však připomeneme pojmy regulárního systému hustot a Pisherovy informační matice.
Řekneme, že systém hustot $r(xj8), Ge.®\   je regulární. jsou-li splněny tyto podmínky:
a) © je neprázdná otevřená množina interval v R^.
b) Množina M » \x; r(x|8) > o} nezávisí na 6.
c) Pro skoro všechna ze M (vzhledem k 5" -konečné míře v_) exis-tuje konečná parciální derivace r^(x|8) = 3r^^ i«1,...,k.
d) Pro každé i a pro vš. 8e<3> platí S r,' (x|8)dv,(x) » 0.
M n ~
o) Pro každou dvojici (i,j) existuje konečný integrál
r2(íl§)
dvn(x) .
f) Matice J(g) = (Ji;j(S)) každé 8 e <S) •
i, j-1
, • •.,
je pozitivně definitní pro
- 29 -
Matici J(g) nazyváfflejpieheroyou informační matici.j
^ 'Věta 2.3 (Jeffreysova)i Nechí náhodný vektor X « (X1t...,X^)' má při daném parametru 8 e ©fc{&k hustotu r(x|§) vzhledem k nejaké -konečné míře  vn. Předpokládejme, že systém hustot {r(x|g)j ge®} je regulárni a má Fisherovu informační matici J(6). Položme
c - S Hx|§)(det J(§))1/2 d§ (2.34)
<š>
a předpokládejme, že 0 < c <č +••.
Budiž H regulární prosté zobrazení množiny ® na ®*e CB^. Označme 3=H(8) ar-íslg) = r(xlH~1( 3 )). Pak Jr^xjj)) | ^6 je regulár-
ní systém hustot. Označíme-li J*(2}) Pisherovu informační matici, pak pro libovolnou množinu B splňující podmínky BC®, B € Qb-^ platí
$ cr(x]8) (det J(8))1/2 dg - (2.35) B
»   [    c1r-(x|2j) (det J*(2)))1/2 *2/• H(B)
Důkaz.   Regularita systému ^r*(x|ij),2| je zřejmá až na to, že
se musí dokázat positivní definitnost matice J*(z})« Necht 6 = = (e^.,.,6^)', ^ ■ (tjv ...,1^)'. Ze vztahu
ainrí^lS)      9 ln rMglq)      £    >ln r*(xjq) 37L 98± ieí j=l
dostaneme pro prvky Jj^C®) a J^Ctj) informačních matic J(8) a J*(;»j) rovnost
r w3ln r(xlS)    »ln r(g|§)) f   y   ^u   T« M 31Iv
(2.36)
Označíme-li
D = ("5e7)i,u=1,...,k»
- 30 -
1  í«,   -. 1
můžeme (2.36) napsat pomocí matic jako
J(§) - D'J*(jj)fi.
Přitom D je regulární matice, nebol g je jakobián zobrazení H a toto zobrazení je podle předpokladu regulární. Z pozitivní definitnosti matice J(§) plyne i pozitivní definitnost matice J*(ij) pro vš.^€<S>*
Podle věty o substituci v mnohonásobných integrálech platí
\ c r(xlg) (det J(g))1/2dg
b
= \    c r(x|lT1(x|))(det(g'J*(r])Ji))1/2(det fi)"1d2} • H(B)
Tvrzení věty nyní plyne, použijeme-li vztah
det(D'J*(Tj)£)1/2(det g)"1 - (det(J*(rj))1/2.
Q.E.D.
Je vidět, že za předpokladů věty je apriorní hustota parametru 6 rovna funkci (det Jíg))1^2 (nebo jakémukoliv kladnému násobku této
funkce) a aposteriorní hustota parametru G je rovna cr(x|g).
1 /2
.(det J(§))      a že je to pravděpodobnostní hustota. Funkci k.Cdet J(g))1^2, kde k je libovolné kladné číslo, budeme říkat Jeffreysova apriorní hustota. Z tvrzení věty plyne, že při Jeffrey-sově volbě apriorní hustoty parametrů 6 a j| jsou obě aposteriorní pravděpodobnosti stejné a nemůže dojít k paradoxnímu výsledku jako u principu neurčitosti. Někdy je Jeffreysova hustota nevlastní.
Uvedeme si Jeffreysovy hustoty pro některé případy*
Pro binomické rozdělení s parametry (m,p), m je známé, je
?eysova hustota beta hui 1   n        « n beta (•%+ X x4, "i+mn- 21 x_.). * i=1 1   2      i-1 1
Jeffreysova hustota beta hustota (1/2,1/2). Aposteriorní hustota je n        « n
- 31 -
Pro Poissonovo rozděleni a parametrem A má Jeffreysova hustota
tvar
'*       " q(*) =   A"1/2      > > 0,
í"í.'. ;
Je tedy nevlastní a aposteriorní rozdělení je gama s parametry
(n, I x.41/2). i-1 1
Pro negativně blnomioké rozdělení s parametry (a,p), a - známá, je Jeffreysova hustota
q(p) - p"1 (1-p)"1/2 P€.(0,1)
- 0 p<É(0,D.
Jde o nevlastní hustotu a aposteriorní hustota je beta s parametry
(an, 5 x.41/2). 1 1
Pro normální rozdělení 5(|U,ffQ), 6q > 0, je Jeffreysova hustota konstantní (vady táto hustoty jsou v první ěásti tohoto paragrafu).
Pro normální rozdělení N(p0,ff ), uQ známé, je Jeffreysova hustota rovna   C2   pro o*"*2 > 0. Jde o nevlastní hustotu. Aposteriorní hustota 5"2 je gama rozdělení ( !L (xjL-uQ)2/2, n/2).
Pro normální rozdělení H(p,62), \i i  ô"2 > 0 neznámé je Jeffreysova hustota dána vzorcem
q(/i,5"2) »6"    ,   JíeR,, ff"2>0.
Opět jde o nevlastní hustotu a aposteriorní hustota (p,(T   ) se dá popsat následovně t podmíněné rozdělení jx při daném je H(x",ff2/n) a marginální rozdělení 1/ff2 je gama s parametry (^I(xi-x)2,n/2).
- 32 -
Další možná volba apriorní hustoty parametru 6 je vyjít z kon-jugováného systému hustot (většinou tzv. obvyklého)      6| ^);^ «A] T příslušného {r(x|8)|§6®}  (JI je většinou otevřená borelovská množina] a volíme přímo aposteriorní hustotu T<l(8|5), kterou dostaneme jako limitu apoeteriomích hustot z |q(§;£)»£«-1}   pro % konvergující k nějakému bodu na hranici množiny A . Formálně odpovídá tento způsob tomu, že za apriorní hustotu q*(6) vezmeme limitu apriorních hustot z |q(e, ^), >>e_i\  pro X konvergující k nějakému bodu na hranici množiny -i . Hustota q*(g) je obvykle nevlastní. V řadě případů jsou potom bayesovské odhady a bayesovské testy shodné s klasickými. Aposteriorní hustoty získané právě popsaným způsobem budeme nazývat limitní aposteriorní hustoty.
Uvedeme si několik příkladů:
Id binomické rozdělení (m,p) je konjugovaný systém systémem
beta rozdělení (c*,(J),  ot > 0,   A>0. Limita aposteriorního rozdělení
1 n n
pro ot -*0 a /l->0 je beta rozdělení ( £ x., ,mn-51 x,.), což odpovídá
1 i-1 1      i-1 1 apriornímu rozdělení
q*(p) - (p(1-p))"1 p €■ (0,1)
= 0 p et (0,1).
Pro Tjiasonovo rozdělení s parametrem 8 je systém konjugovaných
hustot tvořen systémem gama rozdělení (a,t), a > 0, t > 0. Limita apos-
n
teriorního rozdělení pro a-*0, t->0 je gama rozdělení (n, X.X.,). To-
i=1 1
též aposteriorní rozdělení dostaneme, jestliže za apriorní rozdělení
zvolíme
q*(e) ■ e"1 e>o
= 0 8*0.
Stejnou úvahou dospějeme pro negativně binomické rozdělení (s,p) k tomu, že za aposteriorní rozdělení V*(p|x) vezmeme beta rozdělení (sn, ^ xi), které odpovídá apriorní hustotě
- 33 -
q*(p) = (p(1-p))"1 = O
P £ (0,1)
p é (0,1).
Pro exponenciální rozdôlení s parametrem 8 vezmeme za aposteriorní hustotu iT*(6|x) gama hustotu (Zx^n), které odpovídá apriorní hustota
q* (8) » 8~1 6 > 0
= o e «10.
p p
Pro normální rozdělení N(fx,fiQ), <Jg > 0 známé, vezmeme za aposteriorní hustotu N(x,6"^/n), která odpovídá apriorní hustotě rovnoměrné na R.,. (U apriorního rozdělení N(a,b ) klademe b^*<*>.)
Pro normální rozdělení N(^Q,ff2), fX0 známé, vezmeme za aposteriorní hustotu gama s parametry ( X.(xi-jUQ)2/2,n/2), která odpovídá apriorní hustotě
q*(5"2) - S~2 6~2>0 = 0 <5~2úQ.
Pro normální rozdělení Hípt.c2),     i   52>0 neznámé, bereme v aposteriorní hustotě r->0, c-*0, d-*-£. Pak podmíněné aposteriorní rozdělení \l při daném 1/ff2 je N(x,52/n) a marginální aposteriorní rozdělení 1/52 je gama s parametry (X(xi-x)2/2,(n-1)/2). Toto aposteriorní rozdělení odpovídá apriornímu
q*(fA,1/C2) -Oí2)"372   p6R1( 1/^)0. (2.37)
Marginální aposteriorní rozdělení (tj. při daném x) náhodné veličiny
»
kde n
Sn - ÍPT £ (xi-i)2» (2'38)
- 34 -
je t-r'sdělení s (n-1) otupni volnosti.
Obdobné výsledky platí i pro vícerozměrné normální rozdělení.
2.4     EMPIRICKÉ BAYBSOVSKŽ METODY \
Jedná se o metody volby apriorního rozdělení q(6), jestliže máme k dispozici výsledky z minulosti v následujícím tvaru. Y.,,...,Yj jsou nezávislé náhodné veličiny, Yi má podmíněnou hustotu r(y|8^) (vzhledem k ď-konečné míře v), 8^e®, i * 1,...,N, §^,...,6^ jsou nezávislé náhodné vektory, 8^ má hustotu q(§) (vzhledem k ^-konečné míře X). Tedy nepodmíněné rozdělení Y., je
za předpokladu konečnosti EY^ resp. var Y^.
Na základě Y1f...,YN můžeme odhadnout hustotu rq(y) popř. příslušnou distribuční funkci některou běžnou metodou. Označíme-li r(y) odhad  hustoty r(y) a dosadíme-li do (2.39} dostáváme funkcionální rovnice, které lze obecně jen velmi těžko řešit. Místo řešení funkcionální rovnice někdy minimalizujeme vzdálenost r a r^ vzhledem k q a za odhad q vezmeme hustotu q, pro kterou je dosaženo minimum. Za vzdálenost nejčastěji volíme
(2.39)
a odtud plyne pro nepodmíněnou střední hodnotu a rozptyl
(2.41)
(2.40)
- 35 -
V obecném případe je řešení složité. Reší se jen ve speciálních případech. Další informaoe o tomto postupu lze nalézt v [2] a [7].
Spíše než najít odhad popsanou obecnou metodou se nejdříve podíváme, zda variabilita náhodné veličiny      (popsané r(y))f která vznikne složením variability 6 (popsané q(8)) a variability y^^ při pevném B± (popsané r(y|8)) je způsobená hlavně variabilitou 6^ V kladném případě můžeme za odhad q(8) v řadě případů vzít odhad r(y). Variabilitou často míníme rozptyl. Je-li v tomto případě var(YjjB) malá ve srovnání s var 8, pak bereme za odhad q(8) funkci rCy) (pro 6 jednorozměrné).
Oba vyložené postupy nemají příliš velkou naději na použití v praxi, nebol v prvním případě je obtížné najít řešení a druhá metoda je příliš intuitivní. Používají se zatím jen v určitých velmi speciálních případech viz např. [li*
Mnohem větší naději na úspěch má metoda, kterou si nyní vyložíme. Předpokládáme, že q(8) má určitý funkcionální tvar, u kterého neznáme jen parametry, tj. předpokládáme, že apriorní hustota je q(6;£), kde £ * (oi-j,...,* )* je vektor konstant, který neznáme, víme jen, Že o< e A , kde /) jí Jl^ <&fl. Tedy také marginální hustotu Yi známe až na vektor o< , který můžeme odhadnout pornooí Y,j,...,Y   některou klasickou metodou odhadu např* metodou momentů (viz t.11). Při ní klademe
EY3 - i  £  y|        j = 1,2,...,s
11 j-1 1
(za předpokladu konečnosti příslušných momentů) a řešíme vzhledem k £* . Řešení označíme £ . Za apriorní hustotu vezmeme q(6,£).
Tato metoda má široké použití. Dá se vhodně kombinovat s konju-govanými rozděleními, které poskytují jen funkcionální tvar rozdělení. Za funkcionální tvar vezmeme rozdělení konjugované s r(y)6) a parametry odhadneme podle výše popsané metody. Ve většině rozdělení uvažovaných v 2.2 vede tato kombinace metod k rozumným výsledkům.
- 36 -
Empirické bayeaovské metody se pužívají spíše v úlohách odhadu než při testovaní hypotéz. V kapitole 4 jsou uvedený 2 příklady odhadu parametru, jestliže apriorní hustota byla získána empirickou bayesovskou metodou.
Nechí Y1f...,YN jsou nezávislé náhodné veličiny, Yi s rozdělením N(8^Sp)la představují výsledky z minulosti. 8^,..., 8^ jsou nezt-
vislé náhodné veličiny. 8- má rozdělení N(u ,        kde u„ a <y2 >0 ne-
*ě 2 2        2 2
známe. Nepodmíněné rozdělení Y^j© N(juq,c ), kde 6"   = 5* + <5 q. Meto-
dou momentů získáme odhady a   a o"   pro a a 6" , a to
(2.39)
1      N -.9
(2.40)
Tedy za apriorní rozdělení vezmeme N(u ,on)» kde
je-li" e2> 6-S
(2.4D
0
je-li 52<5"o
A A
(odhad CFí* musí být nezáporný).
- 37 -
3.       STATISTICKÉ     ROZHODOVACÍ FUNKCE
3.1     FORMULACE PROBLÉMU
V této kapitole se "budeme zabývat tzv. statistickými rozhodovacími úlohami, které zahrnují jako speciální případy úlohu odhadu a testování hypotéz. Nejprve si uvedeme nezbytné značení a definioe.
Nechí I = (X.j,... ,Xn)' je náhodný vektor s hustotou r(x|8) vzhledem k ď-konečné míře vn na (^»4^)» §e®   je parametr, © je neprázdná borelovská podmnožina R^. Označme 2 množinu možných rozhodnutí (závěrů) o parametru 6 a   d   prvek množiny S) .
Dále označme L(8,d) ztrátovou funkci, která nám udává číselně jakou ztrátu utrpíme, jestliže skutečná hodnota parametru je 6 a přijmeme rozhodnutí d. Ztrátová funkce je tedy zobrazení z ® * od do R1. Budeme předpokládat, že existuje   k   konečné takové, že L(§,$) >k pro vš. g c® a vš. de.®. Pokud budeme uvažovat <y»-algebry podmnožin ® a §) , budeme předpokládat, že L je měřitelná funkce vzhledem k součinové C-algebře, přičemž na R1 bereme 5-algebru bore-lovských množin <&| *
Dále budeme pracovat s rozhodovaoími funkcemi 6 , kterými budeme rozumět zobrazení z      do Ä . Jinak řečeno hodnota <T(x), x*?^ představuje rozhodnutí (závěr) o parametru 8,je-li X - 5. Riziko R(g,<T) příslušné rozhodovací funkci S , je-li skutečná hodnota parametru 6, definujeme následovně
R(g,o*) = E(L(g,á*(X))/g) = $L(e,<T(x)) r(x|g) dv^x). (3.1)
Značení E(.lg) jsme použili, přestože v právě uvažované situaci je 8 vektor konstant. Vzorec však budeme používat i při bayesovském přístupu, kde 8 považujeme za náhodný vektor a použití nepodmíněné střední hodnoty by mohlo vést k nejasnostem. Riziko R(8,<f) představuje střední ztrátu způsobenou volbou rozhodovací funkce <T , je-li skutec-
- 38 -
ná hodnota parametru 8.
V dalším se omezíme jen na rozhodovací funkce pro něž je R(8,<f) < +«• pro vš. 8«.©. Množinu takovýchto rozhodovacích funkcí označme   A •
Funkci R: ®xA -* ^ nazýváme rizikovou funkcí. Statistickým rozhodovacím problémem budeme rozumět trojici (<3>,a,R).
Nechí J ^ (X.j,... ,X ) ' je náhodný výběr z alternativního rozdělení s parametrem 8. Uvažujme úlohu odhadu parametru 8. Zřejmě ©= = {0,1)>, množina Ä možných rozhodnutí je množina hodnot parametru 8 a A je množina odhadů parametru 8. Měříme-li ztrátu jako čtverec roz dílu parametru 8 a jeho odhadu  ťfCX), můžeme psát
L^B.ďíX)) = (6-<5t£)):
a tedy pro rizikovou funkci máme
R^B,S) = E (8-ď(X,))2|6).
Pro úlohu testu hypotézy HQ: 8e®0   proti alternativě H1: fie ®f = -<5>-®0, ®0 ci  <0,1>   je Sd = [d0,d^, kde dt = ^ platil • Obvykle předpokládáme, že při správném rozhodnutí je ztráta nulová a při nesprávném rozhodnutí je ztráta rovna nějaké kladné konstantě a Pak můžeme pro ztrátovou funkci psát:
L2(8,d±) = 0     Be®±   i = 0,1 (3.2) = a     a 4®^
a pro rizikovou funkci máme:
R2(8,d*) = a EClkrCX) = d^jS) = a . P(<T(X) = d^S)     6 e ®0
(3.3)
= a E(Iiď(X) = d0]j8) = a . P(<T(X) = d0j6)     8 e ®1 kde l\k\ je indikátor množiny A.
- 39 -
Odtud je vidět, že riziková funkce je   a  násobek pravděpodobnosti chybného rozhodnutí a množina (xř<T(x)«d1^ je oblast přijetí Hj, přísluŠ-ná rozhodovací funkci S .
Ha množino A rozhodovacích funkcí zavedeme uspořádání a ekviva-lenci. Rozhodovací funkce <£, je R-lepši (popř. lepší vzhledem k riziková funkci S) než rozhodovací funkce d*2, jestliže
R(§,ď.,) < R(6,^2)     pro vš. §♦£©
a jestliže ostrá nerovnost platí pro aspoň jedno 6.
Rozhodovací funkce ď-j je R-ekvivalentní rozhodovací funkci dg, jestliže
R(§»<f.,) = R(8,cT2)     pro vš. §*z®.
Přirozenou optimální rozhodovací funkcí by byla funkce <f*£ A, taková, že
min R(6,ď) ■ R(8,(f#) pro vš. 8e® .
Taková rozhodovací funkce existuje jen výjimečně. Proto definujeme optimalitu v nějakém slabším smyslu.
Při bayesovském přístupu předpokládáme, že parametr g je náhodný vektor s hustotou q(g) vzhledem k S'-konečné míře ?n na (®,tô(®)) a definujeme bayesovskou rizikovou funkci následovně
?(q,ď) = E R(g,<T) = (3.4)
= S C S L(§,ď(x))r(x|Q)dVn(x))q(g)dK6),
® «n
<f& A . Optimální (bayesovská) rozhodovací funkce <T*(q) je definována následovně
min <p(q,<f) « <e(q,ď*). (3.5) Číslo £*(q) = ^>(q,<y*) nazýváme bayesovské riziko.
- 40 -
Další řešení může poskytnout tzv. invariančni princip. Nechl je systém hustot [r(x 18) ;8e®^   invariantní vůči grupě transformací ^, tj. pro každé g e ty a ge<S)  existuje jediné řešení g°fi <S> takové, že Y * g(X) má hustotu r(y|g°) (X, má hustotu r(x|6)). Označme
8° - g(g).
Pak je rozumné uvažovat ztrátové funkce invariantní vňŽi ^. tj. takové ztrátové funkce L(6,d), že pro každé g£^ a d&& existuje' d°€Ä   takové, že
L(g,d) = L(g(8),d°)     pre vš. 8e<S> .
Označme
d° = g(d).
Rozhodovací funkci d~(55) nazveme invariantní vůči grupě     . jestliže pro vš. XfiRjj a ge^ platí
étgCap) = g(<T(x)).
Označme &j množinu takovýchto rozhodovacích funkcí.
Pro rizikovou funkci můžeme dokázat následující tvrzení:
Věta 3.1. Pro rizikovou funkci RlBtó") odpovídající invariantní ztrátové funkci L (vůči grupě ^. ) platí
R(8,ď) = R(g(g),ď)     pro vš. 8e<3), vš. ge^
a vš. cfeAj.
Důkaz.   Použijeme-li postupně invariance ztrátové funkce, invariance rozhodovací funkce a invariance rozdělení £r(a:|g)j geCa)j , obdržíme
R(8,<T) = E(L(8,<r(X))/g) *
= E(L(gtS),g(<r(X)))/g ) -- E(l(g(g),<T(g(5)))/g) -= E( L( g( 8) ,<f (£))/£(§)) « = R(g($),<«£)).
Q.E.D.
- 41 -
Statistiky TnTihodovaci problém (®,A,R) nazveme invariantní vů-Si grupě ^, jestliže A = Aj a R odpovídá invariantní ztrátové funkci.
Optimální bayesovskou rozhodovací funkcí invariantní vůči Q- budeme rozumět rozhodovací funkci ď+ takovou, že
min   <P(q,<0 = <p(q,ď+), (3-6)
kde (P je definováno (3*4) a odpovídá invariantní ztrátové funkci. V řadě případů vede tento postup k tomu, že riziková funkce R(6,cT) nezávisí na 6 a optimální bayesovská rozhodovací funkce ď+invariantní vůči splňuje
min   R(e,ťT) = R(8,ď*),
a tedy nezávisí na q.
Ukážeme si to na příkladě. Systém hustot
^vr^2 exp\-£  t (x^e)2]; 86^1
odpovídající výběru o rozsahu n a z rozdělení N(6,1) je invariantní vůči posunutí, tj. fy je tvořena transformacemi
g(x) = (x^c, ....x^-c)c&R.,, 5 = (x1,... ,3^)' 6 R^.
Zřejmě g( 8) = 8 - c, 8sR^, c«R1 a budeme uvažovat ztrátové funkce I s vlastností: pro každé deá) existuje drt<sž)   takové, že
L(8,d) = LC8-c,dc)     pro ve. cgR1( 6€® ,
Toto je například splněno pro i) c R1 a
L(8,d) =  |6-d|2. (3.7)
Pak g(d) = d - c a množina Aj rozhodovacích funkcí invariantních vůči je tvořena funkcemi o~(x) splňujícími
ďíx^c,.. .,xn-c) = ó"(x1,... ,xn)-c pro vs. cčR^ a ja Rn.
- 42 -
Tedy věty 3.1 implikuje, že riziková funkce nezávisí na 8 a je rovna R(8,<T) = R(0,rfO = (2l0~n/2 J ... ^ (<ftx,))2 ôxpj-J f x2jdx1...dxn.
V dalším se budeme zabývat pouze bayesovským přístupem.
Jiné řešení rozhodovacího problému poskytuje např. princip mini-maxu, při kterém za optimální rozhodovací funkci budeme považovat rozhodovací funkci <5"° s vlastností
min   max   R(8,cT) = max R(8,<T°).
ďfe® 6e®      " %€.<S>
Podrobnější informace o tomto přístupu lze nalézt např. v [3], \2\*
3.2     BAYESOVSKE ROZHODOVACÍ FUNKCE
Bayesovaká rozhodovací funkce ď* definovaná (3.5) závisí na volbě ztrátové funkce a volbě rozdělení parametru 8. Volbě rozdělení parametru 8 byla věnována druhá kapitola. Pokud se týče ztrátové funkce, budeme vycházet z předpokladu, že je dána. Nejběžnější ztrátové funkce používané v úlohách odhadu a testování hypotéz jsou uvedeny v následujících dvou kapitolách. Existuje obecná metoda volby ztrátové funkce na základě preferencí (podrobněji viz např. [2], [j?], [9]).
Statistický rozhodovací problém formulovaný v předchozím paragrafu lze modifikovat tak, aby byly vzaty v úvahu náklady na realizaci Z. Místo s bayesovskou rizikovou funkci ^(q,<0 (při bayesovském přístupu) pak pracujeme s tzv. totálním rizikem
<£(q,<J",c) - <£(q,<T) + E c(8,p,
kde 0(8,5) jsou náklady spojené s realizací Z při hodnotě parametru rovné g. Další informace o tomto problému lze nalézt např. v £5].
- 43 -
Mějme dvě ztrátové funkce      a Iv, mezi nimiž platí vztah
l..(e,d) - a L0(8,d) + b
pro vš. (8,d)e ® x fi)   a nějaké a > 0, bef^. Pak bayesovské rozhodovací funkce odpovídající L1 a L2 jsou shodné, což vzhledem k předpokladu omezenosti ztrátové funkce zdola, vede k tomu, že bez újmy na obecnosti můžeme předpokládat nezápornost ztrátové funkce.
Nyní si zformulujeme a dokážeme tvrzení o konkávitě bayesovské-ho rizika ^>*(q) jako funkce rozdělení q parametru 8.
Věta 3.2. Pro libovolné hustoty q-j»q2 parametru g vzhledem k F-koneč-né míře X a pro libovolné ©ŕ 6 <0,1> platí
je lineární funkci vzhledem ke q. Z vlastností infima pak plyne
<t>#Uq1+(1-»«)q2) > ^(q.,) + ( 1-d) £*( q2>,
za předpokladu, že příslušná, bayesovská rizika existují.
Důkaz.   Z definice bayesovské rizikové funkce máme:
^(*<ql+(1-cOq2,(f) - o^Cq-pťD + ( W) ^> ( q2,<f) pro vš. ďsA, neboí «=<q1+(1-*0q2 je opět hustota vzhledem k míře X a
Q.E.D.
Nyní si všimneme bayesovské rizikové funkce <o(q,<f) definované vztahem (3.4). Můžeme si ji totiž vyjádřit následovně:
(3.8)
kde tKsjj) je aposteriorní hustota parametru 8.
- 44 -
Tedy pro bayesovskou rozhodovací funkci <T* odpovídající  «f(q,<0 platí
(za předpokladu   [ q(g)r(x|g)d>y<g) <í 0)
®
min      \ \ [ l(6^(x))T(g|x)d&(8)Wx,) - (3-9)
=   \ UL(8,r(5))r(g|x)d>(8)]dv^).
*n «3»
Najdeme-li při pevném x hodnotu o"°(x)eíb  takovou, že
min       \ L(8,<r(3c))'r(§l5)d>(g) - (3-10) (T(x)^ J
«  ^ L(g,<r°(x))T(8|x)d\(8),
pak je odpovídající funkce 5° bayesovskou rozhodovací funkcí. Hodnotu <f*(x,) tedy můžeme najít minimalizací podmíněné střední hodnoty ztrátové funkce vzhledem k aposteriorní hustotě T(g|x) (pokud existuje bod minimalizující tuto podmíněnou střední hodnotu), tj. za podmínky X ■ x. Tento fakt je velice užitečný v konkrétních situacích, neboí obvykle stačí znát hodnotu <ď* pouze v bodě X = x, 5 je realizace X.
Nahradíme-li nyní v (3»10) aposteriorní hustotu F(8|5) hustotou apriorní q(§), dostaneme tzv. bayesovská rozhodnutí bez provedení pokusu, tj. k rozhodnutí použijeme pouze informace plynoucí z apriorního rozdělení.
Povšimněme si, že bayesovská rozhodovací funkce cT* je založena na informaci plynoucí jak z 5» tak z apriorního rozdělení parametru g.
Příklad 1♦1 (pokračování ze str. 8). Uvažujme problém odhadu kvocientu inteligence 8. Ztrátové funkci
L(8,ď(X)) - (8-<T(X))2
odpovídá bayesovská riziková funkce (viz (3*8))
- 45 -
40> ■*<*>
<£(q,<D - ^ (e-d*(x))2ir(e|x)de( ^ q(e)r(x|e)de))dx,
-oo   -oo -<*>
kde apoeteriorní hustota T(8|x) je N(^gx-^f§# 100.69)23) a apriorní
hustota q(8) je N( 100,225)« Ha jí t bayesovskou rozhodovací funkci znamená najít <f*(x), které minimalizuje
^ (e«í(x))2ir(elx)d8. i
-oo
Jak vyplyne z úvah v následujícím paragrafu '■
<T»(x) =   J 8T(8Sx)d8 = |gx + ^§§.100. (3.11) Přímým výpočtem pak dostaneme
-»«> ^ <^(q,<T(x)) - 69,23 $ (2Tr.325)"1/2 •*p{-g^X32g°? W a
-oo
= 69,23.
Zatímco bayesovské rozhodnutí d*+ bez provedení pokusu je
<r*= 100
a
:q,<T) = [ (8-<T)2 q(8) d8 = 225 . (3.12)
Přiklad 3.1. Mějme náhodnou veličinu X = 8 + Y, kde Y je náhodná veličina s hustotou
f(y) = e~y        y 3-0, = 0 y<0,
a 8 je neznámý parametr, o němž můžeme předpokládat, že má rozdělení stejné jako Y.
- 46 -
Uvažujme rozhodovací problém (®,A,R) , kde (5) = ^0,+<»), A je množina funkcí z <G,+°»), do
g) = |d1 ,d2,d3,d4^ ,
kde á-  = (i-1,i),  i = 1,2,3,  d^ = 0»+°°) a riziková funkce odpovídá ztrátové funkci dané následující tabulkou.
klasifikace dle výsledku měřeni
skutečnost
	d1	d2		d4
	0	1	1	2
d2	1	0	2	2
d3	1	2	0	2
d4	3	3	3	0
aposteriorní rozdělení 8 je rovnoměrné na (0,x). Dále platí, že
^ LO.d^telxjde = íií3<xH3x-7)/x+i$hxoKx-i)}/x+iíx*i1 «°
-o©
$ l(8^)t(8]x)d8 > ilíX4l\x+i^1<Xé2Í + l\2*-Xé3\ (2X-3)+i$x>3}(3X-6)}/x 5 l(e^3)t(8|x)d8 = íl^Xá.l\.x+IiUXí2H2X..l)+I^2<x*i3\3+I^>3]C3X»6)\/x L(8fd4)r(8|X)d8 = 2X~1 min(3,X).
Tedy bayesovská rozhodnutí je následující:
je-li X = 2 , pak je rozhodnutí d^ nebo d2, je-li X = 13/3    " " d1 nebo d4,
je-li X<.13/3      n " d1f
je-li X> 13/3      " " d4.
- 47 -
Ha závěr tohoto paragrafu si zformulujeme větu pro případ, že ® i $ obsahují právě 2 body. Toto je případ, se kterým se nejčastěji setkáváme při testování jednoduché nulové hypotézy proti jednoduché alternativní hypotéze. Předpokládejme, že ztrátová funkce je definována následovně:
L(6i,di) =0,     i - 1,2 L(81td2) m av L(§2,d.,) «= a2,
kde a±> 0, S> = id1,d2l, ® » ijlh^-Dále předpokládejme, že
P(6 = 8.,) * $ , P(8 = Q2) = 1 - $   ,   ^6 (0,1) dáno.
Pak podle (3.4) pro bayesovskou rizikovou funkci platí
9($.o") « a1 ^porcp-d^fr-e^ + a2(i-pp(<r(x)=d1\8-e2). (3.13)
Pravděpodobnosti P(<T(X)=d2| 8=8.,) a ?(f(Z)-d.|\ 8=82) jsou podmíněné pravděpodobnosti chybných rozhodnutí. Hajít bayesovskou rozhodovací funkci <T* vlastně znamená najít takovou rozhodovací funkci <f, která minimalizuje jistou lineární kombinaci podmíněných pravděpodobností chybných rozhodnutí. Řešení problému je obsaženo v následující větě.
Věta 3.3. Pro libovolné c>0 a b> 0 definujme rozhodovací funkci předpisem
<T*(x) - d1 je-li a Hxjg,) > b r(xl82) o d2 je-li a r(xl8.,)4b r(xl82) - libovolně je-li a r(xlj8p - b r(xl82).
Pak pro libovolnou rozhodovací funkci <T : 3C-*ä platí
a P(Ó**(X) » dglg^ep + b P(ď#(X.) - d^g-gg) 4 ^ a P((T(S) « d?|8-e1)+ b Píďíg) = d.,| g«g2).
- 48 -
Důkaz.   Pro libovolnou rozhodovací funkci o" platit
a P(<T(J) - d2l8=er) + b P(ď(X) - d^g-gg) «= (3.14) -a    S      r^le^dv^s) + b     \     r(x|e2)dvn(5) -
<r<5)»d2 <«s)-*i
= a +     ^      ("a r(íl§i> + D rC3t|e2))dvn(x> «
= a +   5 Ii<J'(x)-d1,ď#(x)»d1\ (-a ríslg^ + b r(sl§2) )dvn(x)
+   J li«5)^1fir*(5)-d2\ (-a ríx.!^) + b r(x|62))dvn(S).
Z definice ď* plyne
S li<f(55)»d1,(r*(5)=d1\ (-arCxJ^) + b r(xlg2))dvn(x)> (3.15)
>     J I^(x)=d1l  (-a ríxl^) + b r(xl§2)) d*n(tf
a
^ lí<r(x>d.,,ď*(x)=d2\ (-a ríx.^) + D rCxlg2))dvn(5) > O (3-16)
Z (3.14-3.16) snadno obdržíme tvrzení věty. Q.E.D.
Poznamenejme, že při vedlejší podmínce F(ďt(X)>d1\8-g1) ■ ot je tvrzení věty shodné s tvrzením Heyman-Pearsonova lemmatu.
- 49 -
4.     ÚLOHA ODHADU
4.1 ÚVOD
Necht X = má hustotu r(x|g) vzhledem k ff-konečnó
míře yn, 6 = (e1,...feJc)'e. ®   je parametr, ŕ / © e        Nechí q(g) je apriorní hustota parametru g vzhledem k <T-konečné míře X na (®,6(®)) a rCglg) příslušná aposteriorní hustota.
Úlohu odhadu parametru g můžeme formulovat jako statistický rozhodovací problém (®,A,R), kde množina možných rozhodnutí <£> je shodná s množinou ® . Rozhodovací funkce ď(X) je pak odhad parametru g a A je množina odhadů parametru g. Nadále budeme používat termín odhad místo rozhodovací funkce. Ztrátová funkce Líg.dtX,)) pak vyjadřuje odlišnost odhadu <Í*(X,) od skutečné hodnoty parametru Q.
4.2 BODOVÍ ODHAD. JEDNOROZMERNÝ PRÍPAD
Typickými ztrátovými funkcemi jsou
La>w(8,d) =w(8)|8-dla    8e®, d£Ä , (4.1)
I*    v (6,d) « kn(8-d)        6 - d»0, 8e®   ,de»r (4.2) K0' 1 u
= k^d-8)        8 - d^O,
kde w(g) je nezáporné měřitelná funkce definovaná na Q; a,kg,k.| jsou kladné konstanty pevně zvolené. Nejčastěji používáme w(6) s 1, a = 1 nebo a = 2ak0 = k1 * 1. Pro w( 8) a 1, a = kQ = k1 » 1 jsou ztrátové funkce totožné.
Dále se budeme zabývat pouze L0 _ a L.    .  . Pro a » 2, w(8) ■ 1
«-»**        0* 1
budeme používat pro ztrátovou funkci zkrácené značení L9.
- 50 -
Označme
qi(8) = q(8)w(9)(J q(6)w(e)dX(e))"1 pro   ^q(8)w(0)ďX(8) t 0
• ® (4.3)
= 0 jinak,
r(x|8) q.(8) r ^(elx) = -t---3- pro   W8) r(x^e)dM8) j* 0
1    -     Jr<x|B)q1(e)d«e) 0 1
Ô (4.4)
■ 0 jinak,
r^x) =  $r(xJG) q1(8)d%(8)       jel^. (4.5)
Zrejme q1 je hustota (pro  $ q( 8)w( 8)d>(8)j*0) vzhledem k ^ a považuje-me-li ji za apriorní hustotu, pak príslušná aposteriorní hustota je Kjíelx); r^x) je marginálni hustota i odpovídající q^(8).
Hlavní výsledky o bayesovských odhadech pro ztrátové funkce L9
L.    v   si zformulujeme ve větě: *0,JC1
Věta 4.1.     a) Necht
e2w(8)ir(e|x)ä^(e) < +<*
pak pro ztrátovou funkci L0 w definovanou (4*1) je bayesovský odhad (5g w parametru 8 dán vztahem
\ 8w(8)T(8l5)dX(e)
<T* w(x) =--                                 = B^Bl^x) pro ^w(0)í(8lx)dX(8)/O
$w(6) F(8jx)d*(8) <S>
<3>               " (4.6)
= 0 jinak pro bayesovské riziko      w(q) platí
<?2>w(q) = E^var^ej^)) , (4.7)
- 51 -
kde E1 označuje střední hodnotu g vzhledem k hustotě (4*5) a var., označuje podmíněný rozptyl 6 vzhledem k hustotě (4.4).
b) Nechí
0 ^ ^ i8|r(5|B)q(e)d>(e)^+«-> (4.8)
pak pro ztrátovou funkci Iv.   v   definovanou (4*2) je bayesovský od-
» ^0**1 .
had ^k1 Pa2*am*t*,u ® (100(k0(k0+k.j)   )%   kvant 11 aposteriorního ro
dělení T(8|x)a pro bayesovské riziko <pt_   t (q) platí
t SK0»K1
?k0,k1t4> - (V*iy     l        CCfk (j)-8)r(5|e)q(«)dVn(S)d«B)
+ kn \ 5 v ($)Hx]e)q(e)dvT1(5)d7v(e).
Rj -«       K0»*1 n
Důsledek 4.2. Je-li ve větě 4.1 a) w(0) s 1, pak bayesovský odhad ú2(x) parametru 8 je
<s£(x) = E(8lz«q5) (4.10) a pro bayesovské riziko platí
^2(q) - E^var(8\X)l . (4-11)
Připomeňme, že 100«% kvant i 1 ^(x) rozdělení 7(615) je definován
vztahem      ^ v(8|x)d\(8)<:o< ,      J TT(6|x)d>(8) > 1 - <* .
®48á^(j)^ ®n\8»6V(j)t
Poznámka 4.3.   Bayesovský odhad <S* _(x) je podmíněná střední hod-nota 8 při daném X - x vzhledem k hustotě ^(dlx,).
Důkaz věty 4.1. a) Pro libovolné <ÍVa a libovolné xcl^ platí Bl<6-^,w(*))(<r2.w(5)-ít$)) " 0
a tudíž
- 52 -
G>(q.<r) - E^B-rt*))2 -  S( S (8-«5))2t;(518)^(9)^(35)^ (x; -
■ H jCe-í' (5))2^(x|e)dM8) + *n ® *
+    $ (J(qř)-Í2 w(?)>2^(x|8)d^(8)jr1(x)dyn(x)>
*S   S (B-íJ w(x))2T1(5|8)dM8)   . E^varfelX)).
Odtud plyne, že d0 _(x) je bayeaovaký odhad a bayesoveké riziko je dáno (4.7).
b) Nechí <f je libovolný odhad parametru 8. Je-li <f(x,)> > ^k^k/s). Pak Platí
Lu   k (e,^^)-^   k (8,<Tk   k (x)) - k0(íT   k (x><Kx)) je-li -Kq,^       ~-   ~k0,k1      k0,k1 - u  k0,je1 e-<r(x)>0
- k^-G+Ztx))-^©-^ k<|(x))
je-li 8-<f(x)^ 0 6 6-cT/   k (j)
K0' 1
= k^j)-^   k (x)) je-li
°' 1 k <*>^0»
*0,K1
což implikuje (pro jednodušší zápia klademe q(8) « 0 pro 8*^<3>)
«oo
\ (L    k (e.Ax))-;^    k (8,<T*   .  (x)))r(xl8)q(e)dM8) - (4-11) .%    K0* 1 0» 1 0* 1
7 ó*(x)
" k0C5k   k (x)-í*(5))(\r(x|8)q(0)dX8)ir        r(x.|8)q( 8)d*( 8) -v 2 " '4*1 <*>
-00
<r*k k (x)
r(x\e)q(Q)d>(8)) +
+ (k/(x) + k0<T      (x))     \ r(x\G)q(8)d%(8) -
u k0,k.,       <JV v Cx)
- 53 -
- CkQ+ic^ \ 8r(x]8)q(8)dUe) +
*k   k <*> k <5)
*0' 1 r  O* 1
f   u i
+ k-CóXx,)-^ k (x)) J r(x|e)q(e)d*(e).
1 K0'  1 -oo
Použijeme-li nerovnost
<rtx) ct(x)
J er(x|e)q(e)ďx(e) £ cř(x) \ r(x|e)q(0)d>(e)
(4.11)
a sečteme-li na pravé straně integrály s mezemi (ď£   v (x),<f(x)), do-
*0,JC1 ~
staneme, že jejich součet je nezáporný. Kromě toho z definice kvanti-lu plyne, že
J r(xl8)q(0)d\(8) ^ ) r(x|0)q(G)dX(0).Ej^ ,
což dále zajišíuje, že součet zbylých členů na pravé straně (4.11)
je nezáporný. Odtud již plyne naše tvrzení pro <ľ(x):* ďf   .  (x). V pří-
K0*K1
padě platnosti opačné nerovnosti postupujeme analogicky. Tedy 100 kQÍkQ+k-j)"" % kvantil aposteriorního rozdělení parametru 0 je bayesovský odhad pro L    v   a bayesovské riziko Je rovno
■lot,
^k0.*,iq) 4--Vi(Mlo.k1(?))r("|9)q(6)^(?)dM6) =
= (kjj+k^i i (<T     .   (x)-8)r(x,0)q(0)d^ (x)dA(fi)
•fOt
+ kn \\ (8-<L*  v (x))r(x|0)q(6)d* (x_)d*(8). **n ~ 01
Q.E.D.
Z důsledku 4«2 a poznámky 4.3 plyne, že bayesovský odhad cT2* je podmíněná střední hodnota parametru 6 při aposteriorní hustotěT(8 |x).
- 54 -
Tedy pro aposteriorní hustoty T(8|x) uvedené v kapitole 2 snadno spočteme odhady <f2, stačí nalézt v Apendixu příslušnou střední hodnotu. Za zmínku stojí* že pro limitní aposteriorní hustoty uvedené v 2.3 se většina bayesovských odhadu parametru 8 shoduje s odhady běžně používanými v klasické statistice.
Příklad 1.1 (pokračování ze str.8,45). Vyjádření (3*11) pro bayesov-ský odhad ^ Příslušný ztrátové funkci L2 plyne z (4.6). Tento odhad je totožný s bayesovským odhadem <f* 1 odpovídajícím ztrátové funkci L1 .,. Záleží-li nám na podchycení dětí podprůměrných nebo nadprůměrných, můžeme volit místo ztrátové funkce Lg funkci
L(8,(t) » (8-íO2 exp ^ (8-100)2 ,
kde r>225. Podle (4*3) a (4*4) postupně dostaneme, že hustota q-,(8) je H(100,(^ - y)"1) a hustota ^(elx) je
*r/225rx+1002(r-225)        100. 225.r x H( 255r-f100(r-225) » 1ĎŮ(r-2Ž5)+225r)'
Z věty 4.1 plyne, že bayesovský odhad je
r* t —.a 225rx+1002(r-225) •"2,1^ = Ž25r+150(r-2Ž5r
a bayesovské riziko je I 225.100.r j ^ 100(r-225)+225r
J        kde w(8) = exp^(8-100)2/2r\. Porovnáme-li tento bayesovský odhad I        s odhadem získaným při L2, zjistíme, že při x^-100 je
í
? a při x >100 platí opačná nerovnost. Tedy při «   _ pro x <100
I 8 spíše podhodnotíme a pro x>100 spíše nadhodnotíme ve srovnání
f s použitím odhadu
- 55 -
br
Přiklad 4.1.i Chceme odhadnout pravděpodobnost 6 výskytu urcltáho znaku u populace jedinou. Hechí X1f...,X& je náhodný výběr z táto populace, kde
Z1 ■ 1    u i-táho vybraného jedince zjištěn znak - 0 jinak,
i ■ 1,...,n. Tedy P(X.j«1) - 9 a PCJ^-O) - 1 - 8.
Předpokládejme, že 8 má beta rozdělení fc,^),   eOO,   /3>0 a požadujeme co nejlepší odhad pro 8 v okolí 0 a 1. Zvolíme-li
pak při téže hodnotě (8-dtx,))   je ztráta pro 8 v okolí 0 a 1 mnohem větší než např. při 8 v okolí 1/2. Podle (4.6) je pak bayesovský odhad dán vzorcem ;/ ' p1   «*+?!.,-1 i+n-?x1-2
J e 11 (1-e)     1 1 de
= f?  *+ixH-3-i>n-4-x,-2--
\ e ^ 1 (i-e>    1 1 de
B(o< + \ xi9 (h + n - \ x± - 1)
o( + \ X.,  - 1
<Á +      n - 2
není-li 0-c<*ťU aX Xt ■ 0 nebo 0^./3é1 aX x, » n, kde Ix, znamená n i ^ ' i ^ i 1
Je-li 0-*-/l*1 aX x.^ * 0, pak
<rtx) » °-
Je-li 0<-/2>é.1 alx^ ■ &, pak cT* není definováno vztahem (4*6), ale můžeme ho dodefinovat pomocí limity*
<r*(x) « lim
a-*l 'a
- \Q «0<+n-2( i-ey^de
- 56 -
r,   ,:,;y\   - t  'á ď V
Pro bayesovské riziko platí (<*>1, /a>1) -->'<)
ľ x-D   X   U-*fi+n-2)2(^+í3+n-1) BU-1,f3-i;
n -Bfo+x.fo-n-x)- (oc-lKfr-1)_
=   £0 vx' BU-1,/ä-1)0*+ŕHn-2)   " Uf-U(<* +/J-2)0* +n+(J-2 J »
kde jsme použili faktu, že marginálni hustota r., (x.) náhodného vektoru X je podle C 4-5) rovna
*i<*> - *sg:}:ffir1? >*> xi ■ ° *«b°1
n
x označuje   £  xi (Jde o hustotu vzhledem k čítací míře). i=1
Při klasickém přístupu je X " ^ ^- xi ef icientním odhadem.
Příklad 4.2.   Elektronické součástky jsou zkoušeny za účelem odhadu střední životnosti. Předpokládejme, že doby životnosti jednotlivých součástek představují výběr X-j,... ,XQ z exponenciálního rozdělení s parametrem 1/6. Předchozí měření umožňují předpokládat, že 6 má inverzní gama rozdělení s parametry (/3,o0,   <* > 0,    {i>q dané hustotou
q(e,o<,^) . (PU))"1/*01 e"*'1 •-<e/l)"1 e>o
=*   0 6^0.
Aposteriorní hustota parametru 8 je
ixe|x) - (ru+n))-1(i/^Íxl)^+ne^-n-W[-(^+ii.ixi)/e] e>o = 0 e 5,0,
1   n _1
tj. inverzní gama rozdělení s parametry ((^- X.x^)- ,o(+n). Při kvadratické ztrátové funkci L0 _ s w ■ 1 dané (4«D je bayesovský odhad
<Í,W
- 57 -
dán 1 L
*\x) * $ BfC8ls)d8 = ? * * Ď?-.
a pro bayesovské riziko platí pro <x>2, /3>0
o*(q) = EWar(elX)^  = E(^ + I x^2 k + n - 1)~2 U + n - 2)"1 =
f2
kde jsme použili faktu, že marginální hustota X je (viz (1.7)) rovna
-<t,r^'mj-rrrr pro x1 > 0, i - 1,... ,n
P(o()/íí(1//i^xi)0<+n 1
a rovna nule jinak.
Příklad 1.2 (pokračováni ze str. 8 ). Předpokládejme, že dva fyzikové vyjádři svou představu o sledované fyzikální konstantě 8 následovně. Zkušenější z nich říká, že možné hodnoty 8 mají rozdělení N(900,400). Zatímco druhý z nich (méně zkušený) říká, že možné hodnoty 8 mají rozdělení H(800,6400) (větší rozptyl odráží menší zkušenost). Předpokládejme, že výsledek x = x příslušného pokusu má rozdělení N(6,1600). Pak aposteriorní rozdělení při použití apriorní informace zkušenějšího fyzika je
N{x±^600t 320)
a při použití apriorní informace fyzika méně zkušeného je
H(4'*f°°, 1750).
Je vidět, že u méně zkušeného fjBika došlo k výraznému snížení rozptylu ve srovnání s fyzikem zkušeným.
Při ztrátové funkci L2 dostaneme odhad 8 rovný (x+3600)/5 u zkušeného fyzika a (4«x+800)/5 u méně zkušeného. Tedy odhady jsou různé. Obecně při n pokusech bude aposteriorní rozdělení při použití infor-
- 58 -
mace zkušenějšího fyzika a méně zkušeného fyzika
kde X je aritmetický průměr výsledků pokusů. Tedy při provedení více pokusů bude vliv apriorní informace ryhle klesat, což je v souhlase s větou 2.1.
Vedle dvou uvedených typů odhadů se používá ještě' bayesovský
■!
odhad 8|j maximálně věrohodného typu, který je definován následovně:
max   rCxte)q(e) = r(x) 8M)q( éL.), 8e(3>
pokud maximum existuje. Někdy se též mluví o zobecněném maximálně věrohodném odhadu, neboí při q(9) konstantním dostaneme obyčejný maximálně věrohodný odhad. Poznamenejme, že zobecněný maximálně věrohodný odhad nemusí odpovídat žádné ztrátové funkci. Tato metoda se dá použít i ve vícerozměrném případě.
Příklad 4.2 (pokračování ze str. 57). Bayesovský maximálně věrohodný
A
odhad      maximalizuje funkci
e~*-n-1 exp i- (J+I^/ej
pro © > 0, výpočtem dostaeme
^ 7»
d. + n - 1
tj. Sjj - (x).
Nyní si uvedeme 2 příklady na odhad parametru, jestliže apriorní rozdělení bylo získáno empirickou bayesovskou metodou, která byla vyložena v § 2.4.
- 59 -
Príklad 4.3. Necht x^...,]^ jsou nezávislé náhodné veličiny, X± má rozdělení Nie,*2}), kde 6q>0 je známé. Necht Y.,,...^ jsou nezávislé náhodné veličiny, které představují výsledky z minulosti, Yi mají rozdělení N(8 ,ff2), kde 8   i 52 >0 jsou neznámé.
Uvažujme úlohu odhadu parametru 8 při ztrátové funkci L2 dané (4.D.
Podle (2.39) a (2.41) za odhady 8q a <r2 parametru 8q resp. «-2
vezmeme
«= 0 jinak,
kde é2 je dáno (2.40). Odhad é parametru 8 je pak podle (2.9) a věty 4.1.a)
8 = -? »
přičemž 9 « Y je-li $2í«q. Je-li navíc n = 1, pak
S - l1 + <.Y-X^)ej/e2 je-li ff2 > ^
« Ý jinak.
Příklad 4.4. Necht X má Poissonovo rozdělení s parametrem A. Necht ^....iY^ představují výsledky z minulosti a jsou to nezávislé náhodné veličiny, Yi má Poissonovo rozdělení s parametrem *X$ ^f.^ jsou nezávislé náhodné veličiny, ^ má rozdělení gama (<*,/$),      > 0, |3>0. Pro nepodmíněnou střední hodnotu a nepodmíněný rozptyl náhodné veličiny Y^ platí
- 60 -
var Y± » E>± + B(ı-Ô>2 - £ +      - £ (*£!■)
A Ý A V2 A O mm
<rz-¥      1 6*2-Y
kde 52 je dáno (2.40).Odhad > při kvadratické ztrátové funkci Lg dané (4.D je pak
A
A
\ = je-li   &2-Ý> 0.
1 + <*
íj :      ^' -'^
A p —
V případě 5 -Y <0 není tento odhad vhodný. Můžeme však postupovat jiným způsobem. Při ztrátové funkci Lg je obecné vyjádření (při libovolné apriorní hustotě qO) vzhledem k Lebesgueově míře) pro odhad > následující ♦o»
\ Är(xU)q(WdX \m ÍS_ , (x+1)r(x+1)
* r(x)
Stačí tedy odhadnout r(x) a r(x+1), např.
počet Y± . x
r(x) = -=-
N
a dosazením do Ä dostaneme nový odhad
který je velmi jednoduchý, ale značně nestabilní při menších N.
4.3     BODOVÝ ODHAD: VÍCEROZMĚRNÝ PŘÍPAD
Ve vícerozměrném případě nejčastěji používáme ztrátovou funkci
kde A, je symetrická pozitivně semidef initní matice typu k k k a <rCx,) ■ = (ó^íx,),... ,^(5))' je odhad parametru 6 «= (81,..., 8^) '. Za předpo-
- 61 -
kladu, že prvky varianční matice var{Xl§} jsou konečné, splňuje bayesovský odhad <ŕ!(x) parametru 8 následující vztah
(^(5)-E(8lX=x))'A(^(5)-E(9|X=x)) = 0 (4.13)
a bayesovské riziko je rovno
<^(q) = EJtrJA varC§|X)}   . $ r(X|§)q(8)dM 8)| . (4.14)
d
0 správnosti se přesvědčíme výpočtem. Pro libovolný odhad £(x) dostaneme;
[ (g-íXx))'A(&-ď(x))r(5l9)q(e)dJk(e) = ô
-   h(6-^C?^'ÄCM;(2P))+2(íA(x)-^x))'A(8-^(x)) +
= trjA varle |X=x\\      $ r(?lg)q(§)d>(e) .
. (rA(x)-í(x))'A(íA(j)-£(x)) ^ trU varí§lX=5n.
Je-li matice A regulární, pak platí
£*(x) = E(elX-x). (4.15)
Je-li matice A singulární, pak existuje řešení více.
Matici A volíme singulární pokud nás snímají odhady jen některých složek parametru § = (0^,...,8^)' nebo jejich lineárních kombinací.
Hechí X^.,.,2^ jsou nezávislé náhodné veličiny s N(fi,6"2), kde
2
f1 a $ jsou neznámé parametry s apriorním rozdělením: podmíněné apriorní rozdělení fi. při daném S"2 je N(a,r"16"2) a marginální apriorní roz-
mmO
dělení ff"    je gama rozdělení (c,d). Při ztrátové funkci
- 62 -
tj. v (4.12) klademe A = |2 a podle (4.15) a (2.15) je bayesovský od
had p, roven
n
ra +   T la 1=1 1
r + n
(4.16)
a podle (4.15), (2.16-2.17) a (A.10) je bayesovský odhad ff~2 roven
d + n/2
c+1/2iI(Xi-X)2+í^
2 *
Tedy klademe-li r = 0, c = 0, d = -1/2, dostáváme běžný odhad u a ff-2 užívaný v klasické statistice. Zobecněný maximálně věrohodný odhad je shodný s (4.16) a zobecněný maximálně věrohodný odhad 6"~2 je
_d + n/2 - 1
* ^2 *
Příklad 4.5. Nechí X = (X1,...,Xk)' má multinomické rozdělení s parametry (m,e), kde m je známé a 8 = (01.....8^.)' má Mrichletovo rozdělení s parametry £ = (<*.,,... ,<*k)'. Označme oCq = 0^. Úkolem je najít bayesovský odhad parametru 8 a bayesovské riziko <>*(q) při ztráto vé funkci
i=1
kde £(x) = (d^íx),... ,^(5))'. Aposteriorní rozdělení parametru 8 je Mrichletovo (o(1+x1,.. .,^+x^). Dále platí
<?(q,<0 =   I    J ( ^(81-d"i(x))2T(8lx)de5       r(xi|z)q(z)dz) (4.17) 1=1 \    ® ~ ®i=1
dx^ ... dx^
= EÍEUe^x))2!^,
- 63 -
kde <S>» |§=(Q1,...,ek)'j 0*8^1, i=1,...,k;   L e± = 1}. Vzhledem k (4*16) bude minima dosaženo pro
<T*(x) = (0^(3).....^c*))'
^•(x) ■ E(e.u) - ~-- ,
iv ~        v 11~ '     c(q + m *
kde jsme použili faktu, že aposteriorní marginální rozdělení 8^ je beta rozdělení ů parametry (c^+x^ oiQ+m~ oí^-x^). Odtud zároveň plyne,
že
E((G.-'';(X))2iX=x) = BCCGi-BOilS-í))2!?-?) - (4.18)
(oťQ^^^Q+m+D
K nalezení bayesovského rizika stačí tedy určit
E(°< j+X^ (rfg+m-^-X^.
Nepodmíněné sdružené rozdělení (X1,....X^) (viz (1.7)) má tvar
r(oŕ0) m!        f        r    k ^i+xi-1
rUi;...PCoCk) * xTITT^T   i        J  ^ 6i d01...d8k «
1        k +x.-1
(m+c(0) *,-1
a tudíž marginální rozdělení je
..        oC+x.,-1     m+oC-oC-x.-l k
(m+o^x N m '
a odtud dále obdržíme
- 64 -
což spolu s (4.17), (4.18) implikuje
,2      f_ .2 ?(q) = (oc0«)(oí0+1k0
4.4     VŽR0H0DN0STNÍ MNOŽINY
Kromě bodového odhadu se při klasickém přístupu k úloze odhadu setkáváme s problémem najít konfidenční množinu pro parametr 6. Přesněji řečeno najít borelovskou množinu D^CXjc®, která s předepsanou pravděpodobností 1-°<pokrývá skutečnou hodnotu parametru 6, tj. platí pro ni
PígeD^ÍX) le) = 1 pro vš. §&(B> (4.19)
Při bayesovském přístupu konfidenčním množinám odpovídají tzv. 100(1-oQ% věrohodnostní množiny (credible region v angličtině) parametru Q. 100(1-o<)% věrohodnostní množina parametru G je definovaná jako libovolná množina C^Zjc®   taková, že
p( e g cu<5)l x) = ^    ^(eií) d*(8) - 1 -<* ; (4.20)
1-o< nazýváme věrohodnost. Někdy nahrazujeme poslední rovnost nerovností ^. Protože f(8|x) je hustota na ® , můžeme mluvit o pravděpodobnosti, že 6 náleží do 0^(1). Na rozdíl od klasického přístupu, kdy konfidenční množinu D^ÍX) lze interpretovat jen v termínech pravděpodobnosti pokrytí. Jak uvidíme na příkladech v řadě případů jsou množiny Cet(X) a D^X) totožné.
Věrohodnostní množina C^ÍX) není obvykle předpisem (4*20) jednoznačně určena. Snažíme se najít množinu CJ[(X) takovou, že
- 65 -
- [fc®; *<e|x)> k^}, (4.2D
kde k^ je největší konstanta taková, že
^      T(ftlDdXe) = 1 - oc   (popř. »  1 -<*). (4.22)
Najít C^(X,) je mnohdy značně obtížné. Poznamenejme, že c£(X,) je všro-hodnostní množina splňující (4.21) a navíc
\       d*(9)  t£    ^      d>(S) Pro vš' Cw^- (4.23) C£(X) CU(X)
Je-li 8 jednorozměrný parametr, hledáme obvykle věrohodnou množiaiu ve tvaru intervalu a mluvíme o 100(1-oQft věrohodnostním intervalu.
Nechí X^,...,7^ je náhodný výběr z N(p.,6*2), kde jut a 5"2 > 0 jsou neznámé parametry s apriorním rozdělením normálním-gama b párameiry (a,r, c, d), a ô R.], r > 0, c > 0, 2d je přirozené číslo. Tedy podle str.
22 je marginální aposteriorní rozdělení náhodné veličiny (u-p.*) (d"r/c*)1/2, kde^*, c', d*  jsou dány, (2.15), (2.16) resp. (2.1?), je t-rozdšlení o 2d* stupnioh volnosti. Z vlastností t-rozdělení plyne, že Interval
(u* - t (2d*))(c*(d*r)-1)1/2, jU*+ t (d^Xc^á'r)"1)172),
1-V2 1 1W2
(4.24)
kde *1-0^2(d ) je 100(1-^2)% kvantil t-rozdělení o d   stupních volnosti, je 100(1-o0% věrohodnostní interval a je ne jkratší, t j. má vlastnost (4-23).
Marginálni aposteriorní ď"   je gama rozdělení s parametry (c*,d*), kde c* je dáno (2.16) a d* = d + n/2. Toto rozdělení je jednovrcholové s maximem v bodě
~-2 _ ď-1
ale není symetrické kolem tohoto bodu. Tudíž zkonstruovat věrohodnostní interval je numericky velmi obtížné a tak většinou bereme
- 66 -
následující interval za 100(1-*0% věrohodnoatní pro (f .
(H~1(c^/2)JC,',d*), H"1(1-o(/2íc*,d#)) (4.25)
kde H(y;c*,d*) a H*"1 (y;c*,d*) jsou distribuční resp. kvantilová funkce gama rozdělení (c*,d*).
p
Není-li o rozdělení fyi.S   ) nie známo, můžeme na základě metod vyložených v 2.3 volit za apriorní hustotu q* danou (2.37). V tomto případě získáváme všrohodnostní intervaly pro ju a ff~ , položíme-li v (4.24) resp. v (4-25) c< » \ S2, d* = (n-1)/2, kde S2 je dáno (2.38), tj. 100(1-*)% věrohodnoatní interval pro ji má tvar
(X - t1_o</2(n-l)Sn/NrH, X + t^_oí/2{n-l)Sn/fň)
a 100( 1-o()% věrohodnoatní interval pro y  niá tvar
<S2(n-1)/)l2W2Cn-l), S^n-O/^^n-l)),
kde y2(n-1) je 100 % kvantil ^2-rozdělení o (n-1) stupních volnosti. Oba tyto věrohodnoatní intervaly jsou shodné a odpovídajícími 100(1-ot)% intervaly spolehlivosti.
str.8.45
Příklad 1.1 (pokračování). Chceme-li najít 95% věrohodný interval pro kvocient inteligence 9, vyjdeme z apoateriorního rozdělení N(-^j». 100+-||^.x; 69,23). Vzhledem k tomu, že jde o jednovrcholové rozdělení s maximem v bodě ■j2t*. 100+^r.xj bude 95% věrohodný interval a vlastností (4*23)» tj. nejkratší interval, mít následující tvar
(^.100 + |§|.x - 16,3* ^§.100 + |§| + 16,3).
Klasický 95% interval apolehlivosti má tvar
(x-19,6, x+19,6).
Tedy bayesovský interval je kratší.
- Š7 -
Príklad 4«4«    Při kontrole jakosti výrobků bylo náhodně vybráno a zkontrolováno n výrobků. Předpokládáme, že podíl vadných 6 v základním souboru má beta rozdělení (a,b), a >0, b> 0. Chceme nalézt 100(1-«0% věrohodnostní interval. Aposteriorní rozdělení 6 je beta, rozdělení s parametry (a+x,b+n-x), kde x je počet vadných výrobků ve výboru.
Zkonstruovat nejkratší věrohodnostní interval s předepsanou věrohod-ností je obtížné z důvodů stejných jako 6**~ . Za 100(1-«*)% věrohodnost
1    rá 1 ä/
ní interval lze vzít interval (G~ (^j a+x, b+n-x), G~ (1-*; a+x, b+n-x)), kde C"1(y; a+x, b+n-x) je kvantilová funkce beta rozdělení s parametry (a+x, b+n-x). .
i
Při a . = 1, x = 0 bereme však spíše interval (0,1-oin+ ) místo
— 1 -1
(1-(1-ot/2)(b+n)    ,  1-(<x/2)(b+n)~ ). Je-lí a = 0, b = 10, n = 10,
x = 0, d. = 0,05, pak je věrohodnostní Interval (0; 0,1391).
Příklad 4«5. Počet požárů ve městě za týden se řídí Poissonovým rozdělením s parametrem 6. 0 hodnotě 6 nejsou dostupné žádné informace a tak za apriorní hustotu zvolíme
q(9) = 1/8        6> 0 = 0 6 é0.
Jsou-li X1,...,Xn (aspoň jedno Xi je různé od 0) počty požárů v jednotlivých týdnech, pak aposteriorní rozdělení je gama s parametry n
(n, ,2_x-i) (d© o limitní aposteriorní rozdělení). Úkolem je zkonstruo-1=1 1
vat 100(1-<x)% interval věrohodnosti pro parametr 8. Za 100(1-o0# věrohodnostní interval obvykle bereme
(H~V/2,n,Jx.), H"1(1-*/2,n,Xx,),
i 1 i 1
- 68 -
kde H~1(x;c,d) je kvantilová funkce gamo rozdělení s parametry (c,d).
Je-li - 1, pak za 100(1-<<)% věrohodnostní interval bereme
. i
(0,H~ (1-oí;n,1)), což při n = 4, = 0.05 dává věrohodnostní interval C0i0,7489).
- 69 -
5.      TESTOVÁNÍ HYPOTÉZ
5.1 ÚVOD
Nechí náhodný vektor X, = (X1,...,Xn)' má hustotu r(x|8) vzhledem k (T-konečné míře vn, kde 6 je parametr náležející do neprázdné bore-lovské množiny ® c Rj^ Parametr g má apriorní hustotu q(6) vzhledem k S'-konečné míře
Úlohu testovat hypotézu Hfi: 8 <i ©0   proti H1: 8«s © - 0O= , jsou neprázdné borelovské podmnožiny ® , lze formulovat jako statistický rozhodovací problém (®,A,R), kde A je množina rozhodovacích funkcí, které nabývají pouze dvou hodnot d0,d.j, kde di označuje rozhodnutí, že platí hypotéza      (popř. přijmout hypotézu H^), i = 0,1.
Podobně úlohu diskriminace mezi hypotézami H^: geO^, i = 1,... »•• >q> ©-]»••• »©Q jsou neprázdné disjunktní borelovské podmnožiny ©ř LJ ®. = <5), můžeme formulovat jako statistický rozhodovací problém (®,A,R), kde A je množina rozhodovacích funkcí, které nabývají pouze hodnot d^,...,d^, kde di označuje rozhodnutí, že platí hypotéza H^, i = 1,..t,k.
5.2 ZTRÁTOVĚ FUNKCE POUŽÍVANÉ Pftl TESTOVANÍ HYPOTÉZ
Uvedeme si některé nejčastěji používané typy ztrátových funkcí pro úlohu testu hypotézy HQ proti H1 (pro úlohu diskriminace se používají obdobné). Typ velice často souvisí s tvarem hypotéz.
Obecně volíme ztrátovou funkci L s vlastnostmi
L(g,d±) = 0        8 e ©±, i = 0,1 L(8,d±) > 0        8 é®±
- 70 -
1
Jsou-li obě hypotézy jednoduché, volíme ztrátovou funkci
L<§i»di) = 0        i * 0,1 LÍB^d,). = a1 U§.1,dD) = aQ
kde a±> 0, G± = Qít i = 0,1. Z věty 3*3 pak plyne, že se rozhodneme pro platnost hypotézy Hq, jestliže
a-|$r(xle0) > ao(1-^} r<£l§i>» (5.D
pro platnost hypotézy H.,, jestliže platí nerovnost opačná a v případě rovnosti se můžeme rozhodnout libovolně.
V obecném případě používáme většinou jeden ze dvou následujících typů ztrátových funkcí:
L.CS.d,) =0        8& ®, (5.2)
= aá     e 4 ©á    i =* o, 1,
I0(6^.) =0        9e0± (5.3)
= k. dCe^ížx)   e^®i i = 0,1
lede dCB,®^) je vzdálenost (obvykle Eukleidova) 8 od množiny ©if
:> 0, K^^O, i = 0,1. Zatímco ztrátová funkce L* závisí pouze na xom, zda 8 náleží do ©Q nebo ©1, ztrátová funkce nabývá tím větší hodnoty, čím je skutečná hodnota 6 vzdálenější od hypotézy, pro kterou jsme se rozhodli.
Nyní se budeme zabývat vlastnostmi těchto ztrátových funkcí. Pro rizikovou funkci odpovídající L» platí
R<(8,cf) = aQ P(<f(X)=d£/8) 8 6®,
= a, P(ď(5)=d1/8) ®e®0
a odtud dále obdržíme pro bayesovskou rizikovou funkci
- 71 -
<?„(q,<r) = a0 5 P^C^dj/eMejdMe) + (5.4) ®i
+ &1 $ P(<r(X>d.,/§) *(§)**( g).
Pravděpodobnosti P(ítX)=di/§) pro 6e <S>it i = 0,1 obou vlastně pravděpodobnosti chybných rozhodnutí. Pro libovolnou rozhodovací funkci <f platí
P(ď(S)=d(/§) + P^Xj-d^e) = 1 pro vä. §6® (5.5)
^ L<(6,d0)r(e|x)dX(e) = a0P(§e®,/5=j) (5-7) ®i
^ L^e.d^TÍglxídÄÍf) = aiP(ee®0/X=x) (5.8)
Vzhledem k (3*10) se rozhodneme pro dg, jestliže
a^e^/X-x) < a^ígcOo/X-s). (5.9)
V případě platnosti opačné nerovnosti se rozhodneme pro d^, při rovnosti se můžeme rozhodnout pro dQ nebo d1. Tudíž bayesovská rozhodovací funkce S* je vymezená následovně:
<r'(5) = d0    pro P(8^CSyx=3U£-^-- (5.10) = d,     pro P(^®1/?=í)>a^a7
a1
= libovolně pro P( 0e©1/X=x) = a    ' .
i ~ *      a0 1
Čísly aQ,a1 připisujeme hypotézám Hq,H1 váhy, které mohou odrážet závažnost té které hypotézy.
Příklad 5.1.   Doba čekání na autobus na určité zastávce v určitou denní dobu má rovnoměrné rozdělení (0,6). Chceme testovat hypotézu
- 72 -
H0: 8éd, kde d je dáno, proti alternativě E^i G>d. Ze situace na jiných tratích plyne, že 8 můžeme považovat za náhodnou veličinu s Paretovým rozdělením (a,x0).
Jsou-li zjištěné čekací doby X^...,!^, je aposteriorní rozdělení parametru 8 opět Paretovo s parametry (a+1, max(x0,X1,...,Xn))« Tedy platí
d
P(8-čd|X=x) = \ (1+a)(max    x,)a+1 8~a"2 IÍ 6 > max   x, }d8 = (5.11) 5 Oiiin   1 1   OíUn 11
1 - (max Xj/d)
Oáritíl X
a+1
pro d > max
= 0
pro d á max
O^i^n
ti'
P(8>dlX=x) = (max x,/d) Oéiín 1
a+1
pro d > max    x.,, 0*i«n 1
(5.12)
= 1
pro d<imax , 0«iín 1
kde X, = (Xp...,^)'.
Při ztrátové funkci
L(6,d0) = 0
= K
Ke.d^ = o
= K
pro 8 é d pro 8> d pro 8 > d pro 8 « d
kde označuje rozhodnutí, že platí hypotéza H^, i = 0,1; K>0, je bayesovská rozhodovací funkce <?*následující (viz (5«9)):
<T*(x) = d1 pro P(6í dlX=xj< P(8>dlX=x)
= dQ pro P(8^dlX=x)>P(8>d|X=x)
= libovolně   pro P(8^dlx=x) = P(8 >d\x=x).
Vzhledem k (5.11) a (5.12) se rozhodneme pro d1, jestliže
d <. max
nebo
0«i«n
d > max Oéi^n
(max x,ld)a+1>1/2. O&i&n
- 73 -
Máme-li např. d = 15, xQ - 5, a - 3, x,, = 10, x2 « 3i ^3 = 2»
x^ = 5, x5 = H, pak
(max    x, ld)a+1 = (14h5)4> \ .
0áÍí:5 A
Rozhodneme se tedy pro d^.
Ztrátová funkce L** daná (5*3) je užívána především,je-li jedna z hypotéz jednoduchá a ® je otevřený k-rozměrný interval (konečný nebo nekonečný). Používáme ji též v případě, že ô je jednorozměrný parametr a máme-li hypotézy h0: 9í Gq, H1: 6 > BQt nebo je-li 6 = - i, 0,,,. c 5 6j ) ' k r opěrný parametr a raáme-li hypotézu např. HQ1:
Je-3i 9 jednorozmerný parametr, ©otevřený interval, 8qS® , hc: 9 4 6^, H1 s 6 > e0 a je-li ztrátová funkce L#, dána předpisem
Lo(8,d0) = 0 8^60 (5-13)
= 8 - 80   8 > 80
L^ce.d^ - e0 - e   86 e0
= 0 s > e0
pak baye-jovskí rozhodovací funkce je rovna Úq, jestliže
E(e|5=5) ^ e0 (5.H)
a je d.,, jestliže platí nerovnost > .
Přesvědčíme se, že tato rozhodovací funkce je bayesovská. Podle (3.10) stačí spočítat pro libovolnou rozhodovací funkci ď podmíněnou střední hodnotu ztrátové funkce:
♦ 00
E(L0(e,<FU))|x=5) = J t9-e0)T(elx)ďUe)    pro <tt5) = d0
80
eo
= \   (e0-e)f(e|x)dX(8)     pro fix) = dr
- oO
Podle (3*10) se rozhodneme pro dg, jestliže
- 74 -
\ (8-e0)t(e|x)d^e)< \ (80-8)t(e|x)d*(e),
80
což je ekvivalentní
e(s)x=x) = $ e (e|x)d*(e) < e0 ) <eix.)da(§) = e0.
Pro bayesovské* riziko postupně dostaneme:
(q) =    [ 5  IM(6,ô1:x))r(j5|0)q(8)dM8) =
(9*
=  J ( ^ (8-e0)r(x|e)q(e)dKe))d^n(x)
jxíE<eix=x)<e0^ e0
-   [ (8-80)r(x|8)q(e)dM8))dVn(z:; ^xjE(8\X=x)>80\-«o g
^ (E(elX=x)-Q0)r(x)d-vn(2) - 5   (8~e0)q(8)dX(b) ,
^xjECel^xke^
Příklad s.1 (pokračování). Při stratové funkci
= 8 - d pro 8 > d L^ÍS.d.,) =0        pro 8> d = d - 8 pro 8ád
je bayesovská rozhodovací funkce rovna dQ, jestliže
max(xn,...,x^) E(8|x=x) = -^-— . a ^ d.
Pro data uvedená v první části příkladu se i při této volbě ztráto vé funkce rozhodneme pro d^.
- 75 -
5-3     TESTY PRI ft«S>Q) ° O
Oba typy ztrátových funkcí uvedené v předchozím paragrafu však mají jednu nevýhodu. Je-li q(6) = 0 pro sk. vš. (vzhledem k >.) S e. ®£ kde 1 = 0 nebo 1, pak bychom ae nikdy nemohli rozhodnout pro hypotézu H^, nebol nulovost apriorní hustoty Implikuje nulovost aposteriorní hustoty. Takováto situaoe nastane napr. je-li ®^ ^ ób^m ® 6 ^]£t r< k, ^ Lebesguova míra a  >(©) > 0 (u všech apriorních hustot uvažovaných ve 2. kapitole byla 7i Lebesguova míra).
V tomto případě se dá postupovat jedním ze dvou způsobů.
Předpokládejme, že   M®Q) ■ 0. Místo hypotéz HQ: 6e ®0, H1: 66@1 budeme uvažovat hypotézy HqI §6®*q, H*: §«(*)-© q »®^f kde ©Je \ taková, že ®'Q 3 Q)Q
0 < \ q(6)dX(e) < 1
<39(
a míra 7v(©q-<S^) je z praktického hlediska malá. Je-li např. ©0 jednobodová, bereme za (j^ vhodné okolí tohoto bodu.
str. 8.45^
Příklad 1.1 (pokračováni!. Úlohu testovat hypotézu HQ: 6 ■ 100 proti hypotéze        6 £ 100 (apriorní pravděpodobnost, že nastane HQ je rovna nule) nahradíme úlohou testovat hypotézu Hq: 9e(100-a,100+a) proti H*: Bít (100-a,100+a), kde a>0 volíme podle konkrétní situace, např. a = 5« Pak při ztrátové funkci (5.2) s aQ = a1 (vzhledem k (5.10)) se rozhodneme pro Hq, jestliže
Je-li např. x = 110, pak se rozhodneme pro H*   , při x ■ 90 se rozhodneme pro H*.
Při HQ: § = g0 (jednoduchá hypotéza) používáme též jiný postup. Definujeme nové apriorní rozdělení. Bodu 8q přiřadíme apriorní prav-
- 76 -
děpodobnost q > 0 a borelovským množinám Bc®-\q^} přiřadíme pravděpodobnost
P(§^B) = (1-q) $ q(8)dM§).
B
Pák aposteriorní rozdělení 8 je
q r(x|fin)
K6-g0J-j). -=~2- (5.15)
- Ä      q r(x|00)+(l-q) J rCx|e)q(8)d*<8)
p -       <1-^B r(xl§)q(8jdMg)
l* *      q r(x|§0)+(1-q) ^r(x |8,)q(§)d*(§)
Marginální hustota X je rovna
r*(x) = r(x|60)q + r(x[8)q(§)d*(§). (5.16)
Na ® - \&q[ existují apriorní i aposteriorní hustoty q* a T* vzhledem k *j
q*(6) . (1-q)q(8) g*©- feQ\ (5.17)
n§lx) = Cl-q?^pq(fl?     §fi®- ÍQQ) (5.18)
Obdobně lze postupovat i v obecnějších případech, např. je-li
®0 m * ®0> §ogr1* ®d€ ^k-1* Ten-to postup nemusí být vždy vhodný, jak nyní uvidíme.
Lindlevův paradox.   Necht X má rozdělení 11(8, U"2), 6"2> 0 známé, a testujme hypotézu HQ: 9 = 8Q proti H1: 8 / 8Q. Předpokládejme, že apriorní pravděpodobnost, že 9 = 8q je q£.(0,1) a apriorní hustota 8mrf|g0] je (1-q)(2TTb2)"1/2 exp|-(8-a)2(2b2)"1}, b^O, aeRr Z (2.10) a (5.16) obdržíme pro marginální hustotu X
r*(x) =        » exp^~ 1A(x-8n)2?+ y      yq n   expí " a—iy-(x-a)2í, Í2^F      l 2(r      0  J    121(^+1)*)       i 2(b2+ff2) J
icH, (5.19)
- 77 -
Dále z (5.15) plyne, že aposteriorní rozdělení je
P(0«8o|X*x) = eXpl"^7 (x'80)2} Cr#(x))"1 (5.20)
ť(e|x) - . ,>  expí--^—rr Cx-a)2l (r#(x))~1 (5-21)
Urtf+r)      *   2(b2+<T) 1
kCUí r*(x) je dáno (5.19).
Je-li ztrátová funkce dána (5.2) a aQ = a1, pak podle (5.10) je bayesovská rozhodovací funkce rovna dg, jestliže
P(8=fl0JX=x) > 1/2.
Donadíme-li na levé straně z (5.20), dostaneme po jednoduché úpravě ekvivalentní nerovnost
Položme déle pro jednoduchost b2 = 1, a = 0Q, q = 1/2, ^2 = exp(-25). Pak je poslední nerovnost ekvivalentní nerovnosti
|í^e'! «1 +e-2V/2 (iog(1 +.a5))i/z,
přičemž výraz na pravé straně je větší než 5» Docházíme tedy k paradoxnímu závěru. Pro hypotézu Hq se totiž rozhodneme i v případě
x-8,
'0
1".
zatímco při klasickém přístupu bychom Hq zamítli i na hladině 5,1.10"7.
Z toho lze soudit, že bua ztrátová funkce nebo apriorní rozdělení nebyly vhodně zvoleny (např. hodnoty blízké 0Q jsou mnohem pravděpodobnější než hodnoty vzdálenější).
Tento paradox publikovaný Lindleyem vyvolal řadu diskusí, z nichž některé byly publikovány, např. v [8].
- 78 -
Na závěr paragrafu se zmíníme ještě o jednom typu testů, a to testech podílem aposteriomíoh hustot. Pro test hypotézy HQ: B<£<$>0 proti hypotéze H1: 8 *í ®0 sestavíme podíl
sup F(8|x)
e«®0
sup    t(§|s) (5*22) 06®
Tento podíl je vždy < 1. Hodnoty podílu blízké jedné indikují platnost hypotézy HQ, zatímco malé hodnoty indikují platnost hypotézy H-j.
Tato metoda je doporučována, pokud ^   q(§)d\(g) = 0 nebo je nu-le blízký. Neodpovídá obecně žádné ztrátové funkci.
Je analogií testu podílem věrohodností v klasické statistice a používá se též jako v klasické statistice pro test lineárních hypotéz v lineárním modelu. Dosazením (2.30) do (5.22) obdržíme po delším výpočtu obecný tvar testové statistiky, který je ve speciálním případě roven funkci F-statistiky používané v klasické statistice. Další podrobnosti o této metodě a jejím využití při testech v lineárních modelech může čtenář najít např. v [5], {VI*
5.4     TESTY 0 STREDNÍ HODNOTĚ NORMÁLNÍHO ROZDĚLENÍ
Z látky vyložené v předchozích dvou odstavcích můžeme získat řadu testů o střední hodnotě normálního rozdělení. Uvedeme si některé z nich.
A. Nechí x.|,*..,xn je náhodný výběr z normálního rozdělení N(|í,6"q), 6"q>0 známé a yU. je neznámý parametr.
Uvažujme úlohu testovat HQ: pí - jiQ proti R\j s |u / u-Q. Předpo kládě jme, že apriorní rozdělení |i je následující t P(|x = jíq) - q a na R1 - {jLq\ hustotu
- 79 -
(1-q)(2Tb2)"V2 exp{-(|t-a)2(2b2)"1} ,
a6H1P b2>0. Pak platí
^■falfrg) ^rrp'1^2 exp[4(xl-1i0)2(2trŽ)-1) Pgi^lx-x) " (1-q).r(x)
kde r(x) je dáno (2.10). Při ztrátové funkci
(5.23)
Vfi,d0) " 0     f* " ^0 (5.24)
■ ao r * /*o
L/ft.d^ = 0    p j< pQ
b a
1 ř-f»0.
kde a.q > 0, a^> 0, se rozhodneme pro dg, jestliže
(použili jsme <5»9), (5.23) a (2.10)). Při ztrátové funkci
WMo* = ^"řo)2   |" * R1 (5*25)
= k2 P - ft)
-0       K * ř0»
kde k.j> 0, k2>0, se rozhodneme pro dQ, jestliže k1 B«f*-|*0)2|í',5) <■ k2 ^"PolW
tj.
^(i-qXerf^p^no)2) <. k2 Pty-folí-*), kde (U., a ff2 jsou dány (2.9).
Mějme hypotézu H0xjxí,|Ll0 proti H1:jbi>|-t0 a předpokládejme, že
o
apriorní rozdělení jx je H(a,b ). Při ztrátové funkci
- 80 -
L0((Lt,d0) = 0 jxts^ (5.26)
se vzhledem k (5*14) a (2.9) rozhodneme pro dQ, jestliže I^b2 +a o-*
^-s-T * ft>-
nb* +  ťř-g 1 u
B. Nechí X1t...,Xn je náhodný výběr z H(jU,5^), kde    a fr2> O jsou neznámé.
Mějme úlohu testovat hQ:u = ju0 proti h1 x   / Předpokládej-me, že apriorní rozdělení (j/,0 ) je následujíoíj P(|t « |Uq) = q, podmíněná apriorní hustota C    při daném u = pQ je gama rozdělení (c,d), podmíněná apriorní hustota (|i, 5"~2) při podmínce ji £ jlQ je normální-gama s parametry (a,r,c,d) (hustota je dána (2.18)). Pak pro podmíněnou hustotu r(xjp=ju»0) náhodného vektoru Z při podmínce |H = jU. 0 platí
• ^ «r2)d-1 expf-c/^aer2 -
-n/2   c* ^2 +
a tedy podle (5.15)
q r(x|ua|iu) í("=KolX=5) - q r(*lr^)VU-qMx; '
kde r(§) je dáno (2.20). Při ztrátové funkci (5.24), která ne-závisí na ď   > 0 se pak rozhodneme pro dQ, jestliže
- 81 -
Nyní uvažujme ztrátovou funkci
L»#C^,(r"2|d0) = k0cr"2(pi-Jt0)2   u & Rv <r"2> 0
= 0 (Ut J* pi0,   fr2> 0,
kde kQ> 0, k, > 0. Pro libovolnou rozhodovací funkci /(x) platí
BCl^.^VWMfrS) = (l-qJkoEl^-Uo)2!^} je-li<f(x)=d0
- q k, P(^=u0|x=x)     je-li <T<x) - dr
Využitím (2.15), (2.16) obdržíme
BC«'"2í-řo)2l3r«r'ÉřD) = ^^[(fiQ-^Wín+r)-1^^) -
kde u* a c* je dáno (2.15) resp. (2.16). Odtud plyne, že se rozhodneme pro dg, jestliže
Cl-q)k0(S^ä(^0-fiL*)2+(n+r)-1) < q k, P<ji-p0l .
Při úloze testovat HQ»Ji4ft0 proti E\,:[i>p0 a ztrátová funkci (5.26) pro vš. C   >0 se rozhodneme pro dQ, jestližp
r a + n S , u r + n    * TO"
(stačí dosadit (2.15) do (5.14)).
C. Uvažujme 2 nezávislá náhodná výběry X,,...,^ z H((x1fff2) a Y,,.*-***,Yn   z H(p2,ff ^* f1!' í* 2» °~ > 0 neznámé a úlohu testovat hypoté-
- 82 -
zu Hq: ft^fig proti H1: f*i>f<-2' Předpokládejme, že apriorní rozdělení      ,(t2,e-"2) lze popsat následovně. Podmíněná apriorní rozdělení (f^T.Ug) při daném (f2 je B( (a1 ,ag),     q1 * °-d), marginál-
? 2 ní apriorní rozdělení &~   je gama s parametry (c,d). Pak aposte-
rioroi rozdělení """Cfl-j»fa* ^\        parametrů      ,jLt2, r"2) je násle-
dující. Podmíněné aposteriorní rozdělení (p-^tjU-g) při daném 6*
je N(a*,a*2)', ^o^^íAn rO>, kde
n1 2 n
r1a1+ I Xi 1 1 i=1 x
ř-2
rňa.+ Ť2 Y,
r1 + n1
a* .
2
—?
Marginální aposteriorní rozdělení 6*"    je gama s parametry (c*,d*),
r2 + n2
kde &* ». d+(n1+n2)/2 a
^ i=1     1 * i=1     1 r1+ n1
r2n2(Ý-a2)2 r~ t- n~
42 i=1
Při ztrátové funkci
L(řl*|u2'6'"2,d0) s 0
= h "ř2
= o
í1
platí pro lib. rozhodovací funkci <^(x,y E(L(Ml,u2,6--2?<r(3[,Y))lz^,X=v) .
* fí2, fr~2> o
9T2> 0 ťf2> 0
* Pí
>ř2«
4oo
= 5 S T<H2ÍH) <řlf2'lř"2)l*-í) ^d^diT2 procTC^x)^.
- 83 -
Fo úpravě zjistíme, že bayesovská rozhodovací funkce bude rovna čLq, jestliže
tj. jestliže
r1a1 + n^x.      r2a2 + n2^ r1 + n1    4     r2 + n2 *
Bayesovská rozhodovací funkce bude rovna d^ jestliže platí nerovnost .
i str^8,45
Přiklad 1.1 (pokračováni). Uvažujme úlohu diskriminace mezi hypotézami H.,: 6 4 90, H2: 90<8<110, YLy. 8>110 (které odpovídají podprůměrné, průměrné a nadprůměrné inteligenci) a předpokládejme, že ztrátová funkce je dána předpisem (d^ označuje rozhodnutí, že platí):
L(8,d.,) = 0 8^.90
= 6 - 90   90< B<L 110 = 2(8-90) 6>110.
L(6,d2) = 90 - 6   6 *90
= 0 90^ 8 <:110
= 8 - 90   8 > 110
L(8,d3) = 2(110-8)     8< 90
= 110 - 6   90 < 8 <: 110 = 0 8^110.
Tedy ztráta závisí na vzdálenosti od hypotetické množiny, jestliže jde o 8 ze 'kousední" množiny a na jejím dvojnásobku, jestliže 6 nenáleží ani do hypotetické ani do "sousední" množiny. Přímým výpočtem
dostaneme pro lib. rozhodovací funkci
110 +» E(L(e,<r(I))lx»x) «    JJ (8-90)*(8lx)d0+2 3 (8-90)f(e|x)de jestliže
90 110
o^x) - dv
- 84 -
90 *ľ* E(L(e,<rOC))lX«x) -   $ (90-e)r(8lx)d8d- \ (G-110)i(8lx)d8 jestliže
110 o-Cx) * d2,
90 110 E(L(8.<f(X))lX=x) =  ^2<110-8)T(8lx)d8+.J(110-8)f(8|x)de jestliže
90 <T(x) - áy
Specielně při x = 115 platí
E(L(8,<r(X))lx»115) = 34.32       přiď(115) = ^
=3,55 - d2
-   3,24 = d3.
Tedy bayesovská rozhodnutí je d^. Dále platí, že
P(6 *90|x=115) « 0,005 P(90i 8 -C110lx=115) - 0,475 P(110> e|x=115) = 0,520.
Odtud plyne, že při ztrátové funkci
l*(B,á±) =0    8 e ®±
* 1     6 £ ®±     i = 1,2,3
přičemž
Q = (-oo,90>, ®2 = (90,110),  ®3 = <110,+~), je bayesovské rozhodnutí opět d^.
- 85 -
APENDIXj PŘEHLED POUŽITÝCH ROZDELENÍ
Niže uvedené hustoty jsou hustoty bud vzhledem k čítací míře (pro diskrétní rozdělení) nebo vzhledem k Lebesguově míře (pro spojitá rozdělení).
Binomické rozdělení s parametry (m.p) (m ■ 1,2,...; p &<0,1>) má hustotu
r(x|m,p) = (m) px(1-p)m-x    x - 0,1.....m. (A.1)
Platí t .,
EX ■ mp,       var X • mp(l-p),       J(p) = pfjlp') i (A.2)
při m = 1 mluvíme o alternativním rozdělení.
Poissonovo rozdělení s parametrem X  (A > 0) má hustotu
r(xl>) = e~% Xx (x!)"1,        x - 0,1,2,... (A.3)
Platí
EX - X,     var X » X,       J(Á) « >"1 (A.4)
Nef^a;ivně binomické rozdělení s parametry (a.p) (a> 0. pe<0,1» má hustotu
r(x)a,p) « (a+x~1) pa(1-p)x    x « 0,1,2,...   (A.5)
Platí
j(p) « _ä-
P2(1-P)
(A.6)
EX = a(1-p)p~1,        var X = a(1-p)p"2,
Při a » 1 mluvíme o geome triokém\_rozděleni.
Normální rozdělení a parametry J4 a fr2. (ozn. N(u,6"2), f e E^, <r2>0) má hustotu
- 86 -
r(x|fi,ff2) - <2Tff2r1/2 *xt>[-U-\l)2(2<ŕr'i}   x«Rr U.7)
Platí
ES = (x,        var X - 32,        J(u,6" ) = <*~q\2%-& • <A.8)
Gama rozdělení s parametry (a.p) (a>0), p>0) má hustotu
r<xla,p) - aP(r(p))"1 x*-1 e""       x>0, (A. 9)
= 0 x <.0,
4-00
kde T(p) « [ t5""1 e~* dt. Platí 0
EX = p a"1,        var X ■ p a"2. (A.10)
Při p » 1 mluvíme o exponenciálním rozděleni* Při p = n/2 a a « 1/2 mluvíme o ^-rozdělení (centrálním) o n stupních volnosti.
Beta rozděleni s parametry (a.b) (a> 0, b > 0) má hustotu
r(x|a,b) - (B(a,b))~1 xa~1 O-x)*"1        x e (0,1), (A.11)
■ 0 x É (0,1),
1
kde B(a,b) « \ xa"1 (1-x)b~1 dx. Platí 0 "
EX = a(a+b)~1,        var X = ab J(a+b)2(a+b+1)]~1. (A.12)
Rovnoměrná rozděleni s parametry (a.b) (a<b) má hustotu
r(x|a,b) - (b-a)"1        x 6 (a.b) (A.13) • 0 x t (a,b)
Platí
EX = (a.+b)/2,        var X » (b-a)2/12. (A. 14)
- 87 -
ParetoYo rozdělení s parametry Ca.b) (a>0, b > 0) má hustotu
r(x(a,b) = (a/b) (b/x)a+1       x>b (A. 15)
= 0 x<b.
Pro a>2 platí
EX « ab(a-'1)"1,        var X * ab2((a-1)2(a-2)l        (A. 16)
Studentovo (t-) rozdělení o n stupních volnosti a parametrem yj Cp «. R1) má hustotu
P(S±1) 2 -n£i
Má-li náhodná veličina X rozdělení Y rozdělení^2 o n stup-
ních volnosti a jsou-li X a Y nezávislé, pak náhodná veličina
T - ^Š- fn
má t-rozdôlení o n stupních volnosti s parametrem |i. Platí
BX «= jit (A. 18)
a pro n>2 platí
var X a jjjjx •
F-rozdělení s n^ a n„ stupni volnosti má hustotu
# , r<-VS)      n1 n1/9        íl. ~L2  n /2-i
rxn1(nJ--n,   „ 2 (-1) 1/2 (1+ix)     2    x 1
12      r(|1) P(§2)        n2 n2
x«Rr (A.19)
Jsou-li náhodná veličiny X a Y nezávislá a mají-li ^-rozdělení o n^ resp. n2 stupníoh volnosti, má náhodná veličina
X/n-
p-Y7ň7
- 88 -
{•-rozdělení s n, a      stupni volnosti. Pro n2 > 2 platí
n2
EP - 5"*5 (A.20)
a pro n2>4
var P * -*—;—s-* . (A.21)
^(^+^-2) n1(n2-4)(n2-2)2 *
Multinomické rozdělení § pn-yAm^try (d.ii) (n « 1,2,...j g » (p,,... • ••íPjj)', Pjl& <0,1>, i ■ 1,..«,k(   I pA = 1,       2) má hustotu
r(x|n,p) - x^Jtlj^\   Pi1--^    Z » (x,,...^)', (A.22)
,...,k, x^
jinak.
xí = 0,...,n, i « 1,...,k,   1   Zi ■ n
1 i-1 1
Platí
EX± ■ npit var I± - ap^O-Pj) i ■ 1,...,k, (A.23) oovtt^Xj) - -np^jj        i, j - 1,...,kj i j£ j,      (A. 24)
1...1 1/p. n
j(p
i.....w •jfe<5;::|>+n< o -i/jfc.,'- u-25)
Dirichletovo rozdělení (mnohorozměrné beta rozdělení) s parametry ^ - (°< 1.....0<]E) ' («3<i> 0, i « 1.....k) má hustotu
r(cf1+...-Mk)   oL-1 tf.-l
^gte* " pu1)...ruk) xi   —V    s-(xi.....»k>' (A-26)
x±> 0, i - 1,...,k,  Í.Xi = 1 1 i»1 x
m 0 jinak.
Platí
Kli * ST'       var Xt «   i   u   1   , i - 1,...,k, (A.27) 0 *5(*0 + 1)
- 89 -
cov(X,,X,) - -   A*-1^     ,    d,i » 1.....k| i é á, (A.28)
1   3 ■ío(*0+1)
kde o(n
u i»1
Í oC±.
Marginální rozdělení X± je beta rozděleni s parametry <*±, oíQ - cC1.
k-rozměrné v
^normální rozděleni a parametry fi a<4 (ozn. Nk(fit!3L)) ({{ f ^ijo -symetrická pozitivně definitní matice typu k * k) má hustotu
r(x|£,ž) » (2Trn/2(det£r1/2 exp^i^T^X-^l' (A'29>
Platí
EX = ji , var X = Z . (A.30)
k-rozměrné Wishartovo rozdělení (centrální) s n stupni volnosti
s parametrickou maticí ž- ( ž - symetrická pozitivně definitní matice
typu kx k) má hustotu
rCxJn,© = c^Uetlr1^2 (det ,)<**-1>/2 . U.31) . exp|- J tr(^T1x)\   pro vš. x =f f11'"''f 1k\
kde
Cv1. - ^T^1^  fr  r(S±1=Í). (A.32) k,n 3a1 ^
Je-li X^...,^ náhodný výběr z pak náhodná matice
ä -  i li íí
i=»1
má k-rozměrné Wishartovo rozdělení s n stupni volnosti s parametrickou matici X• Náhodná veličina
a'§ a <a'£&)~1.
- 90 -
kde g * (a1.....a^) je vektor konstant, má      -rozdělení s n stupni
volnosti*
v-ro«ng;rpá t-r^^ynť (o^ráTn-Q b n stupni volnosti b parametry pal (j^tsRfc, I.- symetrická pozitivně definitní matice typu k x k) má hustotu
k+n
(A. 33)
PC£^)(detD"1/2
Platí
a pro n > 2
ES-jtó U.35) var T -        £. (A.36)
Nechí má náhodný vektor % « (Y.,,... ,Yk) ' rozdělení H^Cg.^.), kde X-je regulární, nechí má náhodná veličina Z ^-rozdělení s n stupni volnosti a | a Z jsou nezávislé. Definujme náhodný vektor X -« (X1,..•,Xk)' předpisem
X± = ^|  >Jn + i « 1.....k. (A.37)
Pak náhodný vektor £ má k-rozměrná t-rozdôlení s n stupni volnosti a parametry |U »      ,... .J^) a II.
Dvojrozměrné Paretovo rozdělení s parametry (r^r^.a) (r.,<r2, a >0) má hustotu
x aCa+DCr^-r-)8^
r(x1tx2J r^rg.a) - -—    (x^Xg)*^, (A.34)
V Xg-x^ í
xT*r1» T2<x2' « 0 jinak.
- 91 -
Pro a >1 platí
EX1 =
fills
"  a-f
ar0-J*i
EI,
(A. 35)
a pro a>2
a(r^>-r1) var X1 - var X2 - (a-1)2(a.2)
(A.36)
- 92 -
LITERATURA
Anděl. J.: Matematická statistika. SN TL, Praha 1978.
[23   Berger, J. O.: Statistical decision theory, New York Ino.,
Springer-Verlag, 1980.
[3]   Blackwell, D. a GÍshick, M. A.: Teorie her a statistického
rozhodování, Praha, Academia 1964*
[43   Box, G. E. P. a Tiao, G. C.: Bayesian inference in statistical analysis, Reading, Massachusets, Addison-Wesley, 1973.
£5}   De Groot, M. H.: Optimal statistical decisions, New York,
lác-Graw-Hill Company, 1970 (ruský překlad: Optimalnyje statisticeskije řešenija, Moskva, Mir, 1974).
[6] Lindley, D. V.: Introduction to probability and statistics from
a Bayesian viewpoint, Part 1. Probability, Part 2. Inference, Cambridge, Cambridge University Press, 1965«
[7]   Maritz, J. S.: Empirical Bayes methods. London, Methuen and Co,
1970.
[e]   Shafer, G.: Lindley's paradox. Technical Report No. 125, Department of Statistics, Stanford University, Stanford 1975«
[9]   Winkler,R. L.: Introduction to Bayesian inference and decision.
New York, Holt, Rinehart and Winston, Inc., 1972.
Knihovno mat.-fy;, fain* §| m96 1W 00 řraho-Koriln,SotolwÉifi
- 93 -