M5120 - cvičení
Odhady parametrů metodou maximální věrohodnosti a momentovou metodou
Ondřej Pokora (pokora@math.muni.cz)
Ustav matematiky a statistiky, Přírodovědecká fakulta, Masarykova univerzita, Brno (podzim 2015)
Ondřej Pokora, PřF MU (2015)
M5120 - cvičení - Odhady parametrů
Maximálně věrohodné odhady
Náhodný výběr Xi,... ,Xn rozsahu n z rozdělení pravděpodobnosti P:
► X~P (z' = l,...,n)
► Xi,...,X„ jsou stochasticky nezávislé
► Co to znamená pro vztah mezi simultánní a marginální hustotou pravděpodobnosti f(x) (pravděpodobnostní funkci p(x)) ?
Rozdělení pravděpodobnosti závislé na parametru (parametrech) 8:
► f(x),p(x) jako funkce proměnné 8 =>■ L(8)
► Věrohodnostní funkce L(8) a logaritmická věrohodnostní funkce £(8):
L(8) = L{8;xl.....xn) = f\f(x$&) = flpfae)
i=l i=l
í{8) = í(8;x1.....xn) = \nL{6;x1.....xn) = £ln/(x,;0) = £lnp(x,;0)
i=l i=l
► Jak odhadnout 8 ze znalosti Xi,... ,Xn ?
Ondřej Pokora, PřF MU (2015)
M5120 - cvičení - Odhady parametrů
Maximálně věrohodné odhady
Myšlenka: parametr 8 odhadneme hodnotou, která je při daném náhodném výběru ze známého rozdělení pravděpodobnosti nejvíce pravděpodobná.
Maximálně věrohodný odhad (MLE = maximum likelihood estimator) 0ml
parametru 8 se získá maximalizací věrohodnostní funkce L(6):
(?ml : L(6;xi,... ,xn) —»■ max,  resp. £(8;xi,... ,xn) —»■ max
6 6
To znamená najít stacionární bod funkce 1(8) vzhledem k 8,
—^(0) = 0       (věrohodnostní rovnice), od
a ověřit 2. diferenciál, resp. derivaci,
a2
38^
s=sML
Poznámka: v případě vektoru parametrů 8 řešíme soustavu věrohodnostních rovnic pro 8 z 1. derivací a ověřujeme negativní definitnost matice 2. derivací.
Ondřej Pokora, PřF MU (2015) M5120 - cvičení - Odhady parametrů
Odhady parametrů metodou momentů
(Teoretické) momenty rozdělení pravděpodobnosti náhodné veličiny X
Mp(0) =E(XP),      p = 1,2,... závisí na neznámých parametru (parametrech), které(ý) chceme odhadnout. Výběrové momenty počítáme z realizace náhodného výběru:
mP = ^tXi'      P =1-2.....
z'=l
Položíme
Mp(6) = mp,      p = 1,2,... , čímž obrdžíme soustavu rovnic pro parametr(y) 8.
V praxi volíme tolik rovnic (taková p), abychom jejich řešením (algebraickým, či numerickým) byli schopni spočítat odhady všech neznámých parametrů.
Ondřej Pokora, PřF MU (2015) M5120 - cvičení - Odhady parametrů
X je diskrétní náhodná veličina s pravděpodobnostní funcíp(x; 8) 0     1 2 3
p (x; 9)
1(1
—-YTi-7yT~ závislou na parametru 8.
6) 3Í1-ŕV
Pro náhodný výběr X = (3,0,2,1,3,2,1,0,2,1) rozsahu 10 spočítejte
► maximálně věrohodný odhad 8^ pomocí maximalizace L(8),
► maximálně věrohodný odhad 8^ pomocí maximalizace £(8),
► odhad 0m momentovou metodou.
Analogické odhady pak spočítejte i pro náhodný výběr X* = (3,0,2,1,3,2,1,0,2,0). Výsledky porovnejte.
EX
X: 8ml
$M — jj\        X*: 0ML — 5. $M — yj
Ondřej Pokora, PřF MU (2015)
M5120 - cvičení - Odhady parametrů
Příklad 2
Pro náhodný výběr X = (Xi,... ,Xn) z binomického rozdělení pravděpodobnosti Bi(m, 8) s daným m 6 N odvoďte odhady neznámého parametru 8 E (0;1) metodou maximální věrohodnosti a momentovou metodou. Odhady pak vyčíslete pro náhodný výběr X = (2,3,3,2,2,3,3,4,1,3) a m = 8.
p(x;8)
(™)8x(l-8)m-x,   x = l,...,m,
O,
jinak.
í{8) = Eln (ľ) +ln0 E x<+M1 - °) E(m - xú
i=l i=l
de   i»      i »
— = - >  X;--> (m—X;)
d8     8 *-í 1    1-8 h "
í=i
í=i
n n 1 13
věrohodnostní rovnice: 0 Y^(m ~ x») = (1 — ^) Ex< ^ ^ML = —^ = 7T~
1^
Ondřej Pokora, PřF MU (2015)
EX = m8      8M= —X m
M5120 - cvičení - Odhady parametrů
Pro náhodný výběr X = (Xi,..., X„) z rovnoměrného spojitého rozdělení pravděpodobnosti Rs ([0;r?]) odvoďte odhad neznámého parametru 8 > O metodou maximální věrohodnosti a momentovou metodou.
O < x <
f(x;6) = { 6
I O, jinak
1(0) =
o,
O < Xi < jinak.
i = l,...,n,
Ôml = max{X1,...,X„}
Tento ML-odhad ale není vhodný, je totiž vychýlený, konkrétně podhodnocený. Proč? Odhad momentovou metodou je v tomto případě nestranný:
EX
2'
2X
Ondřej Pokora, PřF MU (2015)
M5120 - cvičení - Odhady parametrů
Příklad 4
Pro náhodný výběr X = (Xi,..., X„) z rovnoměrného spojitého rozdělení pravděpodobnosti Rs ((0;8)) odvoďte odhad neznámého parametru 8 > O metodou maximální věrohodnosti a momentovou metodou.
10, jinak.
■",   O<x,<0, i=l,...,n,
1(0) =
O, jinak.
ML-odhad zde neexistuje. Proč?
Odhad momentovou metodou vyjde stejně jako v předchozím případ.
Ondřej Pokora, PřF MU (2015)
M5120 - cvičení - Odhady parametrů
Příklad 5
Pro náhodný výběr X = (Xi,...,Xn) z rovnoměrného spojitého rozdělení pravděpodobnosti Rs ([6;6 + 1]) odvoďte odhad neznámého parametru 8 E 1R metodou maximální věrohodnosti a momentovou metodou.
f(x;6) =
1,   8<x<8 + l,
1(0) =
O, jinak.
1,   6 <Xí<6 + 1, i=l,...,n,
O, jinak.
Odtud lze pro hledaný odhad nalézt podmínku
max {Xi.... X„} — 1 < 0ml < mm {Xi____Xn},
ML-odhad tedy v tomto případě není určen jednoznačně. Proč? Odhad momentovou metodou je v tomto případě nestranný:
EX = 6 + X-,      8U = X - X-
Ondřej Pokora, PřF MU (2015)
M5120 - cvičení - Odhady parametrů
9/20
Příklad 6
Pro náhodný výběr X = (Xi,..., X„) z geometrického rozděleníGe(8), kde X značí počet neúspěchů před prvním úspěchem, odvoďte odhady neznámého parametru 8 E (0;1) metodou maximální věrohodnosti a momentovou metodou. Odhady pak vyčíslete pro náhodný výběr X = (O,1,0,2,3,1,1,0,3,0).
(x;8) =
1(1-8)x,   x = 0,1,2,
O,
jinak.
£(0) = n lnfl + ln(l - 0) £"=i x,-,
věrohodnostní rovnice: 0 £"=11; = (1 —8)n,
a     —   1   — 10 l+X 2T-
Jakým způsobem spočítáte střední hodnotu? EX = —§
i_
l+X
Ondřej Pokora, PřF MU (2015)
M5120 - cvičení - Odhady parametrů
Předchozí úlohu vyřešte pro náhodný výběr z geometrického rozdělení, kde X
značí počet všech pokusů až do prvního úspěchu.
Odhady pak vyčíslete pro náhodný výběr X = (1,2,1,3,4,2,2,1,4,1).
p(x;6) =
e(í-ey-\ x = 0,1,2,
O, jinak.
x
EX=I,
10 21 ■
Ondřej Pokora, PřF MU (2015)
M5120 - cvičení - Odhady parametrů
/20
Příklad 8
Pro náhodný výběr X = (Xi,...,Xn) z normálního (Gaussova) rozdělení N(}i,cr2), odvoďte odhady neznámých parametrů ji, o2.
f(x;ji,a2) =
a/2 71 í
: exp
/ \-n/2 n
L(li,<72) = (lna2) YlexP
i=l
2(t2
(Xj - ji)1
2<72
1
l(li,<72) = --ln(27T)--lnLT2- —
í=i
Hledaáme stacionární bod }i,cr2, derivujeme dle ji a a2
U      1 f l \
dl
(=1
d{a2)       2a2    2lt4 ^
Uvědomte si geometrický význam parametru \i a první věrohodnostní rovnice. Při odvozování druhé rovnice je výhodné se vyhnout derivování podle a.
Ondřej Pokora, PřF MU (2015)
M5120 - cvičení - Odhady parametrů
řešení (pokračování)
Dostáváme věrohodnostní rovnice
■y    n n
— Y^(xí - jif = 0,      no2 = Y^(xí -jif.
a  i=l i=l
Z první rovnice určíme ML-odhad \i, do druhé jej pak dosadíme a určíme ML-odhad v1:
— 1 " —
Fml = X,      (j2ml = - V(xí - X)2
nf~[
Tyto výsledky už pro nás přitom nejsou novinkou. Jak se ML-odhad c2 liší od výběrového rozptylu?
Ondřej Pokora, PřF MU (2015)
M5120 - cvičení - Odhady parametrů
13/20
řešení (pokračování)
Pro kontrolu maxima potřebujeme spočítat Hessovu matici
d2t
#1 _
dfl2 d}l(<T2) d2i
0
yd{<j2)}i d{a2)2
a ověřit její negativní definitnost (ve stacionárním bodě)
2
Hi
< 0,
2a6
0
n 2(A
> 0
Odhady momentovou metodou:
Fm = X,      rr2M = m2- (X)2
i
Ondřej Pokora, PřF MU (2015)
M5120 - cvičení - Odhady parametrů
Příklad 9
Pro náhodný výběr X = (Xi,...,Xn) z logaritmického normálního rozdělení pravděpodobnosti LN(}i,cr2) s hustotou
f(x)
V2na2x
exp
(lnx — ]i)2 1&2
pro x > 0;      f(x) = 0 jinak.
odvoďte odhady neznámých parametrů ji, o2
£(}i,a2) = ~ ln(27i) - |lnt72 - £lnx,- -       £(lnx,- - ji)2
1 i
/íML=lnX,      cr2ML = -     (hiXi - lnX
í'=i
EX = exp ( ]i + it72 ) ,   EX2 = exp      + 2c2
= 2 ln X — -m2,      <t2m = \nni2 — 2 ln X
Ondřej Pokora, PřF MU (2015)
M5120 - cvičení - Odhady parametrů
15/20
Příklad 10
Pro náhodný výběr X = (Xi,...,Xn) z exponenciálního rozdělení pravděpodobnosti Ex(^) s hustotou
pro x > 0;      f(x) = 0 jinak.
odvoďte odhady neznámého parametru \i > 0.
[ řešení				
	EX	1 " = —nh\ji--YlXi' V í=i = pí,      EX2 = lpi2,	F m = X	
f (x) = - exp
Ondřej Pokora, PřF MU (2015)
M5120 - cvičení - Odhady parametrů
/20
Príklad 11
Pro náhodný výběr X = (Xi,..., X„) z exponenciálního rozdělení pravděpodobnosti Ex(A) s hustotou
f (x) = A exp (—Ax)  pro x > 0;      /(x) = 0 jinak.
odvoďte odhady neznámého parametru A > 0.
[ řešení			
	n Í(Á) = n ln A — A z'=l	Aml =	1 f
	EX=±,      EX2 = ^,	Am =	1
Ondřej Pokora, PřF MU (2015)
M5120 - cvičení - Odhady parametrů
/20
Pro náhodný výběr X = (Xi,..., Xn) z Weibullova rozdělení pravděpodobnosti Wb(A,/ť) s hustotou
f(x) = k\xk 1 exp
-AxK
pro x > 0;      f(x) = 0 jinak.
odvodte odhady neznámého parametru A > 0 při známé hodnotě parametru k > 0.
£(A) = nlnk + n ln A + (k — 1) ^lnx,- — A Y^A'      ^ml = =
z'=l i=i Xk
EX = ÍA4r(i),    EX2 = A-ir(i + ^
Ondřej Pokora, PřF MU (2015)
M5120 - cvičení - Odhady parametrů
i/20
Příklad 13
Pro náhodný výběr X = (Xi,..., X„) z Rayleighova rozdělení pravděpodobnosti Ra(s) s hustotou
f(x) = - exp
"2Š
pro x > 0;      /(x) = 0 j/na/c. odvoďte odhady neznámého parametru s > 0.
n 1 n
£(A) = n ln A - A£]x,-,      sML = — £x?
EX=^,      EX2 = 2s
sM = -^ , anebo sM = —
71 2
Ondřej Pokora, PřF MU (2015)
M5120 - cvičení - Odhady parametrů
Příklad 14
Pro náhodný výběr X = (Xi,..., X„) z Gamma rozdělení pravděpodobnosti T(Á.,k) s hustotou
Afc
f(x) = Yíky     exp[—Ax]   pro x > 0;      f(x)=0 jinak, odvoďte (rovnice pro) odhady neznámých parametrů A > 0 a k > 0.
Pomůcka: Jj lnr(řc) = Y(řc) — digamma funkce.
l(K,k) =nk\n\ -n\nľ(k) + {k- 1) £]lnx,- - A
í'=i í'=i
věrohodnostní rovnice: Aml =
Y(*ML) = ln*ML-lnX + X
EX = p
EXZ
fc(fc+ 1) A2 '
mi
mí
m2 — m^
m2 — m^
Ondřej Pokora, PřF MU (2015)
M5120 - cvičení - Odhady parametrů