ooooooooooooooooooo Finanční Matematika - 4. přednáška Martin Panák 15. března 2016 ooooooooooooooooooo Odhady parametrů negativního binomického rozložení Příklad Předpokládejme, že máme n řidičů, každý má smlouvu na dobu d\, za kterou nahlásil k\ škod nich událostí. Zkusme modelovat počet nehod daného řidiče pomocí negativního binomického rozložení, jehož parametry a a A(= \d; pro i-tého řidiče) odvodíme. Logaritmická věrohodnostní funkce je n ki-1 i=l j=0 n n Pro parametry a a A pak dostáváme rovnice. ooooooooooooooooooo d_ da n k-1 n L{a, A) = f=l 7=0 n 3+J : + n In a + n - ln(a + Ac//) ;=i E 1 = 1 n a + kj a + Xd; = 0 L(a, A) = - £ d> ;'=1 a + ft; 1 a + Xd; + X n = 0 ;=i ooooooooooooooooooo Klasifikace rizika apriorní, aposteriorní proměnné Klasifikace rizika ooooooooooooooooooo apriorní, aposteriorní proměnné Poissonovská regrese Klasifikace rizika ooooooooooooooooooo apriorní, aposteriorní proměnné Poissonovská regrese N; pojistné události N; ~ Poiidie^+^U^) Klasifikace rizika ooooooooooooooooooo apriorní, aposteriorní proměnné Poissonovská regrese N; pojistné události N; ~ Poiidie^+^U^) Skóre: Po + J2 CM) 7=1 ooooooooooooooooooo Bayesovská analýza dat Mějme Bernoulliův proces definovaný náhodnou veličinou X ~ Bi(r?,#) s binomickým rozdělením pravděpodobnosti a předpokládejme, že parametr 9 je přitom náhodnou veličinou s rovnoměrným rozdělením pravděpodobnosti na intervalu (0,1). Definujme šanci na úspěch v našem procesu jako veličinu 7 = ^ Jakou hustotu rozdělení má veličina 7? Intuitivně asi cítíme, že nepůjde o rovnoměrné rozdělení. Označíme hledanou hustotu pravděpodobnosti ŕ(s) a ze vztahu mezi 9 a 7 spočteme 9 — Také okamžitě vidíme, že hustota pravděpodobnosti veličiny 7 bude nenulová pouze pro kladné hodnoty proměnné. Zadání můžeme nyní zformulovat tak, že požadujeme 0 = p{9 < 0) = P (7 < O0OOOOOOOOOOOOOOOOO Na pravé straně máme ovšem v horní mezi právě měnící se ohraničení 7 a dostáváme tedy definiční vztah pro r(s) Hledaná hustota skutečně dává daleko větší pravděpodobnost malým hodnotám šance než velkým. 00*0000000000000000 Jestliže pracujeme v bayesovském přístupu s binomickým modelem rozdělení pravděpodobnosti náhodné veličiny X ~ Bi(r?,#), bude nás zajímat její pravděpodobnostní funkce fx(k) = ("k)9k(l - 0)n~k. Na tuto funkci se ale můžeme také dívat jako na podmíněnou pravděpodobnost P(9\X — k) při apriorním rovnoměrném rozdělení pravděpodobnosti veličiny 9 na intervalu (0,1). Je to tedy právě aposteriorní rozdělení pravděpodobnosti veličiny 9 odpovídající výsledku pokusu X — k. Následující příklad se týká obecné třídy takovýchto rozdělení pravděpodobnosti. OOOÄOOOOOOOOOOOOOOO Najděte základní charakteristiky tzv. Beta rozdělení /3(a, b) s hustotou pravděpodobnosti tvaru fY = Cya-l(1_y)b-l y e (0,1) 0 jinak. OOOÄOOOOOOOOOOOOOOO Najděte základní charakteristiky tzv. Beta rozdělení /3(a, b) s hustotou pravděpodobnosti tvaru fY=Uya-1(l-y)b-1 y G (0,1) (0 jinak. Konstantu C je třeba volit jako reciprokou hodnotu integrálu Jq1 ya_1(l — y)b~ľdy, což je funkce B(a, b), v matematické analýze (ale také technických vědách či fyzice) známá pod názvem Beta funkce. Když už známe funkci Gama, která zobecňuje diskrétní hodnoty faktoriálů, vyskočí na nás např. při následujícím výpočtu: oooo«oooooooooooooo ŕOO ŕOO r(x)r(y) = / e"ŕ ť-ľdt • / e"s sy-ľds = Jo Jo 'oo roo e_ŕ_s tx-lsy-ldtds = 0 JO (substituce t = rq, s = r(l — q)) ŕOO ŕl / / e-'írq)*-1 (r(l - q))y"V c/q c/r = ,/r=0 Jq=0 r=0 = r(x + y)B(x,y). dostávame tedy obecný vztah e-rŕ+y-idrm ľ1 qx-i(i-qy-idq = Jt=0 B(a, b) = ^ + r(a)r(fc) oooo«oooooooooooooo ŕOO r(x)r(y) = / 'OO e"ř ť-1 dt ■ e-ssy-1ds = o 'OO ŕOO e_t_s tx-lsy-ldtds = 0 JO r=0 = r(x + y)B(x,y). dostávame tedy obecný vztah e-rŕ+y-idrm ľ1 qx-i(i-qy-idq = Jt=0 B(a, b) = ^ + r(a)r(fc) oooo«oooooooooooooo ŕOO r(x)r(y) = / 'OO e-ssy"1c/s = o 'OO ŕOO e_r_s t*-isy-idtds = o Jo = r(x + y)B(x,y). dostáváme tedy obecný vztah B(a, b) = ^ + r(a)r(fc) oooo«oooooooooooooo ŕOO ŕOO r(x)r(y) = / e"ŕ ť-ľdt • / e"s sy-ľds = Jo Jo 'oo roo e_ŕ_s tx-lsy-ldtds = 0 JO (substituce t = rq, s = r(l — q)) ŕOO ŕl / / e-'írq)*-1 (r(l - q))y"V c/q c/r = ,/r=0 Jq=0 r=0 = r(x + y)B(x,y). dostávame tedy obecný vztah e-rŕ+y-idrm ľ1 qx-i(i-qy-idq = Jt=0 B(a, b) = ^ + r(a)r(fc) OOOOO0OOOOOOOOOOOOO a z vlastností Gamma funkce již snadno plyne, že pro přirozená kladná a, b bude platit , , , ,x k\(n-k)\ 1 /n\_1 B(n- k + l,k + 1) = -V-rr- =- . • oooooo«oooooooooooo Přímým výpočtem vidíme, že střední hodnota veličiny X ~ /3(a, b) s beta rozdělením je (využíváme vztah l~(z + 1) = zl~(z)) _B(a + l,Ď) a B(a,b) a + b Je-li a — b vyjde střední hodnota i medián |. Přímo se také spočte rozptyl varX = E(X- EX)2 = 3b (a + b)2(a + b+l)' Pro a — b tedy dostáváme varX = 3^4, což ukazuje, že pro rostoucí a — b klesá rozptyl. V případě a — b — 1 dostáváme obyčejné rovnoměrné rozdělení na intervalu (0,1). ooooooo«ooooooooooo Předpokládejme, že v Bernoulliho procesu je šance zdaru 9 náhodná veličina s rozdělením pravděpodobnosti /9(a, b). Jak bude vypadat rozdělení pravděpodobnosti veličiny 7 = t^ä? ooooooo«ooooooooooo Předpokládejme, že v Bernoulliho procesu je šance zdaru 9 náhodná veličina s rozdělením pravděpodobnosti /3(a, b). Jak bude vypadat rozdělení pravděpodobnosti veličiny 7 = yz^? V již řešeném příkladě jsme měli speciální případ s rovnoměrným rozdělením /3(1,1). Můžeme tedy pokračovat v řešení v rovnosti |1||, kdy jsme tvar tohoto rozdělení použili. Dostáváme nyní na levé straně místo 0 výraz •0 .3-1 (1 - tf^dt B(a, b) J0 a při derivování musíme použít pravidlo pro derivování integrálu s proměnnou horní mezí. Dostáváme proto pro hledanou hustotu a-l b-l B(a, b)f(s) = s + 1 1 - s + 1 (s+iy sa-l \ a+b s+1 >0 0,0 OOOOOOOO0OOOOOOOOOO Na obrázku jsou vyneseny hustoty pro hodnoty a = b = p = = 2, 5, 15. 0 12 3- OOOOOOOOO0OOOOOOOOO V případě Bernoulliho procesu popsaného náhodnou veličinou X ~ Bi(r?,#) a apriorní pravděpodobnosti náhodné veličiny 9 s beta rozdělením, má i aposteriorní pravděpodobnost opět beta rozdělení s vhodnými parametry závislými na výsledku pokusu. Jaká bude aposteriorní střední hodnota veličiny 9 (tj. bayesovský bodový odhad této náhodné veličiny)? OOOOOOOOOO0OOOOOOOO Jak je zdůvodněno v odstavci ?? teoretického sloupce, bude aposteriorní hustota pravděpodobnosti, až na násobek vhodnou konstantou, dána jako součin apriorní hustoty pravděpodobnosti g{0) = 9a~\l-9) B(a, b) b-l a pravděpodobnosti sledované veličiny X za podmínky, že nastala hodnota 9. Dostáváme tedy za předpokladu, že v Bernoulliho procesu nastalo k zdarů, aposteriorní hustotu (použitý znak místo rovnosti značí „proporcionální") g(9\X = k) oc P(X = k\9)g{9) oc oc9k(l-9)n-k9a-\l-9)b-1 = = 9a+k-1{l-9)b+n-k~1. Dostali jsme tedy, až na konstantu, kterou nemusíme vůbec vyčíslovat, skutečně hustotu aposteriorního rozdělení pro veličinu 9 s rozdělením B(a + /c, b + n - k). n fl ► , t ► , t > t OOOOOOOOOOO0OOOOOOO Její aposteriorní střední hodnota je §= a\k . a + b+ n Pro n a k jdoucí do nekonečna, tak aby k j n —> p, bude i pro náš aposteriorní odhad platit 9 —>> p. Je tedy vidět, že při velkých hodnotách n a k bude převažovat pozorovaný podíl úspěšných pokusů nad apriorním předpokladem. Nicméně pro menší hodnoty je apriorní předpoklad naopak velice významný. Příklad odhadu nehodovosti oooooooooooo«oooooo Máme data o nehodovosti N = 20 řidičů za posledních n = 10 let (/c-tá položka označuje počet roků, ve kterých došlo k nehodě u /c-tého řidiče): 0,0, 2,0,0,2,2,0,6,4,3,1,1,1,0,0, 5,1,1,0. Předpokládáme, že pravděpodobnosti nehod u jednotlivých řidičů jsou konstanty pj, j = 1,..., N. Odhadněte pro každého řidiče pravděpodobnost, že bude mít nehodu v následujícím roce (např. pro určení jeho individuálního pojistného). 1 Tento příklad je převzat z příspěvku M. Friesl, Bayesovské odhady v některých modelech, publikováno v: Analýza dat 2004/11 (K. Kupka, ed.), Trilobyte Statistical Software, Pardubice, 2005, pp. 21-33. ooooooooooooo«ooooo Zavedeme si náhodné veličiny X;j s hodnotami 0, když /-tý řidič v j-tém roce neměl žádnou nehodu, a hodnotami 1 pokud nehodu měl. Jednotlivé roky považujeme za nezávislé, můžeme proto předpokládat, že náhodné veličiny Sj = Yľ!=i^ji udávající počet nehod za všech n = 10 let mají rozdělení Bi(r?,py). ooooooooooooo«ooooo Zavedeme si náhodné veličiny Xjj s hodnotami 0, když /-tý řidič v j-tém roce neměl žádnou nehodu, a hodnotami 1 pokud nehodu měl. Jednotlivé roky považujeme za nezávislé, můžeme proto předpokládat, že náhodné veličiny Sj = Yľ!=i^ji udávající počet nehod za všech n = 10 let mají rozdělení Bi(r?,py). Samozřejmě bychom mohli odhadnout pravděpodobnosti pro všechny řidiče společně, tj. pomocí aritmetického průměru P = 1 n 1 N ^ Jn 7=1 1 29 n 20 10 = 0,145. Když ale uvážíme homogennost rozdělení veličin Xj, těžko je lze považovat za shodné, proto bude takovýto odhad jistě zavádějící. ooooooooooooo«ooooo Zavedeme si náhodné veličiny Xjj s hodnotami 0, když /-tý řidič v j-tém roce neměl žádnou nehodu, a hodnotami 1 pokud nehodu měl. Jednotlivé roky považujeme za nezávislé, můžeme proto předpokládat, že náhodné veličiny Sj = Yľ!=i^ji udávající počet nehod za všech n = 10 let mají rozdělení Bi(r?,py). Samozřejmě bychom mohli odhadnout pravděpodobnosti pro všechny řidiče společně, tj. pomocí aritmetického průměru P = 1 n 1 N ^ Jn 7=1 1 29 n 20 10 = 0,145. Když ale uvážíme homogennost rozdělení veličin Xj, těžko je lze považovat za shodné, proto bude takovýto odhad jistě zavádějící. Opačný extrém, tj. zcela nezávislý a individuální odhad n 7 je samozřejmě také nevhodný, protože jistě nechceme předepisovat nulové pojistné, dokud nedojde k první nehodě., fl > < t „ 41 t OOOOOOOOOOOOOO0OOOO Jako realistický se jeví postup, ve kterém využijeme stejný předpoklad apriorního rozdělení pravděpodobnosti pj nehodovosti u jednotlivých řidičů. V praxi se zpravidla používá model s Poissonovým rozdělením Po(Ay) u j-tého řidiče s dalšími předpoklady o rozdělení parametru A mezi řidiči. Docela dobře (a hlavně jednoduše) můžeme také předpokládat, že v našem případě půjde o rozdělení OOOOOOOOOOOOOO0OOOO Jako realistický se jeví postup, ve kterém využijeme stejný předpoklad apriorního rozdělení pravděpodobnosti pj nehodovosti u jednotlivých řidičů. V praxi se zpravidla používá model s Poissonovým rozdělením Po(Ay) u j-tého řidiče s dalšími předpoklady o rozdělení parametru A mezi řidiči. Docela dobře (a hlavně jednoduše) můžeme také předpokládat, že v našem případě půjde o rozdělení pj ~ /3(a, b) s vhodnými parametry a, b, které by měly odrážet kumulované výsledky všech řidičů. Pojďme tedy touto cestou. OOOOOOOOOOOOOOO0OOO Víme, že aposteriorní rozdělení pravděpodobností bude (pj\Sj — k) — ß(a + k, b + n — k), takže příslušná střední hodnota bude ~b = 3 + k J a + b + n' OOOOOOOOOOOOOOO0OOO Víme, že aposteriorní rozdělení pravděpodobností bude (pj\Sj — k) — (3(a + k, b + n — k), takže příslušná střední hodnota bude ~b = 3 + k J a + b + n' Srovnejme si tento odhad s výše uvedeným společným odhadem p a individuálním pj. Zaveďme si k tomu hodnoty po = tj. střední hodnotu apriorního společného rozdělení pro všechny řidiče, a r?o = 3 + b. Dostáváme ~b = (a + b)a nk = n0 n Pj (a + b + n)(a + b) (a + b+n)n n0 + nP0 n0 + nPj' což je lineární kombinace střední hodnoty po a individuálního odhadu pj. OOOOOOOOOOOOOOOOÄOO Zbývá nám tedy už jen smysluplně odhadnout neznáme parametry a, b. Víme přitom EX77 = EE(X» = Ep = po Evar(X» E(p(l - p)) -c/v i \ =-= a + b = n0 varE(X/v|pj var p a přitom veličiny na levých stranách můžeme přímo odhadnout. OOOOOOOOOOOOOOOOÄOO Zbývá nám tedy už jen smysluplně odhadnout neznáme parametry a, b. Víme přitom EX77 = EE(X» = Ep = po Evar(X» E(p(l - p)) -c/v i \ =-= a + b = n0 varE(A/v|pj var p a přitom veličiny na levých stranách můžeme přímo odhadnout. ooooooooooooooooo«o 1 N EX^EE^p)--^ N j'=i 1 N Evar(Xy/|p)^-J](^py(l-py)) 7=1 var E(X» - s% - — E (^M1 " kde s? označuje výběrový rozptyl mezi individuálními odhady (čtenář si může promyslet, že odečtením posledního výrazu vpravo zajišťujeme, aby i poslední odhad byl nestranný). Protože pro uvedená data takto dostáváme r?o — 3,8643 a Po ~ 0,1450, vyjde nám bayesovský odhad individuální pravděpodobnosti nehod pj5 = 0,154 • 0,145 + 0,846 • pj. ooooooooooooooooo«o EXíj = E 1 N Evar(Xy/|p)^-J](^py(l-py)) 7=1 var E(X» - s| - — £(^3,(1 " kde s? označuje výběrový rozptyl mezi individuálními odhady (čtenář si může promyslet, že odečtením posledního výrazu vpravo zajišťujeme, aby i poslední odhad byl nestranný). Protože pro uvedená data takto dostáváme r?o — 3,8643 a Po ~ 0,1450, vyjde nám bayesovský odhad individuální pravděpodobnosti nehod pj5 = 0,154 • 0,145 + 0,846 • pj. ooooooooooooooooo«o EXíj = E 1 N var E(X» * s% - — E (^M1 " Ä0), 7=1 kde s? označuje výběrový rozptyl mezi individuálními odhady (čtenář si může promyslet, že odečtením posledního výrazu vpravo zajišťujeme, aby i poslední odhad byl nestranný). Protože pro uvedená data takto dostáváme r?o — 3,8643 a Po ~ 0,1450, vyjde nám bayesovský odhad individuální pravděpodobnosti nehod pj> = 0,154 • 0,145 + 0,846 • pj. ooooooooooooooooo«o EX0 = EE(Xy/|p)~ÍX> j'=i j'=i var E(X,7|p) c s? - — £(^,-(1 " j'=i ooooooooooooooooo«o 1 N EX^EE^p)--^ N 7=1 1 N EvarCXy/IpJ^-X;^^!-^)) 7=1 var E(X» - s% - — £(^3,(1 " Ä0), kde s? označuje výběrový rozptyl mezi individuálními odhady (čtenář si může promyslet, že odečtením posledního výrazu vpravo zajišťujeme, aby i poslední odhad byl nestranný). Protože pro uvedená data takto dostáváme r?o — 3,8643 a Po ~ 0,1450, vyjde nám bayesovský odhad individuální pravděpodobnosti nehod pj5 = 0,154 • 0,145 + 0,846 • pj. oooooooooooooooooo* Jde tedy o kombinaci spolehlivého odhadu p = 0,145 kolektivní pravděpodobnosti po s individuálním (frekvenčním) odhadem pj, který je pořízen z malého počtu pozorování n = 10 u jediného ridice.