Literatura Bayesovská statistika Matematika III – 14. týden Bayesovská interpretace Jan Slovák Masarykova univerzita Fakulta informatiky 15. – 19.12. 2014 Literatura Bayesovská statistika Obsah přednášky 1 Literatura 2 Bayesovská statistika Literatura Bayesovská statistika Plán přednášky 1 Literatura 2 Bayesovská statistika Literatura Bayesovská statistika Kde je dobré číst? Karel Zvára, Josef Štěpán, Pravděpodobnost a matematická pravděpodobnost statistika, Matfyzpress, 2006, 230pp. J. Slovák, M. Panák, M. Bulant, Matematika drsně a svižně, Muni Press, Brno 2013, v+773 s., elektronická edice www.math.muni.cz/Matematika_drsne_svizne Marie Budíková, Štěpán Mikoláš, Pavel Osecký, Teorie pravděpodobnosti a matematická statistika (sbírka příkladů), Masarykova univerzita, 3. vydání, 2004, 117 stran, ISBN 80-210-3313-4. Marie Budíková, Tomáš Lerch, Štěpán Mikoláš, Základní statistické metody, Masarykova univerzita, 2005, 170 stran, ISBN 80-210-3886-1. Riley, K.F., Hobson, M.P., Bence, S.J. Mathematical Methods for Physics and Engineering, second edition, Cambridge University Press, Cambridge 2004, ISBN 0 521 89067 5, xxiii + 1232 pp. Literatura Bayesovská statistika Plán přednášky 1 Literatura 2 Bayesovská statistika Literatura Bayesovská statistika Bayesův vzorec pro podmíněnou pravděpodobnost (tzv. inverzní pravděpodobnost): P(A|B) = P(B|A)P(A) P(B) . Literatura Bayesovská statistika Bayesův vzorec pro podmíněnou pravděpodobnost (tzv. inverzní pravděpodobnost): P(A|B) = P(B|A)P(A) P(B) . Na úrovni hustot (nebo pravděpodobnostních funkcí) náhodných veličin: máli vektor (X, Θ) hustotu f (x|θ), pak podmíněná pravděpodobnost komponenty Θ za podmínky X = x hustotu g(θ|x) danou g(θ|x) = f (x|θ)g(θ) f (x) . Literatura Bayesovská statistika Bayesův vzorec pro podmíněnou pravděpodobnost (tzv. inverzní pravděpodobnost): P(A|B) = P(B|A)P(A) P(B) . Na úrovni hustot (nebo pravděpodobnostních funkcí) náhodných veličin: máli vektor (X, Θ) hustotu f (x|θ), pak podmíněná pravděpodobnost komponenty Θ za podmínky X = x hustotu g(θ|x) danou g(θ|x) = f (x|θ)g(θ) f (x) . Mluvíme o apriorní hustotě g(θ) a aposteriorní hustotě g(θ|x). Literatura Bayesovská statistika Bayesův vzorec pro podmíněnou pravděpodobnost (tzv. inverzní pravděpodobnost): P(A|B) = P(B|A)P(A) P(B) . Na úrovni hustot (nebo pravděpodobnostních funkcí) náhodných veličin: máli vektor (X, Θ) hustotu f (x|θ), pak podmíněná pravděpodobnost komponenty Θ za podmínky X = x hustotu g(θ|x) danou g(θ|x) = f (x|θ)g(θ) f (x) . Mluvíme o apriorní hustotě g(θ) a aposteriorní hustotě g(θ|x). Protože předem víme, že g(θ|x) je hustota pravděpodobnosti, nemusí nás konstanta f (x) vůbec zajímat — počítáme prostě až na násobek konstantou. Literatura Bayesovská statistika Předpokládejme, že na univerzitě je spokojenost studentů v jednotlivých předmětech náhodná veličina X ∼ N(θ, σ2), zatímco parametr θ dosahovaný jednotlivými učiteli je náhodná veličina θ ∼ N(a, b). Můžeme tedy počítat (pořád až na konstatní násobky, tj. ignorujeme součinitele, ve kterých nevystupuje θ) a dostaneme θ ∼ N b2 b2 + σ2 x + σ2 b2 + σ2 a, b2σ2 b2 + σ2 . Literatura Bayesovská statistika Předpokládejme, že na univerzitě je spokojenost studentů v jednotlivých předmětech náhodná veličina X ∼ N(θ, σ2), zatímco parametr θ dosahovaný jednotlivými učiteli je náhodná veličina θ ∼ N(a, b). Můžeme tedy počítat (pořád až na konstatní násobky, tj. ignorujeme součinitele, ve kterých nevystupuje θ) a dostaneme θ ∼ N b2 b2 + σ2 x + σ2 b2 + σ2 a, b2σ2 b2 + σ2 . Když tedy z dlouhodobého vyhodnocování anket známe parametry a, b, σ, můžeme po vyjádření nějakého studenta upřesnit apriorní představu o parametrech pro jeden konkrétní předmět. Ve výsledném odhadu rozložení je pak střední hodnota dána váženým průměrem zjištěné hodnoty x a apriorně předpokládané střední hodnoty a, v závislosti na rozptylech σ a b. Literatura Bayesovská statistika Bayesovská interpretace? Pro σ → 0 je váha jediného názoru stále rostoucí a tomu odpovídá 100% váha u x v případdě σ = 0. Je to plně v souladu s interpretací, že Bayesovská statistika je pravděpodobnostní rozšíření standardní diskrétní matematické logiky. Literatura Bayesovská statistika Bayesovská interpretace? Pro σ → 0 je váha jediného názoru stále rostoucí a tomu odpovídá 100% váha u x v případdě σ = 0. Je to plně v souladu s interpretací, že Bayesovská statistika je pravděpodobnostní rozšíření standardní diskrétní matematické logiky. Místo jednoho studenta použijeme výběrový průměr ¯X výsledku šetření. Opět jde o normální rozdělení, jen budeme místo σ2 dosazovat σ2/n. Pišme cn = nb2 nb2 + σ2 a aposteriorní odhad pro θ je θ ∼ N(cn ¯X + (1 − cn)a, cnσ2 /n). Literatura Bayesovská statistika Bayesovská interpretace? Pro σ → 0 je váha jediného názoru stále rostoucí a tomu odpovídá 100% váha u x v případdě σ = 0. Je to plně v souladu s interpretací, že Bayesovská statistika je pravděpodobnostní rozšíření standardní diskrétní matematické logiky. Místo jednoho studenta použijeme výběrový průměr ¯X výsledku šetření. Opět jde o normální rozdělení, jen budeme místo σ2 dosazovat σ2/n. Pišme cn = nb2 nb2 + σ2 a aposteriorní odhad pro θ je θ ∼ N(cn ¯X + (1 − cn)a, cnσ2 /n). Pro rostoucí n se bude střední hodnota našeho rozdělení pro θ stále více blížit výběrovému průměru a jeho rozptyl půjde k nule. Čím je tedy n větší, tím více se blížíme bodovému odhadu z frekventistického přístupu. Literatura Bayesovská statistika Přínosem Bayesovského přístupu je, že s použitím odhadnutého rozdělení můžeme odpovídat na dotazy typu „s jakou pravděpodobností je nový vyučující horší než předchozí?“ Potřebujeme k tomu apriorní údaje. Předpokládejme, že máme docela dobře hodnocené učitele: a = 7,5, b = 2,5 a a ponecháme směrodatnou odchylku σ = 2. Pro n = 15 a výběrový průměr 5,133 dostaneme aposteriorní odhad pro rozdělení θ ∼ N(5,230, 0,256). Literatura Bayesovská statistika Přínosem Bayesovského přístupu je, že s použitím odhadnutého rozdělení můžeme odpovídat na dotazy typu „s jakou pravděpodobností je nový vyučující horší než předchozí?“ Potřebujeme k tomu apriorní údaje. Předpokládejme, že máme docela dobře hodnocené učitele: a = 7,5, b = 2,5 a a ponecháme směrodatnou odchylku σ = 2. Pro n = 15 a výběrový průměr 5,133 dostaneme aposteriorní odhad pro rozdělení θ ∼ N(5,230, 0,256). Zajímá nás P(θ < 6). Odpověď získáme dotazem na hodnotu distribuční funkce příslušného normálního rozdělení pro argument 6 – odpověď je cca 93, 6%. Je tedy podobná, jako jsme viděli v frekventistickém přístupu.