© Institut biostatistiky a analýz
Analýza a klasifikace dat –
přednáška 2
RNDr. Eva Koriťáková, Ph.D.
Typy klasifikátorů – podle reprezentace vstupních dat
2Koriťáková: Analýza a klasifikace dat
1. Podle reprezentace vstupních dat:
– příznakové klasifikátory: paralelní (s pevným počtem proměnných) x sekvenční
– strukturální (syntaktické) klasifikátory
– kombinované klasifikátory
2. Podle jednoznačnosti zařazení do skupin:
– deterministické klasifikátory
– pravděpodobnostní klasifikátory
3. Podle typů klasifikačních a učících algoritmů:
– parametrické klasifikátory
– neparametrické klasifikátory
4. Podle způsobu učení:
– učení s učitelem: dokonalým x nedokonalým
– učení bez učitele
5. Podle principu klasifikace:
– klasifikace pomocí diskriminačních funkcí
– klasifikace pomocí vzdálenosti od etalonů klasifikačních tříd
– klasifikace pomocí hranic v obrazovém prostoru
Typy klasifikátorů – podle reprezentace vstupních dat
3Koriťáková: Analýza a klasifikace dat
1. Podle reprezentace vstupních dat:
– příznakové klasifikátory: paralelní (s pevným počtem proměnných) x sekvenční
– strukturální (syntaktické) klasifikátory
– kombinované klasifikátory
2. Podle jednoznačnosti zařazení do skupin:
– deterministické klasifikátory
– pravděpodobnostní klasifikátory
3. Podle typů klasifikačních a učících algoritmů:
– parametrické klasifikátory
– neparametrické klasifikátory
4. Podle způsobu učení:
– učení s učitelem: dokonalým x nedokonalým
– učení bez učitele
5. Podle principu klasifikace:
– klasifikace pomocí diskriminačních funkcí
– klasifikace pomocí vzdálenosti od etalonů klasifikačních tříd
– klasifikace pomocí hranic v obrazovém prostoru
→ budeme se
věnovat paralelním
příznakovým
klasifikátorům
Typy klasifikátorů – podle principu klasifikace
4Koriťáková: Analýza a klasifikace dat
• klasifikace pomocí diskriminačních funkcí:
– diskriminační funkce určují míru příslušnosti
k dané klasifikační třídě
– pro danou třídu má daná diskriminační
funkce nejvyšší hodnotu
• klasifikace pomocí vzdálenosti od etalonů klasif. tříd:
– etalon = reprezentativní objekt(y) klasifikační třídy
– počet etalonů klasif. třídy různý – od jednoho vzorku
(např. centroidu) po úplný výčet všech objektů dané
třídy (např. u klasif. pomocí metody průměrné vazby)
• klasifikace pomocí hranic v obrazovém prostoru:
– stanovení hranic (hraničních ploch) oddělujících
klasifikační třídy
x1
x2
?
x1
x2
?
0
1
2
3
4
5
6
7
4
6
8
10
12
14
0
0.05
x1x2
x2 x1
Vícerozměrné normální
rozdělení
5Koriťáková: Analýza a klasifikace dat
Motivace
6Koriťáková: Analýza a klasifikace dat
Dvourozměrný
histogram
Hustota dvourozměrného
normálního rozdělení
Vícerozměrné normální rozdělení
7Koriťáková: Analýza a klasifikace dat
𝑓 x1, … , x 𝑘 =
1
2𝜋 𝑘 Σ
∙ exp −
1
2
𝐱 − 𝝁 𝑇
Σ−1
𝐱 − 𝛍
Hustota vícerozměrného normálního rozdělení:
𝛍 - vektor středních hodnot Σ - kovarianční matice
Hustota dvourozměrného normálního rozdělení:
ρ - korelace mezi X a Y;
σ – směrodatná odchylka
𝑓 x =
1
2𝜋 𝜎2
∙ exp −
x − μ 2
2𝜎2
Hustota jednozměrného normálního rozdělení:
μ - střední hodnota σ2 – rozptyl
Je normalita v jednorozměrném prostoru jedinou
podmínkou vícerozměrné normality?
8Koriťáková: Analýza a klasifikace dat
+
5 6 7 8 9 10 11 12 13 14 15
0
50
100
150
200
250
300
350
400
6 7 8 9 10 11 12 13 14
0
50
100
150
200
250
300
350
400
Je normalita v jednorozměrném prostoru jedinou
podmínkou vícerozměrné normality?
9Koriťáková: Analýza a klasifikace dat
+
6.0
6.5
7.0
7.5
8.0
8.5
9.0
9.5
10.0
10.5
11.0
11.5
12.0
12.5
13.0
13.5
14.0
0
20
40
60
80
100
120
140
160
180
200
6.0
6.5
7.0
7.5
8.0
8.5
9.0
9.5
10.0
10.5
11.0
11.5
12.0
12.5
13.0
13.5
14.0
0
20
40
60
80
100
120
140
160
180
200
Je normalita v jednorozměrném prostoru jedinou
podmínkou vícerozměrné normality?
10Koriťáková: Analýza a klasifikace dat
+
5 6 7 8 9 10 11 12 13 14 15
0
50
100
150
200
250
300
350
400
6 7 8 9 10 11 12 13 14
0
50
100
150
200
250
300
350
400
Vícerozměrný
outlier
Ověření dvourozměrné normality
11Koriťáková: Analýza a klasifikace dat
Bagplot = „bivariate boxplot“ (tzn. „dvourozměrný krabicový graf“)
v softwaru Statistica: Graphs – 2D Graphs – Bag Plots
Ověření dvourozměrné normality
12Koriťáková: Analýza a klasifikace dat
Vykreslení regulační elipsy („control“ elipse):
v softwaru Statistica: Graphs – Scatterplots – na záložce Advanced zvolit Elipse Normal
Normalizace dat
• Převod na normální rozdělení (normalita je předpokladem řady
statistických testů).
• Např. logaritmická transformace: X = ln(Y) nebo X = ln(Y+1), pokud data
obsahují hodnotu 0
• Další příklady:
– odmocninová transf. (pro proměnné s Poissonovým rozložením nebo
obecně data typu počet jedinců, buněk apod.: nebo
– arcsin transfomace (pro proměnné s binomickým rozložením)
– Box-Coxova tranformace
f(y)
y
f(x)
ln (y)
X = ln(Y)
Asymetrické rozdělení Normální rozdělení
Medián Průměr
Medián PrůměrGeometrický průměr
YX  1 YX
13Koriťáková: Analýza a klasifikace dat
Klasifikace pomocí
diskriminačních funkcí
14Koriťáková: Analýza a klasifikace dat
Příznakový klasifikátor
15Koriťáková: Analýza a klasifikace dat
• klasifikátor je algoritmus (stroj, machine) s tolika vstupy, kolik je
proměnných (příznaků), a s jedním diskrétním výstupem, který udává
třídu, do které klasifikátor zařadil rozpoznávaný objekt:
ωr = d(x)
• x je vektor hodnot jednotlivých proměnných pro daný subjekt, tedy
x=(x1,x2,…,xn)T
• d(x) je skalární funkce vektorového argumentu x, kterou nazýváme
rozhodovací pravidlo klasifikátoru
• ωr je identifikátor klasifikační třídy
Klasifikace pomocí diskriminačních funkcí
16Koriťáková: Analýza a klasifikace dat
• rozhodovací pravidlo klasifikátoru d(x) založeno na výpočtu
diskriminačních funkcí
• diskriminační funkce gi(x) – vyjadřují míru příslušnosti objektu x do
jednotlivých klasifikačních tříd
• zařadíme x do takové třídy ωi, pro kterou je gi(x) maximální
• matematicky: pro objekt x z třídy ωr platí, že
gr(x) > gs(x), pro s =1,2,…,R a r ≠ s
g(x)
g1(x) g2(x)
xxHω1 ω2
VÝBĚR
MAXIMA
Blokové schéma klasifikátoru
17Koriťáková: Analýza a klasifikace dat
• obecné blokové schéma klasifikátoru:
• blokové schéma klasifikátoru pomocí diskriminačních funkcí:
Dichotomický klasifikátor
18Koriťáková: Analýza a klasifikace dat
• pro klasifikaci do dvou tříd
• rozhodovací pravidlo klasifikátoru lze zapsat jako:
ωk = d(x) = sign(g1(x) – g2(x))
• pokud d(x) ≥ 0 → zařazení x do třídy ω1
• pokud d(x) < 0 → zařazení x do třídy ω2
g1(x)
g2(x)
x1
x2
xp
x
g1(x) > g2(x)
ωk
Souvislost klasifikace pomocí diskriminačních funkcí
s klasifikací pomocí hranic
19Koriťáková: Analýza a klasifikace dat
g(x)
g1(x) g2(x)
xxHw1 w2
hraniční bod
Hranice mezi dvěma sousedními třídami ω1 a ω2 je určena průmětem
průsečíku funkcí gr(x) a gs(x), definovaného rovnicí gr(x) = gs(x), do
obrazového prostoru.
Příklady diskriminačních funkcí
20Koriťáková: Analýza a klasifikace dat
• nejjednodušším tvarem diskriminační funkce je lineární funkce:
gr(x) = ar0 + ar1x1 + ar2x2 +…+ arpxp
• diskriminační funkce na základě statistických vlastností množiny objektů:
gr(x) = P(ωr|x)
kde P(ωr|x) je pravděpodobnost zatřídění x do třídy ωr
→ Bayesův klasifikátor
Lineární diskriminační funkce
21Koriťáková: Analýza a klasifikace dat
gr(x) = ar0 + ar1x1 + ar2x2 +…+ arpxp ,
kde ar0 je práh diskriminační funkce posouvající počátek souřadného systému
a ari jsou váhové koeficienty i-tého příznaku xi
Lineární diskriminační funkce
22Koriťáková: Analýza a klasifikace dat
gr(x) = ar0 + ar1x1 + ar2x2 +…+ arpxp ,
kde ar0 je práh diskriminační funkce posouvající počátek souřadného systému
a ari jsou váhové koeficienty i-tého příznaku xi
Lineární diskriminační funkce
23Koriťáková: Analýza a klasifikace dat
gr(x) = ar0 + ar1x1 + ar2x2 +…+ arpxp ,
kde ar0 je práh diskriminační funkce posouvající počátek souřadného systému
a ari jsou váhové koeficienty i-tého příznaku xi
Lineární diskriminační funkce
24Koriťáková: Analýza a klasifikace dat
gr(x) = ar0 + ar1x1 + ar2x2 +…+ arpxp ,
kde ar0 je práh diskriminační funkce posouvající počátek souřadného systému
a ari jsou váhové koeficienty i-tého příznaku xi
Bayesův klasifikátor
25Koriťáková: Analýza a klasifikace dat
• diskriminační funkce určeny na základě statistických vlastností množiny
objektů
• vyjdeme z Bayesova vzorce: 𝑃 𝜔 𝑘|𝐱 =
𝑝 𝐱|𝜔 𝑘 ∙𝑃 𝜔 𝑘
𝑝 𝐱
, kde
 𝑃 𝜔 𝑘|𝐱 je aposteriorní podmíněná pravděpodobnost zatřídění
objektu x do třídy 𝜔 𝑘
 𝑝 𝐱|𝜔 𝑘 je podmíněná hustota pravděpodobnosti výskytu objektu 𝐱
ve třídě 𝜔 𝑘, 𝑘 = 1,2
 𝑃 𝜔 𝑘 je apriorní pravděpodobnost třídy 𝜔 𝑘
 𝑝 𝐱 je celková hustota pravděpodobnosti rozložení objektu 𝐱 v celém
obrazovém prostoru
Bayesův klasifikátor – kritéria
26Koriťáková: Analýza a klasifikace dat
• Kritérium maximální aposteriorní pravděpodobnosti
• Kritérium minimální pravděpodobnosti chybného rozhodnutí
• Kritérium minimální střední ztráty
• Kritérium maximální pravděpodobnosti
Bayesův klasifikátor – kritéria
27Koriťáková: Analýza a klasifikace dat
• Kritérium maximální aposteriorní pravděpodobnosti
• Kritérium minimální pravděpodobnosti chybného rozhodnutí
• Kritérium minimální střední ztráty
• Kritérium maximální pravděpodobnosti
Bayesův kl. – kritérium maximální aposteriorní psti
28Koriťáková: Analýza a klasifikace dat
• zatřídění obrazu x do třídy s větší aposteriorní pravděpodobností, tedy:
když 𝑃 𝜔1|𝐱 ≥ 𝑃 𝜔2|𝐱 → zařazení x do třídy ω1
když 𝑃 𝜔1|𝐱 < 𝑃 𝜔2|𝐱 → zařazení x do třídy ω2
-5 0 5 10 15 20
0
0,02
0,04
0,06
0,08
0,10
0,12
x1
𝑃 𝜔1|𝐱 𝑃 𝜔2|𝐱
obraz, který chceme zatřídit
29Koriťáková: Analýza a klasifikace dat
Příklad: Bylo provedeno měření objemu hipokampu a mozkových komor
(v cm3) u 3 pacientů se schizofrenií a 3 kontrol: 𝐗 𝐷 =
2 12
4 10
3 8
, 𝐗 𝐻 =
5 7
3 9
4 5
.
Určete, zda testovací subjekt 𝐱 = 3,5 9 patří do skupiny pacientů či
kontrolních subjektů pomocí Bayesova klasifikátoru.
Bayesův kl. – kritérium maximální aposteriorní psti
pacienti
kontroly
testovací subjekt
1 2 3 4 5 6
4
5
6
7
8
9
10
11
12
13
Objem hipokampu
Objemmozkovýchkomor
Vzorové řešení: https://portal.matematickabiologie.cz/res/file/Vicerozmerky_-
_kap11-2_Klasifikace_diskr_fce_-_reseni_prikladu.pdf
30Koriťáková: Analýza a klasifikace dat
Příklad: Bylo provedeno měření objemu hipokampu a mozkových komor
(v cm3) u 3 pacientů se schizofrenií a 3 kontrol: 𝐗 𝐷 =
2 12
4 10
3 8
, 𝐗 𝐻 =
5 7
3 9
4 5
.
Určete, zda testovací subjekt 𝐱 = 3,5 9 patří do skupiny pacientů či
kontrolních subjektů pomocí Bayesova klasifikátoru.
Bayesův kl. – kritérium maximální aposteriorní psti
𝑛 𝐷 = 3; 𝑛 𝐻 = 3; 𝑛 = 6
Apriorní psti:
𝑃 𝜔 𝐷 =
𝑛 𝐷
𝑛
=
3
6
= 0,5
𝑃 𝜔 𝐻 =
𝑛 𝐻
𝑛
=
3
6
= 0,5
Potřebujeme vypočítat: vícerozměrné průměry ത𝐱 𝐷 a ഥ𝐱 𝐻; kovarianční matice 𝐒 𝐷 a 𝐒 𝐻.
𝑃 𝜔 𝑘|𝐱 =
𝑝 𝐱|𝜔 𝑘 ∙ 𝑃 𝜔 𝑘
𝑝 𝐱
Podmíněné hustoty psti: 𝑝 𝐱|𝜔 𝑘 =
1
2𝜋 2 𝐒 𝑘
∙
exp −
1
2
𝐱 − ത𝐱 𝑇
𝐒 𝑘
−1
𝐱 − ത𝐱
Označení a pomocné výpočty:
31Koriťáková: Analýza a klasifikace dat
Příklad: Bylo provedeno měření objemu hipokampu a mozkových komor
(v cm3) u 3 pacientů se schizofrenií a 3 kontrol: 𝐗 𝐷 =
2 12
4 10
3 8
, 𝐗 𝐻 =
5 7
3 9
4 5
.
Určete, zda testovací subjekt 𝐱 = 3,5 9 patří do skupiny pacientů či
kontrolních subjektů pomocí Bayesova klasifikátoru.
Bayesův kl. – kritérium maximální aposteriorní psti
Vícerozměrné průměry:
ത𝐱 𝐷 =
1
𝑛 𝐷
σ𝑖=1
𝑛 𝐷
x 𝑖1
1
𝑛 𝐷
σ𝑖=1
𝑛 𝐷
x 𝑖2 = 3 10
ത𝐱 𝐻 =
1
𝑛 𝐻
σ𝑖=1
𝑛 𝐻
x 𝑖1
1
𝑛 𝐻
σ𝑖=1
𝑛 𝐻
x 𝑖2 = 4 7
𝑃 𝜔 𝑘|𝐱 =
𝑝 𝐱|𝜔 𝑘 ∙ 𝑃 𝜔 𝑘
𝑝 𝐱Označení a pomocné výpočty:
Výběrové kovarianční matice:
𝐒 𝐷 =
s11
𝐷
s12
𝐷
s21
𝐷
s22
𝐷 =
1 −1
−1 4
𝐒 𝐻 =
s11
𝐻
s12
𝐻
s21
𝐻
s22
𝐻 =
1 −1
−1 4
Korelační koeficienty:
r12
𝐷
= r21
𝐷
=
s12
𝐷
s11
𝐷 ∙ s22
𝐷
=
−1
1∙2
= −0,5
r12
𝐻
= r21
𝐻
=
s12
𝐻
s11
𝐻 ∙ s22
𝐻
=
−1
1∙2
= −0,5
Výpočet výběrových kovariančních matic:
32
Bayesův kl. – kritérium maximální aposteriorní psti
Rozptyl objemu hipokampu u pacientů: s11
𝐷
=
1
𝑛 𝐷−1
x11
𝐷
− തx1
𝐷 2
+ x21
𝐷
− തx1
𝐷 2
+ x31
𝐷
− തx1
𝐷 2
=
1
3−1
2 − 3 2
+ 4 − 3 2
+ 3 − 3 2
=
1
2
1 + 1 + 0 =1
Rozptyl objemu mozkových komor u pacientů: s22
𝐷
=
1
𝑛 𝐷−1
x12
𝐷
− തx2
𝐷 2
+ x22
𝐷
− തx2
𝐷 2
+ x32
𝐷
− തx2
𝐷 2
=
1
3−1
12 − 10 2
+ 10 − 10 2
+ 8 − 10 2
=
1
2
4 + 0 + 4 = 4
Kovariance objemu hipokampu a objemu mozkových komor u pacientů: s12
𝐷
= s21
𝐷
=
1
𝑛 𝐷−1
ቀ x11
𝐷
− തx1
𝐷 ሺx12
𝐷
−
33Koriťáková: Analýza a klasifikace dat
Bayesův kl. – kritérium maximální aposteriorní psti
1. Klasifikace podle objemu mozkových komor:
𝑃 𝜔 𝐷|x2 =
𝑝 x2|𝜔 𝐷 ∙𝑃 𝜔 𝐷
𝑝 x2
=
0,176∙0,5
0,1485
= 0,593
𝑃 𝜔 𝐻|x2 =
𝑝 x2|𝜔 𝐻 ∙𝑃 𝜔 𝐻
𝑝 x2
=
0,121∙0,5
0,1485
= 0,407
𝑃 𝜔 𝑘|𝐱 =
𝑝 𝐱|𝜔 𝑘 ∙ 𝑃 𝜔 𝑘
𝑝 𝐱
Vícerozměrné průměry:
ത𝐱 𝐷 = 3 10
ത𝐱 𝐻 = 4 7
Výběrové kovarianční matice:
𝐒 𝐷 = 𝐒 𝐻 =
1 −1
−1 4
Podmíněné hustoty pravděpodobnosti:
𝑝 x2|𝜔 𝐷 =
1
2𝜋s22
𝐷
∙ exp −
x2−തx2
𝐷 2
2s22
𝐷 =
1
2𝜋∙4
∙ exp −
9−10 2
2∙4
= 0,176
𝑝 x2|𝜔 𝐻 =
1
2𝜋s22
𝐻
∙ exp −
x2−തx2
𝐻 2
2s22
𝐻 =
1
2𝜋∙4
∙ exp −
9−7 2
2∙4
= 0,121
Celková hustota pravděpodobnosti:
𝑝 x2 = 𝑝 x2|𝜔 𝐷 ∙ 𝑃 𝜔 𝐷 + 𝑝 x2|𝜔 𝐻 ∙ 𝑃 𝜔 𝐻 = 0,176 ∙ 0,5 + 0,121 ∙ 0,5 = 0,1485
Apriorní psti:
𝑃 𝜔 𝐷 = 𝑃 𝜔 𝐻 = 0,5
testovací subjekt 𝐱 = 3,5 9
→ subjekt zařazen do třídy pacientů
Aposteriorní pravděpodobnosti:
34Koriťáková: Analýza a klasifikace dat
Bayesův kl. – kritérium maximální aposteriorní psti
pacienti
kontroly
testovací subjekt
1 2 3 4 5 6
4
5
6
7
8
9
10
11
12
13
Objem hipokampu
Objemmozkovýchkomor
4
5
6
7
8
9
10
11
12
13
Objemmozkovýchkomor
𝑃 𝜔 𝐷|x2 =
0,176∙0,5
0,1485
= 0,593
𝑃 𝜔 𝐻|x2 =
0,121∙0,5
0,1485
= 0,407
→ subjekt zařazen do třídy pacientů
1. Klasifikace podle objemu mozkových komor:
35Koriťáková: Analýza a klasifikace dat
Bayesův kl. – kritérium maximální aposteriorní psti
2. Klasifikace podle objemu hipokampu:
𝑃 𝜔 𝐷|x1 =
𝑝 x1|𝜔 𝐷 ∙𝑃 𝜔 𝐷
𝑝 x1
=
0,352∙0,5
0,352
= 0,5
𝑃 𝜔 𝐻|x1 =
𝑝 x1|𝜔 𝐻 ∙𝑃 𝜔 𝐻
𝑝 x1
=
0,352∙0,5
0,352
= 0,5
𝑃 𝜔 𝑘|𝐱 =
𝑝 𝐱|𝜔 𝑘 ∙ 𝑃 𝜔 𝑘
𝑝 𝐱
Vícerozměrné průměry:
ത𝐱 𝐷 = 3 10
ത𝐱 𝐻 = 4 7
Výběrové kovarianční matice:
𝐒 𝐷 = 𝐒 𝐻 =
1 −1
−1 4
Podmíněné hustoty pravděpodobnosti:
𝑝 x1|𝜔 𝐷 =
1
2𝜋s11
𝐷
∙ exp −
x1−തx1
𝐷 2
2s11
𝐷 =
1
2𝜋∙1
∙ exp −
3,5−3 2
2∙1
= 0,352
𝑝 x1|𝜔 𝐻 =
1
2𝜋s11
𝐻
∙ exp −
x1−തx1
𝐻 2
2s11
𝐻 =
1
2𝜋∙1
∙ exp −
3,5−4 2
2∙1
= 0,352
Celková hustota pravděpodobnosti:
𝑝 x1 = 𝑝 x1|𝜔 𝐷 ∙ 𝑃 𝜔 𝐷 + 𝑝 x1|𝜔 𝐻 ∙ 𝑃 𝜔 𝐻 = 0,352 ∙ 0,5 + 0,352 ∙ 0,5 = 0,352
Apriorní psti:
𝑃 𝜔 𝐷 = 𝑃 𝜔 𝐻 = 0,5
testovací subjekt 𝐱 = 3,5 9
→ nelze jednoznačně určit,
kam subjekt zařadíme
Aposteriorní pravděpodobnosti:
36Koriťáková: Analýza a klasifikace dat
Bayesův kl. – kritérium maximální aposteriorní psti
2. Klasifikace podle
objemu hipokampu: pacienti
kontroly
testovací subjekt
1 2 3 4 5 6
4
5
6
7
8
9
10
11
12
13
Objem hipokampu
Objemmozkovýchkomor
𝑃 𝜔 𝐷|x1 =
0,352∙0,5
0,352
= 0,5
𝑃 𝜔 𝐻|x1 =
0,352∙0,5
0,352
= 0,5
→ nelze jednoznačně určit,
kam subjekt zařadíme
1 2 3 4 5 6
Objem hipokampu
37Koriťáková: Analýza a klasifikace dat
Bayesův kl. – kritérium maximální aposteriorní psti
3. Klasifikace podle obou proměnných:
𝑃 𝜔 𝐷|𝐱 =
𝑝 𝐱|𝜔 𝐷 ∙𝑃 𝜔 𝐷
𝑝 𝐱
=
0,078∙0,5
0,067
= 0,582
𝑃 𝜔 𝐻|𝐱 =
𝑝 𝐱|𝜔 𝐻 ∙𝑃 𝜔 𝐻
𝑝 𝐱
=
0,056∙0,5
0,067
= 0,418
Vícerozm. průměry:
ത𝐱 𝐷 = 3 10
ത𝐱 𝐻 = 4 7
Výběr. kovarianční matice:
𝐒 𝐷 = 𝐒 𝐻 =
1 −1
−1 4
Podmíněné hustoty pravděpodobnosti:
𝑝 𝐱|𝜔 𝐷 =
1
2𝜋 s11
𝐷 ∙s22
𝐷 1− r12
𝐷 2
∙ exp −
1
2 1− r12
𝐷 2
x1−തx1
𝐷 2
s11
𝐷 +
x2−തx2
𝐷 2
s22
𝐷 −
2r12
𝐷 x1−തx1
𝐷 x2−തx2
𝐷
s11
𝐷 ∙s22
𝐷
=
1
2𝜋 1∙4 1− −0,5 2
∙ exp −
1
2 1− −0,5 2
3,5−3 2
1
+
9−10 2
4
−
2 −0,5 3,5−3 9−10
1∙4
= 0,078
𝑝 𝐱|𝜔 𝐻 =
1
2𝜋 s11
𝐻 ∙s22
𝐻 1− r12
𝐻 2
∙ exp −
1
2 1− r12
𝐻 2
x1−തx1
𝐻 2
s11
𝐻 +
x2−തx2
𝐻 2
s22
𝐻 −
2r12
𝐻 x1−തx1
𝐻 x2−തx2
𝐻
s11
𝐻 ∙s22
𝐻
=
1
2𝜋 1∙4 1− −0,5 2
∙ exp −
1
2 1− −0,5 2
3,5−4 2
1
+
9−7 2
4
−
2 −0,5 3,5−4 9−7
1∙4
= 0,056
Celková hustota pravděpodobnosti:
𝑝 𝐱 = 𝑝 𝐱|𝜔 𝐷 ∙ 𝑃 𝜔 𝐷 + 𝑝 𝐱|𝜔 𝐻 ∙ 𝑃 𝜔 𝐻 = 0,078 ∙ 0,5 + 0,056 ∙ 0,5 = 0,067
Apriorní psti: 𝑃 𝜔 𝐷 = 𝑃 𝜔 𝐻 = 0,5
testovací subjekt 𝐱 = 3,5 9
Kor. koef.: r12
𝐷
= r21
𝐷
= r12
𝐻
= r21
𝐻
= −0,5
→ subjekt zařazen do třídy pacientů
38Koriťáková: Analýza a klasifikace dat
Bayesův kl. – kritérium maximální aposteriorní psti
pacienti
kontroly
testovací subjekt
1 2 3 4 5 6
4
5
6
7
8
9
10
11
12
13
Objem hipokampu
Objemmozkovýchkomor
3. Klasifikace podle obou proměnných:
0
1
2
3
4
5
6
7
4
6
8
10
12
14
0
0.05
x1x2
𝑃 𝜔 𝐷|𝐱 =
0,078∙0,5
0,067
= 0,582
𝑃 𝜔 𝐻|𝐱 =
0,056∙0,5
0,067
= 0,418
→ subjekt zařazen do třídy pacientů
39Koriťáková: Analýza a klasifikace dat
Příklad - klasifikace podle obou proměnných:
Bayesův kl. – kritérium maximální aposteriorní psti
pacienti
kontroly
testovací subjekt
0
1
2
3
4
5
6
7
4
6
8
10
12
14
0
0.05
x1x2
1 2 3 4 5 6
2468101214
X1[,1]
X1[,2]
1 2 3 4 5 6
2468101214
X1[,1]
X1[,2]
0.005
0.01
0.015
0.02
0.025
0.03
0.035
0.005
0.01
0.015
0.02
0.025
0.03
0.035
Objemmozkovýchkomor
Objem hipokampu
40Koriťáková: Analýza a klasifikace dat
Příklad - Výpočet hranice pomocí diskriminačních funkcí:
Bayesův kl. – kritérium maximální aposteriorní psti
Pro hranici je rozdíl diskriminačních funkcí roven 0:
𝑃 𝜔 𝐷|𝐱 − 𝑃 𝜔 𝐻|𝐱 = 0
𝑃 𝜔 𝐷|𝐱 = 𝑃 𝜔 𝐻|𝐱
𝑃 𝜔 𝐷|𝐱
𝑃 𝜔 𝐻|𝐱
= 1 → kritérium maximální aposteriorní pravděpodobnosti
Levá strana je rovna:
𝑃 𝜔 𝐷|𝐱
𝑃 𝜔 𝐻|𝐱
=
0,582
0,418
= 1,4
Pravá strana je rovna: 1
→ protože věrohodnostní poměr (na levé straně) je větší než výraz na pravé
straně, subjekt zařadíme do třídy pacientů
Bayesův klasifikátor – kritéria
41Koriťáková: Analýza a klasifikace dat
• Kritérium maximální aposteriorní pravděpodobnosti
• Kritérium minimální pravděpodobnosti chybného rozhodnutí
• Kritérium minimální střední ztráty
• Kritérium maximální pravděpodobnosti
Bayesův kl. – kritérium min. psti chybného rozhodnutí
42Koriťáková: Analýza a klasifikace dat
• Vyjdeme z výpočtu hranice pomocí diskriminačních funkcí:
𝑃 𝜔 𝐷|𝐱 − 𝑃 𝜔 𝐻|𝐱 = 0
𝑝 𝐱|𝜔 𝐷 ∙ 𝑃 𝜔 𝐷
𝑝 𝐱
−
𝑝 𝐱|𝜔 𝐻 ∙ 𝑃 𝜔 𝐻
𝑝 𝐱
= 0
• Můžeme vykrátit 𝑝 𝐱 , protože celková hustota pravděpodobnosti je
stejná pro obě diskriminační funkce:
𝑝 𝐱|𝜔 𝐷 ∙ 𝑃 𝜔 𝐷 − 𝑝 𝐱|𝜔 𝐻 ∙ 𝑃 𝜔 𝐻 = 0
•
𝑝 𝐱|𝜔 𝐷
𝑝 𝐱|𝜔 𝐻
=
𝑃 𝜔 𝐻
𝑃 𝜔 𝐷
→ kritérium minimální psti chybného rozhodnutí
Bayesův kl. – kritérium min. psti chybného rozhodnutí
43Koriťáková: Analýza a klasifikace dat
𝑝 𝐱|𝜔 𝐷
𝑝 𝐱|𝜔 𝐻
=
𝑃 𝜔 𝐻
𝑃 𝜔 𝐷
→ kritérium minimální psti chybného rozhodnutí
Pro náš příklad:
Levá strana je rovna:
𝑝 𝐱|𝜔 𝐷
𝑝 𝐱|𝜔 𝐻
=
0,078
0,056
= 1,4
Pravá strana rovna
𝑃 𝜔 𝐻
𝑃 𝜔 𝐷
=
0,5
0,5
= 1
→ protože věrohodnostní poměr (na levé straně) je větší než výraz na pravé
straně, subjekt zařadíme do třídy pacientů
Poznámka: Kdyby byly apriorní pravděpodobnosti jiné, např.
𝑃 𝜔 𝐻
𝑃 𝜔 𝐷
=
Τ6 9
Τ3 9
= 2, byl
by testovací subjekt zařazen do třídy kontrolních subjektů.
Bayesův kl. – kritérium min. psti chybného rozhodnutí
44Koriťáková: Analýza a klasifikace dat
Poznámka: Kdyby byly apriorní pravděpodobnosti jiné, např.
𝑃 𝜔 𝐻
𝑃 𝜔 𝐷
=
Τ6 9
Τ3 9
= 2,
byl by testovací subjekt zařazen do třídy kontrolních subjektů.
-10 -5 0 5 10 15 20 25
0.000.050.100.15
x
function(x)0.5*dnorm(x,mean=x1_mean[2],sd=sqrt(S1[2,
-10 -5 0 5 10 15 20 25
0.000.050.100.15
x
function(x)0.3*dnorm(x,mean=x1_mean[2],sd=sqrt(S1[2,
→ zařazení objektu do červené třídy → zařazení objektu do černé třídy
Bayesův klasifikátor – kritéria
45Koriťáková: Analýza a klasifikace dat
• Kritérium maximální aposteriorní pravděpodobnosti
• Kritérium minimální pravděpodobnosti chybného rozhodnutí
• Kritérium minimální střední ztráty
• Kritérium maximální pravděpodobnosti
Bayesův kl. – kritérium minimální střední ztráty
46Koriťáková: Analýza a klasifikace dat
• chceme do výpočtů zahrnout ztrátu při chybné klasifikaci objektu ze třídy 𝜔𝑠
do třídy 𝜔𝑟 - ztráta definována pomocí ztrátové funkce 𝜆 𝜔𝑟|𝜔𝑠
𝝀 =
𝜆 𝜔1|𝜔1 𝜆 𝜔1|𝜔2 ⋯ 𝜆 𝜔1|𝜔 𝐾
𝜆 𝜔2|𝜔1 𝜆 𝜔2|𝜔2 ⋯ 𝜆 𝜔2|𝜔 𝐾
⋮ ⋮ ⋱ ⋮
𝜆 𝜔 𝐾|𝜔1 𝜆 𝜔 𝐾|𝜔2 ⋯ 𝜆 𝜔 𝐾|𝜔 𝐾
• ztrátové funkce zapíšeme do matice ztrátových funkcí:
• např. 𝜆 =
𝜆 𝜔 𝐷|𝜔 𝐷 𝜆 𝜔 𝐷|𝜔 𝐻
𝜆 𝜔 𝐻|𝜔 𝐷 𝜆 𝜔 𝐻|𝜔 𝐻
=
0 1
2 0
→ víc penalizuji, když je pacient nesprávně
zařazen do třídy kontrolních subjektů (𝜔2), než když je kontrolní subjekt nesprávně zařazen
do třídy pacientů (𝜔1)
• prvky na diagonále 𝜆 𝜔1|𝜔1 bývají zpravidla nulové, protože při správném
zařazení objektu ze třídy 𝜔1 do třídy 𝜔1 nevzniká žádná ztráta
• např. 𝜆 =
0 2
1 0
→ víc penalizuji, když je kontrolní subjekt nesprávně zařazen do třídy
pacientů (𝜔1), než když je pacient nesprávně zařazen do třídy kontrolních subjektů (𝜔2)
Bayesův kl. – kritérium minimální střední ztráty
47Koriťáková: Analýza a klasifikace dat
Odvození kritéria minimální střední ztráty:
• Celková střední ztráta J(a) je průměrná hodnota z dílčích středních ztrát:
• Chceme minimalizovat střední ztrátu:
• Hledáme minimální střední ztrátu, pokud ale chceme využít principu
diskriminačních funkcí, budeme hledat maximum z výrazu se záporným
znaménkem → diskriminační funkce potom bude tvaru:
xxa dsssr
R
s
)P().p().()(J
1


x
xxa dsssr
R
sr
)P().p().(min*)(J
1


x


R
sssrr
1s
)P().p().()(g  xx
Bayesův kl. – kritérium minimální střední ztráty
48Koriťáková: Analýza a klasifikace dat
Diskriminační funkce obecně:
Diskriminační funkce pro dichotomický klasifikátor:
g1 𝐱 = −𝜆 𝜔1|𝜔1 ∙ 𝑝 𝐱|𝜔1 ∙ 𝑃 𝜔1 − 𝜆 𝜔1|𝜔2 ∙ 𝑝 𝐱|𝜔2 ∙ 𝑃 𝜔2
g2 𝐱 = −𝜆 𝜔2|𝜔1 ∙ 𝑝 𝐱|𝜔1 ∙ 𝑃 𝜔1 − 𝜆 𝜔2|𝜔2 ∙ 𝑝 𝐱|𝜔2 ∙ 𝑃 𝜔2
Výpočet hranice pomocí diskriminačních funkcí:
g1 𝐱 − g2 𝐱 = 0
−𝜆 𝜔1|𝜔1 ∙ 𝑝 𝐱|𝜔1 ∙ 𝑃 𝜔1 − 𝜆 𝜔1|𝜔2 ∙ 𝑝 𝐱|𝜔2 ∙ 𝑃 𝜔2 + 𝜆 𝜔2|𝜔1 ∙ 𝑝 𝐱|𝜔1 ∙ 𝑃 𝜔1 + 𝜆 𝜔2|𝜔2 ∙ 𝑝 𝐱|𝜔2 ∙ 𝑃 𝜔2 = 0
𝜆 𝜔2|𝜔1 − 𝜆 𝜔1|𝜔1 ∙ 𝑝 𝐱|𝜔1 ∙ 𝑃 𝜔1 + 𝜆 𝜔2|𝜔2 − 𝜆 𝜔1|𝜔2 ∙ 𝑝 𝐱|𝜔2 ∙ 𝑃 𝜔2 = 0
𝜆 𝜔2|𝜔1 − 𝜆 𝜔1|𝜔1 ∙ 𝑝 𝐱|𝜔1 ∙ 𝑃 𝜔1 = 𝜆 𝜔1|𝜔2 − 𝜆 𝜔2|𝜔2 ∙ 𝑝 𝐱|𝜔2 ∙ 𝑃 𝜔2
𝑝 𝐱|𝜔1
𝑝 𝐱|𝜔2
=
𝜆 𝜔1|𝜔2 −𝜆 𝜔2|𝜔2 𝑃 𝜔2
𝜆 𝜔2|𝜔1 −𝜆 𝜔1|𝜔1 𝑃 𝜔1
→ kritérium minimální střední ztráty
g 𝑟 𝐱 = − ෍
𝑠=1
𝑅
𝜆 𝜔𝑟|𝜔𝑠 ∙ 𝑝 𝐱|𝜔𝑠 ∙ 𝑃 𝜔𝑠
Bayesův kl. – kritérium minimální střední ztráty
49Koriťáková: Analýza a klasifikace dat
Celková střední ztráta v případě dvou tříd je:
)1)((P.)().(P.)().(P.)()1).((P.)(
d).(p)(P.)(d).(p)(P.)(
d).(p)(P.)(d).(p)(P.)(
d)(P).(p).(d)(P).(p).()(J
222112221111
22221112
22211111
sss
2
1s
2sss
2
1s
1






 
22
11
21
RR
RR
RR
xxxx
xxxx
xxxxa
50Koriťáková: Analýza a klasifikace dat
𝑝 𝐱|𝜔 𝐷
𝑝 𝐱|𝜔 𝐻
=
𝜆 𝜔 𝐷|𝜔 𝐻 −𝜆 𝜔 𝐻|𝜔 𝐻 𝑃 𝜔 𝐻
𝜆 𝜔 𝐻|𝜔 𝐷 −𝜆 𝜔 𝐷|𝜔 𝐷 𝑃 𝜔 𝐷
→ kritérium minimální střední ztráty
Pro náš příklad:
Levá strana je rovna:
𝑝 𝐱|𝜔 𝐷
𝑝 𝐱|𝜔 𝐻
=
0,078
0,056
= 1,4
Pravá strana je při různém nastavení vah rovna:
• 𝜆 =
0 1
2 0
(tzn., více penalizuji, pokud je pacient nesprávně zařazen do třídy
kontrolních subjektů, než když je kontrolní subjekt nesprávně zařazen do třídy pacientů),
pak pravá strana je rovna
1−0 ∙0,5
2−0 ∙0,5
= 0,5 a subjekt zařadím do třídy pacientů.
• 𝜆 =
0 1
1 0
(penalizuji shodně nesprávné zařazení do třídy kontrolních subjektů i
pacientů – kritérium minimální pravděpodobnosti chybného rozhodnutí), pak pravá
strana je rovna
1−0 ∙0,5
1−0 ∙0,5
= 1 a subjekt zařadím do třídy pacientů.
• 𝜆 =
0 2
1 0
(tzn., více penalizuji, pokud je kontrolní subjekt nesprávně zařazen do třídy
pacientů, než když je pacient nesprávně zařazen do třídy kontrolních subjektů), pak
pravá strana je rovna
2−0 ∙0,5
1−0 ∙0,5
= 2 a subjekt zařadím do třídy kontrolních subjektů.
Bayesův kl. – kritérium minimální střední ztráty
Bayesův kl. – kritérium minimální střední ztráty
51Koriťáková: Analýza a klasifikace dat
• Poznámka: pokud nastavíme matici ztrátových funkcí ve tvaru 𝜆 =
0 1
1 0
,
dostáváme kritérium minimální psti chybného rozhodnutí:
𝑝 𝐱|𝜔 𝐷
𝑝 𝐱|𝜔 𝐻
=
𝜆 𝜔 𝐷|𝜔 𝐻 − 𝜆 𝜔 𝐻|𝜔 𝐻 𝑃 𝜔 𝐻
𝜆 𝜔 𝐻|𝜔 𝐷 − 𝜆 𝜔 𝐷|𝜔 𝐷 𝑃 𝜔 𝐷
𝑝 𝐱|𝜔 𝐷
𝑝 𝐱|𝜔 𝐻
=
1 − 0 𝑃 𝜔 𝐻
1 − 0 𝑃 𝜔 𝐷
•
𝑝 𝐱|𝜔 𝐷
𝑝 𝐱|𝜔 𝐻
=
𝑃 𝜔 𝐻
𝑃 𝜔 𝐷
→ kritérium minimální psti chybného rozhodnutí
Bayesův klasifikátor – kritéria
52Koriťáková: Analýza a klasifikace dat
• Kritérium maximální aposteriorní pravděpodobnosti
• Kritérium minimální pravděpodobnosti chybného rozhodnutí
• Kritérium minimální střední ztráty
• Kritérium maximální pravděpodobnosti
Bayesův kl. – kritérium maximální psti
53Koriťáková: Analýza a klasifikace dat
• Předpoklady:
– rovnoměrné zastoupení 𝐾 tříd, tzn. 𝑃 𝜔 𝐷 = 𝑃 𝜔 𝐻 =
1
𝐾
=
1
2
= 0,5
– nulové ztráty při správném rozhodnutí, tzn. 𝜆 𝜔 𝐷|𝜔 𝐷 = 𝜆 𝜔 𝐻|𝜔 𝐻 = 0
• pak získáváme po dosazení do obecného vzorce pro výpočet věrohodnostního
poměru:
𝑝 𝐱|𝜔 𝐷
𝑝 𝐱|𝜔 𝐻
=
𝜆 𝜔 𝐷|𝜔 𝐻 − 0 ∙ 0,5
𝜆 𝜔 𝐻|𝜔 𝐷 − 0 ∙ 0,5
•
𝑝 𝐱|𝜔 𝐷
𝑝 𝐱|𝜔 𝐻
=
𝜆 𝜔 𝐷|𝜔 𝐻
𝜆 𝜔 𝐻|𝜔 𝐷
→ kritérium maximální pravděpodobnosti
54Koriťáková: Analýza a klasifikace dat
𝑝 𝐱|𝜔 𝐷
𝑝 𝐱|𝜔 𝐻
=
𝜆 𝜔 𝐷|𝜔 𝐻
𝜆 𝜔 𝐻|𝜔 𝐷
→ kritérium maximální pravděpodobnosti
Pro náš příklad:
Levá strana je rovna:
𝑝 𝐱|𝜔 𝐷
𝑝 𝐱|𝜔 𝐻
=
0,078
0,056
= 1,4
Pravá strana je při různém nastavení vah rovna:
• 𝜆 =
0 1
2 0
(tzn., více penalizuji, pokud je pacient nesprávně zařazen do třídy
kontrolních subjektů, než když je kontrolní subjekt nesprávně zařazen do třídy
pacientů), pak pravá strana je rovna
1
2
= 0,5 a subjekt zařadím do třídy pacientů.
• 𝜆 =
0 1
1 0
(penalizuji shodně nesprávné zařazení do třídy kontrolních subjektů i
pacientů), pak pravá strana je rovna
1
1
= 1 a subjekt zařadím do třídy pacientů.
• 𝜆 =
0 2
1 0
(tzn., více penalizuji, pokud je kontrolní subjekt nesprávně zařazen do
třídy pacientů, než když je pacient nesprávně zařazen do třídy kontrolních
subjektů), pak pravá strana je rovna
2
1
= 2 a subjekt zařadím do třídy kontrolních
subjektů.
Bayesův kl. – kritérium maximální psti
Bayesův klasifikátor – kritéria
55Koriťáková: Analýza a klasifikace dat
• Kritérium maximální aposteriorní pravděpodobnosti:
𝑃 𝜔 𝐷|𝐱
𝑃 𝜔 𝐻|𝐱
= 1
• Kritérium minimální pravděpodobnosti chybného rozhodnutí
𝑝 𝐱|𝜔 𝐷
𝑝 𝐱|𝜔 𝐻
=
𝑃 𝜔 𝐻
𝑃 𝜔 𝐷
• Kritérium minimální střední ztráty
𝑝 𝐱|𝜔 𝐷
𝑝 𝐱|𝜔 𝐻
=
𝜆 𝜔 𝐷|𝜔 𝐻 −𝜆 𝜔 𝐻|𝜔 𝐻 𝑃 𝜔 𝐻
𝜆 𝜔 𝐻|𝜔 𝐷 −𝜆 𝜔 𝐷|𝜔 𝐷 𝑃 𝜔 𝐷
• Kritérium maximální pravděpodobnosti
𝑝 𝐱|𝜔 𝐷
𝑝 𝐱|𝜔 𝐻
=
𝜆 𝜔 𝐷|𝜔 𝐻
𝜆 𝜔 𝐻|𝜔 𝐷
56Koriťáková: Analýza a klasifikace dat
Příprava nových učebních materiálů
pro obor Matematická biologie
je podporována projektem OPVK
č. CZ.1.07/2.2.00/28.0043
„Interdisciplinární rozvoj studijního
oboru Matematická biologie“