Interpretace a evaluace 1. Deskriptivní úlohy NULWpULHPQRYRVW]DMtPDYRVWXåLWHþQRVWDVUR]XPLWHOQRVW Kvalitativní hodnocení: • ]HMPp]QDORVWLNWHUpMVRXYHVKRG VHÄ]GUDYêPVHOVNêP rozumem“ • ]HMPp]QDORVWLNWHUpMVRXYHVKRG VH]QDORVWPLH[SHUWD z dané oblasti • QRYp]DMtPDYp]QDORVWLNWHUpSLQiãHMtQRYêSRKOHG • ]QDORVWLNWHUpPXVtH[SHUWSRGURELWEOLåãtDQDOê]HQHER" není zcela jasné co znamenají • „znalosti“, které jsou v rozporu se znalostmi experta Kvantitativní hodnocení: • QDSVSROHKOLYRVWDSRGSRUDXDVRFLDþQtFKSUDYLGHO pozor, ne vše co je statisticky významné je i zajímavé ! 2..ODVLILNDþQt~ORK\ NULWpULHP~VS ãQRVWNODVLILNDFHQDGDWHFK 7HVWRYiQtPRGHO$ • testování v celých trénovacích datech • NtåRYiYDOLGDFH cross-validation) • leave-one-out • bootstrap • testování na testovacích datech Cílem je zjistit vNROLNDStSDGHFKGRãORNHVKRG UHVS QHVKRG PRGHOX V\VWpPX VLQIRUPDFtRGXþLWHOH 0DWLFH]iP Q confusion matrix) Klasifikace systémem 6SUiYQp]DD]HQt + + TP FN - FP TN • Celková správnost resp. celková chyba (overall accuracy a error) Acc = TP + TN TP + TN + FP + FN Err = FP + FN TP + TN + FP + FN celková správnost ∈ [Accdef , Accmax] kde Accdef … správnost SLklasifikaci všech SUtNODG$GRmajoritní WtG\ Accmax …maximální PRåQisprávnost pro daná data Chyba bez ceny Err = 1 – Acc Chyba s cenami Err = FP * c(P,n) + FN * c(N,p) • 6SUiYQRVWSURMHGQRWOLYpWtG\ Acc+ = TP TP + FP Acc- = TN TN + FN YKRGQ MãtSLÄQHY\YiåHQêFK³WtGiFK • 3HVQRVWD~SOQRVW precision a recall) !083489 TP TP + FP Úplnost = TP TP + FN lze kombinovat do tzv. F-míry F = 2 *5083489 * úplnost 5083489 + úplnost = 2TP 2TP + FP + FN • Senzitivita a specificita (sensitivity a specificity) Senzitivita = TP TP + FN Specificita = TN TN + FP Spolehlivost klasifikace na ]iNODG PHWDXþHQt informace o správnosti klasifikace jako nový atribut • .LYNDXþHQt learning curve) 9]WDKPH]L~VS ãQRVWtNODVLILNDFHDSRþWHPStNODG$ 9]WDKPH]L~VS ãQRVWtNODVLILNDFHDSRþWHPLWHUDFt • .LYNDQDYêãHQt OLIWcurve) 9]WDKPH]LSRþWHP~VS ãQêFKNODVLILNDFtDYiKRXNODVLILNDFH • .LYNDnávratnosti investic (ROI curve) 9]WDKPH]L]LVNHP]~VS ãQêFKNODVLILNDFtDYiKRXNODVLILNDFH • .LYNDROC Vztah mezi TP a )3SURU$]QiQDVWDYHQtNODVLILNiWRUX TP% = TP TP + FN FP% = FP FP + TN TP% = Senzitivita, 1 – FP% = Specificita Varianta (KEX) =iYLVORVWVSUiYQRVWLDSRþWXUR]KRGQXWtna prahu α, UR]KRGQXWtMHQNG\åw ≥ α 1XPHULFNpWtG\(pi predikovaná hodnota a si VNXWHþQiKRGQRWD • MSE = (p1-s1)2 + …+ (pn-sn)2 n • RMSE = (p1-s1)2 + …+ (pn-sn)2 n • MAE = |p1-s1| + …+ |pn-sn| n • RSE = (p1-s1)2 + …+ (pn-sn)2 (s1-s')2 + …+ (sn-s')2 , kde s' = Σisi n • ρ = Sps Sp 2 Ss 2 , kde Sps = Σi(pi - p')(si - s') n-1 , Sp 2 = Σi(pi - p')2 n-1 , Ss 2 = Σi(si - s')2 n-1 Vizualizace 1. 9L]XDOL]DFHPRGHO$ • Rozhodovací stromy (MineSet) • Asociace (Clementine) • Pravidlo IF nezamestnany(ne) THEN uver(ano) XYHU DQR XYHU QH QH]DPHVWQDQ\ QH 5 1 6 QH]DPHVWQDQ\ DQR 3 3 6 8 4 12 Vizualizace klasifikací Obecné logické diagramy (Michalski) spojení s GIS (KEX) 3RURYQiYiQtPRGHO$ • T-test t(x,y) = x' - y' s(x,y) 1/m + 1/n , kde x' = Σixi m , y' = Σiyi n a s2 (x,y) = (m-1) sx 2 + (n-1) sy 2 m+n-2 0RGHO$EXGHOHSãtQHåPRGHO%SRNXG t(AccA, AccB) > t(1- α/2, m + n –2) • 52&NLYN\ • 2FFDPRYDELWYD minimum description length, MDL 9ROEDQHMYKRGQ MãtKRDOJRULWPX • FKDUDNWHULVWLN\DOJRULWP$vs. charakteristiky dat • ]S$VREUHSUH]HQWDFHStNODG$ • Y\MDGRYDFtVtOD • schopnost práce s numerickými atributy, • VFKRSQRVWSUiFHVH]DãXP QêPLDFK\E MtFtPLGDW\ • schopnost práce s maticí cen, • SHGSRNODGQH]iYLVORVWLPH]LDWULEXW\ • ostrá vs. neostrá klasifikace • empirické studie 0HWDXþHQtQDGYêVOHGN\GRVDåHQêPLMHGQRWOLYêPLV\VWpP\ • STATLOG (1991-1994) • SURUR]ViKOiGDWDVHKRGtGLVNULPLQDþQtDQDOê]D OLQHiUQtNYDGUDWLFNi  • není velký rozdíl mezi „RE\þHMQRX³DORJLVWLFNRXGLVNULPLQDþQt analýzou, • na rozsáhlých datech je nejpomalejší metoda kQHMEOLåãtFKVRXVHG$ • SRXåLWpDOJRULWP\QDWYRUEXUR]KRGRYDFtFKVWURP$VHFKRYDO\]KUXED VWHMQ ; nezdá se WHG\åHE\Q MDN]YOiã"]iOHåHORna kritériu pro volbu Y WYHQt • neuronové VtW dávaly výborné výsledky u dat, kde se QDSRXåtYDOD matice cen. • METAL (2000 - ) G$UD]LQDSHG]SUDFRYiQt .RPELQRYiQtPRGHO$ U$]QpYDULDQW\KODVRYiQt • Bagging (bootstrap aggregating) • Q NROLNVWHMQ YHONêFKWUpQRYDFtFKPQRåLQSRPRFt QiKRGQpKRYêE UXV opakováním (bootstrap) • všechny modely rovný hlas • Boosting • QiVOHGXMtFtPRGHOQDGDWDFK\EQ NODVLILNRYDQi SHGFKi]HMtFtPPRGHOHP • SRVWXSQ VHY\WYiHMtPRGHO\VHVWiOHY WãtYiKRXKODVX AdaBoost algoritmus XþHQt 1. 3LDVWHMQRXYiKXYãHPWUpQRYDFtPStNODG$P 2. 3URNDåGRXLWHUDFL Y\WYiHQêPRGHO 2.1. 9\WYRPRGHO 2.2. 6SRþtWHMFK\EXerrQDYiåHQêFKGDWHFK 2.3. If err=0 nebo err>0.5 konec 2.4. Pro NDåGêStNODG If klasifikace je VSUiYQ WKHQváha w=w*err/(1-err) 2.5. Normalizuj váhy StNODG$ VRXþHW nových vah stejný jako VRXþHW S$YRGQtFK klasifikace jednoho StNODGX 1. 3LDváhy 0 všm WtGiP 2. Pro NDåGêPRGHO 3LDWtG XUþHQpmodelem váhu w=w-log(err/1-err) 3. Vydej WtGXV nejvyšší váhou • Stacking UR]SR]QDWVSROHKOLYRVWMHGQRWOLYêFKPRGHO$QD]iNODG PHWDXþHQt