Jak správně měřit kvalitu credit scoringových modelů? Martin Řezáč Brno, 11.4.2012 1. Úvod 3 2. Definice dobrého/špatného klienta 9 3. Měření kvality modelu 16 4. Indexy založené na distribuční funkci 17 5. Indexy založené na hustotě 38 6. Výsledky pro normálně rozložená skóre 52 7. Finanční dopad použití scoringových modelů 58 8. Závěr 64 2 Obsah  Credit scoring je množina prediktivních modelů a jim příslušných statistických technik, které pomáhají finančním institucím při automatickém posuzování žádostí o úvěr.  Se znalostí pravděpodobnosti selhání žadatele, očekávané míry zamítání, očekávaného zisku/ztráty, popř. dalších business předpokladů, lze efektivně rozhodnout kdo úvěr dostane, v jaké výši a jaké další strategie maximalizují profit plynoucí z daného žadatele/klienta. 3 Úvod  Efektivní využití scoringových modelů je nemožné bez znalosti jejich kvality, a to jednak v okamžiku vývoje modelů, ale také po jejich nasazení do praxe.  Při vývoji je typicky k dispozici několik různých modelů a je třeba vybrat jen jeden. Samozřejmě ten nejlepší (vzhledem k nějakému kritériu).  Kritériem kvality je většinou nějaký kvantitativní index jako Giniho index nebo KS.  Jejich hodnota je ovšem silně ovlivněna volbou parametrů v definici dobrého/špatného klienta.  Navíc je zřejmé, že nejsilnější by měl být scoringový model v oblasti očekávané cutoff hodnoty. Odlišit dobré od superdobrých klientů nebývá typických cílem credit scoringových modelů. 4 Úvod  Zatímco historie úvěru sahá 4000 let nazpět (první zaznamenaná zmínka o úvěru pochází ze starověkého Babylonu - 2000 let před n.l.), historie credit scoringu je pouze 50-70 let stará.  První přístup k řešení problému identifikace skupin v populaci představil ve statistice Fisher (1936). V roce 1941, Durand jako první rozpoznal, že tyto techniky mohou být použity k rozlišování mezi dobrými a špatnými úvěry. 5 Úvod  Významným milníkem při posuzování úvěrů byla druhá světová válka.  Do té doby bylo standardem individuální posuzování žadatele o úvěr. Dále bylo standardem, že ve finanční sféře byli zaměstnáni (téměř) výhradně muži.  Odchod značné části mužské populace do služeb armády měl za následek potřebu předat zkušenosti dosavadních posuzovatelů žádostí o úvěr novým pracovníkům.  Díky tomu vznikla jakási rozhodovací pravidla a došlo k „automatizaci“ posuzování žádostí o úvěr. 6 Úvod  Příchod kreditních karet ke konci šedesátých let minulého století a růst výpočetního výkonu způsobil obrovský rozvoj a využití credit scoringových technik. Událost, která zajistila plnou akceptaci credit scoringu, bylo přijětí zákonů „Equal Credit Opportunity Acts” (o rovné příležitosti přístupu k úvěrům) a jeho pozdějších znění přijatých v USA v roce 1975 a 1976. Tyto stanovily za nezákonné diskriminace v poskytování úvěru, vyjma situace, pokud tato diskriminace „byla empiricky odvozená a statisticky validní”. 7 Úvod Úvod  V osmdesátých letech minulého století začala být využívána logistická regrese, dodnes v mnoha oblastech považovaná za průmyslový standard, a lineární programování. O něco později se objevily na scéně metody umělé inteligence, např. neuronové sítě. Mezi další používané techniky lze zařadit metody nejbližšího souseda, splajny, waveletové vyhlazování, jádrové vyhlazování, Bayesovské metody, regresní a klasifikační stromy, support vector machines, asociační pravidla, klastrovou analýzu a genetické algoritmy. 8 Default – definice cílové prom. (good/bad)  Obvykle je tato definice založena na klientově počtu dnů po splatnosti (Days Past Due, DPD) a částce po splatnosti. S částkou po splatnosti je spojena potřeba stanovení jisté míry tolerance, tedy stanovení co je považováno za významný dluh a co nikoli. Např. nemusí dávat smysl považovat za dluh částky menší než 100 Kč.  Dále je třeba stanovit časový horizont (performance window), na kterém jsou dva zmíněné parametry sledovány.  Za dobrého klienta lze např. označit klienta, který:  je po splatnosti méně než 60 dnů(s tolerancí 100 Kč) v prvních 6-ti měsících od první splátky,  je po splatnosti méně než 90 dnů (s tolerancí 30 Kč) v průběhu celé své platební historie (ever). 9 Default – definice cílové prom.  Volba těchto parametrů závisí do značné míry na typu finančního produktu (jistě se bude lišit volba parametrů pro spotřebitelské úvěry pro malé částky se splatností kolem jednoho roku a pro hypotéky, které jsou obvykle spojeny s velmi vysokou finanční částkou a se splatností až několik desítek let) a na dalším využití této definice (řízení rizik, marketing, ...). 10 Default – definice cílové prom.  Další praktickým problémem definice dobrého klienta je souběh několika smluv jednoho klienta. Například je možné, že zákazník je po lhůtě splatnosti na více smlouvách, ale s rozdílnými dny po splatnosti a s různými částkami. V tomto případě jsou většinou částky klienta dlužné v jednom konkrétním časovém okamžiku sečteny, a ze dnů po splatnosti na jednotlivých smlouvách je brána maximální hodnota. Tento přístup lze uplatnit pouze v některých případech, a to zejména v situaci, kdy jsou k dispozici kompletní účetní data. Situace je podstatně složitější v případě agregovaných údajů, např. na měsíční bázi. 11  Obecně uvažujeme následující typy klientů: Default – definice cílové prom.  dobrý (good),  špatný (bad),  nedefinovaný (indeterminate),  s nedostatečnou úvěrovou historií (insufficient),  vyřazený (excluded),  zamítnutý (rejected). 12  První dva typy byly diskutovány. Třetí typ, tj. indeterminate, je na hranici mezi dobrým a špatným klientem a při jeho použití přímo ovlivňuje definici dobrých/špatných klientů. Uvažujeme-li pouze DPD, klienti s vysokými DPD (např. 90 +) jsou typicky označeni za špatné, nedelikventní klienti (jejich DPD je rovno nule) jsou označeni za dobré. Za indeterminate jsou pak označeni delikventní klienti, kteří nepřekročí danou hranici DPD.  Čtvrtý typ klientů jsou typicky klienti s velmi krátkou platební historií, u kterých je nemožná korektní definice cílové proměnné.  Vyřazení klienti jsou klienti, jejichž data jsou natolik špatná, že by vedla ke zkreslení modelu(např. fraudy). Další skupinu tvoří klienti, kteří nejsou standardně hodnoceni daným modelem (VIP klienti).  Poslední typ klientů jsou ti klienti, jejichž žádost o úvěr byla zamítnuta. Default – definice cílové prom. 13 Customer Default (60 or 90 DPD) Not default Fraud (first delayed payment, 90 DPD) Early default (2-4 delayed payment, 60 DPD) Late default (5+ delayed payment, 60 DPD) Rejected Accepted InsufficientGOOD BAD INDETERMINATE Excluded 14 Default – definice cílové prom.  Only good and bad clients are used for further model building. If we do not use the indeterminate category, and if we set up some tolerance level for the amount past due and resolve the issue with simultaneous contracts, there remain two parameters which affect the good/bad definition. They are DPD and time horizon.  Usually it is useful to build up a set of models with varying levels of these parameters. Furthermore, it can be useful to develop a model with one good/bad definition and measure the model’s quality with another. It should hold that scoring models developed on a harder definition (higher DPD, longer time horizon, or measuring DPD on first payment) perform better than those developed on softer definitions (Witzany, 2009).  Furthermore, it should hold that a given scoring model performs better if it is measured according to a harder good/bad definition. If not, it usually means that something is wrong.  Overall, the development and assessment of credit scoring models on a definition that is as hard as possible, but also reasonable, should lead to the best performance. Default – definice cílové prom. 15  Jakmile je k dispozici definice dobrého/špatného klienta a klientovo skóre je možné vyhodnotit kvalitu tohoto skóre. Je-li skóre výstupem nějakého prediktivního modelu (scoringové funkce), posuzujeme kvalitu tohoto modelu. Uvažujeme dvě základní skupiny indexů kvality. První je založena na distribuční funkci. Mezi nejpoužívanější indexy patří Druhá skupina indexů je založena na pravděpodobnostní hustotě. Mezi nejznámější indexy patří  Kolmogorovova-Smirnovova statistika (KS)  Giniho index (Somersovo D, Kendalovo τα , Goodman-Kruskal γ)  C-statistika  Lift.  Střední diference (Mahalanobisova vzdálenost)  Informační statistika/hodnota (IVal). 16 Měření kvality modelu Počet dobrých klientů: Počet špatných klientů: Proporce dobrých/špatných klientů: )1( 1 )( 1 .   Ki n i GOODn DasI n aF )0( 1 )( 1 .   Ki m i BADm DasI m aF ],[ HLa)( 1 )( 1 . asI N aF i N i ALLN    Empirické distribuční funkce: mn m pB  , mn n pG   n m  Kolmogorovova-Smirnovova statistika (KS) )()(max ,, ],[ aFaFKS GOODnBADm HLa       .,0 ,1 jinak dobrýjeklient DK     jinak platíA AI 0 1 )( 17 Indexy založené na distribuční funkci  Lorenzova křivka (LC)  Tato definice a název (LC) je konzistentní s Müller, M., Rönz, B. (2000). Stejnou definici křivky, ovšem pod názvem ROC lze nalézt v Thomas et al. (2002). Siddiqi (2006) používá název ROC pro křivku s prohozenými osami a LC pro křivku s na svislé ose a na ose horizontální. .],[),( )( . . HLaaFy aFx GOODn BADm   )(. aF BADm )(. aF ALLN 18 Indexy založené na distribuční funkci  Lorenzova křivka (LC)  Giniho index A BA A Gini 2    .,),( )( . . HLaaFy aFx GOODn BADm           mn k kGOODnGOODnkBADmkBADm FFFFGini k 2 1..1..1 kBADmF . kGOODnF . kde ( ) je k-tá hodnota vektoru empirické distribuční funkce špatných (dobrých) klientů Lorenzova křivka, Giniho index 19 kde jsou bivariantní, stochasticky nezávislé, náhodné vektory nad touž datovou populací, a značí střední hodnotu. V našem případě je Y=1 jestliže je klient dobrý a Y=0 jestliže je klient špatný. Proměnná X reprezentuje skóre. kde je Kendallovo definované jako  Giniho index je speciální případ Somersova D (Somers (1962)), které je pořadovou asociační mírou definovanou jako XX XY YXD    XY a     2121 YYsignXXsignEXY   ,, 11 YX  22 ,YX E Thomas (2009) uvádí, že Somersovo D hodnotící výkonnost daného credit scoringového modelu lze vypočítat pomocí mn bgbg D ij j i i ij j i i S      kde gi (bj) je počet dobrých (špatných) klientů v i-tém intervalu skóre. Somersovo D, Kendalovo  20  Dále platí, že DS může být vyjádřeno pomocí Mann-Whitneyho U-statistiky.  Seřaď datový vzorek ve vzestupném pořadí podle skóre a sečti pořadí dobrých klientů ve vzniklé posloupnosti. Označme tento součet jako RG. Potom 12    mn U DS  1 2 1  nnRU G Somersovo D, Mann-Whitney U 21  Konkordantní pár (X1,Y1), (X2,Y2):  Diskordantní pár:  V našem případě X představuje skóre a Y ukazatel dobrého klienta (DK). Protože dobrý klient má hodnotu Y=1 a špatný Y=0, je zřejmé, že u konkordantního páru má dobrý klient vyšší hodnotu skóre než klient špatný. )sgn()sgn( 1212 YYXX  )sgn()sgn( 1212 YYXX  Konkordantní, diskordantní páry 22  Uvažujme tedy dva náhodně vybrané klienty, přičemž jeden je dobrý (Y1=1) a druhý špatný (Y2=0), skóre prvního označme s1, druhého s2. Pak  Konkordantní pár (Concordant): s1>s2  Diskordantní pár (Discordant): s1 Lift50% = 1.48 < Lift20% = 1.90 Lift50% = 1.64 SC 2 je lepší, pokud je předpokládaná míra zamítaní (reject rate) přibližně 50%. SC 1 je významně lepší, pokud je předpokládaný reject rate přibližně 20%. 31 Indexy založené na distribuční funkci ],[, )( )( )( . . HLa aF aF aLift ALLN BADm  ]1,0()),(( 1 ))(( ))(( )( 1 ..1 .. 1 ..     qqFF qqFF qFF qQLift ALLNBADm ALLNALLN ALLNBADm })(],,[min{)( . 1 . qaFHLaqF ALLNALLN  ))1.0((10)1.0( 1 ..%10   ALLNBADm FFQLiftQLift Lift, QLift  Lift can be expressed and computed by formula:  In practice, Lift is computed corresponding to 10%, 20%, . . . , 100% of clients with the worst score. Hence we define:  Typical value of q is 0.1. Then we have 32 Lift and QLift for ideal model 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 1 2 3 4 5 6 7 8 9 10 QLiftvalue FN.ALL 1/pB pB  It is natural to ask how look Lift and QLift in case of ideal model. Hence we derived following formulas.  QLift for ideal model:  Lift for ideal model: We can see that the upper limit of Lift and QLift is equal to .Bp 1 33 Lift Ratio (LR)  Once we know form of QLift for ideal model, we can define Lift Ratio as analogy to Gini index. 0 0.2 0.4 0.6 0.8 1 0 1 2 3 4 5 6 7 8 9 10 F N.ALL QLiftvalue 1/p B p B A B Actual model Ideal model Random model  It is obvious that it is global measure of model's quality and that it takes values from 0 to 1. Value 0 corresponds to random model, value 1 match to ideal model. Meaning of this index is quite simple. The higher, the better. Important feature is that Lift Ratio allows us to fairly compare two models developed on different data samples, which is not possible with Lift. 34  Since Lift Ratio compares areas under Lift function for actual and ideal models, next concept is focused on comparison of Lift functions themselves. We define Relative Lift function by 0 0.2 0.4 0.6 0.8 1 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 F N.ALL RLIFT Actual model Ideal model Random model  In connection to RLift we define Integrated Relative Lift (IRL):  It takes values from , for random model, to 1, for ideal model. Following simulation study shows interesting connection to c-statistics. 2 5.0 2 Bp  Rlift, IRL 35 Příklad  We consider two scoring models with score distribution given in the table below.  We consider standard meaning of scores, i.e. higher score band means better clients (the highest probability of default have clients with the lowest scores, i.e. clients in score band 1).  Gini indexes are equal for both models.  It is evident from the Lorenz curves, that the first model is stronger for higher score bands and the second one is better for lower score bands.  The same we can read from values of QLift. score band # clients q Scoring Model 1 Scoring Model 2 # bad clients # cumul. bad clients # cumul. bad rate QLift # bad clients # cumul. bad clients # cumul. bad rate QLift 1 100 0.1 20 20 20.0% 2.00 35 35 35.0% 3.50 2 100 0.2 18 38 19.0% 1.90 16 51 25.5% 2.55 3 100 0.3 17 55 18.3% 1.83 8 59 19.7% 1.97 4 100 0.4 15 70 17.5% 1.75 8 67 16.8% 1.68 5 100 0.5 12 82 16.4% 1.64 7 74 14.8% 1.48 6 100 0.6 6 88 14.7% 1.47 6 80 13.3% 1.33 7 100 0.7 4 92 13.1% 1.31 6 86 12.3% 1.23 8 100 0.8 3 95 11.9% 1.19 5 91 11.4% 1.14 9 100 0.9 3 98 10.9% 1.09 5 96 10.7% 1.07 10 100 1.0 2 100 10.0% 1.00 4 100 10.0% 1.00 All 1000 100 100 Gini = 0.42 Gini = 0.42 36  Since Qlift is not defined for q=0, we extrapolated the value by )3.0()2.0(3)1.0(3)0( QLiftQLiftQLiftQLift  According to both Qlift and Rlift curves we can state that:  If expected reject rate is up to 40%, then model 2 is better.  If expected reject rate is more than 40%, then model 1 is better. Příklad 37 2 1 22            mn mSnS S bg S MM D bg   kde S je společná směrodatná odchylka: gM bM gS bS  Střední diference (Mahalanobis distance): , jsou střední hodnoty dobrých (špatných) klientů , jsou příslušné směrodatné odchylky. 38 Indexy založené na hustotě dx xf xf xfxfI BAD GOOD BADGOODval           )( )( ln))()(( )()()( xfxfxf BADGOODdiff         )( )( ln)( xf xf xf BAD GOOD LR  Informační hodnota (Ival) – spojitý případ (Divergence): • jde o symetrizovanou Kullback-Leiblerovu divergenci známou také pod názvem J-divergence. 39 Indexy založené na hustotě kde: je řád jádrové funkce (např. 2 pro Epanechnikovo jádro) je počet pozorování je odhad směrodatné odchylky k n ~ )(xfGOOD )(xfBAD     n D i ihGOOD K sxK n hxf 1 ,1 )( 1 ),( ~     m D i ihBAD k sxK m hxf 0 1 )( 1 ),( ~ 12 112 1 2 3 , ~ )!32( )52()!12(               k kk kOS n k kkk h   Pravděpodobnostní hustota:  Jádrový odhad:  Optimální šířka okna (pomocí principu maximalního vyhlazení): 40 Indexy založené na hustotě  Nahradíme hustotu jejím jádrovým odhadem a spočteme integrál numericky (např. pomocí složeného lichoběžníkového pravidla).  S použitím Epanečnikova jádra, , a optimální šířky vyhlazovacího okna dostaneme  Pro daných M+1 bodů dostáváme ])1,1[()1( 4 3 )( 2  xIxxK             1 1 0 0 )( ~ )( ~ 2)( ~ 2 M i MIViIVIV M val xfxfxf M xx I          ),( ~ ),( ~ ln)),( ~ ),( ~ ()( ~ 2, 2, 2,2, OSBAD OSGOOD OSBADOSGOODIV hxf hxf hxfhxfxf kOSh , Mxx ,,0  0x Mx  Informační hodnota (Ival) – diskretizovaný spojitý případ: 41 Indexy založené na hustotě  Vytvoříme intervaly skóre – typicky decily. Počet dobrých (špatných) klientů v i-tém intervalu označíme .  Musí platit  Potom dostáváme               i i iii val nb mg m b n g I ln  Informační statistika/hodnota (Ival) – diskrétní případ: )( ii bg ibg ii  0,0 42 Indexy založené na hustotě 43 Empirical estimate of Ival  However in practice, there could occur computational problems. The Information value index becomes infinite in cases when some of n0j or n1j are equal to 0.  Choosing of the number of bins is also very important. In the literature and also in many applications in credit scoring, the value r=10 is preferred. 44 Empirical estimate of Ival  We want to avoid zero values of n0j or n1j .  We propose to require to have at least k, where k is a positive integer, observations of scores of both good and bad client in each interval. This is the basic idea of all proposed algorithms. , 45 Empirical estimate with supervised interval selection (ESIS) where is the empirical quantile function appropriate to the empirical cumulative distribution function of scores of bad clients.  The ESIS: Set , 46 Empirical estimate with supervised interval selection  Usage of quantile function of scores of bad clients is motivated by the assumption, that number of bad clients is less than number of good clients.  If n0 is not divisible by k, it is necessary to adjust our intervals, because we obtain number of scores of bad clients in the last interval, which is less than k. In this case, we have to merge the last two intervals.  Furthermore we need to ensure, that the number of scores of good clients is as required in each interval. To do so, we compute n1j for all actual intervals. If we obtain n1j < k for jth interval, we merge this interval with its neighbor on the right side.  This can be done for all intervals except the last one. If we have n1j < k for the last interval, than we have to merge it with its neighbor on the left side, i.e. we merge the last two intervals. 47 Empirical estimate with supervised interval selection  Very important is the choice of k. If we choose too small value, we get overestimated value of the Information value, and vice versa. As a reasonable compromise seems to be adjusted square root of number of bad clients given by  The estimate of the Information value is given by where n0j and n1j correspond to observed counts of good and bad clients in intervals created according to the described procedure. 48 Empirical estimate with supervised interval selection Simulation results  Consider n clients, 100pB% of bad clients with and 100(1-pB)% of good clients with .  Because of normality we know .  Consider following values of parameters:  n = 100 000 , n = 1000  μ0 = 0  σ0 = σ1 = 1  μ1 = 0.5, 1, 1.5  pB = 0.02, 0.05, 0.1, 0.2 ),(: 000 Nf ),(: 111 Nf 2 01           valI 49 n=100000, = 0.5 MSE 0.02 0.05 0.1 0.2 IV_decil 0,000546 0,000310 0,000224 0,000168 IV_kern 0,000487 0,000232 0,000131 0,000076 IV_esis 0,000910 0,000384 0,000218 0,000127 n=100000, = 1.0 MSE 0.02 0.05 0.1 0.2 IV_decil 0,006286 0,004909 0,004096 0,002832 IV_kern 0,003396 0,001697 0,001064 0,000646 IV_esis 0,002146 0,000973 0,000477 0,000568 n=100000, = 1.5 MSE 0.02 0.05 0.1 0.2 IV_decil 0,056577 0,048415 0,034814 0,020166 IV_kern 0,019561 0,010789 0,006796 0,004862 IV_esis 0,013045 0,008134 0,007565 0,027943 n=1000, = 0.5 MSE 0.02 0.05 0.1 0.2 IV_decil 0,025574 0,040061 0,026536 0,009074 IV_kern 0,038634 0,017547 0,009281 0,004737 IV_esis 0,038331 0,021980 0,016280 0,008028 n=1000, = 1.0 MSE 0.02 0.05 0.1 0.2 IV_decil 0,186663 0,084572 0,043097 0,029788 IV_kern 0,117382 0,072381 0,045344 0,032131 IV_esis 0,150881 0,071088 0,036503 0,023609 n=1000, = 1.5 MSE 0.02 0.05 0.1 0.2 IV_decil 1,663859 1,037778 0,535180 0,200792 IV_kern 0,529367 0,349783 0,266912 0,196856 IV_esis 0,609193 0,352151 0,172931 0,194676 01   01   01   01   01   01   • worst • average • best performance 50 Simulation results 0 1 2 3 4 5 6 7 8 9 10 x 10 4 -0.12 -0.1 -0.08 -0.06 -0.04 -0.02 0 0.02 0.04 BIAS; pB=0,2; D = 1 decil kern esis esis1 esis2 ref 0 1 2 3 4 5 6 7 8 9 10 x 10 4 10 -4 10 -3 10 -2 10 -1 log MSE; pB=0,2; D = 1 decil kern esis esis1 esis2 ref 0 1 2 3 4 5 6 7 8 9 10 x 10 4 -1.4 -1.2 -1 -0.8 -0.6 -0.4 -0.2 0 0.2 BIAS; pB=0,02; D = 1,5 decil kern esis esis1 esis2 ref 0 1 2 3 4 5 6 7 8 9 10 x 10 4 10 -3 10 -2 10 -1 10 0 10 1 log MSE; pB=0,02; D = 1,5 decil kern esis esis1 esis2 ref „Klasický“ odhad pomocí decilů skóre je značně vychýlený!!! 51 Simulation results  Předpokládejme, že skóre dobrých a špatných klientů je normálně rozloženo, tj. jejich pravděpodobnostní hustoty mají tvar  Odhady parametrů a :  Společná směrodatná odchylka:  Odhady střední hodnoty a směrodatné odchylky skóre všech klientů : . , jsou směrodatné odchylky skóre dobrých (špatných) klientů 2 2 2 )( 2 1 )( g gx g GOOD exf       2 2 2 )( 2 1 )( b bx b BAD exf       gbb  ,, b gM bM gS bS , jsou aritmetické průměty skóre dobrých (špatných) klientů 2 1 22            mn mSnS S bg mn mMnM MM bg ALL    ALLALL  , 2 1 2222 )( )()(            mn MMmMMnmSnS S bgbg ALL 52 Normálně rozložené skóre 1 2 2 22                     DDD KS Kde je distribuční funkce standardizovaného normálního rozložení, je distribuční funkce s parametry , a je standardizovaná kvantilová funkce.   bg D           Dpq q qQLift G ALL )( 1 )( 1   2 DIval  1 2 2        D Gini S MM D bg    Předpokládejme, že směrodatné odchylky obou skóre jsou rovny hodnotě σ, pak: )( )(1  )(2 ,    2          Dpq S S q qQLift G ALL )( 1 )( 1 53 Normálně rozložené skóre  Obecně, tj. bez předpokladu rovnosti směrodatných odchylek skóre:              cbDa b D b a cbDa b D b a KS bggb 2 1 2 1 22 *2**2*  ,22 gba   22 * bg bg D      22 * bg bg SS MM D    kde        b g c   ln,22 gbb                                           b g gbgbb gb g gb gb b g gbgbg gb b gb gb S S SSDSSS SS DS SS SS S S SSDSSS SS DS SS SS KS ln)(2)( 1 ln)(2)( 1 22*22 22 * 22 22 22*22 22 * 22 22 2 2 54 Normálně rozložené skóre 1)(2 *  DGini           b bALLALL ALLALLq q q q q Lift bb    )(1 ))(( 1 1 1 , 2          2 2 2 2 2* 2 1 ,1)1( b g g b val AADAI              2 2 2 2 2* 2 1 ,1)1( b g g b val S S S S AADAI          b bALL S MMqS q qQLift )(1 )( 1  Obecně, tj. bez předpokladu rovnosti směrodatných odchylek skóre: 55 Normálně rozložené skóre  Gini , 0b 12 b KS: , 0b 12 b • Gini > KS  KS i Gini reagují velmi silně na změnu , ale zůstávají téměř beze změny ve směru . g 2 g 56 Normálně rozložené skóre  Lift10%: ,0b 12 b  Ival: ,0b 12 b  V případě indexu Lift10% je evidentní silná závislost na μg a významně vyšší závislost na σg 2 než v případě KS a Gini.  Opět velmi silná závislost na μg. Navíc hodnota Ival míří velmi rychle k nekonečnu pokud se σg 2 blíží nule. 57 Normálně rozložené skóre  We considered the number of credit proposals to be 150,000 per year, the reject rate (RR) to be 40%, and the average default rate (DR) to be 10.5%.  Furthermore, we considered that the average gain resulting from rejecting a bad client (saved loss) in favor of accepting a good client (earned interest) was €300.  For further comparison we considered the number of proposals to be 450,000 per year, the reject rate to be 20%, and the gain to be €1,500. 58 Finanční dopad použití scoringových modelů ( 1)RRprofit # proposals DR RR Lift gain       We needed to estimate the number of bad clients who could be rejected by a credit scoring model in addition to rejecting without any model, but with the same reject rate.  Because LiftRR (i.e., Liftq, with q = RR, where RR is the reject rate) is defined as the ratio of the proportion of bad clients below a given rejection level (RR) to the proportion of bad clients in the general population, and given our assumptions, we are able to estimate the desired number of bad clients.  Then, because we know the gain resulting from rejecting a bad client in favor of accepting a good client, we can estimate the profit resulting from using a credit scoring model. The profit is given by 59 Finanční dopad použití scoringových modelů RR: 40% RR: 20% RR: 40% RR: 20% RR: 40% RR: 20% D KS Gini c-stat Lift10% Lift20% Lift40% Ival Profit Profit Profit Profit Profit Profit 0,2500 0,0995 0,1403 0,5702 1,4422 1,3376 1,2197 0,0625 415 318 € 319 019 € 2 076 589 € 1 595 095 € 6 229 766 € 4 785 284 € 0,5000 0,1974 0,2763 0,6382 1,9794 1,7156 1,4395 0,2500 830 718 € 676 264 € 4 153 588 € 3 381 320 € 12 460 764 € 10 143 959 € 0,7500 0,2923 0,4041 0,7021 2,5987 2,1187 1,6489 0,5625 1 226 474 € 1 057 182 € 6 132 369 € 5 285 909 € 18 397 106 € 15 857 726 € 0,8620 0,3335 0,4578 0,7289 2,8977 2,3028 1,7370 0,7430 1 392 838 € 1 231 152 € 6 964 189 € 6 155 762 € 20 892 566 € 18 467 285 € 1,0000 0,3829 0,5205 0,7602 3,2801 2,5294 1,8391 1,0000 1 585 984 € 1 445 248 € 7 929 919 € 7 226 240 € 23 789 757 € 21 678 719 € 1,2500 0,4680 0,6232 0,8116 3,9988 2,9304 2,0041 1,5625 1 897 678 € 1 824 194 € 9 488 388 € 9 120 970 € 28 465 165 € 27 362 911 € 1,5000 0,5467 0,7112 0,8556 4,7287 3,3068 2,1406 2,2500 2 155 813 € 2 179 903 € 10 779 067 € 10 899 516 € 32 337 201 € 32 698 548 € Quality indices Portfolio parameters proposals: 150 000/year prop. : 450 000/year gain: 300 € /credit gain: 1500 € /credit gain: 1500 € /credit  Firstly, we can see that a firm with 150,000 credit proposals per year, a 40% reject rate, and a €300 gain per credit can earn approximately €1.4M per year when using the given credit scoring model compared to the case of using no model.  Secondly, we can see that improving a model, by means of improving the quality indices, leads to a situation where a smaller reject rate results in a higher profit.  And finally, we can see that a firm with an only three times bigger portfolio and five times higher gain per credit, i.e., 450,000 proposals per year and €1,500 per credit, and with an excellent model can increase its profit by more than €32M per year, which is quite a noticeable amount of money. 60 Finanční dopad …  Furthermore, one can compare the values of the expected profit within the columns as well as within the rows. This means that it is possible to compare the profit of the different portfolios provided by a credit scoring model with a given quality.  But one can also compare the profit for a given portfolio according to the quality of the credit scoring model. For instance, if a firm with 150,000 credit proposals per year, a €300 gain per credit, and a 40% reject rate enhances the model and its Gini index increases from 0.4578 to 0.5205 (i.e., an increase of 0.06, which is an improvement of approximately 14%), the expected profit is approximately €193K per year (€1,585,984 minus €1,392,838).  The typical potential for improving the Gini index is between 10% and 20% in the case of scoring models for consumer credit, provided that the redevelopment is carried out once or twice a year, which is usually the optimal time period. If a firm has credit-scoring-model development costs of around €20K, obviously it is profitable to redevelop the model and to maintain its quality, in the sense of the listed indices, at as high a level as possible. 61 RR: 40% RR: 20% RR: 40% RR: 20% RR: 40% RR: 20% D KS Gini c-stat Lift10% Lift20% Lift40% Ival Profit Profit Profit Profit Profit Profit 0,2500 0,0995 0,1403 0,5702 1,4422 1,3376 1,2197 0,0625 415 318 € 319 019 € 2 076 589 € 1 595 095 € 6 229 766 € 4 785 284 € 0,5000 0,1974 0,2763 0,6382 1,9794 1,7156 1,4395 0,2500 830 718 € 676 264 € 4 153 588 € 3 381 320 € 12 460 764 € 10 143 959 € 0,7500 0,2923 0,4041 0,7021 2,5987 2,1187 1,6489 0,5625 1 226 474 € 1 057 182 € 6 132 369 € 5 285 909 € 18 397 106 € 15 857 726 € 0,8620 0,3335 0,4578 0,7289 2,8977 2,3028 1,7370 0,7430 1 392 838 € 1 231 152 € 6 964 189 € 6 155 762 € 20 892 566 € 18 467 285 € 1,0000 0,3829 0,5205 0,7602 3,2801 2,5294 1,8391 1,0000 1 585 984 € 1 445 248 € 7 929 919 € 7 226 240 € 23 789 757 € 21 678 719 € 1,2500 0,4680 0,6232 0,8116 3,9988 2,9304 2,0041 1,5625 1 897 678 € 1 824 194 € 9 488 388 € 9 120 970 € 28 465 165 € 27 362 911 € 1,5000 0,5467 0,7112 0,8556 4,7287 3,3068 2,1406 2,2500 2 155 813 € 2 179 903 € 10 779 067 € 10 899 516 € 32 337 201 € 32 698 548 € Quality indices Portfolio parameters proposals: 150 000/year prop. : 450 000/year gain: 300 € /credit gain: 1500 € /credit gain: 1500 € /credit Finanční dopad …  Pomocí uvedeného vzorce pro odhad zisku lze také zkoumat závislost zisku na hladině zamítání (Reject Rate).  Tímto způsobem lze přibližně určit optimální hladinu zamítání. V našem případě je to 34,85 %.  Obrázek odpovídá modelu s charakteristikami kvality zvýrazněnými v předchozí tabulce (žlutě zvýrazněný řádek).  Změna ostatních parametrů (#proposals, DR a gain) vede pouze ke změně hodnot na vertikální ose. Tvar křivky zisku, tedy i bod maxima, zůstává stejný a ovlivňuje ho jen a pouze průběh křivky Liftu. 62 0 € 200 000 € 400 000 € 600 000 € 800 000 € 1 000 000 € 1 200 000 € 1 400 000 € 1 600 000 € 0 0,2 0,4 0,6 0,8 1 Reject Rate prop. : 150 000/year DR : 10,5 % gain : 300€ Characteristics of approved credits according to reject rate -5% 0% 5% 10% 15% 20% 25% 5.5%11.0%17.3%22.3%27.4%31.8%36.1%40.4%44.7%49.1%53.4%57.7%62.0%66.3%70.7%75.0%79.3%83.6%88.0%92.3%96.6% Reject rate 0 1 000 000 000 2 000 000 000 3 000 000 000 4 000 000 000 5 000 000 000 6 000 000 000 7 000 000 000 8 000 000 000 Profit (per year) RAROI Loss rate Odhad zisku pomocí uvedeného vzorce: Vyjádření reálného zisku na jiném portfoliu, ale s podobným průběhem křivky Liftu: Finanční dopad …  Uvažujme příklad scoringových modelů ze str. 36  totožný Gini,  podle KS je lepší model 1  podle indexů založených na Liftu je lepší model 2  Vyjádříme zisk pomocí našeho vzorce  absolutní úroveň zisku je srovnatelná  max. zisku lze s modelem 1 dosáhnout při RR = cca 50%  max. zisku lze s modelem 2 dosáhnout při RR = cca 20% 63 0 2000 4000 6000 8000 10000 12000 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 Profit Model 1 Model 2 Finanční dopad …  Efektivní využití scoringových modelů je nemožné bez znalosti jejich kvality.  Posuzování kvality je silně závislé na definici dobrého/špatného klienta. Zavedení typu „indeterminate“ většinou nepřináší žádné zlepšení.  Je potřeba posuzovat scoringové modely podle jejich síly v oblasti skóre, kde je očekávána cutoff hodnota.  Giniho index ani KS nestačí!  Výsledky týkající se Liftu a informační hodnoty lze použít k výběru nejlepšího scoringového modelu.  Výsledky pro normálně rozložené skóre lze použít pro výpočet všech uvedených indexů. Navíc mohou pomoci v porozumění, jak se tyto indexy chovají v závislosti na uvedených parametrech.  Navržený vzorec pro odhad zisku plynoucího z použití scoringového modelu lze použít nejen pro samotný odhad zisku, ale také pro přibližné stanovení optimální (vzhledem k zisku) míry zamítání a pro porovnání daných modelů vzhledem k takto určené optimální míře zamítání, přičemž je zřejmé, že model generující srovnatelný zisk s nižší mírou zamítání je lepší. 64 Závěr Děkuji za pozornost.