Stanovení cutoff, monitoring Stabilita SF -týdny 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 Vzorek 2006- 13 2006- 14 2006- 15 2006- 16 2006- 17 2006- 18 2006- 19 2006- 20 2006- 21 2006- 22 Gini K-S cutoff výv. vzorek [1] týden1 [2] [3]=[2] -[1] [4]=[2]/[1] [5]=ln[4] [6]=[3]*[5] skóre_1 10,00% 5,63% -0,044 0,563 -0,574 0,025 skóre_2 10,00% 11,21% 0,012 1,121 0,114 0,001 skóre_3 10,00% 11,00% 0,010 1,100 0,095 0,001 skóre_4 10,00% 10,97% 0,010 1,097 0,092 0,001 skóre_5 10,00% 10,31% 0,003 1,031 0,031 0,000 skóre_6 10,00% 10,12% 0,001 1,012 0,012 0,000 skóre_7 10,01% 9,62% -0,004 0,961 -0,039 0,000 skóre_8 10,00% 9,89% -0,001 0,989 -0,011 0,000 skóre_9 10,00% 10,31% 0,003 1,031 0,030 0,000 skóre_10 10,00% 10,94% 0,009 1,095 0,091 0,001 PSI 0,030 Možné zamítací škály ­ cutoff cutoff hodnota určuje mez, při které je žádost o úvěr schválena/zamítnuta Je možné použít tyto zamítací škály: PD KRN Margin RAROA ... cutoff na škále PD cutoff = 0.1 (tj. zamítám všechny s pravděpodobností defaultu větší než 10 %) SC1 SC2 Cut off * Pro SC1 je reject rate 22 %. * Pro SC2 je reject rate 33 %. Strategy curve ( )( )BsFpB -= 1rateacceptanceBad ( )( ) )(1 1 ratebadActual sF BsFpB - - = What often happens on introducing a new scorecard is that the existing operating policy gives a point O that is above the new strategy curve. The question then is where on the strategy curve one wants to go by choosing the appropriate cutoff. If one moves to A, then one keeps the bad acceptance rate the same but accepts more people, while moving to B would accept the same numbers but lower the bad acceptance rate and hence the bad rate. Moving to C would keep the bad rate the same and again increase the numbers accepted. )(1rateAcceptance sF-= pB Nastavení cutoff maximalizující profit Profit: Nastavení cutoff maximalizující profit Nastavení cutoff maximalizující profit The points on the lower part of the curve have higher cutoff scores, so less bads are accepted; those on the higher part of the curve correspond to lower cutoff scores with higher numbers of bads accepted. The efficient frontier of this curve is the lower part from C to D. These give points with an expected profit and an expected loss, in which the former cannot be raised without the latter also being raised. If a lender is at present operating at point O, then again he can move onto the new scorecard curve either by keeping the bad acceptance rate the same, i.e., A, or by keeping the acceptance rate the same (which would move to point B on the curve). In this case, one would suggest that the move to A is less sensible because it is not an efficient point and one could have the same expected profit with lower expected losses. CRE = ((1-Recovery) * SUM(PD * Loss))/(Expected Average Volume) Profit = (Interest rate ­ CRE)*Expected Average Volume Background of CRE (KRN)Borrowedvolume Loss Loss Loss Loss Loss Loss Loss Loss Loss Loss No of defaulted payment (probability) 1 (.06) 2 (.02) 3 (.02) 4 (.02) 5 (.02) 6 (.02) 7 (.02) 9 (.02)8 (.02) 10 (.03) Prob. of default depends heavily on scoring Recovery (=Late collection(LC)) 90%85%80%75%5. + 65%60%55%50%2.-4. 35%30%25%20%1. band4band3band2band1 Fraud scoreDefault occured at payment 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% 3 4 5 6 7 8 9 10 11 12 13 14 15 LC month 60 LC 1 sp1 1 sp2 1 sp3 1 sp4 4 sp1 4 sp2 4 sp3 4 sp4 5 sp1 5 sp2 5 sp3 5 sp4 estimation cutoff na škále KRN 0% 20% 40% 60% 80% 100% 120% 0,5% 0,7% 0,9% 1,0% 1,2% 1,4% 1,7% 1,8% 2,0% 2,2% 2,4% 2,7% 2,8% 3,3% 3,8% 4,0% 4,3% 4,7% 5,1% 5,5% 6,0% 6,5% 7,1% 7,5% 8,1% 8,7% 9,3% 9,9% 10,6% 11,5% 12,6% 13,8% 15,5% 18,0% 24,3% KRN %zamítnutýchsmluv 0% 1% 2% 3% 4% 5% 6% 7% KRNprodukce úroveň zamítání počet smluv počet zamitnutých na TK původní úroveň zamítání kumulativní KRN KRN původní cutoff na škále KRN 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 13,1% 13,1% 13,2% 13,2% 13,2% 13,2% 13,2% 13,3% 13,4% 13,5% 13,6% 13,7% 13,7% 13,7% 13,8% 13,9% 13,9% 13,9% 13,9% 14,0% 14,1% 14,2% 14,3% 14,4% 14,4% 14,4% 14,5% 14,5% 14,7% KRN %zamítnutýchsmluv 4,1% 4,2% 4,3% 4,4% 4,5% 4,6% 4,7% 4,8% 4,9% 5,0% 5,1% KRNprodukce úroveň zamítání původní úroveň zamítání KRN původní kumulativní KRN nastavení cut off při zachování úrovně zamítání - 18% zamítnutých smluv nastavení cut off při zachování úrovně KRN - 15,1% zamítnutých smluv (Expected) Margin = Interest Rate (incl. commiss.) ­ KRN ­ OPEX q Interest rate effective rate of the ideal flow (-amount-commiss.; annuity; annuity; ... ; annuity) q KRN see previsous slides q OPEX Cost of money Overhead costs, var. costs, partner support Administrators (Expected) Margin Margin Optimální cutoff: marže=0 RAROA (Risk Adjusted Return On Assets) RAROA = (expeted income ­expected loss) /borrowed volume RAROA RAROA RAROA Výhody RAROA Ideal flow Expected flow Ideal flow Expected flow -1000 -1000 -1000 -1000 1 400 200 150 110 2 400 180 150 100 3 400 170 150 90 4 400 160 150 80 5 150 70 6 150 60 7 150 50 8 150 40 9 150 30 10 150 16 11 150 10 12 150 0 Case A Case B * Case A ­ short term loan with high fraud risk * Case B ­ long term loan with high default risk Interest rate (A) = 22% Interest rate (B) = 10% Case A is better since its return is larger (710>656) and sooner CRE(A) = 44% CRE(B) = 20% cutoff on CRE prefers B Gross margin (A) = -22% Gross margin (B) = -10% cutoff on Margin prefers B RAROA (A) = -0.29 RAROA (B) = -0.36 cutoff on RAROA prefers A cutoff Segmentace q Možná segmentace podle: Prodejní síť (skupina obchodních míst) Profitabilita produktu Kvalita prodejního místa Typ zboží (pro spotřebitelské úvěry) Výše úvěru ... cutoff scénáře Monitoring scoringových modelů q Není překvapivé, že prediktivní modely se ve statistickém slova smyslu chovají nejlépe na vývojovém vzorku dat. Výstupy těchto modelů, např. skóre nebo rating klienta, jsou počítány pomocí jistých vzorců, jejichž koeficienty příslušející nezávislým proměnným (prediktorům) jsou odvozeny na datech vývojového vzorku. Posun distribuce výstupu daného modelu je pak zapříčiněn právě změnou vstupních hodnot modelu, tj. prediktorů, v průběhu času. V podstatě ihned (alespoň většinou) po nasazení prediktivního modelu do praxe dochází k jistému poklesu jeho prediktivní síly, který je způsoben určitou změnou vstupních hodnot modelu. Zásadní je v praxi nastavení takových procesů, které odhalí, že se tak děje, proč se tak děje a jak vážný problém to ve svých důsledcích znamená. Monitoring scoringových modelů q Faktorů způsobujících posun v distribuci prediktorů, a následně posun v distribuci výstupu prediktivního modelu, je několik: Přirozený posun v datech/změna demografické struktury dat Databázové chyby Změna datového zdroje Změna definice/formátu vstupních dat Změna datového univerza Ostatní Monitoring scoringových modelů q Typickým příkladem prvního uvedeného důvodu je příjem klienta (všeobecným trendem je růst příjmu populace). Změnou definice/formátu vstupních dat je myšlena například situace, kdy je rozšířen číselník hodnot, kterých může vstupní proměnná nabývat. Změnou datového univerza je myšlen případ kdy je vyvinutý prediktivní model použit např.pro odlišný/nový segment portfolia nebo odlišný/nový produkt. Monitoring scoringových modelů q K-S, Gini: Stabilita SF -týdny 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 Vzorek 2006- 13 2006- 14 2006- 15 2006- 16 2006- 17 2006- 18 2006- 19 2006- 20 2006- 21 2006- 22 Gini K-S Monitoring scoringových modelů Čím strmější křivka tím lépe. V průběhu času se splošťuje ­ jde o to, jak moc. Závislost defaultu na Skóre 0% 5% 10% 15% 20% 25% 30% 35% 40% decil1 decil2 decil3 decil4 decil5 decil6 decil7 decil8 decil9 decil10 vzorek 2006-13 2006-14 2006-15 2006-16 2006-17 2006-18 2006-19 2006-20 2006-21 2006-22 Monitoring scoringových modelů q c-statistika: Monitoring scoringových modelů = - = r i i ii E EO 1 2 2 )( c = ÷÷ ö çç -= r i i i ii E O EOPSI 1 ln)( q Chceme posoudit zda se distribuce skóre na vývojovém vzorku liší od distribuce skóre v daném časovém intervalu: Monitoring scoringových modelů výv. vzorek [1] týden1 [2] [3]=[2] -[1] [4]=[2]/[1] [5]=ln[4] [6]=[3]*[5] skóre_1 10,00% 5,63% -0,044 0,563 -0,574 0,025 skóre_2 10,00% 11,21% 0,012 1,121 0,114 0,001 skóre_3 10,00% 11,00% 0,010 1,100 0,095 0,001 skóre_4 10,00% 10,97% 0,010 1,097 0,092 0,001 skóre_5 10,00% 10,31% 0,003 1,031 0,031 0,000 skóre_6 10,00% 10,12% 0,001 1,012 0,012 0,000 skóre_7 10,01% 9,62% -0,004 0,961 -0,039 0,000 skóre_8 10,00% 9,89% -0,001 0,989 -0,011 0,000 skóre_9 10,00% 10,31% 0,003 1,031 0,030 0,000 skóre_10 10,00% 10,94% 0,009 1,095 0,091 0,001 PSI 0,030 Monitoring scoringových modelů 1,0PSI 25,01,0 < PSI 25,0>PSI značí žádný nebo jen velmi malý rozdíl daných distribucí skóre. znamená, že došlo k nějakému posunu distribuce, nicméně nikterak významnému. signalizuje významný posun v distribuci skóre, tj. zamítáme hypotézu o shodě daných distribucí. Monitoring scoringových modelů 0,00 0,01 0,01 0,02 0,02 0,03 0,03 0,04 0,04 0,05 0,05 2006-13 2006-14 2006-15 2006-16 2006-17 2006-18 2006-19 2006-20 2006-21 2006-22 PSI chi-kvadrat Monitoring scoringových modelů = ÷÷ ö çç -= r i i i iiDR DR DR DRDRPSI 1 1 2 ln)12( def_rate Gini PSI_DR PSI chi-kvardat vzorek 7,69% 0,643 200613 9,38% 0,564 0,120 0,030 0,024 200614 9,35% 0,542 0,131 0,034 0,027 200615 8,70% 0,537 0,093 0,032 0,025 200616 8,57% 0,523 0,089 0,033 0,026 200617 8,59% 0,540 0,071 0,030 0,025 200618 9,19% 0,544 0,111 0,030 0,024 200619 8,03% 0,558 0,063 0,034 0,026 200620 8,52% 0,552 0,055 0,023 0,019 200621 8,05% 0,555 0,043 0,027 0,022 200622 7,76% 0,539 0,039 0,045 0,034 Monitoring scoringových modelů 0,00 0,02 0,04 0,06 0,08 0,10 0,12 0,14 Vzorek 2006- 13 2006- 14 2006- 15 2006- 16 2006- 17 2006- 18 2006- 19 2006- 20 2006- 21 2006- 22 0,40 0,45 0,50 0,55 0,60 0,65 0,70 Gini Def. rate PSI_DR PSI chi-kvadrat Gini Champion-challenger q The use of champion and challenger strategies became much more widespread through the 1990s and is now more accepted through credit and other areas. The principle is quite simple. There is an accepted way of doing something. This is known as the champion. However, there are one or more alternative ways to achieve the same (or a very similar) objective. These are known as the challengers. However, there is no evidence of the effect of the challengers. Therefore, on a random sample of cases, we try the challengers. This trial not only will test effectiveness in comparison with the champion but also will allow us the opportunity to identify the existence and extent of side effects. Eventually, we decide that one of the challengers is better overall than the champion, and this challenger becomes the new champion.