.

Implementacija i validacija scoring modela

Implementacija i validacija scoring modela

Proces uvođenja scoring modela u poslovni proces. Započinje nakon što je scoring model razvijen i validiran. Pri implementaciji treba razmotriti 4 područja:

1. Postavljanje cut-off vrijednosti (granične vrijednosti)
2. Uspješnost klasifikacije scoring modela
3. Arhiviranje scorova i nadgledanje
4. Proces donošenja odluka

VALIDACIJA SCORING MODELA
Validirati scoring model znači testirati ga primjenom različitih kvalitativnih i kvantitativnih testova. Prema pravilu, validaciju treba provesti out-of-sample i out-of-time. Out-of-sample znači testirati model na podacima koji nisu sudjelovali u izradi modela. Out-of-time podrazumijeva testiranje modela na podacima koji nisu iz razdoblja iz kojeg su podaci upotrebljeni za razvoj modela. Za kvantitativnu validaciju se upotrebljavaju sljedeći testovi: distribucija frekvencija dobrih i loših s obzirom na score/rating klasu (tablično, grafički); postotak uspješne klasifikacije (ukupno, dobri, loši); greška tipa I i greška tipa II; confussion matrix; ROC (receiver operating characteristic) krivulja; βα error krivulja; KS statistika; GINI koeficijent itd.

KVALITATIVNA VALIDACIJA SCORING MODELA
Kvalitativna validacija se odnosi na 3 područja: dizajn modela, kvaliteta podataka, upotreba modela. Dizajn modela: kompletna dokumentacija koja se odnosi na metodu i model. Dokumentacija treba (minimalno) pokrivati ova područja: identificiranje kriterija za rejting segmente, opis upotrebljene metode odnosno metoda, opis tipa modela, opis arhitekture modela, opis kriterija upotrebljenih u modelu i odabira kriterija, opis podataka upotrebljenih za modeliranje, kvaliteta podataka, opis procedure razvoja modela, osiguranje kvalitete i validacija tijekom razvoja modela, procedura za validaciju, dokumentacija modela itd. Kvaliteta podataka: kompletnost odnosno potpunost podataka, količina podataka, reprezentativnost uzorka za razvoj i validaciju modela, izvori podataka, kvalitata i čišćenje podataka. Upotreba modela: kako je scoring model integriran u cijeli risk management i reporting sistem banke, kako se koristi u donošenju odluka, u risk-based pricing, kakva je usklađenost rejting procedure i credit risk strategije, kakva je prihvaćenost scoring modela od korisnika itd.

KVANTITATIVNA VALIDACIJA SCORING MODELA
Kvantitativna validacija obuhvaća sljedeće:
(i) preciznost klasifikacije modela: kolika je sposobnost modela da razlikuje dobre i loše;
(ii) postupak pregledavanja kalibracije modela: koliko se default rate na master skali razlikuje od realizirane default rate;
(iii) ispitivanje stabilnosti modela;
(iv) benchmarking;
(v) stress testing.

Preciznost klasifikacije modela:
- distribucija frekvencija dobrih i loših s obzirom na score/rating klasu (tablično, grafički)
- postotak uspješne klasifikacije (ukupno, dobri, loši)
- greška tipa I i greška tipa II
- consfussion matrix
- ROC (receiver operating characteristic) krivulja
- KS statistika
- GINI koeficijent
- Itd.

 
 
TRENUTNO PREGLEDAVATE: Istraživanje i razvoj RJEČNIK POJMOVA Rječnik pojmova Implementacija i validacija scoring modela