《智能风控实践指南》笔记（二）

        本文是对《智能风控实践指南》中模型策略分析方法这一小节中交换集分析(又叫换入换出分析)中的拒绝推断部分展开谈谈。这个方法正好之前一位做模型的朋友详细和我说过，这次在书中看到确实有产生一些共鸣。

       交换集分析，是指利用新旧模型通过和拒绝的客户不一致的情况，通过分析这些不一致客户的坏账率和通过率以评价模型策略的效果。换出是新模型拒绝而旧模型通过的客群，换入是新模型通过而旧模型拒绝的客群。通常，我们希望新模型能换出更多的不良用户，换入更多的好客户，从而用好客户代替不良客户，以降低整体坏账率。

       换入客群是新模型通过而旧模型拒绝的客群，这部分是之前被拒绝的客户，其好坏标签未知，需要采用拒绝推断的方式进行预估。其实不止模型策略分析时会采用换入换出分析，在做策略替换的时候也会用到。这里的拒绝推断不等同于模型部分的拒绝推断。因为模型部分的拒绝推断，是对模型拒绝的样本作推断，而这里是需要对旧模型拒绝、新模型通过的样本作推断，是从拒绝的客户中再挑一部分出来推断。

        书中介绍的一种方法，是利用新模型各分数段在有表现样本上的坏账率来估算旧模型拒绝样本上的坏账率。

       如上图，左侧是新模型在有表现样本上的坏账率排序，右边是旧模型拒绝的样本，用新模型打分之后的分布情况。黄色线以下B-C就是旧模型拒绝、新模型通过的样本，也就是要估算这部分客群的坏账。这里假设新旧模型在同分数段的坏账率是一样的，因此估出来的坏账就是:

(20*8.63%+10*9.44%+10*8.33%+...)/(20+10+10+...)=8.04%

        这里的前提假设很重要，实际上新模型的效力应该比旧模型好，也就是同分端下通过部分的坏账率会更低。所以上面以新模型通过部分的坏账率来对老模型的拒绝样本做评估时，实际上存在了低估拒绝样本的坏账情况。实际业务中还需要对上面的结果做修正，比如按1.1、1.2的倍数去拍，再结合测试数据来修正。

        如何修正，书里介绍了三种方法。主要的一个方法还是旧模型决策时留出一小部分测试样本不作拒绝，以大致预估这部分客群的坏账率。

1、全局测试推断

      为了持续验证风控策略的有效性，有时会设置0.5%-1%的流量空跑策略，命中策略标签但是不拒绝。所以会有一小部分换入客群的表现，可以得到坏账率。

2、A/B测试组推断

       若旧模型上线初期采用了A/B测试，会有一部分客户只打分不拒绝，也可以用来作为拒绝客户坏账率的预估值。本人理解，一和二其实是同一种方法，由于只有一小部分样本，因此估计会有偏，可以作为参考值。

3、线性拟合判断

       适用于没有一、二的情况。一二这种情况，需要从漏放的样本再挑出新模型通过的样本。而第三种方法更像是模型决策时的拒绝推断，只能推断出拒绝样本的坏账，而无法再进一步对旧模型拒绝、新模型通过的样本进行推断。

       以分箱序号作横轴，逾期率为纵轴，绘制坏账率拟合曲线。上图中第8、9箱旧模型拒绝的客户，而换入客群是新模型从这些里面挑出较好的客群，因此应该是对第8箱且靠近第7箱的这部分客群进行预估(前提是旧模型对拒绝客户仍有一定排序性)。

       正常情况下，换入客群的坏账率要低于换出客群，根据经验前者一般是后者的60%-90%，会由于实际业务和模型效果的不同而略有差异。

【作者】：Labryant  
【原创公众号】：风控猎人  
【简介】：做一个有规划的长期主义者。
【转载说明】：转载请说明出处，谢谢合作！~