ML之CatBoost：金融风控之通过数据预处理(中位数填充/校验同分布/文本型日期拆解/平均数编码-标签编码)利用CatBoost算法+模型可解释性(Shap/LIME)预测用户的车险是否为欺诈行为

ML之CatBoost：金融风控之通过数据预处理(中位数填充/校验同分布/文本型日期拆解/平均数编码-标签编码)利用CatBoost算法+模型可解释性(Shap/LIME)预测用户的车险是否为欺诈行为

目录

车险是否为欺诈行为案例简介

背景

字段说明

通过数据预处理(中位数填充/校验同分布/文本型日期拆解/平均数编码-标签编码)利用CatBoost算法+模型可解释性(Shap/LIME)预测用户的车险是否为欺诈行为

# 1、定义数据集

# 1.1、分离特征与标签

# 1.2、直接删除不必要入模字段

# 1.3、划分数据类型【数字型】、【类别型】

# 2、特征工程：数据分析与处理

# 2.1、统计目标变量比例，查看缺失值、重复值

# 2.2、【数字型】缺失值填充：鉴于平均值易受极值影响，数值变量用中位数填充

# 2.3、异常值箱线图可视化

# 2.4、相关性热图可视化

# 2.5、分布可视化：校验是否同分布，训练集与测试集数据分布

# 2.5.1、【数字型】分布对比可视化

# 2.5.2、【类别型】分布对比可视化

# 2.6、文本型日期字段拆解提取年月日

# 2.6、特征编码:  编码时测试集也要一起做特征处理

# 2.6.1、平均数编码: 有监督性，适合10个以上的多分类变量

# 2.6.2、其余分类特征执行标签编码

# 3、模型预测

# 3.1、类别特征全部确保str化

# 3.2、划分训练及测试集

# 3.3、模型训练

# 4、模型可解释性

# 4.1、整体分析

# T1、模型特征重要性本身输出

# T2、shap归因分析

# 4.2、单个特征与目标变量之间的关系图

# 4.3、单个样本分析

# T1、shap力图可视化

# T2、 LIME局部可解释模型不可知解释

实现代码

---

相关文章
ML之CatBoost：金融风控之通过数据预处理(中位数填充/校验同分布/文本型日期拆解/平均数编码-标签编码)利用CatBoost算法+模型可解释性(Shap/LIME)预测用户的车险是否为欺诈行为