零基础入门金融风控之建模与调参

本文介绍了金融风控领域常用的机器学习模型,包括逻辑回归、决策树和集成模型如GBDT、XGBoost、LightGBM、CatBOOST。逻辑回归简单快速但可能过拟合;决策树直观但易过拟合;集成模型通过组合多个学习器提升性能。调参方面,文章提到了贪心调参策略和贝叶斯调参,并给出了LGBM、XGBOOST和CATBOOST的调参示例。评估模型优劣主要依据ROC曲线和AUC值。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1 学习目标

  1. 学习在金融风控领域常用的机器学习模型
  2. 学习机器学习模型的建模过程与调参流程

2 如何建模

一,了解通用的几个模型:
逻辑回归模型、决策树模型、集成GBDT模型(随机森林、XGBOOST、LightGBM、CatBOOST)

逻辑回归

  1. 优点
    a. 训练速度较快,分类的时候,计算量仅仅只和特征的数目相关;
    b. 简单易理解,模型的可解释性非常好,从特征的权重可以看到不同的特征对最后结果的影响;
    c. 适合二分类问题,不需要缩放输入特征;
    d. 内存资源占用小,只需要存储各个维度的特征值;
  2. 缺点
    a. 逻辑回归需要预先处理缺失值和异常值【可参考task3特征工程】; b. 不能用Logistic回归去解决非线性问题,因为Logistic的决策面是线性的;
    c. 对多重共线性数据较为敏感,且很难处理数据不平衡的问题;
    d. 准确率并不是很高,因为形式非常简单,很难去拟合数据的真实分布;

决策树模型

  1. 优点
    a. 简单直观,生成的决策树可以可视化展示
    b. 数据不需要预处理,不需要归一化,不需要处理缺失数据 c. 既可以处理离散值,也可以处理连续值
  2. 缺点
    a. 决策树算法非常容易过拟合,导致泛化能力不强(可进行适当的剪枝)
    b. 采用的是贪心算法,容易得到局部最优解

集合模型

通过组合多个学习器来完成学习任务,通过集成方法,可以将多个弱学习器组合成一个强分类器,因此集成学习
的泛化能力一般比单一分类器要好。
集成方法主要包括Bagging和Boosting,Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来,
形成一个更加强大的分类。两种方法都是把若干个分类器整合为一个分类器的方法,只是整合的方式不一样,最
终得到不一样的效果。常见的基于Baggin思想的集成模型有:随机森林、基于Boosting思想的集成模型有:
Adaboost、GBDT、XgBoost、LightGBM等。

二,如何调用这些模型
1, 逻辑回归模型;初步看针对多特征进行分类,理论上应该可以得到一个比较好的结果,但容易过拟合待验证
参考:https://blog.youkuaiyun.com/han_xiaoyang/article/details/49123419
2,集合模型
LGBM:参数值有待分析

params = { 'boosting_type': 'gbdt', 'objective': 'binary', 'metric': 'auc', 'min_child_weight': 5, 'num_leaves': 2 ** 5, 'lambda_l2': 10, 'feature_fraction': 0.8, 'bagging_fraction': 0.8, 'bagging_freq': 4, 'learning_rate': 0.1, 'seed': 2020, 'nthread': 28, 'n_jobs':24, 'silent': True, 'verbose': -1, }

model = clf.train(params, train_matrix, 50000, valid_sets=[train_matrix, valid_matrix], verbose_eval=200,early_stopping_rounds=200) 

XGBOOST模型:


params = {'booster': 'gbtree', 'objective': 'binary:logistic', 'eval_metric': 'auc', 'gamma': 1, 'min_child_weight': 1.5, 'max_depth': 5, 'lambda': 10, 'subsample': 0.7, 'colsample_bytree': 0.7, 'colsample_bylevel': 0.7, 'eta': 0.04, 'tree_method': 'exact', 16171819202122232425262728293031323334353637383940414243444546474849505152535455565758'seed': 2020, 'nthread': 36, "silent": True, } 

watchlist = [(train_matrix, 'train'),(valid_matrix, 'eval')] model = clf.train(params, train_matrix, num_boost_round=50000, evals=watchlist, verbose_eval=200, early_stopping_rounds=200) 

CATBOOST模型参数:


params = {'learning_rate': 0.05, 'depth': 5, 'l2_leaf_reg': 10, 'bootstrap_type': 'Bernoulli', 'od_type': 'Iter', 'od_wait': 50, 'random_seed': 11, 'allow_writing_files': False} 

model = clf(iterations=20000, **params) model.fit(trn_x, trn_y, eval_set=(val_x, val_y), cat_features=[], use_best_model=True, verbose=500) 

3 模型怎么对比优劣

ROC曲线越接近左上角,该分类器的性能越好,其泛化性能就越好。而且一般来说,如果ROC是光滑的,
那么基本可以判断没有太大的overfitting

各种模型的ROC曲线下面积做比较,如果面积大(即AUC大)则模型更优
在这里插入图片描述
使用sklearn调用ROC计算即可:


roc_auc_score(val_y, val_pred)

4 模型调参

贪心调参:
网格搜索调参:不适合大量数据
贝叶斯调参

a. 集成模型内置的cv函数可以较快的进行单一参数的调节,一般可以用来优先确定树模型的迭代次数
b. 数据量较大的时候(例如本次项目的数据),网格搜索调参会特别特别慢,不建议尝试
c. 集成模型中原生库和sklearn下的库部分参数不一致,需要注意,具体可以参考xgb和lgb的官方API

1. 营销获客 2. 贷前风控 2.1 贷前审查 2.2 反欺诈 2.3 风控策略 2.4 风控建模 2.5 数据管理 风控总监训练营 ......................................................................................................792 4 节课玩转信用评分卡模型....................................................................................792 如何搭建虚拟信用卡风控体系 ...............................................................................792 风控大牛手把手教你搭建企业级信用评分模型.....................................................792 2 大维度全面ᨀ升催收效率....................................................................................792 3 堂课,从 0-1 掌握基于数据驱动的风险定价核心...............................................792 如何打造现金贷产品的风控体系?........................................................................792 解密 P2P 网贷备案——专家教你如何正确应对备案..............................................793 区块链的前世今生及其应用 ...................................................................................793 区块链热潮下不可不知的法律风险:法律专家权威解读区块链、代币等案例法律 分析 .........................................................................................................................793 牌照决定生死,现金贷及 P2P 如何拿牌?............................................................793
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值