零基础入门金融风控之建模与调参

本文介绍了金融风控领域常用的机器学习模型,包括逻辑回归、决策树和集成模型如GBDT、XGBoost、LightGBM、CatBOOST。逻辑回归简单快速但可能过拟合;决策树直观但易过拟合;集成模型通过组合多个学习器提升性能。调参方面,文章提到了贪心调参策略和贝叶斯调参,并给出了LGBM、XGBOOST和CATBOOST的调参示例。评估模型优劣主要依据ROC曲线和AUC值。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1 学习目标

  1. 学习在金融风控领域常用的机器学习模型
  2. 学习机器学习模型的建模过程与调参流程

2 如何建模

一,了解通用的几个模型:
逻辑回归模型、决策树模型、集成GBDT模型(随机森林、XGBOOST、LightGBM、CatBOOST)

逻辑回归

  1. 优点
    a. 训练速度较快,分类的时候,计算量仅仅只和特征的数目相关;
    b. 简单易理解,模型的可解释性非常好,从特征的权重可以看到不同的特征对最后结果的影响;
    c. 适合二分类问题,不需要缩放输入特征;
    d. 内存资源占用小,只需要存储各个维度的特征值;
  2. 缺点
    a. 逻辑回归需要预先处理缺失值和异常值【可参考task3特征工程】; b. 不能用Logistic回归去解决非线性问题,因为Logistic的决策面是线性的;
    c. 对多重共线性数据较为敏感,且很难处理数据不平衡的问题;
    d. 准确率并不是很高,因为形式非常简单,很难去拟合数据的真实分布;

决策树模型

  1. 优点
    a. 简单直观,生成的决策树可以可视化展示
    b. 数据不需要预处理,不需要归一化,不需要处理缺失数据 c. 既可以处理离散值,也可以处理连续值
  2. 缺点
    a. 决策树算法非常容易过拟合,导致泛化能力不强(可进行适当的剪枝)
    b. 采用的是贪心算法,容易得到局部最优解

集合模型

通过组合多个学习器来完成学习任务,通过集成方法,可以将多个弱学习器组合成一个强分类器,因此集成学习
的泛化能力一般比单一分类器要好。
集成方法主要包括Bagging和Boosting,Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来,
形成一个更加强大的分类。两种方法都是把若干个分类器整合为一个分类器的方法,只是整合的方式不一样,最
终得到不一样的效果。常见的基于Baggin思想的集成模型有:随机森林、基于Boosting思想的集成模型有:
Adaboost、GBDT、XgBoost、LightGBM等。

二,如何调用这些模型
1, 逻辑回归模型;初步看针对多特征进行分类,理论上应该可以得到一个比较好的结果,但容易过拟合待验证
参考:https://blog.youkuaiyun.com/han_xiaoyang/article/details/49123419
2,集合模型
LGBM:参数值有待分析

params = { 'boosting_type': 'gbdt', 'objective': 'binary', 'metric': 'auc', 'min_child_weight': 5, 'num_leaves': 2 ** 5, 'lambda_l2': 10, 'feature_fraction': 0.8, 'bagging_fraction': 0.8, 'bagging_freq': 4, 'learning_rate': 0.1, 'seed': 2020, 'nthread': 28, 'n_jobs':24, 'silent': True, 'verbose': -1, }

model = clf.train(params, train_matrix, 50000, valid_sets=[train_matrix, valid_matrix], verbose_eval=200,early_stopping_rounds=200) 

XGBOOST模型:


params = {'booster': 'gbtree', 'objective': 'binary:logistic', 'eval_metric': 'auc', 'gamma': 1, 'min_child_weight': 1.5, 'max_depth': 5, 'lambda': 10, 'subsample': 0.7, 'colsample_bytree': 0.7, 'colsample_bylevel': 0.7, 'eta': 0.04, 'tree_method': 'exact', 16171819202122232425262728293031323334353637383940414243444546474849505152535455565758'seed': 2020, 'nthread': 36, "silent": True, } 

watchlist = [(train_matrix, 'train'),(valid_matrix, 'eval')] model = clf.train(params, train_matrix, num_boost_round=50000, evals=watchlist, verbose_eval=200, early_stopping_rounds=200) 

CATBOOST模型参数:


params = {'learning_rate': 0.05, 'depth': 5, 'l2_leaf_reg': 10, 'bootstrap_type': 'Bernoulli', 'od_type': 'Iter', 'od_wait': 50, 'random_seed': 11, 'allow_writing_files': False} 

model = clf(iterations=20000, **params) model.fit(trn_x, trn_y, eval_set=(val_x, val_y), cat_features=[], use_best_model=True, verbose=500) 

3 模型怎么对比优劣

ROC曲线越接近左上角,该分类器的性能越好,其泛化性能就越好。而且一般来说,如果ROC是光滑的,
那么基本可以判断没有太大的overfitting

各种模型的ROC曲线下面积做比较,如果面积大(即AUC大)则模型更优
在这里插入图片描述
使用sklearn调用ROC计算即可:


roc_auc_score(val_y, val_pred)

4 模型调参

贪心调参:
网格搜索调参:不适合大量数据
贝叶斯调参

a. 集成模型内置的cv函数可以较快的进行单一参数的调节,一般可以用来优先确定树模型的迭代次数
b. 数据量较大的时候(例如本次项目的数据),网格搜索调参会特别特别慢,不建议尝试
c. 集成模型中原生库和sklearn下的库部分参数不一致,需要注意,具体可以参考xgb和lgb的官方API

1. 营销获客 2. 贷前风控 2.1 贷前审查 2.2 反欺诈 2.3 风控策略 2.4 风控建模 2.5 数据管理 风控总监训练营 ......................................................................................................792 4 节课玩转信用评分卡模型....................................................................................792 如何搭建虚拟信用卡风控体系 ...............................................................................792 风控大牛手把手教你搭建企业级信用评分模型.....................................................792 2 大维度全面ᨀ升催收效率....................................................................................792 3 堂课,从 0-1 掌握基于数据驱动的风险定价核心...............................................792 如何打造现金贷产品的风控体系?........................................................................792 解密 P2P 网贷备案——专家教你如何正确应对备案..............................................793 区块链的前世今生及其应用 ...................................................................................793 区块链热潮下不可不知的法律风险:法律专家权威解读区块链、代币等案例法律 分析 .........................................................................................................................793 牌照决定生死,现金贷及 P2P 如何拿牌?............................................................793
### 清华大学 DeepSeek 入门教程 对于希望深入了解清华大学 DeepSeek 项目并掌握其应用技巧的用户来说,可以从官方提供的实战教程入手。该教程旨在帮助用户全面理解 DeepSeek 的核心概念及其应用场景[^2]。 #### 初步探索环境搭建 新手可以通过阅读《DeepSeek-V2: 实战教程从入门到精通》来熟悉平台的基础操作以及如何设置开发环境。此阶段重点在于了解基本术语、界面布局及常用命令行工具的使用方法。 ```bash pip install deepseek-v2 ``` #### 数据处理模型训练 随着技能的增长,学习者应关注于更复杂的数据预处理技术,比如特征工程、标注清洗等环节;同时也要学会构建自己的机器学习管道来进行有效的预测建模[^3]。 ```python from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2) ``` ### 高级用法解析 当掌握了基础知识之后,《DeepSeek 终极指南:从零基础到精通》提供了更多关于优化性能、提高效率等方面的指导材料。这不仅限于简单的参数调整,还包括针对特定领域问题设计解决方案的能力培养。 #### 自定义插件扩展功能 为了满足不同行业的特殊需求,开发者可以利用 Python API 创建自定义模块或脚本来增强原有系统的灵活性和适应性。例如,在金融风控场景下实现个性化的信用评分算法[^1]。 ```python class CustomCreditScoringAlgorithm: def __init__(self): pass def score(self, user_data): # Implement custom scoring logic here. return calculated_score ``` #### 多源异构数据分析 面对日益增长的信息量和技术挑战,DeepSeek 支持多源异构数据融合分析,允许跨数据库查询、实时流计算等功能集成,从而为企业决策提供更加科学合理的依据。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值