零基础入门金融风控之建模与调参

最新推荐文章于 2025-05-06 09:03:24 发布

原创最新推荐文章于 2025-05-06 09:03:24 发布 · 1k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#数据挖掘 #机器学习

机器学习专栏收录该内容

5 篇文章

订阅专栏

本文介绍了金融风控领域常用的机器学习模型，包括逻辑回归、决策树和集成模型如GBDT、XGBoost、LightGBM、CatBOOST。逻辑回归简单快速但可能过拟合；决策树直观但易过拟合；集成模型通过组合多个学习器提升性能。调参方面，文章提到了贪心调参策略和贝叶斯调参，并给出了LGBM、XGBOOST和CATBOOST的调参示例。评估模型优劣主要依据ROC曲线和AUC值。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 学习目标

学习在金融风控领域常用的机器学习模型
学习机器学习模型的建模过程与调参流程

2 如何建模

一，了解通用的几个模型：
逻辑回归模型、决策树模型、集成GBDT模型（随机森林、XGBOOST、LightGBM、CatBOOST）

逻辑回归

优点
a. 训练速度较快，分类的时候，计算量仅仅只和特征的数目相关；
b. 简单易理解，模型的可解释性非常好，从特征的权重可以看到不同的特征对最后结果的影响；
c. 适合二分类问题，不需要缩放输入特征；
d. 内存资源占用小，只需要存储各个维度的特征值；
缺点
a. 逻辑回归需要预先处理缺失值和异常值【可参考task3特征工程】； b. 不能用Logistic回归去解决非线性问题，因为Logistic的决策面是线性的；
c. 对多重共线性数据较为敏感，且很难处理数据不平衡的问题；
d. 准确率并不是很高，因为形式非常简单，很难去拟合数据的真实分布；

决策树模型

优点
a. 简单直观，生成的决策树可以可视化展示
b. 数据不需要预处理，不需要归一化，不需要处理缺失数据 c. 既可以处理离散值，也可以处理连续值
缺点
a. 决策树算法非常容易过拟合，导致泛化能力不强（可进行适当的剪枝）
b. 采用的是贪心算法，容易得到局部最优解

集合模型

通过组合多个学习器来完成学习任务，通过集成方法，可以将多个弱学习器组合成一个强分类器，因此集成学习
的泛化能力一般比单一分类器要好。
集成方法主要包括Bagging和Boosting，Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来，
形成一个更加强大的分类。两种方法都是把若干个分类器整合为一个分类器的方法，只是整合的方式不一样，最
终得到不一样的效果。常见的基于Baggin思想的集成模型有：随机森林、基于Boosting思想的集成模型有：
Adaboost、GBDT、XgBoost、LightGBM等。

二，如何调用这些模型
1，逻辑回归模型；初步看针对多特征进行分类，理论上应该可以得到一个比较好的结果，但容易过拟合待验证
参考：https://blog.youkuaiyun.com/han_xiaoyang/article/details/49123419
2，集合模型
LGBM:参数值有待分析

params = { 'boosting_type': 'gbdt', 'objective': 'binary', 'metric': 'auc', 'min_child_weight': 5, 'num_leaves': 2 ** 5, 'lambda_l2': 10, 'feature_fraction': 0.8, 'bagging_fraction': 0.8, 'bagging_freq': 4, 'learning_rate': 0.1, 'seed': 2020, 'nthread': 28, 'n_jobs':24, 'silent': True, 'verbose': -1, }

model = clf.train(params, train_matrix, 50000, valid_sets=[train_matrix, valid_matrix], verbose_eval=200,early_stopping_rounds=200)

XGBOOST模型：


params = {'booster': 'gbtree', 'objective': 'binary:logistic', 'eval_metric': 'auc', 'gamma': 1, 'min_child_weight': 1.5, 'max_depth': 5, 'lambda': 10, 'subsample': 0.7, 'colsample_bytree': 0.7, 'colsample_bylevel': 0.7, 'eta': 0.04, 'tree_method': 'exact', 16171819202122232425262728293031323334353637383940414243444546474849505152535455565758'seed': 2020, 'nthread': 36, "silent": True, } 

watchlist = [(train_matrix, 'train'),(valid_matrix, 'eval')] model = clf.train(params, train_matrix, num_boost_round=50000, evals=watchlist, verbose_eval=200, early_stopping_rounds=200)

CATBOOST模型参数：


params = {'learning_rate': 0.05, 'depth': 5, 'l2_leaf_reg': 10, 'bootstrap_type': 'Bernoulli', 'od_type': 'Iter', 'od_wait': 50, 'random_seed': 11, 'allow_writing_files': False} 

model = clf(iterations=20000, **params) model.fit(trn_x, trn_y, eval_set=(val_x, val_y), cat_features=[], use_best_model=True, verbose=500)