零基础入门金融风控之建模与调参

1 学习目标

1. 学习在金融风控领域常用的机器学习模型
2. 学习机器学习模型的建模过程与调参流程

2 如何建模

一，了解通用的几个模型：
逻辑回归模型、决策树模型、集成GBDT模型（随机森林、XGBOOST、LightGBM、CatBOOST）

逻辑回归

1. 优点
   a. 训练速度较快，分类的时候，计算量仅仅只和特征的数目相关；
   b. 简单易理解，模型的可解释性非常好，从特征的权重可以看到不同的特征对最后结果的影响；
   c. 适合二分类问题，不需要缩放输入特征；
   d. 内存资源占用小，只需要存储各个维度的特征值；
2. 缺点
   a. 逻辑回归需要预先处理缺失值和异常值【可参考task3特征工程】； b. 不能用Logistic回归去解决非线性问题，因为Logistic的决策面是线性的；
   c. 对多重共线性数据较为敏感，且很难处理数据不平衡的问题；
   d. 准确率并不是很高，因为形式非常简单，很难去拟合数据的真实分布；

决策树模型

1. 优点
   a. 简单直观，生成的决策树可以可视化展示
   b. 数据不需要预处理，不需要归一化，不需要处理缺失数据 c. 既可以处理离散值，也可以处理连续值
2. 缺点
   a. 决策树算法非常容易过拟合，导致泛化能力不强（可进行适当的剪枝）
   b. 采用的是贪心算法，容易得到局部最优解

集合模型

通过组合多个学习器来完成学习任务，通过集成方法，可以将多个弱学习器组合成一个强分类器，因此集成学习
的泛化能力一般比单一分类器要好。
集成方法主要包括Bagging和Boosting，Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来，
形成一个更加强大的分类。两种方法都是把若干个分类器整合为一个分类器的方法，只是整合的方式不一样，最
终得到不一样的效果。常见的基于Baggin思想的集成模型有：随机森林、基于Boosting思想的集成模型有：
Adaboost、GBDT、XgBoost、LightGBM等。

二，如何调用这些模型
1， 逻辑回归模型；初步看针对多特征进行分类，理论上应该可以得到一个比较好的结果，但容易过拟合待验证
参考：https://blog.youkuaiyun.com/han_xiaoyang/article/details/49123419
2，集合模型
LGBM:参数值有待分析

params = { 'boosting_type': 'gbdt', 'objective': 'binary', 'metric': 'auc', 'min_child_weight': 5, 'num_leaves': 2 ** 5, 'lambda_l2': 10, 'feature_fraction': 0.8, 'bagging_fraction': 0.8, 'bagging_freq': 4, 'learning_rate': 0.1, 'seed': 2020, 'nthread': 28, 'n_jobs':24, 'silent': True, 'verbose': -1, }

model = clf.train(params, train_matrix, 50000, valid_sets=[train_matrix, valid_matrix], verbose_eval=200,early_stopping_rounds=200) 

XGBOOST模型：

params = {'booster': 'gbtree', 'objective': 'binary:logistic', 'eval_metric': 'auc', 'gamma': 1, 'min_child_weight': 1.5, 'max_depth': 5, 'lambda': 10, 'subsample': 0.7, 'colsample_bytree': 0.7, 'colsample_bylevel': 0.7, 'eta': 0.04, 'tree_method': 'exact', 16171819202122232425262728293031323334353637383940414243444546474849505152535455565758'seed': 2020, 'nthread': 36, "silent": True, } 

watchlist = [(train_matrix, 'train'),(valid_matrix, 'eval')] model = clf.train(params, train_matrix, num_boost_round=50000, evals=watchlist, verbose_eval=200, early_stopping_rounds=200) 

CATBOOST模型参数：

params = {'learning_rate': 0.05, 'depth': 5, 'l2_leaf_reg': 10, 'bootstrap_type': 'Bernoulli', 'od_type': 'Iter', 'od_wait': 50, 'random_seed': 11, 'allow_writing_files': False} 

model = clf(iterations=20000, **params) model.fit(trn_x, trn_y, eval_set=(val_x, val_y), cat_features=[], use_best_model=True, verbose=500) 

3 模型怎么对比优劣

ROC曲线越接近左上角，该分类器的性能越好，其泛化性能就越好。而且一般来说，如果ROC是光滑的，
那么基本可以判断没有太大的overfitting

各种模型的ROC曲线下面积做比较，如果面积大（即AUC大）则模型更优

使用sklearn调用ROC计算即可：

roc_auc_score(val_y, val_pred)

4 模型调参

贪心调参：
网格搜索调参：不适合大量数据
贝叶斯调参

a. 集成模型内置的cv函数可以较快的进行单一参数的调节，一般可以用来优先确定树模型的迭代次数
b. 数据量较大的时候（例如本次项目的数据），网格搜索调参会特别特别慢，不建议尝试
c. 集成模型中原生库和sklearn下的库部分参数不一致，需要注意，具体可以参考xgb和lgb的官方API