2021-05-01

阿里云天池金融风控训练营广东工业-梁钰莹task4学习笔记

学习链接：https://tianchi.aliyun.com/specials/activity/promotion/aicampfr

一、学习知识概要

• 学习在金融分控领域常用的机器学习模型
• 学习机器学习模型的建模过程与调参流程

二、学习内容
2.1、 模型相关原理介绍

2.1.1、逻辑回归模型

• 逻辑回归模型的由来；
• 逻辑回归模型的应用；
• 逻辑回归的优缺点；

2.1.2、决策树模型

• 决策树构建、ID3算法、编写代码构建决策树
• 决策树可视化
• 使用决策时执行分类
• 决策树的储存
• Sklearn之使用决策树预测隐形眼镜类型

2.1.3、GBDT模型
GBDT是一个集成模型，可以看做是很多个基模型的线性相加，其中的基模型就是CART回归树。

• CART回归树（回归树生成和回归树剪枝）
  CART树是一个决策树模型，与普通的ID3，C4.5相比，CART树的主要特征是，他是一颗二分树，每个节点特征取值为“是”和“不是”。举个例子，在ID3中如果天气是一个特征，那么基于此的节点特征取值为“晴天”、“阴天”、“雨天”，而CART树中就是“不是晴天”与“是晴天”。

2.1.4、 XGBoost模型

• 理解XGBoost模型
• XGBoost模型的基本原理
• XGBoost的基本使用

2.1.5、LightGBM模型

• 理解LightGBM模型
• LightGBM的直方图算法
• LightGBM的两大先进技术（单边梯度抽样算法(GOSS)和 互斥特征捆绑算法(EFB)）
• LightGBM的生长策略
• LightGBM的工程优化
• LightGBM的实战应用

2.1.6、Catboost模型

• 理解Catboost模型
• Catboost模型原理
• Catboost模型的应用
• Catboost模型的优缺点
• 关于CatBoost若干问题思考

2.2、模型对比与性能评估

2.2.1逻辑回归

• 优点

  • 训练速度较快，分类的时候，计算量仅仅只和特征的数目相关；
  • 简单易理解，模型的可解释性非常好，从特征的权重可以看到不同的特征对最后结果的影响；
  • 适合二分类问题，不需要缩放输入特征；
  • 内存资源占用小，只需要存储各个维度的特征值；

• 缺点

  • 逻辑回归需要预先处理缺失值和异常值【可参考task3特征工程】；**

  • 不能用Logistic回归去解决非线性问题，因为Logistic的决策面是线性的；

  • 对多重共线性数据较为敏感，且很难处理数据不平衡的问题；

  • 准确率并不是很高，因为形式非常简单，很难去拟合数据的真实分布；

2.2.2、决策树模型

• 优点
  • 简单直观，生成的决策树可以可视化展示
  • 数据不需要预处理，不需要归一化，不需要处理缺失数据
  • 既可以处理离散值，也可以处理连续值
• 缺点
  • 决策树算法非常容易过拟合，导致泛化能力不强（可进行适当的剪枝）
  • 采用的是贪心算法，容易得到局部最优解

2.2.3、集成模型集成方法（ensemble method）
集成方法主要包括Bagging和Boosting，Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来，形成一个更加强大的分类。两种方法都是把若干个分类器整合为一个分类器的方法，只是整合的方式不一样，最终得到不一样的效果。常见的基于Baggin思想的集成模型有：随机森林、基于Boosting思想的集成模型有：Adaboost、GBDT、XgBoost、LightGBM等。

Baggin和Boosting的区别总结如下：

• 样本选择上：Bagging方法的训练集是从原始集中有放回的选取，所以从原始集中选出的各轮训练集之间是独立的；而Boosting方法需要每一轮的训练集不变，只是训练集中每个样本在分类器中的权重发生变化。而权值是根据上一轮的分类结果进行调整
• 样例权重上： Bagging方法使用均匀取样，所以每个样本的权重相等；而Boosting方法根据错误率不断调整样本的权值，错误率越大则权重越大
• 预测函数上： Bagging方法中所有预测函数的权重相等；而Boosting方法中每个弱分类器都有相应的权重，对于分类误差小的分类器会有更大的权重
• 并行计算上： Bagging方法中各个预测函数可以并行生成；而Boosting方法各个预测函数只能顺序生成，因为后一个模型参数需要前一轮模型的结果。

2.2.4、 模型评估方法
对于模型来说，其在训练集上面的误差我们称之为训练误差或者经验误差，而在测试集上的误差称之为测试误差。

对于我们来说，我们更关心的是模型对于新样本的学习能力，即我们希望通过对已有样本的学习，尽可能的将所有潜在样本的普遍规律学到手，而如果模型对训练样本学的太好，则有可能把训练样本自身所具有的一些特点当做所有潜在样本的普遍特点，这时候我们就会出现过拟合的问题。

因此我们通常将已有的数据集划分为训练集和测试集两部分，其中训练集用来训练模型，而测试集则是用来评估模型对于新样本的判别能力。

对于数据集的划分，我们通常要保证满足以下两个条件：

• 训练集和测试集的分布要与样本真实分布一致，即训练集和测试集都要保证是从样本真实分布中独立同分布采样而得；
• 训练集和测试集要互斥

对于数据集的划分有三种方法

• ①留出法

  留出法是直接将数据集D划分为两个互斥的集合，其中一个集合作为训练集S，另一个作为测试集T。需要注意的是在划分的时候要尽可能保证数据分布的一致性，即避免因数据划分过程引入额外的偏差而对最终结果产生影响。为了保证数据分布的一致性，通常我们采用分层采样的方式来对数据进行采样。

  Tips： 通常，会将数据集D中大约2/3~4/5的样本作为训练集，其余的作为测试集。

• ②交叉验证法

  k折交叉验证通常将数据集D分为k份，其中k-1份作为训练集，剩余的一份作为测试集，这样就可以获得k组训练/测试集，可以进行k次训练与测试，最终返回的是k个测试结果的均值。交叉验证中数据集的划分依然是依据分层采样的方式来进行。

  对于交叉验证法，其k值的选取往往决定了评估结果的稳定性和保真性，通常k值选取10。

  当k=1的时候，我们称之为留一法

• ③自助法

  我们每次从数据集D中取一个样本作为训练集中的元素，然后把该样本放回，重复该行为m次，这样我们就可以得到大小为m的训练集，在这里面有的样本重复出现，有的样本则没有出现过，我们把那些没有出现过的样本作为测试集。

  进行这样采样的原因是因为在D中约有36.8%的数据没有在训练集中出现过。留出法与交叉验证法都是使用分层采样的方式进行数据采样与划分，而自助法则是使用有放回重复采样的方式进行数据采样

数据集划分总结

• 对于数据量充足的时候，通常采用留出法或者k折交叉验证法来进行训练/测试集的划分；
• 对于数据集小且难以有效划分训练/测试集时使用自助法；
• 对于数据集小且可有效划分的时候最好使用留一法来进行划分，因为这种方法最为准确

2.2.5、 模型评价标准
在逻辑回归里面，对于正负例的界定，通常会设一个阈值，大于阈值的为正类，小于阈值为负类。如果我们减小这个阀值，更多的样本会被识别为正类，提高正类的识别率，但同时也会使得更多的负类被错误识别为正类。为了直观表示这一现象，引入ROC。

根据分类结果计算得到ROC空间中相应的点，连接这些点就形成ROC curve，横坐标为False Positive Rate(FPR：假正率)，纵坐标为True Positive Rate(TPR：真正率)。 一般情况下，这个曲线都应该处于(0,0)和(1,1)连线的上方,如图：

ROC曲线中的四个点：

• 点(0,1)：即FPR=0, TPR=1，意味着FN＝0且FP＝0，将所有的样本都正确分类；
• 点(1,0)：即FPR=1，TPR=0，最差分类器，避开了所有正确答案；
• 点(0,0)：即FPR=TPR=0，FP＝TP＝0，分类器把每个实例都预测为负类；
• 点(1,1)：分类器把每个实例都预测为正类

总之：ROC曲线越接近左上角，该分类器的性能越好，其泛化性能就越好。而且一般来说，如果ROC是光滑的，那么基本可以判断没有太大的overfitting。

但是对于两个模型，我们如何判断哪个模型的泛化性能更优呢？这里我们有主要以下两种方法：

如果模型A的ROC曲线完全包住了模型B的ROC曲线，那么我们就认为模型A要优于模型B；

如果两条曲线有交叉的话，我们就通过比较ROC与X，Y轴所围得曲线的面积来判断，面积越大，模型的性能就越优，这个面积我们称之为AUC(area under ROC curve)

2.3、 模型调参

• 优点贪心调参

• 网格搜索

• 贝叶斯调参

• 集成模型内置的cv函数可以较快的进行单一参数的调节，一般可以用来优先确定树模型的迭代次数

• 数据量较大的时候（例如本次项目的数据），网格搜索调参会特别特别慢，不建议尝试

• 集成模型中原生库和sklearn下的库部分参数不一致，需要注意，具体可以参考xgb和lgb的官方API

2.4、总结

三、学习问题与解答
XGBoost模型、LightGBM模型 与CatBoost模型比较难理解，需要多花费功夫去学习。
建议多上网查询三种模型的相关资料。

四、学习思考与总结
学习了建模与调参相关知识，了解了好几种模型，接触了三种调参手段，令我编程的学习又有进一步提升。