量化风控算法详解之CatBoost

CatBoost是俄罗斯的搜索巨头Yandex在2017年开源的机器学习库，与XGBoost、LightGBM并称为GBDT三大主流神器库。LightGBM和XGBoost已经在各领域得到了广泛的应用，而Yandex的CatBoost作为后起之秀则是号称比XGBoost和LightGBM在算法准确率等方面表现更为优秀的算法。

CatBoost的名称来源于”Category”和”Boosting”两个词。”Boosting”表明CatBoost和XGBoost、LightGBM一样，都是在梯度提升决策树（Gradient Boosting Decision Tree，GBDT）算法框架下的一种改进实现；而”Category”则体现了CatBoost最显著的一个特点，即它可以很好的处理类别型特征（Categorical Features）数据。在我们风控领域的建模中，类别型特征是十分常见的，比如用户的性别、职业、教育程度等等。

相较于XGBoost和LightGBM，CatBoost可以使我们在模型训练之前不再需要通过特征工程去处理分类型特征；同时CatBoost使用对称树作为基模型，并提出了新的方法来处理梯度偏差和预测偏移问题，减少了模型过拟合的可能，提升了模型预测的效果。可以预见，在风控建模中引入CatBoost算法会有着非常优异的表现。

下面我们针对CatBoost算法的主要特点逐一展开介绍：

一、类别型特征

1.Ordered TS编码

像XGBoost这样的算法是不接受类别型特征的输入的，因此在模型训练之前就需要对类别型特征进行特征工程处理。而特征工程中又有许多处理方法，比如分箱处理、one-hot编码、TS（target statistics）编码、label编码等。具体的方式选择取决于我们的主观经验以及调试结果。

CatBoost则设计了一直类似均值编码的，基于预测目标统计值的方法将类别特征转化为数值特征，这种方法称之为Ordered Target Statistics数值编码方法，可以有效解决梯度偏差和预测偏移的问题，降低模型过拟合的可能。它的流程如下：