本文详细介绍了Catboost算法，它自动处理类别型特征，采用对称树模型并优化了leaf-value计算，防止过拟合。在实战中，Catboost无需复杂的特征预处理，只需指定类别特征即可训练。通过可视化功能，可以直观看到模型训练过程和特征重要性。
前言
今天博主来介绍一个超级简单并且又极其实用的boosting算法包Catboost，据开发者所说这一boosting算法是超越Lightgbm和XGBoost的又一个神器。
catboost 简介
在博主看来catboost有一下三个的优点：
- 它自动采用特殊的方式处理类别型特征（categorical features）。首先对categorical features做一些统计，计算某个类别特征（category）出现的频率，之后加上超参数，生成新的数值型特征（numerical features）。这也是我在这里介绍这个算法最大的motivtion，有了catboost，再也不用手动处理类别型特征了。
- catboost还使用了组合类别特征，可以利用到特征之间的联系，这极大的丰富了特征维度。
- catboost的基模型采用的是对称树，同时计算leaf-value方式和传统的boosting算法也不一样，传统的boosting算法计算的是平均数，而catboost在这方面做了优化采用了其他的算法，这些改进都能防止模型过拟合。
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
