23、不平衡分类中的加权XGBoost与概率阈值调整

不平衡分类中的加权XGBoost与概率阈值调整

1. 加权XGBoost在不平衡分类中的应用

在不平衡分类问题中，加权XGBoost是一种有效的方法。通过对正类进行加权，可以调整XGBoost训练算法，使其在训练过程中更加关注少数类样本。

在对正类权重进行网格搜索时，发现 scale_pos_weight=99 取得了最佳的平均ROC分数，这与一般的启发式配置相匹配。几乎所有大于默认值1的权重都有更好的平均ROC AUC，甚至激进的权重值1000也是如此。有趣的是，权重值99的表现比100更好。以下是不同权重值对应的ROC AUC分数：
| scale_pos_weight | 平均ROC AUC分数 |
| ---- | ---- |
| 1 | 0.957239 (0.031619) |
| 10 | 0.958219 (0.027315) |
| 25 | 0.958278 (0.027438) |
| 50 | 0.959199 (0.026171) |
| 75 | 0.959204 (0.025842) |
| 99 | 0.959901 (0.025499) |
| 100 | 0.959141 (0.025409) |
| 1000 | 0.958761 (0.024757) |

可以看出，选择合适的正类权重对于提高模型性能至关重要。

2. 概率阈值移动在不平衡分类中的作用

分类预测建模通常涉及预测类别标签，但许多机器学习算法能够预测类别成员的概率或得分。在将这些概率或得分映射到明确的类别标签