36、随机森林模型特征重要性评估方法详解

随机森林模型特征重要性评估方法详解

1. 特征重要性的重要性

在机器学习中，我们花费大量时间构建整个流程并调整模型以实现更好的性能。然而，模型的可解释性同样重要，在某些情况下甚至更为关键。可解释性不仅意味着给出准确的预测，还需要能够解释预测背后的原因。

例如，在客户流失的案例中，了解导致客户离开的实际预测因素，有助于改善整体服务，有可能让客户停留更长时间。在金融领域，银行常使用机器学习来预测客户偿还信贷或贷款的能力。在很多情况下，银行有义务为其决策提供理由，即如果拒绝信贷申请，需要确切知道为何该客户的申请未获批准。对于非常复杂的模型，做到这一点可能很困难，甚至不可能。

了解特征的重要性能在多方面使我们受益：
- 理解模型逻辑，理论上验证其正确性（如果合理的特征是良好的预测因子），还可以通过仅关注重要变量来尝试改进模型。
- 利用特征重要性仅保留最重要的 x 个特征（贡献达到指定的总重要性百分比），这不仅可以通过去除潜在噪声提高性能，还能缩短训练时间。
- 在一些实际情况中，为了可解释性，牺牲一些准确性（或其他性能指标）是有意义的。

2. 计算特征重要性的方法

我们将介绍三种计算特征重要性的方法：

方法	优点	缺点
Mean Decrease in Impurity (MDI)	计算速度快；易于获取	有偏差，倾向于夸大连续（数值）