特征重要性排序--Permutation Importance

特征重要性排序–Permutation Importance

参考：Permutation Importance | Kaggle

相比于其他衡量特征重要性的方法，Permutation Importance的优点：

• 计算量低
• 广泛使用和容易理解
• 与我们要测量特征重要性的属性一致

Permutation Importance的计算是在模型训练完成后进行的，即，模型参数不再改变。如果我们将验证集中的单独一列的数据进行打乱，并保持其他列和目标值不变，那么，预测打乱后的验证集的结果会怎么变化？

上图示例是将第二列的数据进行shaffle，如果模型预测对该列特征的依赖性很大，那么打乱后，预测精度会受到很大的影响。

具体实施流程：

1. 训练模型
2. 打乱其中一列的数据，用该数据集进行预测，评估预测精度下降来提现该特征变量的重要性
3. 将验证数据集还原，并重复第二步，分析其他特征变量

代码示例：

import numpy as np
import pandas