12、特征重要性与影响基础

特征重要性与影响基础

在机器学习模型中，评估特征的重要性和影响对于理解模型的决策过程至关重要。不同的模型有不同的特征重要性评估方法，下面将详细介绍几种常见模型的特征重要性评估方法。

1. 过拟合与模型评估

在评估模型时，训练集和测试集的指标差异可以反映模型的过拟合程度。通常，很难找到一个平衡点，既能使测试准确率最大化，又不过度拟合，像梯度提升和随机森林模型就存在这样的问题。

2. 基于树的模型的特征重要性

对于基于树的模型（如决策树、梯度提升树和随机森林），特征重要性是通过节点杂质减少的加权和来计算的。节点杂质是用于决定如何分割分支的指标，它表示一个节点属于单个类别的程度，从完全不纯（均匀分割）到完全纯（全部属于单个类别）。

以下是计算三种基于树的模型特征重要性的代码：

import pandas as pd

# 决策树
dt_imp_df = pd.DataFrame({ 'name': X_train.columns,
    'dt_imp': class_models['decision_tree']['fitted'].feature_importances_})

# 梯度提升树
gb_imp_df = pd.DataFrame({ 'name': X_train.columns,
    'gb_imp': class_models['gradient_boosting']['fitted'].feature_importances_})

# 随机森林
rf_imp_df = pd.DataFrame({ 'name': X_train.