13、机器学习中的特征评估与降维技术

机器学习中的特征评估与降维技术

1. 随机森林评估特征重要性

在机器学习中，选择相关特征是构建有效模型的关键步骤。除了使用 L1 正则化和顺序向后选择（SBS）算法进行特征选择外，随机森林也是一种非常有用的方法。随机森林是一种集成技术，它可以通过计算森林中所有决策树的平均不纯度减少来衡量特征的重要性，而无需假设数据是否线性可分。

1.1 代码实现

以下是使用随机森林对 Wine 数据集的 13 个特征进行重要性排序的代码：

from sklearn.ensemble import RandomForestClassifier
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

# 假设 df_wine 已经定义
feat_labels = df_wine.columns[1:]
forest = RandomForestClassifier(n_estimators=500, random_state=1)
forest.fit(X_train, y_train)
importances = forest.feature_importances_
indices = np.argsort(importances)[::-1]

for f in range(X_train.shape[1]):
    print("%2d) %-*s %f" % (f + 1, 30, feat_labels[indices[f]], importances[indices[f]]))

plt.title('Featu