数据挖掘13

数据挖掘13–特征子集选择

一、为什么要选择特征？而不是用全部的特征？

1.去除冗余和噪声特征

有些特征之间高度相关（冗余），或者与目标完全无关（噪声）。保留它们不仅无益，反而有害。

例如：同时包含“年龄”和“出生年份”是冗余的。

2.减少过拟合

过多的无关或冗余特征会增加模型复杂度，使模型“记住”训练数据中的噪声，从而在新数据上泛化能力变差。

3.训练更快

特征越少，模型训练所需的时间和内存就越少。

4.增强模型可解释性

特征越少，越容易理解模型是如何做出决策的。

二、特征子集选择（Feature Subset Selection）

1.性质

（1）不生成新的特征，仅在原始特征构成的集合中选择部分特征构成子集

不同于主成分分析，主成分分析会对原始特征组合生成新的特征

（2）不改变特征的物理含义

比如“年龄”还是“年龄”，不会变成“标准化后的年龄”或“年龄平方”。

特征的原始意义保持不变，容易理解和解释。

（3）与数据挖掘任务相关——相关特征包含对当前数据挖掘任务有用的信息

举个例子：如果你要预测一个人是否会贷款违约，那么“信用记录”很重要，“头发颜色”就不重要。

所以特征子集选择会优先保留那些和任务目标相关的特征。