特征选择旨在剔除冗余和负影响特征，降低计算资源消耗。它与降维不同，后者保持信息不变。过滤式特征选择依据单个特征与目标的相关度；包裹式特征选择通过递归删除并评估模型性能；嵌入式如L1正则化在模型训练中消除不重要特征权重。
特征选择介绍
1.特征选择，顾名思义，就是要选择一部分的特征用于训练，而不使用全部的特征。那么为什么要进行特征选择？
- 有一些特征之间的相关度太高了，会大量消耗计算资源。
- 有一些特征可能会对预测结果有负影响。
2.特征选择和降维一样吗？
不一样。特征选择是剔除一部分冗余的特征，剔除的这些特征和预测的关系很小。而降维本质上是将特征映射到另一个低维空间中，但是保留了数据的大部分信息。降维后的特征发生了改变。
3.特征选择的方法有哪些？
①过滤式特征选择。这种方法首先计算每个特征和预测结果的相关程度，然后按照从大到小的顺序排列，最后只留下相关度最高的n个特征。可以采用personer相关系数计算相关度，计算公式如下：
ρX,Y=cov{
X,Y}σXσY=E[(X−μX)(Y−μY)]σXσY=E(XY)−E(X)E(Y)E(X2)−E2(X)E(Y2)−E2(Y) \rho_{X,Y}=\frac{cov\{X,Y\}}{\sigma_X \sigma_Y}=\frac{E[(X-\mu_X)(Y-\mu_Y)]}{\sigma_X \sigma_Y}=\frac{E(XY)-E(X)E(Y)}{\sqrt{E(X^2)-E^2(X)} \sqrt{E(Y^2)-E^2(Y)}} ρX,Y=σXσ
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
