特征选择与稀疏表示

最新推荐文章于 2024-12-10 15:08:49 发布

但往勿虑

最新推荐文章于 2024-12-10 15:08:49 发布

阅读量2.3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Machine Learning 文章标签：特征选择

本文链接：https://blog.youkuaiyun.com/qq_25112391/article/details/53843754

本文介绍了熵在信息论中的概念，作为不确定性度量，熵越高表示信息量越大，反之则越小。熵定义为随机变量的不确定性，而条件熵是在特定条件下随机变量的不确定性。信息增益则是熵减去条件熵，用于衡量信息不确定性减少的程度，常用于特征选择过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

名词

中	ENG
特征选择	Feature selection
稀疏表示	Sparse representation
相关/无关特征	Relevant/Irrelevant feature
冗余特征	Redundant feature
子集搜索/子集评价	Subset search/Subset evaluation
信息增益	Information gain
熵	Entropy

熵

1.什么是熵（Entropy）

在信息论里面，熵是对不确定性的测量，熵越高，则能传输越多的信息，熵越低，则意味着传输的信息越少。熵度衡量了系统的不确定性，当我们缺乏对某个系统的知识，其不确定性也随着增加。例如抛硬币，在理想情况下他们无法预测出现的是正面还是反面，此时熵达到最大。但是对于“明天太阳从东方升起”，我们完全可以依靠目前的知识，预测该事件肯定会发生，信息熵最小。

熵的定义为信息的期望值。某个事件用随机变量X表示，其可以的取值{x 1 , x 2 , …x n }，则该事件的信息熵定义为：