特征选择与稀疏表示

最新推荐文章于 2024-12-10 15:08:49 发布
原创 最新推荐文章于 2024-12-10 15:08:49 发布 · 2.3k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#特征选择

本文介绍了熵在信息论中的概念，作为不确定性度量，熵越高表示信息量越大，反之则越小。熵定义为随机变量的不确定性，而条件熵是在特定条件下随机变量的不确定性。信息增益则是熵减去条件熵，用于衡量信息不确定性减少的程度，常用于特征选择过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

名词

中 ENG
特征选择 Feature selection
稀疏表示 Sparse representation
相关/无关特征 Relevant/Irrelevant feature
冗余特征 Redundant feature
子集搜索/子集评价 Subset search/Subset evaluation
信息增益 Information gain
熵 Entropy

熵

1.什么是熵（Entropy）

在 信息论 里面，熵是对不确定性的测量，熵越高，则能传输越多的信息，熵越低，则意味着传输的信息越少。熵度衡量了系统的不确定性，当我们缺乏对某个系统的知识，其不确定性也随着增加。例如 抛硬币，在理想情况下他们无法预测出现的是正面还是反面，此时熵达到最大。但是对于“明天太阳从东方升起”，我们完全可以依靠目前的知识，预测该事件肯定会发生，信息熵最小。

熵的定义为信息的期望值。某个事件用随机变量X表示，其可以的取值{x 1 , x 2 , …x n }，则该事件的信息熵定义为：

最低0.47元/天 解锁文章

200万优质内容无限畅学
ML之FE：机器学习项目优化之稀疏特征的简介、处理稀疏特征常用方法(数据层面—FE/Embedding、算法层面(常用的稀疏感知算法等))、应用场景
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-04 1万+
​ ML之FE：机器学习优化之稀疏特征的简介、常用的稀疏感知算法(Sparsity aware algorithm)、应用场景 目录 稀疏特征的简介 常用的稀疏感知算法(Sparsity aware algorithm) 应用场景 稀疏特征的简介 信号稀疏表示是过去近20年来信号处理界一个非常引人关注的研究领域，众多研究论文和专题研讨会表明了该领域的蓬勃发展。信号稀疏表示的目的就是在给定的超完备字典中用尽可能少的原子来表示信号，可以获得信号更为简洁的表示方式，从而使我们
《西瓜书》笔记11：特征选择与稀疏表示（三）
鸟恋旧林的博客
08-14 1663
5. 稀疏表示与字典学习将数据集D表示为矩阵，每一行对应一个样本，每列对应于一种特征。特征选择所考虑的问题是特征具有稀疏性：即矩阵中的许多列与当前学习无关，通过特征选择去掉这些列，难度有所降低，计算开销减小，模型的可解释性提高。 模型的输入因素减少了，模型建立的输入输出关系会更清晰。 现在看另一种“稀疏性”：D对应的矩阵存在很多零元素，杂乱分布，而非整行整列的形式。比如文档分类中，每行是一个文档
什么是稀疏表示？
人机与认知实验室
05-10 7146
信号稀疏表示是过去近20年来信号处理界一个非常引人关注的研究领域，众多研究论文和专题研讨会表明了该领域的蓬勃发展。信号稀疏表示的目的就是在给定的超完备字典中用尽可能少的原...
稀疏特征（稀疏矩阵）
热门推荐
上下求索
06-15 1万+
所谓”稀疏“，是很常见的一个词，比如稀疏矩阵，稀疏编码。这里直白点讲，就是非零值很少。就如对于矩阵而言，稀疏矩阵，就是大部分数据都为0，少部分不为0，稀疏正是指”非0数据很少。 那么”稀疏特征“，如果用矩阵的形式表达，得到的就是稀疏矩阵。“稀疏特征”在大多数的特征上其值为0，只有少部分的特征非0。 一般在machine learning意义上，我们常说的feature，是一种对数据
机器学习之特征选择与稀疏学习
weixin_44153121的博客
02-21 1891
从给定的特征集合中选择出相关特征子集的过程，称为"特征选择" (feature selection)。作用：一是解决维数灾难问题，二是去除不相关特征降低学习任务的难度。 处理高维数据的两大主流技术：特征选择、降维。
机器学习入门学习笔记（八）特征选择与稀疏学习
chengdong996的博客
08-14 1541
一、 特征 我们将属性称为 “特征” (feature)。 相关特征(relevant feature)：对当前学习任务有用的属性。 无关特征(irrelevant feature)：与当前学习任务无关、没什么用的属性。 从给定的特征集合中选择出相关特征子集的过程，称为“特征选择”(feature selection)。 特征选择是一个重要的 “数据预处理”（data preprocessing)过程，在现实机器学习任务中，获得数据之后通常先进行特征选择，此后再训练学习器。那么，为什么要进行特征选择呢? 1
人工智能和机器学习之回归算法：弹性网络回归：特征选择与稀疏表示.docx
08-29
人工智能和机器学习之回归算法：弹性网络回归：特征选择与稀疏表示.docx
机器学习西瓜书——（第十一章）特征选择与稀疏表示
yin_fei_0825的博客
04-10 741
机器学习西瓜书——特征选择与稀疏表示子集搜索与评价过滤式包裹式嵌入式选择和L1正则化稀疏表示与字典学习压缩感知 子集搜索与评价 相关特征和无关特征，冗余特征。进行特征选择是一种数据预处理（data preprocessing） 如何进行特征选择，三种思考方式， 从全部特征逐个去除，直到无法得更好的特征为止，这种方式称为后向搜索； 选取一个特征子集，然后逐个增加特征，直到无法获得更好的特征子集，这...
矩阵分解与稀疏表示的结合: 提高特征提取效果
AI天才研究院
01-07 761
1.背景介绍 随着数据规模的不断增长，大数据技术已经成为了当今世界各个领域的核心技术。在这个背景下，资深大数据技术专家、人工智能科学家、计算机科学家、资深程序员和软件系统资深架构师，CTO，我们需要更有效地提取特征以便于进行更高效的数据分析和预测。在这篇文章中，我们将讨论如何结合矩阵分解和稀疏表示来提高特征提取效果。 矩阵分解是一种常用的方法，可以将一个高维数据集拆分成多个低维的数据集，从而降...
稀疏表示入门
weixin_30907935的博客
01-30 1012
1.稀疏学习学什么稀疏学习的任务主要是有稀疏编码、字典学习。关于稀疏信号的定义，这里给出4种形式：严格k稀疏信号，可压缩信号、稀疏基下的稀疏信号、稀疏基下的可压缩信号（1）严格k稀疏信号：考虑一个有限长信号x属于Rn，如果x至多有k个非零元素，即||x||0≤k，则称信号x为严格k稀疏信号，（2）可压缩信号：如果信号可以用一个k稀疏向量来近似表示，则称这样的信号为可压缩信号。（3）稀疏基下的稀疏信...
稀疏特征与稠密特征
weixin_42206101的博客
11-25 8682
稀疏特征与稠密特征 举个简单的例子，将每个样本表示成一个10000维的向量 , 其中是某个样本的向量表示为:0 123:0.122519644924 2097:0.07071109355490代表类别标签 , 123和2097就是feature index , 后面的数就是特征表达也就是说这个向量在123和2097维上有数据其余都是0 假如每个维度上都有值 , 本来是在10000个维度上来表达这个样本, 而现在只有两个维度上有效地表达了这个样本, 这个特征可以说是稀疏对，简单来说，被稀疏表示的特征即是稀疏
读书笔记《机器学习》：第十一章：特征选择与稀疏学习
iamxiaofeifei的博客
08-23 1023
11.1 子集搜索与评价 11.2 过滤式选择 11.3 包裹式选择 11.4 嵌入式选择与L1正则化 11.5 稀疏表示与字典学习 11.6 压缩感知11.1 子集搜索与评价特征选择（feature selection）：从给定的特征集合中选择出相关特征子集的过程。是一个重要的数据预处理（data preprocessing）的过程。 相关特征（relevant feature） 无
【图像匹配】-什么是稀疏特征(Sparse Features)?
weixin_46050242的博客
10-13 957
在机器学习中，特征是一种对数据的表达。衡量特征是否能合适的表达数据。需要根据数据，应用，ML的模型，方法…很多方面来看。一般来说，Feature应该是informative（富有信息量），discriminative（有区分性）和independent（独立）的。具体怎么选择feature，在机器学习里面，feature的选择是至关重要的：对于同一种学习的模型，同样的学习方法，同样的数据，选择不同的feature来表达，可能会产生完全不同的效果。
第十一章 特征选择和稀疏学习
steph_curry的博客
01-26 732
11.1子集搜索和评价 所谓子集搜索就是一个物体有很多属性，但是对当前学习任务来说，可能只有少部分属性是重要的，这叫“相关特征”，没什么用的叫“无关特征”。从特征集中选出“相关特征”叫特征选择。 两个原因要特征选择：维数灾难、降低学习难度。 两个关键环节： 1、如何根据评价结果取获取下一个候选特征子集？ 前向搜索/后向搜索/双向搜索 2、如何评价特征子集好坏？ 计算信
基于稀疏表示的实际应用人脸识别系统
scau318的专栏
09-25 2032
吃饭去~
特征选择与稀疏学习详解
tt丫的博客
10-23 2634
对当前学习任务有用的属性从特征集合中选取出相关特征，是一种数据预处理过程。先对数据集进行特征选择，然后再训练学习器，特征选择过程与后续学习器无关。直接把最终将要使用的学习器的性能作为特征子集的评价准则，即目的是为给定学习器选择最有利于其性能的量身定做的特征子集。A、随机产生一个特征子集A'，然后计算在A'下学习器L的误差；B、如果（这个误差比之前得到的误差都要小）或者（误差差不多但是A‘中的特征数目更少），那么我们更新最终的特征子集为A’，并记下它的误差和特征数目；
特征选择
吕爽
10-02 614
特征选择
稀疏特征与密集特征的编程实现
2301_79325657的博客
09-30 122
稀疏特征和密集特征在机器学习和数据处理中起到重要的作用。在编程中，我们可以使用字典或数组等数据结构来表示和处理稀疏特征和密集特征。通过灵活运用这些数据结构，我们可以高效地处理各种类型的特征数据，并为后续的机器学习模型训练和数据分析提供有力支持。稀疏特征和密集特征是机器学习和数据处理中常用的概念。稀疏特征指的是在特征向量中只有少数非零元素，而密集特征则指特征向量中的大多数元素都是非零的。在本篇文章中，我们将探讨如何在编程中实现稀疏特征和密集特征的处理，并提供相应的源代码。方法遍历稀疏特征的键值对。
如何在机器学习模型中处理稀疏特征 (Sparse Features)
cda2024的博客
12-10 1695
在机器学习领域，稀疏特征（Sparse Features）是一个常见的问题，尤其是在处理大规模数据集时。稀疏特征指的是数据中大部分值为零或缺失的情况。这种特征不仅会增加计算复杂度，还可能导致模型性能下降。那么，如何有效处理这些稀疏特征呢？本文将深入探讨这个问题，并提供一些实用的解决方案。
特征选择与稀疏学习python
最新发布
02-18
### Python 中特征选择方法 在机器学习领域，特征选择是一个重要的预处理步骤。通过去除不相关或冗余的特征，模型性能可以得到显著提升。一种常见的方差阈值法可以通过 `sklearn` 库中的 `VarianceThreshold` 类来实现[^1]。 ```python from sklearn.feature_selection import VarianceThreshold # 创建一个简单的数据集用于演示 X = [[0, 2, 0, 3], [0, 1, 4, 3], [0, 1, 1, 3]] selector = VarianceThreshold(threshold=0.5) selected_features = selector.fit_transform(X) print(selected_features) ``` 上述代码展示了如何利用方差筛选掉那些变化较小的特征。对于给定的数据矩阵 X ，如果某个特征列的变化程度低于设定的阈值，则该特征将被移除。 ### 基于皮尔逊相关系数的特征选择 除了基于统计量的方法外，还可以考虑使用皮尔逊相关系数来进行特征评估。这种方法衡量的是两个变量之间的线性关系强度。当计算两组样本间的 Pearson r 值接近 ±1 时表示强正负关联；而接近 0 则意味着几乎没有线性联系[^2]。 ```python import numpy as np from scipy.stats import pearsonr x = np.random.normal(0, 10, 300) y = x + np.random.normal(0, 10, 300) correlation, p_value = pearsonr(x, y) print(f"Pearson Correlation Coefficient: {correlation}") ``` 这段脚本生成了一对具有随机噪声的相关向量，并计算它们之间的确切相关度得分。 ### 稀疏表示下的特征存储优化 为了更高效地管理大型但稀疏分布的数据结构，Python 提供了多种方式支持稀疏矩阵运算。特别是 NumPy 和 SciPy 库提供了创建和操作这些特殊类型的数组的功能。下面的例子说明了一个简单场景下怎样定义并初始化一个含有少量非零元素的大规模二维表： ```python import numpy as np arr1 = np.zeros((11, 11)) arr1[1][2] = 1 arr1[2][3] = 2 arr1[3][3] = 2 arr1[4][3] = 1 sparse_representation = [(i,j,val) for i,row in enumerate(arr1) for j,val in enumerate(row) if val != 0] for item in sparse_representation: print(item) ``` 此段程序首先构建了一个全为零的方形网格，接着设置了几个特定位置上的数值。最后转换成列表形式只保留非零条目及其坐标，从而实现了紧凑表达的目的[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值