稀疏编码最优化解法--概述

本文概述了稀疏编码的概念及其在大量数据集中的应用。重点介绍了如何通过选择少量原子来重建数据,并讨论了稀疏编码的目标函数、数学模型以及解决方法。包括稀疏线性模型、常见模型及解法,如贪心算法、LASSO、软阈值化等。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >


稀疏编码的概念来自于神经生物学。生物学家提出,哺乳类动物在长期的进化中,生成了能够快速,准确,低代价地表示自然图像的视觉神经方面的能力。我们直观地可以想象,我们的眼睛每看到的一副画面都是上亿像素的,而每一副图像我们都只用很少的代价重建与存储。我们把它叫做稀疏编码,即Sparse Coding.

稀疏编码的目的是在大量的数据集中,选取很小部分作为元素来重建新的数据。

稀疏编码难点之一是其最优化目标函数的求解。

这篇文章先做一个概述,接着再分别讨论各个解法。

 

稀疏线性模型

X为一个n为特征向量,可以是一个小波信号,可以是一副图片等。


D为标准化的基础矩阵,由组成元素的基本原子构成,也称为字典。在信号中可以是不同频率的波形,在图像中可以是构成图像的基本边,角。


X可以由D中和少量原子线性组合而成,及其表示系数为稀疏。如下:


 

数学模型

引出稀疏表示的两个基本要求,1是尽可能与原特征相似,2是系数为稀疏。

上式中,我们要求p>m,根据线性代数的知识我们知道,稀疏系数有无穷多组的解。根据稀疏的条件,我们可以在所有的可行解中挑出非零元素最少的解,也就是满足稀疏性。于是得到如下的数学模型:

 

如果再考虑噪声的话,就得到如下的模型:

 

目标函数中为零范数约束,是NP难题。

有人做了一个证明,在一定条件下,上述的最优化问题有唯一的解。

Terry tao又证明了,在满足一定条件下,零范数问题与一范数问题是等价的。于是上述模型转化为:

 

基于上面的思想,还有各种不同版本的数学模型。


常见模型


我们知道上式为非凸优化问题,常用的解法有:greedy algorithm,代表有Matching Pursuit, Orthogonal Matching Pursuit


上式为解不等式约束问题,常用的解法:LASSO


再写成拉格朗日乘子的形式,如果已知lambda,可用soft thresholding方法,常见的还有coordinate descent, Bregman Iteration等;

如果未知lambda,则用Homotopy.

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值