奇异值收缩算法（SVT）的理解（核范数优化）

最新推荐文章于 2024-06-21 17:16:50 发布
原创 最新推荐文章于 2024-06-21 17:16:50 发布 · 9.7k 阅读 · 44 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

本文探讨了奇异值收缩方法在矩阵完成问题中的应用，通过减去大于的奇异值并结合拉格朗日参数的梯度递增算法，确保了矩阵的低秩性和稀疏二范数。该方法有效用于从部分已知数据恢复完整矩阵。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这个问题的解是，这就是奇异值收缩方法，也就是大于的奇异值减去，然后再乘回去得到问题的解，具体证明参考A Singular Value Thresholding Algorithm for Matrix Completion第5页。具体解释见下图：

问题的解是，Y0=0，第一步就是奇异值收缩，第二部是拉格朗日参数的梯度递增算法，具体证明看A Singular Value Thresholding Algorithm for Matrix Completion的攻势2.13。可以保证X的低rank，并稀疏二范数。

问题的解是

是矩阵离散，已知的部分，用来恢复整个矩阵。

zpnkwxp2011
关注
学习笔记1：矩阵恢复算法1——奇异值阈值算法（SVT）
qq_37421110的博客
11-03 1万+
承接低秩矩阵恢复模型笔记，记录第一个低秩矩阵恢复算法——奇异值阈值（Singular Value Thresholding, SVT），记录学习内容，内容非原创。 1奇异值分解(Singular Value Decomposition,SVD) 设X∈Rm×nX\in R_{m\times n}X∈Rm×n​,定义X=UΣVTX=U\Sigma V^TX=UΣVT其中，U，V为正交矩阵，Σ\Sig...
L0、L1与L2范数、核范数（转）
weixin_30621711的博客
10-25 1861
L0、L1与L2范数、核范数 今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家，我将这个五个部分分成两篇博文。知识有限，以下都是我一些浅显的看法，如果理解存在错误，希望大家不吝指正。谢谢。 监督机器学习问题无非就是"minimiz...
奇异值收缩算子(核范数加F范数求极小)
lgl123ok的专栏
12-31 1709
The singular value shrinkage operator
核范数最小二乘问题的唯一解析解（奇异值收缩算子可以给出）
ck910的博客
04-17 7788
原文链接：http://blog.youkuaiyun.com/shanglianlm/article/details/46009387为了求解问题因为它是非凸的，我们求解一个它的近似算法对于一个大的ττ值，它可以用下列等式接近其中第一项为核范式（奇异值的和），第二项为Frobenius范式。Singular Value Thresholding (SVT) 奇异值阈值* 奇异值收缩(singular val...
Singular Value Thresholding (SVT) 奇异值阈值
热门推荐
mingo_敏
05-26 2万+
这个算法受到压缩感知中迭代算法的启发，在迭代过程中对矩阵进行SVD，然后将较小的奇异值设置为0，生成新的矩阵进行迭代。该算法运算速度快，对于高位低秩矩阵的恢复非常有效。
论文阅读1（加权核范数）-Weighted Nuclear Norm Minimization with Application to Image Denoising
weixin_46702845的博客
10-10 1388
核范数平等的正则化每一个奇异值，限制了处理实际问题的能力，在实际情况中，奇异值具有明确的物理意义，应该用不同的方式对待，更大的奇异值通常与主要投影元素有关，因此最好缩小得更少。（1）低秩矩阵分解，找到一个矩阵X尽可能的接近Y—非凸优化，同时分解成两个低秩矩阵的乘积（2）NNM，用X来近似Y，同时令X的核范数最小化—最紧密的凸松弛，可以通过软阈值轻松的解决。1、NNM方法的缺点：平等的正则化每一个奇异值，极大地限制了处理实际问题的能力和灵活性，奇异值具有明确的物理意义，应该用不同的方式对待。
矩阵填充的SVT算法
春暖花开
12-30 2万+
本文是对SVT的一篇文章的理解，即奇异值阈值算法的理解。 1:算法解决的问题如下： 其中最小化的是核范数（表示矩阵奇异值之和），是rank(X)的最优凸近似。 具体研究解决的是矩阵填充问题，如何在不完备的数据下把缺少的数据给补充完整。前提是填充的矩阵是要求低秩的。 首先给出软阈值算子：如果 那么在软阈值算子下有： 其中t+=max(0,t)t_+=
矩阵填充中的SVT重构算法
10-08
其中，||·||_F 表示Frobenius范数，||·||_* 表示矩阵核范数（nuclear norm），它是所有奇异值的和，等价于矩阵的秩。 "SVT.m"可能是实现SVT算法的MATLAB代码，"FPC.m"可能是指Fast Proximal Coordinate (快速坐标...
浅谈稀疏性与压缩感知（二）
weixin_54729407的博客
05-13 1059
接着前一部分所述，这一节介绍稀疏回归、稀疏表示、鲁棒主成分回归、稀疏传感器布置（Sparse Sensor Placement）等等。
clear,clc close all %% 梳理思路 % 输入 I_parallel or I_vertical % 稀疏低秩处理得到过滤掉一部分B的I∥pro or I⊥pro；并通过P的关联得到I⊥or∥pro % 把I∥pro和I⊥pro作为输入的原始的I平行和I垂直 % 找到全局的最亮最暗点 % 计算L % 直方图拉伸并输出L_XY %% %% YY cd('D:\吕伟婷--偏振成像\code\LRSR+HSI+DOP+5.2\image_zhaolin\浓度11\1\'); files = dir('*.tif'); m = size(files,1); I = 0; for i =1:m I0(:,:,i) = double((imread(files(i).name))); % 读取I1 I = I+I0(:,:,i); end Imax = I/m; cd('D:\吕伟婷--偏振成像\code\LRSR+HSI+DOP+5.2\image_zhaolin\浓度11\2\'); files = dir('*.tif'); m = size(files,1); I = 0; for i = 1:m I0(:,:,i) = double((imread(files(i).name))); % 读取I1 I = I+I0(:,:,i); end Imin = I/m; Imaxs = double(Imax); Imins = double(Imin); %% 可作为原始光强进行对比，但是要注意修改比例 qq = 2^8; % 已查看图像是8位的 I_parallel = Imaxs/qq; I_vertical = Imins/qq; figure; subplot(2,2,1); imshow(I_parallel);title('平行图像'); subplot(2,2,2); imhist(I_parallel); % 显示灰度直方图 xlabel('灰度值'); ylabel('像素数量'); subplot(2,2,3); imshow(I_vertical);title('垂直图像'); subplot(2,2,4); imhist(I_vertical); % 显示灰度直方图 xlabel('灰度值'); ylabel('像素数量'); %% 计算P用来关联 P = (I_parallel-I_vertical)/(I_parallel+I_vertical+eps); %% 稀疏低秩 %% 稀疏低秩 [m, n] = size(I_vertical);%获得处理图像的尺寸 % 参数 lambda = 0.3 / sqrt(max(m, n)); %正则化参数 mu = 1 / norm(I_vertical, 'fro'); %初始惩罚参数 rho = 1.1; %惩罚参数更新因子 maxiter = 300; %最大迭代次数 tol = 1e-7;%收敛容差 B_vertical = zeros(m,n); % 低秩背景（空气光）分量 %空还是0 D_vertical = zeros(m,n); % 稀疏目标分量 Y = zeros(m,n); % ADMM主循环 for iter = 1:maxiter % 保存前次结果 D_prev = D_vertical; B_prev = B_vertical; % 稳健SVD--求B [U, Sigma, V] = svd(I_vertical - D_vertical + Y/mu, 'econ'); sigma_vals = diag(Sigma); % 自适应阈值（避免过度截断） energy_ratio = cumsum(sigma_vals)./sum(sigma_vals); rank_est = find(energy_ratio > 0.98, 1); if isempty(rank_est) rank_est = length(sigma_vals); end % 平滑阈值函数（减少截断伪影） thresh = max(sigma_vals(1)*0.05, 1/mu); sigma_thresh = max(sigma_vals - thresh, 0); % ===== 关键改进2：稳健稀疏更新 ===== temp = I_vertical - B_vertical + Y/mu; % 使用Huber损失代替L1范数（减少条带伪影） delta = 0.01; abs_temp = abs(temp); D_vertical = temp .* max(1 - delta./(abs_temp + eps), 0); % 更新乘子 Y = Y + mu * (I_vertical - D_vertical - B_vertical); % 收敛检查 rel_err = norm(I_vertical- D_vertical - B_vertical, 'fro') / norm(I_vertical, 'fro'); if rel_err < tol && iter > 20 break; end % 更新惩罚参数 mu = min(mu * rho, 1e7); end airlight = B_vertical; % 空气光分量（低秩） targetlight = D_vertical; % 目标光分量（稀疏） % ====== 显示结果 ====== figure; subplot(221); imshow(I_vertical); title('原始垂直偏振图像'); subplot(222); imshow(airlight); title('分离的空气光'); subplot(223); imshow(targetlight); title('分离的目标光'); subplot(224); imshow(imadjust(targetlight)); title('增强的目标光'); 我目前正在使用matlab处理水下很暗的环境下的有雾的图像，物理模型是以色列人的传统的偏振模型。预使用稀疏低秩的方法将空气光和目标光，在不拉伸图像的基础上，给我修改稀疏低秩部分的代码
最新发布
08-04
我们可以使用一个简单的迭代算法：奇异值阈值（SVT）和软阈值收缩。 算法步骤（对每个颜色通道）： 输入：图像矩阵D（大小为m×n，每个元素是某个通道的强度，范围为[0,255]） 初始化：A0 = D, E0 = 0, k=0 ...
SET_SVT算法_矩阵填充中经典SET算法_矩阵填充SVT_will4oo
09-11
矩阵填充兴起后，SET算法作为SVT的改进算法，精度更高更稳健，适用于高精度矩阵填充。
SVT_SVT_matlab_
10-04
使用SVT算法，比较详细，需要用到的小伙伴快来下载哦。
SVT数据集（已标注）
11-10
街景数据集，原始数据为mat，现已转化为图像，并将label标注出来了
基于matlab的svt模块代码
07-15
基于matlab的svt模块代码基于matlab的svt模块代码基于matlab的svt模块代码
【机器学习】奇异值阈值（SVT）求解
lameraaa的博客
10-07 2656
SVT的求解 目标函数： minE1β∣∣E∣∣∗+12∣∣E−B∣∣F2min_E\frac{1}{\beta}||E||_*+\frac{1}{2}||E-B||_F^2minE​β1​∣∣E∣∣∗​+21​∣∣E−B∣∣F2​ 用SVT对其进行求解： 第一步：求BBB的奇异值分解（SVD），这里B∈Rd∗T,rank(B)=rB∈R^{d*T},rank(B)=rB∈Rd∗T,rank(B...
（转）Singular Value Thresholding (SVT) 奇异值阈值
qq_41978139的博客
06-20 1226
原 Singular Value Thresholding (SVT) 奇异值阈值 2015年05月26日 16:16:12 mingo_敏 阅读数 1...
奇异值阈值算法
weixin_48999757的博客
06-21 1059
如果 h 为闭凸函数，则对任意 x，
机器学习中的范数规则化之核范数与规则项参数选择
weixin_47658790的博客
02-23 707
机器学习中的范数规则化之（二）核范数与规则项参数选择     三、核范数        核范数||W||*是指矩阵奇异值的和，英文称呼叫Nuclear Norm。这个相对于上面火热的L1和L2来说，可能大家就会陌生点。那它是干嘛用的呢？霸气登场：约束Low-Rank（低秩）。OK，OK，那我们得知道Low-Rank是啥？用来干啥的？ ...
机器学习——降维算法-奇异值分解（SVD）
weixin_39753819的博客
03-31 1737
本文介绍了奇异值分解（SVD）作为一种常用的降维算法，其原理、应用、以及优缺点。SVD能够提取数据集的主要特征，实现数据的降维处理，但也存在一些计算复杂度高的缺点。最后通过Python实现了一个简单的SVD算法示例，展示了奇异值分解的基本过程。在实际应用中，我们可以根据具体情况选择合适的降维方法来处理数据。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值