为什么压缩感知用L1范数能够还原稀疏解?

本文探讨了压缩感知中L1范数为何能还原稀疏解的问题,关键在于高维空间中随机矩阵作为同构映射的概率增大,以及由此产生的超正轴体和同构映射的性质。通过对RIP、稀疏度和同构映射的分析,揭示了L1范数在保持解的稀疏性方面的优势。

这个问题我思考了几天了,直到方才,我才突然把所有的逻辑因果串在一起,这个note的目的就是把这些思绪整理并纪录下来:


我之前说这和高维超正轴体的空间形态有关,那种描述虽然形象,但是却缺乏数学依据,并不是非常经得起推敲。我也尝试仅仅用那种十分pointy的几何结构来说服自己,但是做不到。所以我去翻看了Donoho的论文(这好像是并未发表的草稿,我在Donoho的服务器上搜到,但是这一思想的起源应该正是此处:for Most Large Underdetermined Systems of Linear Equations the Minimal l1-norm Solution is also the Sparsest Solution),当然还查了其它的资料。。。那些晦涩的数学推理演算简直是噩梦,所以直到方才我才得以把所有逻辑联系起来,从思维的源头来还原这一思想的初始形态:


首先,最为重要的一点,也是我之前忽略的一点,那就是最初的那个同构映射!这个才是连接所有问题的关键,高维空间中这个理论得以成立,也正是因为维度越高,取到的随机矩阵M(也就是映射F)成为一个同构映射的概率也越大。这也就是为什么要长篇大论的讨论RIP,2S-sparse,3S-sparse。。。


接下来,那个可行解空间构成的超平面其实是和M(或者F)直接相关的,因为它就是y=Mx。好了,我们有了同构映射,什么是

### L1正则化更容易获得疏解的原因 L1正则化和L2正则化是机器学习中常用的两种正则化方法,它们通过在损失函数中加入额外的惩罚项来控制模型复杂度。然而,L1正则化比L2正则化更容易得到疏解,这一特性可以从几何角度和优化过程的角度进行解释。 #### 几何角度 从几何角度来看,L1正则化和L2正则化的区别在于它们对权重向量的约束形式不同。L1正则化使用的是L1范数(绝对值之和),而L2正则化使用的是L2范数(平方和的平方根)。当我们将权重向量限制在一个固定大小的正则化区域内时,L1正则化的区域是一个多边形(如二维空间中的菱形),而L2正则化的区域是一个圆形[^4]。 由于L1正则化的约束区域具有尖角,这些尖角更可能与目标函数的等高线相切于坐标轴上的点。这意味着某些权重分量会精确地被设置为零,从而导致疏解。相比之下,L2正则化的圆形约束区域没有尖角,因此它倾向于使所有权重分量都较小,但不会将它们完全置零[^2]。 #### 优化过程角度 从优化过程的角度来看,L1正则化和L2正则化对权重更新的影响也有所不同。L1正则化在优化过程中引入了非平滑性,这使得权重向量的某些分量更容易被缩减至零。具体来说,L1正则化会在梯度下降过程中对每个权重施加一个恒定的收缩力,这种力量会逐渐将小的权重拉向零[^5]。 另一方面,L2正则化对权重的缩减作用与其大小成比例。对于较大的权重,L2正则化会施加更强的惩罚;而对于接近零的小权重,L2正则化的惩罚较弱。因此,L2正则化不会轻易将权重缩减至零,而是让它们趋向于较小的非零值[^3]。 #### 疏性的数学解释 疏性的产生还可以从数学上进行解释。假设目标函数在零点处的导数不为零,那么施加L2正则化后,最优解的导数仍然不为零,因此权重不会变为零。然而,当施加L1正则化时,只要正则化项的系数λ大于目标函数在零点处的导数绝对值,零点就会成为一个极小值点,从而使权重变为零[^5]。 ```python # 示例代码:L1正则化和L2正则化的简单实现 import numpy as np def l1_regularization(weights, lambda_): return lambda_ * np.sum(np.abs(weights)) def l2_regularization(weights, lambda_): return lambda_ * np.sum(weights ** 2) weights = np.array([0.1, -0.2, 0.3]) lambda_ = 0.5 l1_penalty = l1_regularization(weights, lambda_) l2_penalty = l2_regularization(weights, lambda_) print("L1 Regularization Penalty:", l1_penalty) print("L2 Regularization Penalty:", l2_penalty) ``` ### 结论 综上所述,L1正则化更容易获得疏解的原因主要归结于其几何特性和优化过程中的作用机制。L1正则化的多边形约束区域以及对小权重的恒定收缩力使其能够有效地将部分权重缩减至零,从而实现疏性。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值