L1-norm 与 L2-norm (Least Absolute Deviations and Least Squares)

最新推荐文章于 2022-07-15 21:43:12 发布
原创 最新推荐文章于 2022-07-15 21:43:12 发布 · 2.2k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #算法

本文介绍了L1-norm（最小绝对偏差）和L2-norm（最小二乘）在机器学习中的应用，包括正则化和损失函数。L1-norm具有鲁棒性和稀疏性，适合特征选择，而L2-norm则更稳定，通常导致唯一解。通过实例展示了两者对异常值的敏感度差异。

在练习机器学习时，您可能会选择使用L1范数或L2范数进行正则化或作为损失函数，等等。

L1-范数也称为最小绝对偏差（LAD），最小绝对误差（LAE）,又叫做 taxicab-norm 或者 Manhattan-norm。这基本上是将目标值（Yi）与估计值 (f(xi)) 之间的绝对差（S）的总和最小化：
在这里插入图片描述
L2-范数也称为最小二乘。它基本上是最小化目标值（Y i）与估计值（f（x i）之间的差（S）的平方和：
在这里插入图片描述

L1-norm和L2-norm的差异可以迅速总结如下：
L2 L1
鲁棒性 (弱) 鲁棒性 (强)
解法 (稳定) 解法 (不稳定)
唯一解 (是) (可能有多个解)
没有特征选择 内置特征选择
鲁棒性(弱) 鲁棒性(强)
没有稀疏输出 有
最低0.47元/天 解锁文章
benicetopapa
关注
L0 Norm 、L1 Norm 和 L2 Norm 的简单理解
南淮北安的博客
12-01 7016
文章目录一、L0 Norm二、L1 Norm三、L2 Norm 一、L0 Norm L0 范数对应于向量中非零元素的总数 例如，向量（0,0）和（0,2）的L0范数为1，因为只有一个非零元素。 L0范数的一个很好的实用示例是当具有两个向量（用户名和密码）时。 如果向量的L0范数等于0，则登录成功。否则，如果L0范数为1，则意味着用户名或密码不正确，但都不正确。最后，如果L0规范为2，则意味着用户名...
L1-norm和L2-norm的定义
赵宗义的专栏
04-23 4507
以下内容参考此处. 假设我们有一个数列, 但是我们的算法对这个数列的估计值为, 则我们的算法的估计值得L1-norm和L2-norm分别定义如下:
机器学习中的数学：（二）解析几何
weixin_45315656的博客
04-22 2088
这是原书的第二章，主要将原先的一些概念从几何的角度进行拓展。
L1-norm (L1范数) L2-norm(L2范数)
w__Y__w的博客
12-08 2万+
L1-norm (L1范数) L2-norm(L2范数) 同样存在L0、L3等，L1、L2范数应用比较多。 一个向量的 norm 就是将该向量投影到 [0, ∞​) 范围内的值，其中 0 值只有零向量的 norm 取到。不难想象，将其与现实中距离进行类比，在机器学习中 norm 也就总被拿来表示距离关系：根据怎样怎样的范数，这两个向量距离多远。这里怎样怎样的范数就是范数的种类，即p-norm，严格定义为： 当p取1时被称为1-norm，也就是L1-norm，同理可得L2-norm。 L1..
L1 norm和L2 norm
a120623105的专栏
09-02 1814
在论文中经常会出现L1 norm和L2 norm
正则项：L1-norm和L2-norm
On_theway10的博客
07-17 1902
前言 对于有监督学习任务而言，它的目标函数函数往往具有如下的格式： 其中红色部分表示数据拟合项(损失项)，它度量了用模型f(x,theta)来拟合数据标签y时所带来的偏差(error/loss)；绿色的部分则是模型正则项，它度量了模型的复杂度。因此上述格式的目标函数蕴含着...
可视化展示L1与L2范数损失函数的区别
L1-norm损失函数，也称为最小绝对偏差（Least Absolute Deviations, LAD），通过计算预测值和真实值之间差的绝对值之和来度量误差。L2-norm损失函数，又称为最小二乘法（Least Squares, LS），通过计算预测值和真实...
【高阶制造必修课】ASME Y14.5.1-2019中的集合论与边界条件5大应用场景
![ASME Y14.5.1-2019 Mathematical Definition of Dimensioning and To]... # 摘要
This function calculates fluctuation-based dispersion entropy (FDispEn) of a univariate
10-18
The "fluctuation-based dispersion entropy" or FDispEn ... fdispEn = -sum(norm_squares .* log2(norm_squares)) / log2(prob_sum); % Note: log2 is not included in base 'e' MATLAB logs by default end end ```
机器学习之特征工程--特征预处理（上）
lv739880037的博客
11-19 2122
机器学习特征工程--特征预处理（上） 最近又重新看了下常用的特征预处理方法，主要来源是sklearn官方文档，一些关键信息记录下，留存用，有些乱和杂，抽时间再整理。 此为上篇，主要包括：线性转化，非线性转化，及样本归一化，每部分还会有是否应该采用这样的做法。 先放一句话：There are no rules of thumb that apply to all applications. 目录 机器学习特征工程--特征预处理（上） 1.线性转化 标准化 特征缩放（Scaling feat
L1 norm与L2 norm
ZhangZX的专栏
08-27 3万+
欧氏距离（Euclidean distance）也称欧几里得度量、欧几里得度量，是一个通常采用的距离定义，它是在m维空间中两个点之间的真实距离。在二维和三维空间中的欧氏距离的就是两点之间的距离。 计算公式 二维的公式 　　ρ = sqrt( (x1-x2)^2+(y1-y2)^2 ) 三维的公式 　　ρ = sqrt( (x1-x2)^2+(y1-y2)^2+(z1-z2)^2 ) n
l1-norm loss & l2-norm loss （l1范数和l2范数作为正则项的比较）
VisualCortex
04-23 8759
l1-norm loss & l2-norm loss （l1范数和l2范数作为正则项的比较） l1-norm 和 l2-norm是常见的模型优化过程中的正则化项，对应到线性回归的领域分别为lasso Regression和 Ridge Regression，也就是 lasso 回归（有的地方也叫套索回归）和岭回归（也叫脊回归）。在深度学习领域也用l1和l2范数做正则化处理。这里简要介绍...
L1 norm, L2 norm
jubincn的专栏
11-08 377
L1 norm就是绝对值相加，又称曼哈顿距离L2 norm就是欧几里德距离
L0 norm、L1 norm、L2 norm(L0、L1、L2范数)
晶麒一生
12-04 9277
L0、L1、L2范数介绍
L1/L2 Norm
weixin_30906701的博客
08-30 162
\(L^2 norm\) \(l^2 norm\) 定义如下： $ x = \left[ x_1, x_2, ..., x_n \right]^T$，那么定义 $ |x| = \sqrt{ \sum_{i=1}^n x_i^2 } $。L2 norm 也称为欧几里得 Norm。 \(L^1 norm\) \(l^1 norm\) 定义如下： $ x = \left[ x_1, x_2, ...
深度学习中的正则化技术--L1&L2-norm,Dropout,Max-norm
hollyprince的博客
07-15 1346
规范化技术一般用于解决模型的过拟合问题，本文将深入浅出的介绍几种常见的正则化技术
最小绝对偏差（LAD）
颹蕭蕭
05-05 8359
最小绝对偏差 (Least Absolute Deviations, LAD) 与最小二乘法（假设误差服从高斯分布）类似：当假设线性回归的误差服从拉普拉斯分布时，最小绝对偏差回归是对参数的最大似然估计。 问题描述 min⁡x∣∣Wx−y∣∣1 \min_{x} \quad || Wx-y||_1 xmin​∣∣Wx−y∣∣1​ 等价于 min⁡νs.t.ν=∣∣Wx−y∣∣1 \begin{arr...
L1正则和L2正则的比较分析详解
热门推荐
Learning from the mistakes
09-20 4万+
感受 上次有个面试官问我l1正则和l2正则有什么区别，当时把我给问傻了，于是就回来找了资料写了这篇博客，我参照的是英文博客，吸取别人的长处，希望能帮助大家，如有错误或者需要补充的，欢迎指正，咱们共同进步   范数(norm） 数学上，范数是一个向量空间或矩阵上所有向量的长度和大小的求和。简单一点，我们可以说范数越大，矩阵或者向量就越大。范数有许多种形式和名字，包括最常见的：欧几里得距离（E...
深度学习正则化(L1 norm/L2 norm)以及dropout理解
NCU_wander的博客
05-19 2903
正则化知识其实是深度学习领域较为基础的知识点，初入此门的时候受限于正则化三个字的逼格，一直不求甚解；后期虽然了解但也仅限于L1和L2范数而已。恰巧上周在谢毅博士的课上旁听，讲到多拟合相关知识，后续和捷文讨论transformer内部的dropout为何还广泛使用，由此总结下正则化相关内容。 1、何为正则化 首先看百度百科的一部分解释：正则化就是对最小化经验误差函数上加约束，这样的约束可以解释为先验知识（正则化参数等价于对参数引入先验分布）。约束有引导作用，在优化误差函数的时候倾向于选择满足约束的梯度减少的方
e Minimum-Norm Least-Squares (MNLS)
最新发布
04-16
<think>嗯，用户想了解或实现Minimum-Norm Least-Squares (MNLS)算法。首先，我需要回忆一下MNLS的基本概念。MNLS通常用于解决欠定线性方程组，也就是变量数多于方程数的情况。这种情况下，存在无穷多解，而MNLS的目标是找到其中范数最小的解。 根据用户提供的引用，特别是引用[1]和[2]，提到了L1和L2范数的区别和应用。MNLS可能涉及L2范数，因为最小二乘通常使用L2。不过MNLS的具体实现可能需要更深入的数学背景，比如线性代数中的伪逆矩阵。 接下来，我需要确定MNLS的数学表达。一般来说，当方程组是欠定的，即矩阵A的行数少于列数，Ax = b的解有无穷多。MNLS要求解满足最小范数的最小二乘解，即最小化||x||&sup2;，同时满足Ax ≈ b。这时候通常使用Moore-Penrose伪逆，特别是当A是行满秩时，解可以表示为x = A^T(AA^T)^{-1}b。如果A不是行满秩，可能需要用SVD分解来处理。 然后，考虑如何实现这个算法。在Python中，可以使用NumPy库中的线性代数模块，比如numpy.linalg.pinv来计算伪逆，或者使用SVD分解来手动实现。另外，需要处理可能的数值稳定性问题，比如矩阵的奇异值分解中的小奇异值。 用户可能还需要了解MNLS的应用场景，比如在信号处理、图像恢复或机器学习中的正则化方法。引用[4]提到正则化与贝叶斯先验的关系，这里MNLS可以视为一种不带正则化的最小范数解，但有时也会加入正则化项来处理病态问题。 另外，用户提供的引用[3]提到了L2归一化，这在MNLS中可能相关，因为解是L2范数最小的。需要确认MNLS是否涉及归一化步骤，或者是否只是直接应用伪逆。 可能需要注意的问题包括：矩阵的条件数对解的影响，如何选择伪逆的计算方法，以及在实际应用中如何处理高维数据。此外，MNLS与Tikhonov正则化的区别，后者引入了额外的正则化参数。 总结，回答应该包括MNLS的数学公式、实现步骤、代码示例、应用场景以及相关问题。需要确保公式使用正确的LaTeX格式，并引用提供的参考资料中的相关内容，比如L2范数的应用和正则化的概念。</think>### Minimum-Norm Least-Squares (MNLS) 算法详解 MNLS 用于求解欠定线性方程组 $A\mathbf{x} = \mathbf{b}$（变量数 > 方程数），目标是找到满足最小二乘误差的**最小范数解**。其数学形式为： $$ \min_{\mathbf{x}} \|\mathbf{x}\|_2 \quad \text{s.t.} \quad \min_{\mathbf{x}} \|A\mathbf{x} - \mathbf{b}\|_2 $$ #### 实现步骤 1. **矩阵分解**：若 $A$ 行满秩，使用 Moore-Penrose 伪逆 $A^\dagger = A^T(AA^T)^{-1}$；否则用 SVD 分解。 2. **计算伪逆**：通过奇异值分解 $A = U\Sigma V^T$，则伪逆为 $A^\dagger = V\Sigma^\dagger U^T$，其中 $\Sigma^\dagger$ 是 $\Sigma$ 的伪逆（非零奇异值取倒数）。 3. **求解方程**：$\mathbf{x} = A^\dagger \mathbf{b}$，保证解为最小 L2 范数[^2][^4]。 #### Python 实现示例 ```python import numpy as np def mnls_solve(A, b): # 计算伪逆 A_pinv = np.linalg.pinv(A) # 求解最小范数解 x = A_pinv @ b return x # 示例：A为3x5矩阵（欠定系统） A = np.random.randn(3, 5) b = np.random.randn(3) x = mnls_solve(A, b) print("解向量:", x) print("残差范数:", np.linalg.norm(A @ x - b)) ``` #### 关键特性 | 特性 | 说明 | |---------------------|----------------------------------------------------------------------| | 最小二乘性 | 优先满足 $\|A\mathbf{x}-\mathbf{b}\|_2$ 最小化[^2] | | 最小范数约束 | 在满足残差最小的解中，选择 $\|\mathbf{x}\|_2$ 最小的解[^4] | | 应用场景 | 信号重构、图像去模糊、欠定系统参数估计 | | 与正则化的关系 | 可视为 Tikhonov 正则化的特例（当正则化参数趋近于0时）[^4] | #### 数值稳定性增强 当矩阵 $A$ 条件数较大时，建议使用 SVD 截断技术： ```python def mnls_svd(A, b, tol=1e-6): U, s, Vt = np.linalg.svd(A, full_matrices=False) s_inv = np.zeros_like(s) s_inv[s > tol] = 1 / s[s > tol] # 截断小奇异值 A_pinv = Vt.T @ np.diag(s_inv) @ U.T return A_pinv @ b ```
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值