各种norm的理解

最新推荐文章于 2025-05-22 00:01:01 发布
最新推荐文章于 2025-05-22 00:01:01 发布
阅读量6.2k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 数学积累
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/seamanj/article/details/53469077
本文介绍了不同范数（0-norm、1-norm 和 2-norm）在优化过程中的特性及其应用场景，如数据突变检测、矩阵补全等，并讨论了在图像处理和视频分析中的具体应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

0-norm 非零元素的个数


应用,比如要想找出不重叠的数据, 那么表示数据的向量应该尽量正交, 而正交呢就是向量相乘应该为0, 也就是让非零元素的个数尽量少, 所以可以min 0-norm去设计优化函数, 0-norm一般不能解,通常会用1-norm去解


1-norm是元素绝对值相加, 以二维来讲


所以优化的时候会优化到棱形的四个点上, 所以1-norm的优化结果就是大的有值,  小的没值, 


应用: 找出数据中的突变的数据


2-norm的图像是个圆



所以它优化的结果就是使点落在圆上, 当然圆上每个点的概率会一样,所以它的结果就会使元素上都有值, 使元素平滑, 就像热传导方程一样


而1norm就是使曲线变尖, 在值大的地方突出, 在值小的地方为0



对于Mesh来说, 每个点就是一维, 允许点上有大值存在, 就是假设它是outliers


核范数*

核范数的结果就是矩阵的秩, 


应用:矩阵补全,为了使矩阵空间之间的列之间更有关联性,就要使矩阵的秩尽量减小, 那么这个时候就需要他的秩尽量减小,这时就可以minimize矩阵的秩



2,1-norm


2,1-norm ,对于矩阵, 先每列列内平滑, 然后列间找出突出值

应用: 用在视频中的找出场景切换


1.2-norm , 相反先找出每列的突出值, 然后在列间平滑


2-norm称为lasso

2,1-norm称为group lasso

1,2-norm 称为exclusive group lasso







深入理解NLP中LayerNorm的原理以及LN的代码详解
捡起一束光的博客
12-11 4万+
在NLP中，大多数情况下大家都是用LN（LayerNorm）而不是BN（BatchNorm）。最直接的原因是BN在NLP中效果很差，所以一般不用。LN是把**normalized_shape这几个轴的元素**都放在一起，取平均值和方差的，然后对每个元素进行归一化，最后再乘以对应的$\gamma$和$\beta$（**每个元素不同**）。**LN共有N1*N2个mean和var**（假设输入数据的维度为(N1,N2,normalized_shape），normalized_shape表示多个维度）......
L0 Norm 、L1 Norm 和 L2 Norm 的简单理解
南淮北安的博客
12-01 6747
文章目录一、L0 Norm二、L1 Norm三、L2 Norm 一、L0 Norm L0 范数对应于向量中非零元素的总数 例如，向量（0,0）和（0,2）的L0范数为1，因为只有一个非零元素。 L0范数的一个很好的实用示例是当具有两个向量（用户名和密码）时。 如果向量的L0范数等于0，则登录成功。否则，如果L0范数为1，则意味着用户名或密码不正确，但都不正确。最后，如果L0规范为2，则意味着用户名...
详解常用的Batch Norm、Group Norm，Layer norm、Instance Norm
lovep1的博客
03-15 1万+
本文主要分析各种norm化方法，包括batch norm， group norm， instance norm，等，用的最多的肯定是batch norm，后续凯明何大佬又提出了gropu norm，但是其实在cv里面还没有真正的普及，尤其是在工业界部署上面，用的最多的还是batch norm，尤其是前两年大量paper提出基于BN层的模型剪枝方法、基于BN的融合卷积计算方法等（本文不提及，后续文章有需要会单独分析此类论文）后，batch-norm凸显的更加重要了，本文将不按照论文结构解析。 1、batch
【推荐算法】Norm相关总结（batch norm、layer norm、instance norm、group norm、weighted norm、Cos norm）
roguesir的博客
03-22 1827
深度学习中各种norm方法介绍
OpenCV CUDA模块中矩阵操作------范数（Norm）相关函数
jndingxin的专栏
05-15 637
在 OpenCV 的 CUDA 模块中，与范数（Norm）相关的函数主要用于计算矩阵的范数或者两个矩阵之间的差值范数。
BN LN IN GN区别 各种norm区别以及详细介绍
qq_38376205的博客
10-14 1874
https://blog.youkuaiyun.com/shanglianlm/article/details/85075706
9月23日笔记 2-norm[2范数]
求津问道的博客
09-23 4576
Noun two-norm (plural two-norms) Mathematical measure of length given by "the square root of the squares." Denoted by {\displaystyle ||\cdot ||_{2}}, the two-norm of a vector {\displaystyle
深度学习基础--正则化与norm--L1范数与L2范数的联系
wydbyxr的博客
11-20 1821
L1范数与L2范数的联系   最小化误差的L2范数等价于对高斯噪声的MLE。   最小化误差的L1范数等价于对拉普拉斯噪声的MLE。
【大模型优化】深入理解 Pre-LayerNorm ：让 Transformer 训练更稳
weixin_41645791的博客
05-22 970
超深 Transformer 与大语言模型（LLM）时代，归一化策略直接决定了模型能否稳定收敛、推理性能能否最大化。把归一化层从 “残差之后” 挪到 “子层之前”（Pre-LayerNorm，Pre-LN），再将传统 LayerNorm 简化为 RMSNorm——只做均方根缩放、不再减均值——是 GPT-3、LLaMA-4、DeepSeek-V3 等主流 LLM 的标准做法。Pre-LN 让每一层在进入注意力或前馈前就保持单位尺度，显著缓解梯度爆炸/消失；RMSNorm 进一步减少 7-64 % 归一化 F
pytorch BatchNorm LayerNorm InstanceNorm GroupNorm 通俗易懂理解
weixin_41660290的博客
02-22 1444
pytorch BatchNorm LayerNorm InstanceNorm GroupNorm 通俗易懂理解认识输入格式四种归一化的异同点调用pytorch内的函数，讲解相关参数实验理解，手动计算，结合pytorch内的函数总结：每种归一化的优缺点，以及演变历程欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如
BatchNorm、LayerNorm、InstanceNorm以及GroupNorm
zwplus的博客
04-04 3236
如果某个特征的值明显大于另一个特征，这会导致模型输出的结果对该特征变化变的十分敏感。
机器学习中的正则化
qq_36201400的博客
09-12 2985
正则化（Regularization） 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1​-norm和ℓ2​-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。 L0范数是指向量中非0的元素的个数。 L1范数是指向量中各...
范数概念
cx_12586的博客
06-09 4691
一、向量范数 1 范数-Norm- the concept 向量的范数可以简单形象的理解为向量的长度，或者向量到零点的距离，或者相应的两个点之间的距离。 向量的范数定义：向量的范数是一个函数||x||, 满足:     非负性||x|| >= 0，齐次性||cx|| = |c| ||x|| ，三角不等式||x+y|| 常用的向量的范数： L1范数:  ||
Norm范数
Hekena的博客
07-22 408
解决一个问题》常用的L2正则化是什么？L0范数为神魔是NP-hard问题？L0范式是什么?
正则化理解
zj15939317693的博客
07-12 1444
转载：https://blog.youkuaiyun.com/u012162613/article/details/44261657本文是《Neural networks and deep learning》概览 中第三章的一部分，讲机器学习/深度学习算法中常用的正则化方法。（本文会不断补充）正则化方法：防止过拟合，提高泛化能力在训练数据不够多时，或者overtraining时，常常会导致overfittin...
秒懂范数Norm
qq_45934590的博客
10-15 4349
范数（Norm）是数学中用于度量向量或矩阵大小的一种函数，通常用于描述一个向量或矩阵的“长度”或“大小”。
最优化方法：L1和L2正则化regularization
摩登都市天空---专栏
08-21 1万+
1. 正则化（Regularization） 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作 ℓ1-norm和ℓ2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L...
matlab之norm函数
热门推荐
风翼冰舟的博客
12-04 3万+
matlab之norm计算范数
bach norm和layear norm
最新发布
06-02
<think>好的，用户现在想了解BatchNormalization（BN）和Layer Normalization（LN）的区别与用法。我需要先回顾自己掌握的知识，并结合提供的引用内容来组织回答。首先，BN和LN都是深度学习中常用的归一化方法，属于同一大类，但具体操作不同。根据引用[1]，它们的区别主要在于神经元集合S的范围。BN是在批次维度上进行归一化，而LN则是在特征维度上。引用[2]提到LN是针对单个数据点的特征向量进行归一化，而BN则是跨批次的数据。引用[3]进一步说明，BN处理的是每个神经元的激活值，按批次统计，而LN则是在同一层的特征内统计。接下来需要明确两者的计算步骤。BN在训练时使用当前批次的均值和方差，测试时使用移动平均。LN则不依赖批次，无论批次大小如何都适用，这对小批次或序列模型（如Transformer）很重要。这可能涉及到它们的应用场景差异，比如LN在RNN或NLP任务中更常见，而BN在CNN中表现更好。 然后要考虑它们的优缺点。BN的问题在于对批次大小的依赖，当批次较小时效果不佳，而LN则不受批次影响。引用[4]提到BN通过归一化隐藏层输入来缓解梯度爆炸和分布波动，但可能在序列模型中不稳定，这时候LN的优势就体现出来。 需要对比两者的数学公式。BN的归一化是在每个特征通道上，对N个样本的同一通道计算均值和方差；而LN是在每个样本上，对同一层的所有特征计算均值和方差。例如，对于形状为[N, C, H, W]的张量，BN在C维度上操作，而LN在N维度上保持，其他维度上计算。 应用场景部分，用户可能想知道什么时候用BN，什么时候用LN。比如BN在图像处理中效果显著，但在RNN中由于不同时间步的统计量不同，BN难以应用，这时候LN更合适。Transformer中使用LN也是因为处理变长序列和自注意力机制的需要。最后，生成相关问题时要考虑用户可能的后续疑问，比如具体实现细节、优缺点比较、其他归一化方法的关系，或者实际应用中的选择依据。需要确保回答结构清晰，分点说明区别、计算方式、应用场景，并给出代码示例帮助理解。同时，引用文献要正确对应，比如引用[1]提到BN的提出和改进，引用[2]说明LN的计算方式，引用[3]分类归一化方法，引用[4]补充BN的作用。</think>### Batch Normalization vs Layer Normalization的区别与用法 #### 一、核心区别 1. **归一化维度** - **Batch Normalization (BN)**：在**批次维度**（Batch Dimension）上计算均值和方差，对同一特征通道的所有样本进行归一化[^1]。例如输入张量形状为$N \times C \times H \times W$（批次大小×通道数×高×宽），BN会对每个通道$C$计算$N \times H \times W$个数据的均值和方差。 - **Layer Normalization (LN)**：在**特征维度**（Feature Dimension）上计算均值和方差，对单个样本的所有特征进行归一化[^2]。例如输入张量形状为$N \times D$（批次大小×特征维度），LN会对每个样本$N$独立计算$D$个特征的均值和方差。 2. **数学公式对比** - **BN**： $$ \mu_c = \frac{1}{NHW} \sum_{n=1}^N \sum_{h=1}^H \sum_{w=1}^W x_{nchw} $$ $$ \sigma_c^2 = \frac{1}{NHW} \sum_{n=1}^N \sum_{h=1}^H \sum_{w=1}^W (x_{nchw} - \mu_c)^2 $$ - **LN**： $$ \mu_n = \frac{1}{D} \sum_{d=1}^D x_{nd} $$ $$ \sigma_n^2 = \frac{1}{D} \sum_{d=1}^D (x_{nd} - \mu_n)^2 $$ 其中$c$为通道索引，$n$为批次索引，$d$为特征索引。 #### 二、应用场景 1. **BN的适用场景** - 需要较大批次（如Batch Size ≥ 32）的**图像分类任务**（如CNN）[^1] - 训练时记录移动平均的均值和方差，推理时直接使用，避免依赖当前批次 - 缺点：对**小批次**或**变长序列**（如RNN）效果差[^3] 2. **LN的适用场景** - **序列模型**（如Transformer、RNN）[^2] - **小批次或单样本训练**（如强化学习） - 对输入长度不敏感，适合自然语言处理任务 - 示例代码（PyTorch）： ```python # LayerNorm参数格式：[hidden_size] layer_norm = nn.LayerNorm(512) # 对512维特征归一化 ``` #### 三、性能影响 | 特性 | Batch Normalization | Layer Normalization | |--------------------|-------------------------------|-------------------------------| | 批次依赖 | 强依赖（批次需足够大）[^1] | 无依赖 | | 训练/推理差异 | 需切换模式（train/eval） | 无需切换 | | 计算开销 | 需计算批次统计量 | 仅计算单样本统计量 | | 对RNN的支持 | 不友好（序列长度变化）[^3] | 友好 | #### 四、选择建议 - **图像数据**：优先尝试BN（需确保批次足够大） - **文本/语音序列**：优先使用LN（如Transformer中默认配置） - **小批次训练**：LN或Group Normalization（GN）[^1]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值