【Llama源码】归一化RMSNorm

最新推荐文章于 2025-06-12 20:57:31 发布
最新推荐文章于 2025-06-12 20:57:31 发布
阅读量1k 收藏 13
点赞数 13
CC 4.0 BY-SA版权
分类专栏： LLM 文章标签： llama
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/OldButSimple/article/details/139289550

数学公式与代码

RMSNorm是在Layer Norm之上的改进，它通过舍弃中心不变性来降低计算量。

a ‾ i = a i R M S ( a ) g i 其中， R M S ( a ) = 1 n ∑ r = 1 n a i 2 \overline a_i = \frac {a_i}{RMS(a)} g_i \\ 其中，RMS(a)=\sqrt { { \frac1n}{\sum_{r=1}^n a_i^2}} ai​=RMS(a)ai​​g

最低0.47元/天 解锁文章

200万优质内容无限畅学
Llama改进之——均方根层归一化RMSNorm
日积月累，天道酬勤
04-23 1万+
本文介绍Llama模型引入的均方根层归一化改进。
【LLM】LLama2模型（RMSNorm、SwiGLU、RoPE位置编码）
发现问题，并解决问题，批判性思维
03-16 3234
预训练语言模型除了自回归（Autoregressive）模型GPT，还有自编码模型（Autoencoding）BERT[1]、编-解码（Encoder-Decoder）模型BART[67]，以及融合上述三种方法的自回归填空（Autoregressive Blank Infilling）模型GLM（General Language Model）[68]。 ChatGPT的出现，使得目前几乎所有大语言模型神经网络结构趋同，采用自回归模型，基础架构与GPT-2相同，但在归一化函数、激活函数及位置编码等细节方面有所
RMSProp均方根反向传播法
zrh_优快云的博客
07-31 2519
RMSProp RMSProp通过引入一个衰减系数，让r每回合都衰减一定比例，类似于Momentum中的做法。 具体实现:  需要:全局学习速率 ϵ, 初始参数 θ, 数值稳定量δ，衰减速率ρ 中间变量: 梯度累计量r(初始化为0)  每步迭代过程:  1. 从训练集中的随机抽取一批容量为m的样本{x1,…,xm},以及相关的输出yi 2. 计算梯度和误差,更新r,再根据r和梯度计算参数更新量...
RMSNorm是什么 ？
最新发布
qq_43664407的博客
06-12 731
RMSNorm（Root Mean Square Layer Normalization）是一种轻量级的归一化方法，由 Shen 等人在 2019 年提出，用于替代经典的 LayerNorm。它的核心思想是不再对输入做去均值（centering），而只根据 Root Mean Square（均方根）对特征进行缩放，使得计算更简单、参数更少，同时数值稳定性和性能不降。
RMSNorm（RMS归一化）介绍
2301_79093491的博客
11-01 7405
RMSNorm通过简化归一化过程，降低计算复杂度，提供了一种有效的归一化方法。它在保持模型性能的同时，提高了计算效率，是LayerNorm的有力替代方案。对于需要高效归一化操作的深度学习模型，RMSNorm是一个值得考虑的选择。
【归一化】RMSNorm
Elvira521yan的博客
12-21 1908
【代码】RMSNorm。
Llama 美洲鸵（大羊驼）改进之一：均方层归一化RMSNorm
热门推荐
AI生成式技术曾小健
06-09 2万+
没有做re-center操作（移除了其中的均值项。
rms归一化_Batch Normalization：批量归一化
weixin_39654436的博客
12-20 928
1. 批量归一化(Batch Normalization)：为了让数据在训练过程中保持同一分布，在每一个隐藏层进行批量归一化。对于每一个batch，计算该batch的均值与方差，在将线性计算结果送入激活函数之前，先对计算结果进行批量归一化处理，即减均值、除标准差，保证计算结果符合均值为0，方差为1的标准正态分布，然后再将计算结果作为激活函数的输入值进行计算。批量归一化的本质：对于每个隐层神经元，把...
RMSNorm模块
No trade is free, but my contents are.
03-04 933
RMSNorm通过对输入进行归一化，使得每个特征的均方根值为1，然后通过可学习的权重进行缩放。与LayerNorm不同，RMSNorm没有偏置项，只进行缩放操作。eps用于防止除以零的情况，增加数值稳定性。
【llm对话系统】大模型 Llama 源码分析之归一化方法 RMS Norm
kakaZhui的博客
02-02 716
归一化方法RMS Norm是什么？为什么llama使用这个方案？
llama网络结构及源码
靓仔沾点健忘症，写给时间下游的自己
09-12 1502
模型初始化、tokenizer、位置编码、mask、模型前向传播，生成下一分词的循环过程
自编大模型系列之 01 使用 Python 从头构建 LLaMA 3 编写您自己的十亿参数LLM（教程含源码）
iCloudEnd的博客
05-29 284
LLaMA 3是继Mistral之后最有前途的开源模型之一，可以解决各种任务。我之前在 Medium 上写过一篇博客，介绍如何使用 LLaMA 架构从头开始创建一个具有超过 230 万个参数的 LLM。现在 LLaMA-3 已经发布，我们将以更简单的方式重新创建它。我们不会在本博客中使用GPU，但您至少需要17 GB 的 RAM，因为我们将加载一些大小超过 15 GB 的文件。如果这对您来说是个问题，您可以使用Kaggle作为解决方案。
LayerNorm和RMSNorm实现代码
大多_C的博客
06-11 2198
下面是详细实现的LayerNorm和RMSNorm代码，并附有详细注释。
RMSNorm原理及代码
qq_29787929的博客
02-14 2641
代码来源于：https://github.com/huggingface/transformers/tree/main/src/transformers/models/llama/modeling_llama.py。在LLaMA中使用RMSNorm替代LayerNorm，因为RMSNorm相比LayerNorm，不需要计算样本与均值的差（减少了计算量，加快了训练速度）如下是LayerNorm与RMSNorm的公式。层归一化是对一个样本中的不同特征进行归一化。批量归一化是对一个批次内的数据进行归一化。
大模型学习笔记------Llama 3模型架构之RMS Norm与激活函数SwiGLU
gz7seven
03-08 1127
本文主要讲解Llama 3模型中RMS Norm归一化与激活函数SwiGLU，以及与相关传统方法的对比分析。
【RMSNorm】Root Mean Square Layer Normalization
十一月廿七风雨大作
04-05 6745
论文改进了大模型领域常用的`LayerNorm`，提出`RMSNorm`(均方差层归一化)。相比于`LayerNorm`，`RMSNorm`开销更小，训练更快，性能与`LayerNorm`基本相当。
一杯咖啡的时间学习大模型（LLM）：LLaMA解读之均方根误差标准化RMSNorm（含代码实现）
Bug_makerACE的博客
02-13 972
一文读懂LLaMA核心架构之均方根误差标准化RMSNorm（含代码实现）
几种不同的Norm与代码实现 (BatchNorm, LayerNorm, GroupNorm, RMSNorm)
qq_36102055的博客
03-12 989
这里的均值和方差在训练的时候会通过动量更新，动态的根据每次的batch去估计整体数据集上的均值和方差，最后一个时刻的记录值会被用于测试时使用。而在训练的时候每一次都是使用当前的数据集上的估计值。LayerNorm经常使用在NLP中，因为在一个Batch内句子的长度不同，这导致每个句子中相同的位置没有类似的特征，而且存在pad这种情况，这导致跨批次的正则容易出现问题，于是LayerNorm更多的被使用。需要特别注意的是，在训练的时候，采用的是有偏方差估计，而存储用于测试时计算的是无偏方差估计。
【大模型优化】transformer归一化层优化：深度解读 RMSNorm （Root Mean Square Layer Normalization，均方根层归一化）
weixin_41645791的博客
05-21 1488
导读：RMSNorm 把传统 LayerNorm 的“减均值（centering）+ 除标准差（scaling）”简化为“直接除以向量均方根 (Root Mean Square, RMS，均方根)”。这一改动让归一化既 更省算 又 同样稳定，因而成为 LLaMA-2/3/4、DeepSeek-V3 等主流大语言模型的默认配置。本文从数学原理、效率优势、典型落地案例到工程迁移步骤，全方位讲透 为什么要用 RMSNorm、何时用 RMSNorm、怎么用 RMSNorm。
rmsnorm
03-08
### RMSNorm in Machine Learning #### Definition of RMSNorm Root Mean Square Normalization (RMSNorm) is a method used to normalize the output activations of neural network layers. Unlike Layer Normalization which normalizes based on both mean and variance, RMSNorm only uses the root mean square statistic without centering by subtracting the mean[^1]. This simplification can lead to faster computation while still providing effective normalization. The formula for computing RMSNorm over an input vector \( \mathbf{x} \) with dimensionality D is as follows: \[ y_i = \frac{x_i}{(\frac{1}{D}\sum_{d=1}^{D}(x_d^2))^{\frac{1}{2}}+\epsilon} \] where \( y_i \) represents each normalized element from the original tensor \( x_i \), and \( \epsilon \) is added for numerical stability during division operations. #### Implementation Example Below demonstrates how one might implement RMSNorm within PyTorch framework using Python code snippet. ```python import torch from torch import nn class RMSNorm(nn.Module): def __init__(self, dim: int, eps: float = 1e-8): super().__init__() self.eps = eps self.scale = nn.Parameter(torch.ones(dim)) def forward(self, x): norm_x = x / ((torch.mean(x ** 2, dim=-1, keepdim=True)) + self.eps).sqrt() return self.scale * norm_x ``` This class defines `__init__` function initializing parameters including epsilon value ensuring no divide-by-zero errors occur when calculating norms; also initializes scaling parameter per feature channel. The `forward` method computes squared means across last axis (-1 indicates batch dimensions are preserved), adds small constant term before taking square roots thus avoiding potential instability issues due to very low values close zero after addition operation completes successfully.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值