DEEPNORM：千层transformer...

最新推荐文章于 2025-05-06 01:07:31 发布
最新推荐文章于 2025-05-06 01:07:31 发布
阅读量1.7k 收藏
点赞数
文章标签： 网络 深度学习 人工智能 机器学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_52122378/article/details/123457177
版权
本文介绍了DEEPNORM技术，一种改进的标准化方法，用于训练非常深层的Transformer模型，如DeepNet。通过修改残差链接并调整初始化参数比例，DEEPNORM确保了1000层Transformer的训练稳定性，并在性能上超越其他模型。这种创新的标准化方式主要应用于Transformer的前馈网络和注意力层，显著改善了参数更新的稳定性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

见过几层的mlp，也见过几十层的GoogleNet，还见过上百层的Resnet，上千层的transformer见过没！这篇论文<DeepNet: Scaling Transformers to 1000 Layers>它来了。它提出了一个简单有效的方法来训练"极深"的transformer。这篇论文提出了一个新的标准化方程(DEEPNORM)去修改transformer中的残差链接。该论文有着非常深入的理论分析模型在训练过程中参数更新是非常稳定的，使得1000层的transformer诞生，并且在各项指标上吊打其他模型。

5e4b95c347e11515ad32e5032ee9fe98.png

ed807f65f46a936e8598c463f33b54c8.png

基于Post-LN的transfomer，该文实现了DEEPNORM(如下图伪代码所示)。与Post-LN相比，DEEPNORM在进行layer-norm之前会扩大残差连接。除此以外，在初始化过程中降低了参数的比例。需要注意的是，该方法只会扩大前馈网络的权值的规模，以及attention层的投影值。

最低0.47元/天 解锁文章
炼丹笔记
关注
【AI周报】免费、开源的TorchStudio来了；CVPR2022放榜；微软做出千层Transformer
m0_60673947的博客
03-04 881
【AI周报】免费、开源的TorchStudio来了；CVPR2022放榜；微软做出千层Transformer 极链AI云 注册链接 关注极链AI云公众号，学习更多知识！ 文章目录【AI周报】免费、开源的TorchStudio来了；CVPR2022放榜；微软做出千层Transformer一. AI周报1. 免费开源的PyTorch IDE来了！模型、数据集、可视化全都有！2.CVPR 2022放榜！2067篇论文被接收3.1000层的Transformer？微软给他做出来了！4.参数量翻了10倍
机器学习专栏（48）：梯度问题全解——从理论到工业级解决方案
最新发布
Conan_0728的博客
05-06 838
A：实验表明，对于ReLU等非线性激活，BN置于激活前效果更优；而对于SELU等自归一化激活，可置于激活后。技术：在Vision Transformer中逐层学习缩放系数。：改进Post-LN结构，训练千层Transformer不崩溃。Batch Size过小（建议≥32）：通过可学习的残差连接加速收敛。Google Brain的。测试阶段未正确使用移动平均。与Dropout层组合不当。2023年Meta提出。
【深度学习】这千层transformer让我目瞪口呆
fengdu78的博客
03-04 305
作者：十方见过几层的mlp，也见过几十层的GoogleNet，还见过上百层的Resnet，上千层的transformer见过没！这篇论文<DeepNet: Scaling Tran...
文献阅读：DeepNet: Scaling Transformers to 1,000 Layers
codename_cys的博客
04-10 2801
文献阅读：DeepNet: Scaling Transformers to 1,000 Layers 1. 文章简介 2. 核心技术点 1. DeepNet整体结构 2. 参数初始化考察 3. DeepNorm考察 3. 实验考察 1. 可行性考察 2. 有效性考察 4. 结论 & 思考 文献链接：https://arxiv.org/abs/2203.00555 1. 文章简介 这篇文章是我司前阵子发布的一篇对于transformer的优化文章，一作还是我室友兼师弟，也..
Deep Norm
qq_74234591的博客
04-21 856
Deep Norm 是一种基于归一化的深度学习模型优化方法，其思路是通过在深度神经网络中引入多层归一化操作，以改善模型的训练和泛化性能。Deep Norm 的主要思想是在网络的每一层之间插入归一化层，以减小输入数据的分布差异，从而加速收敛并提高模型的泛化能力。与传统的批归一化（Batch Normalization）不同，Deep Norm 在每一层都进行归一化，而不是仅在特定层进行。Deep Norm 的具体步骤如下：输入数据：将输入数据传递给网络的第一层。
DeepNet :Scaling Transformers to 1000 Layer
Hanze的博客
03-26 704
上述图片为deepnorm的伪代码，其中以Post-LN为基础，给 x 加一个alpha权重，然后对ffn，v_projection, out_projection 与 q_projection 和k_projection分别采用不同的初始化方法，区别是gain参数，其中gain参数为一个可选的比例因子。作者提出了一种简单且高效的方法稳定的提升了Transformer 的深度，这种方法是一种新的残差连接的方式（DeepNorm），它结合了以前的。
【数据挖掘】谷歌提出最新时序框架--Deep Transformer
fengdu78的博客
10-09 899
作者：杰少Deep Transformer Models for TSF简 介Transformer技术在诸多问题，例如翻译，文本分类，搜索推荐问题中都取得了巨大的成功，那么能否用于时间序...
【LLM知识整理2】
weixin_61477847的博客
02-16 726
架构设计：数学公式计算的非整数叠加。硬件适配：显存、计算单元对齐。缩放定律：性能与资源的最优解。工程实践：分布式训练需求。命名惯例：近似值与历史习惯。这些设计确保了模型在高效训练和部署的同时，最大化性能与成本的平衡。2.大模型的幻觉问题、复读机问题是什么？问题类型本质原因当前最佳实践技术挑战幻觉问题概率建模 vs 事实逻辑鸿沟RAG + 多模态验证实时知识更新与逻辑推理复读机问题局部最优 vs 全局多样性矛盾核采样 + 重复惩罚长文本生成的一致性保持。
（深度学习）Transformer
KNIGHT_HOY的博客
03-26 2244
文章目录TransformerApplicationfor speechfor chatbotNLPMulti-label ClassificationObject Detectionseq2seqEncoderDecoder（Autoregressive）Decode网络结构NAT（None Autoregressive） DecoderEncoder2DecoderCross attentionTraining Transformer Application for speech 实质上是seq2s
解决训练难题，1000层的Transformer来了，训练代码很快公开
03-04 2333
1000 层的 Transformer，深得吓人。昨日出炉的论文《DeepNet: Scaling Transformers to 1,000 Layers》在研究社区引起了热议，作者来自微软亚洲研究院。该研究直接把 Transformer 深度提升到 1000 层！下面让我们看下这篇研究说了什么。近年来，大规模 Transformer 模型出现了这样一种趋势：随着模型参数从数百万增加至数十亿甚至数万亿，性能相应地实现了显著提升。大规模模型在一系列任务上都取得了 SOTA 性能，并在小样本和零样本学习设置下
训练1000层的transformer
weixin_36378508的博客
10-11 386
transformer深层训练理论分析实现
深层Transformer的一些工作
leo0308的博客
04-01 659
0 引言 自从Transforme提出之后， 在各个领域获得了巨大的成功。 在提升精度这条道路上， 有很多的改进工作。 提升精度一个的一个常用做法就是把模型变大， 增大模型的容量， 从而提升模型的精度。 增大模型有2个方向，一个是增加宽度， 另一个是增加宽度。 像Transformer-big版本就是增加了宽度。 但是对Transformer网络， 单纯地直接增加深度通常会遇到梯度消失/爆炸等造成训练不稳定的问题。 因此需要额外的手段解决这些问题。 本文分享几篇通过不同方式加深Transformer网络深度
深度卷积神经网络 matlab,matlab使用贝叶斯优化的深度学习：卷积神经网络CNN
weixin_35797090的博客
03-16 919
原文链接：http://tecdat.cn/?p=7954此示例说明如何将贝叶斯优化应用于深度学习，以及如何为卷积神经网络找到最佳网络超参数和训练选项。要训练深度神经网络，必须指定神经网络架构以及训练算法的选项。选择和调整这些超参数可能很困难并且需要时间。贝叶斯优化是一种非常适合用于优化分类和回归模型的超参数的算法。准备数据下载CIFAR-10数据集[1]。该数据集包含60,000张图像，每个图像...
时间系列预测的Deep transformer模型：流感流行病例
weixin_39986534的博客
10-09 2845
目录 首先 看篇文章我的目的是为了找到一种方法可以适用于单目标的多维特征数据的时间预测 。 1 文章来源链接 2 Abstract 首先 看篇文章我的目的是为了找到一种方法可以适用于单目标的多维特征数据的时间预测 。 1 文章来源链接 https://arxiv.org/pdf/2001.08317.pdf 2 Abstract In this paper, we present a new approach to time series forecasting. Time series d
利用pytorch 实现深度残差网络(deep_residual_neural_network)
张帅影&RS&DeepLearning
03-21 1671
利用pytorch 实现深度残差网络深度残差网络代码实现输出结果 深度残差网络 残差网络是由来自Microsoft Research的4位学者提出的卷积神经网络，在2015年的ImageNet大规模视觉识别竞赛（ImageNet Large Scale Visual Recognition Challenge, ILSVRC）中获得了图像分类和物体识别的优胜。 残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题 。
GLM-130B-一个开放的双语通用预训练模型-论文精读
wangwangstone的博客
05-12 4484
本文为作为类ChatGPT的模型ChatGLM的前期基础论文2《AN OPEN BILINGUAL PRE-TRAINED MODEL》的精读笔记。GLM-130B，主要思想概述：一个双语（英文和中文）的基于GLM的双向稠密模型。并没有使用GPT风格的架构，而是采用通用语言模型（GLM）算法（Du et al.，2022）来利用其双向注意力优势和自回归空白填充目标，模型参数为1300亿，语料约训练了4000亿个文本标记，在语义理解和文本生成任务上性能强大。
Transformer数学推导——Q53 推导残差权重（如 DeepNorm）的初始化约束条件
墨顿随笔
05-06 651
设深度神经网络由 N 个残差层组成，第 i 层的输入为，输出为，残差函数为，则第 i 层的残差连接可表示为。假设残差函数由一系列线性变换和非线性激活函数组成，即，其中是权重矩阵，为非线性激活函数（如 ReLU、GELU 等）。网络的输入服从均值为 0，方差为的正态分布，即。各层的权重矩阵相互独立，且其元素服从均值为 0，方差为的正态分布，即，其中表示权重矩阵的第 i 行第 j 列元素。非线性激活函数 g(x) 的输出在一定范围内，其均值和方差在训练过程中相对稳定。
deepseek 的核心架构之Transformer 论文讲解（小白也能看懂）
lizhijianwill的博客
03-03 889
这样做的问题是，如果菜谱太长 (句子太长)，厨师可能会忘记前面的步骤，导致后面的菜 (翻译) 质量下降。例如，在句子 "The cat sat on the mat" 中，厨师会思考 "cat" 和 "sat" 的关系，"sat" 和 "mat" 的关系，以及 "the"、"cat"、"sat"、"on"、"the"、"mat" 这些词语之间的相互影响。解码器内部也使用了“自注意力”，但为了保证翻译的“自回归”特性 (即生成下一个词语时只能依赖于之前已经生成的词语)，解码器的自注意力机制会进行“掩码”，
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值