Transformer及其改进型总结

最新推荐文章于 2025-10-24 16:49:45 发布
原创 最新推荐文章于 2025-10-24 16:49:45 发布 · 4.4k 阅读 · 29 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

探讨Transformer模型的局限性及Transformer-XL的创新，包括Segment-Level Recurrence和Relative Position Encodings，以及XL-Net引入的排列语言模型和双流注意力机制，深化理解NLP中的序列建模。

Transformer是Google提出的用来解决LSTM建模长期依赖乏力的问题全新架构模型，同时其网络架构的设计全部考虑如何并行化，包括self-attenion机制、multi-head self-attention机制、FFW全部都是可以并行计算的，Add&Norm中Add类似预ResNet的shortcut，是为了解决深层模型梯度消失的问题，LayerNorm可以加速计算，这全部都是在为后面的大规模预训练模型做准备。Transformer的提出在NLP中具有里程碑式的意义，现在取得成功的Bert系列基于Transforner Encoder，GPT系列基于Transformer Decoder。这篇文章将不再赘述Tranformer的架构，想必大家应该已经跟熟悉了，这方面有大量的文章可供阅读。本篇博客聚焦于Transformer的改进路线，也是NLP面试常见问题。

Transformer

Attention is all you need
完全图解GPT-2：看完这篇就够了（一）
BERT大火却不懂Transformer？读这一篇就够了

Transformer-XL

Transformer作为一种特征提取器，在NLP中有广泛的应用。但Trm需要对序列设置一个固定长度，如果序列超过该长度，需要将句子划分成多个segment，训练的时候每个segment单独处理，各segment之间没有联系，最长的依赖关系长度就取决于segment长度。

预测的时候会对固定长度的segment做计算，一般取最后一个隐向量作为输出，为了充分利用上下文关系，每做一次预测，就对整个序列向右移动一个位置，在做一次计算，这导致效率非常低。
在这里插入图片描述

  • Segment-Level Recurrence
    为了解决上面提到的问题，Transformer-XL提出一个改进，对当前Segment进行处理的时候，缓存并利用上一个segment中所有layer的隐向量序列，这些隐向量序列只参与前向计算，不再进行反向传播，这就是所谓的Segment-Level Recurrence。
    在这里插入图片描述

  • Relative Position Encodings
    Vanliia Trm使用position embedding或者正弦/余弦函数来对位置进行编码，这是一种绝对距离位置编码，而Transformer-XL使用相对位置编码。
    A t t e e n t i o n ( Q , K , V ) = s o f t m a x ( Q K T d k V ) Atteention(Q, K, V) = softmax(\frac{QK^T}{d_k}V) Atteention(Q,K,V)=softmax(d

最低0.47元/天 解锁文章
5.11 Transformers的改进——自适应Attention
炫云云
04-05 1469
💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖 💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖 🥝🥝 1 自适应Attention 🥝🥝 2 Self-attention 🥝🥝 3 Adaptive attention span
Transformer的变体：改进与扩展
AI天才研究院
05-04 1185
1. 背景介绍 Transformer 模型自 2017 年提出以来，在自然语言处理 (NLP) 领域取得了巨大的成功，并在机器翻译、文本摘要、问答系统等任务中展现出卓越的性能。然而，原始的 Transformer 模型也存在一些局限性，例如计算复杂度高、难以处理长序列数据等。为了克服这些问题，研究者们提出了各种 Transformer 变体，通过改
Transformer的改进
Neways的博客
12-21 3540
Transformer的改进Transformer简介Efficient Transformer简介Fixed PatternsCombination of PatternsLearnable PatternsMemoryLow-RankKernelsRecurrence性能比较 Transformer简介 Transformer的核心是self-attention，通过计算输入序列中元素与其他所有元素的相关性来获取加权得分。但是这一步骤需要 O(n2)O(n^2)O(n2)的时间和空间复杂度，因为需要两个
视觉Transformer实战——Transformer详解与实现
最新发布
盼小辉丶的博客
10-24 5043
本文系统介绍了 Transformer 架构的核心原理与实现。相比传统 RNN 和 CNN，Transformer 凭借自注意力机制有效捕捉序列中的长距离依赖关系，支持并行训练，显著提升效率。其核心创新在于通过查询、键、值向量计算注意力权重，理解单词间的语义关联。架构包含编码器-解码器结构：编码器通过多头自注意力和前馈网络提取输入特征；解码器利用掩码自注意力和交叉注意力生成输出。本文使用 PyTorch 实现了缩放点积注意力、位置编码、层归一化等关键模块，并构建了完整的 Transformer 模型。
Transformer模型：未来的改进方向与潜在影响
qlkaicx的博客
06-17 1783
自从2017年Google的研究者们首次提出Transformer模型以来，它已经彻底改变了自然语言处理（NLP）领域的面貌。Transformer的核心优势在于其“自注意力（Self-Attention）”机制，该机制能够在处理序列数据时同时考虑序列中的所有元素，从而显著提高了模型处理长距离依赖的能力。尽管现有的Transformer模型已经非常强大，但科学家和工程师们仍然在不断探索如何进一步改进这一架构。本文将探讨可能的改进方向和这些改进可能带来的影响。
魔改Transformer！9种提速又提效的模型优化方案
python12345678_的博客
07-04 3265
Transformer目前已经成为人工智能领域的主流模型，应用非常广泛。然而Transformer中注意力机制计算代价较高，随着序列长度的增加，这个计算量还会持续上升。为了解决这个问题，业内出现了许多Transformer的魔改工作，以优化Transformer的运行效率。我这次就给大家。文章主要涉及4个方向：稀疏注意力机制、Transformer处理长文本、Transformer运行提效以及卷积Attention，原文及源码都已整理。
深度学习 Transformer机制
Fantastic
10-30 6622
Transformer
Transformer 及其变体深度解析
qq_43664407的博客
05-18 1024
​​架构革命​​：完全基于注意力机制，摆脱RNN/CNN的局部归纳偏置​​数学本质​​：通过Query-Key-Value映射实现全局关系建模​​演进方向​​：效率优化（稀疏注意力、线性复杂度）多模态融合（图文/音视频联合建模）提示学习（Prompt Tuning）适配下游任务%20b_2。
Bertopology: Bert及其改进型总结
Steve Wang's blog
09-09 1163
BERT自从被提出之后，因为其开源且表现及其优异，工业界开始广泛采用Bert来完成各项NLP的任务。一般来说，Bert都能给我们相当强悍的结果，唯一阻止Bert上线使用的，就是其难以接受的计算复杂度。因此各种模型压缩的方法层出不穷。本篇博客意在总结Bert及其改进型主要的特点，这也是NLP算法面试常见的问题。 Bert使用的激活函数是GELU： 正态分布下GELU(x)，论文给出了近似计算公式: GELU(x)=0.5x(1+tanh[2/π(x+0.044715x3)])GELU(x) = 0.5x(.
AIGC实战——Transformer模型
盼小辉丶的博客
03-25 1万+
GPT 模型是一个解码器 Transformer，它逐字符地生成文本字符串，并使用因果掩码只关注输入字符串中的前一个单词。另一些编码器 Transformer，不使用因果掩码，而是关注整个输入字符串以提取有意义的上下文表示。对于一些其他任务，如语言翻译，可以使用编码器-解码器 Transformer，将一个文本字符串翻译为另一个文本字符串，这类模型包含编码器 Transformer 块和解码器 Transformer 块。
Transformer 的结构改进与替代方案
hellozhxy的博客
03-09 4438
自从 Transformer 结构被提出以来，以 BERT 为代表的 Encoder 模型，以 GPT 为代表的 Decoder 模型，以 ViT 为代表的 CV 模型，都烜赫一时。时至今日，几乎所有的 LLM 也都是 Transformer 结构，尽管不时也会有新的结构被提出来，但 Transformer 的江湖地位仍然无可撼动。希望通过以上问题的思考和讨论，能够帮助我们更好地使用Transformer、理解Transformer、优化Transformer和改进Transformer。
Document-Transformer：使用文档级上下文改进Transformer转换模型
02-25
使用文档级上下文改进变压器翻译模型 内容 介绍 这是我们工作的实现，将Transformer扩展为集成文档级上下文[ ]。 该实现在 用法 注意：用法不是用户友好的。 以后可能会改善。 训练标准的变压器模型，请参考的用户手册。 假设model_baseline / model.ckpt-30000在验证集上表现最佳。 使用以下命令生成虚拟的改进的Transformer模型： python THUMT/thumt/bin/trainer_ctx.py --inputs [source corpus] [target corpus] \ --context [context corpus] \ --vocabulary [source
Transformer模型的改进
mudongcd0419的博客
11-07 2593
[深度学习概念]·深度学习Transformer模型介绍
热门推荐
简明AI工作室
01-18 2万+
深度学习Transformer模型介绍 转载地址 目录 深度学习Transformer模型介绍 CNN RNN 核心问题 Transformer结构 亮点 self-Attention MultiHead Attention position Encoding 总结一下 动机 常见的seq2seq问...
Transformer的七十二变！12种魔改的Transformer模型大分享
Everly_的博客
12-19 4098
但正如所有科技的进化，Transformer也在不断地被“魔改”以适应更复杂的任务和挑战。下面我们探讨了几种令人印象深刻的Transformer模型变体，它们通过创新的技术改进，解决了传统Transformer模型在处理长序列、计算效率和内存使用等方面的局限性。稀疏注意力机制在Transformer中通过减少不必要的计算，降低模型的计算复杂度和内存需求，使得模型能够更高效地处理长序列数据，同时保持或提升模型性能。1.1动态稀疏注意力（DSA）
【计算机视觉 | Transformer】魔改Transformer！9种提速又提效的模型优化方案分享！
wzk4869的博客
11-30 5379
【计算机视觉 | Transformer】魔改Transformer！9种提速又提效的模型优化方案分享！
Transformer中的各种改进
hellozhxy的博客
01-11 2984
LLM大行其道的时代，Transformer成为了当下最流行的模型结构，没有之一。为了达到加速或提效的目的，在vanilla Transformer的基础上，业界探索了针对不同组件的各种改进。
改进Transformer就能入选 CVPR！这份人人都能用的魔改Transformer创新点，学到就是赚到！
05-28 1163
摘要：Transformer架构在AI领域应用广泛，但其注意力机制的高计算复杂度限制了长序列处理效率。本文精选5种高效Transformer改进方案：1）ACWI-Former融合小波变换与自适应注意力机制；2）MambaVision混合Mamba与Transformer模块；3）HyperKAN基于KAN定理重构网络层；4）Spiking Resformer结合脉冲神经网络与自注意力；5）太阳能预测模型利用Transformer处理多维度时序数据。这些方案通过算法创新与架构优化，在视觉、时序分析等任务中实
Transformer模型的9种常见结构与改进方法
m0_52464237的博客
01-03 3593
2.Transformer-XL：在原始Transformer的基础上，通过引入分段循环机制和相对位置编码来处理长序列数据，解决原始Transformer在处理长序列时遇到的问题。5.GPT系列：基于Transformer的生成式预训练模型，包括GPT、GPT-2、GPT-3等多个版本，通过不同的预训练方法和参数调整来提高生成式任务的性能。6.XLNet：结合了Transformer-XL和BERT的优点，通过引入自回归和自编码的混合训练方式，提高模型对上下文信息的捕捉能力。
基于vision transformer目标检测的改进
03-18
### 基于Vision Transformer的目标检测改进方法研究 #### 当前进展概述 基于Transformer的目标检测算法近年来取得了显著进步，尤其是谷歌在ICLR2020上提出的ViT（Vision Transformer）开创了将Transformer引入视觉领域的新纪元[^1]。然而，在实际应用中，直接使用原始ViT进行目标检测面临诸多挑战，例如计算复杂度高、对输入数据敏感等问题。 为了应对这些问题，研究人员提出了多种改进方案，主要包括以下几个方面： --- #### 1. **优化Attention机制** 传统的全局自注意力机制计算量较大，尤其是在处理高分辨率图像时会带来巨大的内存开销。因此，许多工作致力于设计更高效的注意力机制： - **稀疏化注意力**：通过仅关注图像中有意义的区域来减少不必要的计算。例如，DETR及其后续版本采用了多头注意力机制，并结合object query的设计，使得模型能够聚焦于潜在的目标位置[^3]。 - **局部窗口注意力**：类似于卷积神经网络中的感受野概念，Swin Transformer提出了一种分层结构，利用滑动窗口的方式限制注意力范围，从而降低计算成本并提高效率[^5]。 ```python class SwinWindowAttention(nn.Module): def __init__(self, dim, window_size, num_heads): super().__init__() self.dim = dim self.window_size = window_size self.num_heads = num_heads def forward(self, x): # 实现局部窗口内的自注意力计算逻辑 pass ``` --- #### 2. **增强特征提取能力** 尽管ViT具有强大的表示学习能力，但在低层次特征捕获方面可能不如传统CNN表现优异。为此，可以通过以下方式改善其特征表达力： - **混合架构**：融合CNN与Transformer的优点，构建混合型框架。例如，ConvNeXt系列模型展示了即使不完全依赖Transformer组件也能取得良好效果；同样地，在YOLOv8基础上集成Dual Vision Transformer也是一种尝试[^2]。 - **多层次特征交互**：借鉴FPN（Feature Pyramid Network）的思想，促进不同尺度间的信息交流，有助于捕捉从小到大的各类物体实例[^4]。 --- #### 3. **引入先验知识** Object Query作为连接编码器与解码器的关键环节之一，在无锚框设定下起到重要作用。合理设置初始Query向量可以帮助加速收敛过程并提升最终精度。目前已有不少关于如何更好地初始化这些Queries的研究成果被报道出来。 --- #### 4. **探索新型训练策略** 除了调整网络本身外，改变训练流程也是提高性能的有效途径之一： - 自监督预训练技术的应用可以缓解标注数据不足带来的影响； - 动态标签分配法则如OTA (Optimal Transport Assignment)，能有效解决固定IoU阈值所引发的一系列问题。 --- ### 总结 综上所述，针对Vision Transformer用于目标检测场景下的若干改进建议涵盖了多个维度——从核心运算单元改造至整体系统搭建均有所涉及。未来随着硬件条件持续升级以及理论层面深入挖掘，相信会有更多创新性的解决方案涌现出来。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值