Transformer模型的改进-BERT

最新推荐文章于 2025-09-25 16:57:46 发布
原创 最新推荐文章于 2025-09-25 16:57:46 发布 · 1.4k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文综述了Transformer模型的发展，从Weighted Transformer Network到Self-Attention with Relative Position Representations，再到预训练模型如BERT和GPT的出现，展示了Transformer在自然语言处理领域的应用和进步。

References:

[1] Karim Ahmed, Nitish Shirish Keskar, and Richard Socher. Weighted transformer network for machine. translation. arXiv preprint arXiv:1711.02132, 2017.

[2] Shaw, P., Uszkoreit, J., Vaswani, A. Self-attention with relative position representations. arXiv preprint arXiv:1803.02155 (2018)

[3] http://www.sohu.com/a/234238473_129720

[4] https://baijiahao.baidu.com/s?id=1601234081544356769&wfr=spider&for=pc

[5] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. 2018. Improving language understanding with unsupervised learning. Technical report, OpenAI.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina ToutanovaBERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805

[7] Matthew Peters, Waleed Ammar, Chandra Bhagavatula, and Russell Power. 2017. Semi-supervised sequence tagging with bidirectional language models. In ACL.

大型语言模型：SBERT — Sentence-BERT
gongdiwudu的专栏
12-19 5909
Transformer在 NLP 方面取得了进化进步，这已经不是什么秘密了。基于转换器，许多其他机器学习模型已经发展起来。其中之一是BERT，它主要由几个堆叠的变压器编码器组成。除了用于情感分析或问答等一系列不同的问题外，BERT在构建词嵌入（表示词的语义含义的数字向量）方面也越来越受欢迎。
Transformer模型和BERT模型区别；BERT模型的双向性；
ZJQ的博客
11-06 351
BERT的成功也促进了大量基于Transformer架构的预训练语言模型的涌现，如RoBERTa、ALBERT、ELECTRA等，这些模型在BERT的基础上进行了改进和优化，进一步提升了NLP任务的性能。综上所述，BERT模型的双向性主要体现在其训练方式和编码能力上，这种双向性使得模型能够更准确地理解语言的语境和语义信息，从而在各种自然语言处理任务中表现出色。中，如word2vec，两个句子中“Python”的嵌入表示是相同的，因为它们只考虑了单词本身，而没有考虑上下文。
Transformer的改进
Neways的博客
12-21 3499
Transformer的改进Transformer简介Efficient Transformer简介Fixed PatternsCombination of PatternsLearnable PatternsMemoryLow-RankKernelsRecurrence性能比较 Transformer简介 Transformer的核心是self-attention，通过计算输入序列中元素与其他所有元素的相关性来获取加权得分。但是这一步骤需要 O(n2)O(n^2)O(n2)的时间和空间复杂度，因为需要两个
魔改Transformer！9种提速又提效的模型优化方案
python12345678_的博客
07-04 3238
Transformer目前已经成为人工智能领域的主流模型，应用非常广泛。然而Transformer中注意力机制计算代价较高，随着序列长度的增加，这个计算量还会持续上升。为了解决这个问题，业内出现了许多Transformer的魔改工作，以优化Transformer的运行效率。我这次就给大家。文章主要涉及4个方向：稀疏注意力机制、Transformer处理长文本、Transformer运行提效以及卷积Attention，原文及源码都已整理。
transformer+强化学习 | 思路简单，发文快人一步！
最新发布
LLM_jingjinzhilu的博客
09-25 1071
Transformer与强化学习（RL）的融合正成为决策智能领域的研究热点。这一新范式通过Transformer强大的时序建模能力，有效解决了传统RL在长时序依赖、离线数据利用率、安全约束平衡等方面的难题。目前研究聚焦三大方向：离线RL的序列化建模、安全约束的动态适配以及情景RL的效率优化。两篇代表性论文展示了该方向的创新成果：《Constrained Decision Transformer》通过多目标优化视角提升离线安全RL性能，实现零-shot适应；《TOP-ERL》则结合Transformer评论家
Transformer 的结构改进与替代方案
hellozhxy的博客
03-09 4413
自从 Transformer 结构被提出以来，以 BERT 为代表的 Encoder 模型，以 GPT 为代表的 Decoder 模型，以 ViT 为代表的 CV 模型，都烜赫一时。时至今日，几乎所有的 LLM 也都是 Transformer 结构，尽管不时也会有新的结构被提出来，但 Transformer 的江湖地位仍然无可撼动。希望通过以上问题的思考和讨论，能够帮助我们更好地使用Transformer、理解Transformer、优化Transformer和改进Transformer。
Transformer的七十二变！12种魔改的Transformer模型大分享
Everly_的博客
12-19 4006
但正如所有科技的进化，Transformer也在不断地被“魔改”以适应更复杂的任务和挑战。下面我们探讨了几种令人印象深刻的Transformer模型变体，它们通过创新的技术改进，解决了传统Transformer模型在处理长序列、计算效率和内存使用等方面的局限性。稀疏注意力机制在Transformer中通过减少不必要的计算，降低模型的计算复杂度和内存需求，使得模型能够更高效地处理长序列数据，同时保持或提升模型性能。1.1动态稀疏注意力（DSA）
近期关于Transformer结构有潜力的改进方法总结
tyhj_sf的博客空间
05-21 5764
标准Transformer在最新的实际大模型中并没有被采用了，而是使用其相关的改进版本，原因是标准Transformer的实现有比较显著的缺点：1. Attention的时间复杂度较高，为$O(n^2)$，导致输入token序列长度较无法设置得过大。2. 显存占用大，是因为Attention、多头、FFN导致的参数量大。 以下总结了几个较受关注及个人认为比较有潜力的改进，帮助快速了解，同时推荐大家仔细研读原论文。
精选资源
chinese-bert-wwm-ext.rar
02-07
Chinese-BERT-wwm-ext是基于原版BERT模型的改进版，专为中文语言处理设计。"wwm"代表全词掩码（Whole Word Masking），这是相较于原版BERT模型的一个重要区别。在原版BERT中，随机选择单词内的部分字符进行掩码，而...
10-大语言模型-BERT 与 Transformer：双向理解语言的核心逻辑的数据集
07-28
在深度学习和自然语言处理领域，BERT（Bidirectional Encoder Representations from Transformers）与Transformer模型的出现，标志着一个全新的发展阶段。BERT模型利用Transformer结构，通过预训练和微调的方式，在...
Sentence-BERT论文解析
Thomas_Cai的记忆殿堂
04-06 1052
标准的三段式：目前的方法弊端——这篇文章的提出——这篇文章方法的效果目前的方法弊端目前的方法：BERT（Devlin等人，2018）和RoBERTA（Liu et al，2019）在语义文本相似性（STS）等双对回归任务上设置了最先进的性能。弊端：然而，它需要将两个句子都输入到网络中，这导致了巨大的计算开销：在10000个句子的集合中找到最相似的一对需要大约5000万次推理计算（约65小时）BERT的构造使其不适合语义相似性搜索以及聚类等无监督任务。句子的输入导致巨大的计算开销。
加权transformer
11-15
机器翻译论文 WEIGHTED TRANSFORMER NETWORKFOR MACHINE TRANSLATION
comet-atomic-2020
05-06
（Comet-）ATOMIC 2020：关于符号和神经常识知识图 纸 耶拿·黄（Jena D. Hwang），钱德拉（Chandra Bhagavatula），罗南·勒布拉斯（Ronan Le Bras），杰夫·达（Jeff Da），坂口圭介（Keisuke Sakaguchi），安托万·博塞鲁特（Antoine Bosselut），崔艺珍 出现在AAAI 2021年人工智能大会上 数据：ATOMIC 2020 提供ATOMIC 2020的数据。 如果您需要ATOMIC 2018数据（ ），可下载。 型号：COMET-ATOMIC 2020 训练有素的COMET模型可以在下载。 程式库 我们在COMET-ATOMIC2020中包含了过期中使用的代码，以实现可重复性和易用性。 我们的模型基于代码库，并进行了细微调整以使模型适合我们的数据。 可以在AAAI文件中找到详细信息。 设置 运行
过拟合欠拟合及其解决方案；梯度消失梯度爆炸；循环神经网络进阶；机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer；卷积神经网络基础；leNet；卷积神经网络进阶
01-06
1.过拟合欠拟合及其解决方案 一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）。 模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。 2.梯度消失梯度爆炸 深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。 假设一个层数为LLL的多层感知机的第lll层H(l)\boldsymbol{H}^{(l)}H(l)的权重参数为W(l)\boldsymbol{W}^{(l)}W(l)，输出层H(L)\boldsymbol{H}^{(L)}
Transformer及其改进型总结
Steve Wang's blog
09-09 4460
Transformer是Google提出的用来解决LSTM建模长期依赖乏力的问题全新架构模型，同时其网络架构的设计全部考虑如何并行化，包括self-attenion机制、multi-head self-attention机制、FFW全部都是可以并行计算的，Add&Norm中Add类似预ResNet的shortcut，是为了解决深层模型梯度消失的问题，LayerNorm可以加速计算，这全部都是在为后面的大规模预训练模型做准备。Transformer的提出在NLP中具有里程碑式的意义，现在取得成功的B.
[深度学习概念]·深度学习Transformer模型介绍
热门推荐
简明AI工作室
01-18 2万+
深度学习Transformer模型介绍 转载地址 目录 深度学习Transformer模型介绍 CNN RNN 核心问题 Transformer结构 亮点 self-Attention MultiHead Attention position Encoding 总结一下 动机 常见的seq2seq问...
Transformer模型的9种常见结构与改进方法
m0_52464237的博客
01-03 3568
2.Transformer-XL：在原始Transformer的基础上，通过引入分段循环机制和相对位置编码来处理长序列数据，解决原始Transformer在处理长序列时遇到的问题。5.GPT系列：基于Transformer的生成式预训练模型，包括GPT、GPT-2、GPT-3等多个版本，通过不同的预训练方法和参数调整来提高生成式任务的性能。6.XLNet：结合了Transformer-XL和BERT的优点，通过引入自回归和自编码的混合训练方式，提高模型对上下文信息的捕捉能力。
transformer理解
qq_22613769的博客
08-31 7753
Transformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型，现在比较火热的 Bert 也是基于 Transformer。Transformer 模型使用了 Self-Attention 机制，不采用 RNN和LSTM 的顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。 1.Transformer 结构 首先介绍 Transformer 的整体结构，下图是 Transformer 用于中英文翻译的整体结构。 ...
张俊林：BERT和Transformer到底学到了什么 | AI ProCon 2019
AI科技大本营
10-19 2069
演讲嘉宾 | 张俊林（新浪微博机器学习团队AI Lab负责人）编辑 |Jane出品 | AI科技大本营（ID：rgznai100）【导读】BERT提出的这一年，也是N...
构建高效文本相似度模型：Sentence-BERT实战解析
在提供的压缩包文件名称"Sentence-BERT-Similarity-main"中，我们可以期待包含了实现SBERT模型训练和评估的相关代码、数据集以及可能的使用说明文档。该压缩包应该包含： - 源代码文件，用于加载预训练的BERT模型，...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值