Transformer及其子孙后代

最新推荐文章于 2025-01-13 09:11:02 发布
最新推荐文章于 2025-01-13 09:11:02 发布
阅读量805 收藏 2
点赞数
分类专栏： NLP 读paper 文章标签： transformer 人工智能 深度学习 自然语言处理 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Raki_J/article/details/129234304
版权
文章详细介绍了Transformer模型的核心——自注意力机制，以及BERT和GPT系列模型的发展和改进，包括BERT的预训练任务和GPT的自回归特性。文中还提到了相关变体如Transformer-XL、RoBERTa和ELECTRA等的创新点，以及它们如何提升模型性能和处理长序列的能力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

三大灵魂模型

Transformer

attention is all you need，现在已经是money is all you need时代了（x

首先介绍自注意力机制

Atention ⁡ ( Q , K , V ) = softmax ⁡ ( Q K T d k ) V \operatorname{Atention}(Q,K,V)=\operatorname{softmax}(\dfrac{QK^T}{\sqrt{d_k}})V Atention(Q,K,V)=softmax(dk​ ​QKT​)V

q，k和v都是原输入x通过变换矩阵得到的

q和k相乘得到系数矩阵，用softmax进行归一化，再乘v得到加权后的表示，这就是自注意力做的事情
在这里插入图片描述

过程如图：

在这里插入图片描述

模型图
在这里插入图片描述
encoder与decoder，有三个多头注意力，decoder下面那个多头注意力进行了mask，因为不能让前面的token直接看到后面token的信息，会造成泄露
在这里插入图片描述

位置编码（绝对位置）：

P E ( p o s , 2 i ) = s i n ( p o s / 1000 0 2 i / d model ) P E ( p o s , 2 i + 1 ) = c o s ( p o s / 1000 0 2 i / d model ) \begin{array}{c}PE_{(pos,2i)}=sin(pos/10000^{2i/d_{\text{model}}})\\ PE_{(pos,2i+1)}=cos(pos/10000^{2i/d_{\text{model}})}\\ \end{array} PE(pos,2i)​=sin(pos/100002i/dmodel​)PE(pos,2i+1)​=cos(pos/10000

最低0.47元/天 解锁文章
NLP论文RoFormer(含源码)中文解读：具有旋转式位置嵌入的增强型transformer模型(一场相对革命)
源代码杀手的博客
01-01 1341
位置编码最近在 Transformer 架构中显示出有效性。它能够对序列不同位置的元素之间的依赖建模进行有价值的监督。在本文中，我们首先研究了将位置信息集成到基于 transformer 的语言模型的学习过程中的各种方法。然后，我们提出了一种名为旋转位置嵌入（RoPE）的新方法来有效地利用位置信息。具体来说，所提出的 RoPE 使用旋转矩阵对绝对位置进行编码，同时将显式相对位置依赖性纳入自注意公式中。
Transformer:继MLP、RNN、CNN之后的第四大基础模型
weixin_58420301的博客
05-31 2874
本篇博客讲述的是近几年来在深度学习领域中又一项重大的突破：Transformer。Transformer被誉为是继MLP、RNN、CNN之后的第四大基础模型。接下来我们将以模型架构为核心，跟着输入数据的脚步，一步步解析Transformer是如何构建和学习。.......
RoFormer: 使用旋转位置嵌入增强的Transformer
最新发布
探索人工智能革命，深入算法原理与创新应用，未来科技无限可能。
01-13 494
Transformer架构中的位置编码为序列中不同位置元素之间的依赖关系建模提供了监督。我们研究了在基于Transformer的语言模型中编码位置信息的各种方法，并提出了一种名为旋转位置嵌入（RoPE）的新实现。所提出的RoPE通过旋转矩阵编码绝对位置信息，并自然地在自注意力公式中引入了显式的相对位置依赖关系。值得注意的是，RoPE具有一些有价值的特性，例如可以扩展到任何序列长度、随着相对距离增加而衰减的token间依赖关系，以及能够为线性自注意力配备相对位置编码。因此，使用旋转位置嵌入增强的Transfo
RoFormer
whaosoft143ai的博客
05-31 522
详细解读RoFormer—带有旋转位置嵌入的增强型transformer在看复旦的moss的代码的时候，碰到了这个“旋转位置编码”rotary position embedding，正好找这个时间把这个的思想来源，主要方法，以及带来的好处，等，学习一下。这是追一科技的苏剑林大神的文章，目前引用量有150左右了。RoFormer：https://huggingface.co/docs/transformers/model_doc/roformer 【huggingface上，已集成了】 whaosoft a
roformer:旋转变压器
03-25
旋转变压器 Rotary Transformer，简称RoFormer，是我们自研的语言模型之一，主要是为Transformer结构设计了新的旋转式位置编码（Rotary Position Embedding，RoPE）。RoPE具有良好的理论性质，并且是目前唯一一种可以应用到线性注意的绝对位置编码，目前来看实验结果也颇为不错。 详细介绍： : 依赖 bert4keras 0.10.4 参考配置：在24G显存的3090上，跑maxlen = 1024，batch_size能跑到8以上。 下载 （提取码：xy9x） 引用 Bibtex： @techreport{zhuiyiroformer, title={RoFormer: Transformer with Rotary Position Embeddings - ZhuiyiAI}, author={Jianlin Su}
【大模型上下文长度扩展】RoFormer：一种结合了旋转位置编码（RoPE）的Transformer模型
Debroon
02-06 1949
为了克服这一限制，研究者们提出了RoFormer，一种结合了旋转位置编码（RoPE）的Transformer模型，旨在更有效地整合位置信息以提高模型对长文本的处理能力。这种方法的优雅之处在于，它通过数学上简洁的旋转操作，实现了对位置信息的高效编码和利用，从而提高了NLP模型的性能和理解能力。RoPE的核心思想是使用旋转矩阵来编码单词在句子中的位置，既考虑了绝对位置，也考虑了单词之间的相对位置。RoPE不仅编码了单词的绝对位置，还通过这种旋转机制，使模型能够捕捉到单词之间的相对位置信息。
课程报告-Transformer及其应用综述
09-12
Transformer 及其应用综述 Transformer 是一种基于注意力的神经网络模型，主要用于自然语言处理（NLP）任务。Transformer 模型的提出解决了传统递归神经网络（RNN）无法并行化的缺陷，通过完全基于注意力的编码和...
Transformer入门（1）transformer及其编码器-解码器
weixin_xxxxx的博客
12-06 1105
Transformer模型是一种用于自然语言处理的机器学习模型，它在2017年由Google的研究者提出，并在论文《Attention is All You Need》中详细描述。Transformer模型的核心创新在于其采用了自注意力（self-attention）机制，这使其在处理序列数据（如文本）时比传统的循环神经网络（RNN）和长短期记忆网络（LSTM）更加高效。
transformer-自然语言处理与计算机视觉领域的Transformer架构解析及其应用
12-10
内容概要：本文介绍了Transformer在自然语言处理(NLP)和计算机视觉(CV)的应用，特别是它如何作为替代RNN的强大解决方案，通过详细解释架构的关键组成部分：多头注意力机制、位置编码、前馈神经网络及其实际应用(例如...
Transformer-transformer
09-13
由于给出的文件信息中【标题】、【描述】和【标签】均只包含“transformer”这一关键词，而【压缩包子文件的文件名称列表】则...通过不断的创新和适应，Transformer及其变体已经成为了当今深度学习领域的核心技术之一。
由浅入深解读神经网络原理与Transformer模型及其工程实现
12-03
内容概要：本文系统介绍了神经网络的基本原理，探讨了神经网络模型的演进过程，特别是Transformer模型的工作原理。此外，文章详细解释了Transformer的工程实现，包括输入嵌入、多头注意力机制、残差网络和前馈网络等...
roformer-pytorch:Roformer的实现，这是一种带有旋转位置嵌入的变压器，这是一种未公开的相对位置编码新技术，正在中国的NLP圈子中流传
04-17
变形金刚-火炬（WIP） 干净，简单的Roformer实现，Roformer是具有旋转位置嵌入（RoPE）的变压器。 这是一种新的尚未发布的技术（截至2021年4月），用于在中国NLP圈子中传播的相对位置编码。 一位研究人员首先通过向我通报了这种技术。 从那时起，我们重新实现了它，并看到了在各种任务和体系结构中的收获。 炒作是真实的。 引文 @techreport { zhuiyiroformer , title = { RoFormer: Transformer with Rotary Position Embeddings - ZhuiyiAI } , author = { Jianlin Su } , year = { 2021 } , url = " https://github.com/ZhuiyiTechnology/roformer "
Roformer-sim模型
orangerfun的博客
11-16 3089
文章目录1. 简介2. RoformerSim Model2.1 Roformer模型介绍2.2 Roformer-Sim 模型2.2.1 语料2.2.2 生成2.2.3 检索3. 总结4. 参考 1. 简介 RoFormer-Sim模型融合了检索和生成于一体的模型。在roformer-sim之前作者也提出了一种类似的模型BERTSIM，roformer-sim是对 SimBERT 相关技术进一步整合和优化，可以用来作为句向量的一个比较高的 baseline，也可以用来实现相似问句的自动生成，可以作为辅助数
【论文精读】RoFormer
weixin_44934783的博客
02-10 756
RoFormer
RoFormer：深度学习中的新一代预训练模型
gitblog_00024的博客
04-26 582
RoFormer：深度学习中的新一代预训练模型 roformerRotary Transformer项目地址:https://gitcode.com/gh_mirrors/ro/roformer RoFormer，全称为Robustly Optimized BERT Pretraining Approach，是由知乎技术团队开发的一种创新的预训练语言模型。该项目可以在上找到，它在BERT的基础上...
探索语言模型的未来：RoFormer——旋转式Transformer
gitblog_00056的博客
06-22 430
探索语言模型的未来：RoFormer——旋转式Transformer roformer Rotary Transformer 项目地址: https://gitcode.com/gh_mirrors/ro/roformer ...
[RoFormer]论文实现：ROFORMER: ENHANCED TRANSFORMER WITH ROTARY POSITION EMBEDDING
bigcrab的博客
12-04 1742
RoPE通过其特性优先于现有的位置编码方法，包括序列长度的灵活性、随着相对距离的增加而减少的标记间依赖性，以及用相对位置编码装备线性自注意的能力。在各种长文本分类基准数据集上的实验结果表明，具有RoPE嵌入的Transformer，即RoFormer，具有更好的性能；RoPE的关键思想是通过将上下文表示与一个旋转矩阵相乘来获取元素的相对位置；
[论文笔记]ROFORMER: ENHANCED TRANSFORMER WITH ROTARY POSITION EMBEDDING(下)
日积月累，天道酬勤
04-13 562
该论文提出了旋转位置编码，是后续很多大模型默认的编码方式。
深入解析Transformer模型及其Pytorch实现
本压缩包包含了一个关于transformer模型及其改进模型的项目，该项目基于流行的深度学习框架Pytorch实现。transformer模型是一种在自然语言处理（NLP）中广泛使用的神经网络架构，它最初在2017年被提出，由Ashish ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值