Transformer-based模型中的位置信息编码

最新推荐文章于 2025-10-09 15:48:13 发布
原创 最新推荐文章于 2025-10-09 15:48:13 发布 · 2.9k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #深度学习 #自然语言处理

本文探讨了位置编码在Transformer模型中的关键作用，包括绝对位置编码和相对位置编码的不同变体，如NEZHA和BERT使用的编码方式。通过对比实验，文章揭示了位置编码在注意力矩阵中融合的优势，以及相对位置编码为何能提升模型性能。

        华为推出的预训练模型nezha的其中一项创新点为使用了相对位置的函数式编码。于是本文对于Transformer相关的模型中对于字词的位置编码方式进行简单的总结。本文参考了浅谈 Transformer-based 模型中的位置表示 - 知乎。

        1.原生的transformer中使用的是绝对位置的函数式位置编码，使用的是正余弦函数。由于transformer中为self-attention，这种正余弦函数由于点乘操作，其实会有隐式的相对位置信息存在，但是没有方向性，且通过权重矩阵的映射之后，这种信息可能会消失。

        2.bert中使用的是绝对位置的参数式编码，且和相应位置上的词向量进行相加而不是拼接。

        3.RPR，相对位置表示。将相对位置信息融入attention的计算中。

        4.transformer-XL  XLNet， 正余弦函数矩阵和一个偏置项(参数)来表示相对位置。

        5.nezha，使用相对位置函数编码。

==================================================

最近(2021-04-21)google又出了一篇关于位置编码对transformer效果的影响：

最低0.47元/天 解锁文章
【Transformer-based】A transformer-based adversarial network framework for steganography
人生不是轨道，是旷野。希望每天都有好心情。
05-18 458
隐写术是一种将信息隐藏在载体数据中进行秘密传输的隐蔽通信方法。通信涉及各种多媒体文件和复杂数据的传输。广泛的数据交换提供了隐写术是一种隐藏信息的艺术，其中不可感知性是至关重要的。用于隐藏秘密信息的对象被称为载体介质，而包含隐藏信息的对象被称为隐写介质。为了提高隐写图像的不可感知性，我们使用注意力机制代替CNN从载体图像中提取特征，使模型能够更好地学习图像的纹理结构，并通过特定的训练策略，使嵌入的数据对潜在的噪声攻击具有鲁棒性，确保信息的正确提取。
【图像去噪】论文精读：Rethinking Transformer-Based Blind-Spot Network for Self-Supervised Image Denoising
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
01-06 1373
论文题目：Rethinking Transformer-Based Blind-Spot Network for Self-Supervised Image Denoising —— 重新思考基于变压器的盲点网络用于自监督图像去噪AAAI 2025！盲点网络(BSN)一直是自监督图像去噪(SSID)中流行的神经体系结构。然而，大多数现有的 BSN 都是用卷积层进行的。尽管变压器已经显示出克服卷积在许多图像恢复任务中的局限性的潜力，但注意机制可能会违反盲点要求，从而限制了它们在BSN中的适用性。
Transformer结构中获得相对位置信息的探究
乌云压顶是吧
12-30 1790
传送一下 知乎 “原来你还关注了这个专栏” “这个博主还能敲键盘呀” 没错，时隔半年，终于终于要更新了 ???? （主要是我太咸鱼了 这次主要讨论一下如何增强 Transformer 结构对获取相对位置信息的能力(即 Relative Position Embedding in Transformer Architecture)。 Background 事实上，Transformer 是一种建立在 ...
Transformer的位置编码笔记（positional encoding）
m0_59113542的博客
02-28 5285
介绍了transformer的位置编码为什么是正余弦函数，以及正余弦函数里面的数值是怎么来的
Transformer的注意力机制中的位置编码positional embedding的思考
最新发布
m0_51099517的博客
10-09 884
Transformer 通过它就能“感知”到不同特征之间的位置差异。Transformer 在学习时就能“感知到”特征顺序/空间位置了。就像给每个位置分配了一种“声纹”或“指纹”，模型自然能区分出来。——因为注意力机制是“无序”的（不像卷积或RNN那样有顺序）。Transformer 自身只知道这两个“点的特征”，假设每个特征向量的维度是 d=4d = 4d=4，“这个特征在第1个位置，那个在第2个位置”，即使某一维的数值“碰巧”加出了相同结果，这样每个维度对应一个不同的“频率”。
Transformer细节（九）——Transformer位置编码
weixin_47129891的博客
06-24 553
总之，位置编码在Transformer模型中起到了引入序列位置信息的关键作用，确保模型在处理序列数据时能够正确理解和利用位置信息。3. 可扩展性：由于位置编码是通过数学函数计算出来的，因此可以扩展到任意长度的序列，而不需要预定义所有可能的序列长度。这些函数确保了不同位置的编码是唯一的，同时不同位置之间的距离也通过这些编码被保留和反映出来。2. 平滑性：相近位置的编码在高维空间中也是相近的，这有助于模型捕捉局部信息。1.唯一性：每个位置的编码都是唯一的，不同位置的编码不会相同。\( i \) 是维度索引。
『Transformer/BERT』Transformer和BERT的位置编码
Hoshino Ren的博客
04-08 7169
Transformer和BERT的位置编码为什么要对位置进行编码？Position Embedding in TransformerPosition Embedding in BERT两者之间的区别如何延拓BERT的位置编码？参考 为什么要对位置进行编码？ Attention提取特征的时候，可以获取全局每个词对之间的关系，但是并没有显式保留时序信息，或者说位置信息。就算打乱序列中token的顺序，最后所得到的Attention结果也不会变，这会丢失语言中的时序信息，因此需要额外对位置进行编码以引入时序信息
transformer中的positional encoding(位置编码)
qq_32172681的博客
05-19 1382
https://blog.youkuaiyun.com/Flying_sfeng/article/details/100996524
Transformer-based模型的综述：AMMUS : A Survey of Transformer-based Pretrained Models in NLP
tagagi的博客
11-01 4533
论文地址： https://arxiv.org/abs/2108.05542 1 导言 预训练的来源 最开始是基于规则的学习，后来被机器学习取代 早期机器学习需要特征工程，需要专业领域的知识，耗时 由于硬件和词嵌入的发展，类似于CNN、RNN的深度学习模型出现 问题：除词嵌入外需要从头开始训练模型、需要标记大量实例、成本很高 进而我们期望少量标记实例，尽可能少的训练步数 基于迁移学习（允许重用在源任务中学到的知识，以便在目标任务中很好地执行）的启发： 使用大规模标...
TransReID: Transformer-based Object Re-Identification阅读和代码实现
hexs666的博客
03-24 1219
具体而言，我们首先将图像编码为一系列图像块，并通过一些关键改进构建了一个基于Transformer的强基线模型，该模型在多个ReID基准测试中与基于CNN的方法相比取得了有竞争力的结果。最终的TransReID框架在多个流行的行人/车辆ReID数据集上大幅超越了所有其他最先进的方法，展现了Transformer在ReID任务中的巨大潜力。：通过可学习的嵌入对边信息进行编码，如相机或视角信息，有效减轻了特征偏差，增强了模型对不同视角下同一物体的识别能力。图1-1 网络结构图。
位置编码Positional Encoding
fb_941219的博客
03-23 7915
摘抄自这里。在以前的模型中，NLP的每个Sequence都是一个token一个token的输入到模型当中。比如有一句话是“我喜欢吃洋葱”，那么输入模型的顺序就是“我”，“喜”，“欢“，”吃“，”洋“，”葱”，一个字一个字的。上面的输入方式其实就引入了一个问题。一个模型每次只吃了一个字，那么模型只能学习到前后两个字的信息，无法知道整句话讲了什么。为了解决这个问题，Transformer模型引用了Self-attention来解决这个问题。
位置编码综述（一）：概览
qq_35700335的博客
05-15 3264
本推文基于发表于IJGIS的《A Review of Location Encoding for GeoAI: Methods and Applications》并加以个人理解进行编写 论文地址：https://doi.org/10.1080/13658816.2021.2004602 摘要 许多地球科学中人工智能模型的一个普遍需求是编码各种类型的空间数据到一个隐藏的表征空间中以便可以轻松地将它们整合到深度学习模型中，例如点（例如，兴趣点），多边形（例如轨迹），多边形（例如，行政区域），图（例如，传输网络）
Transformer中的位置编码：绝对位置编码、相对位置编码与旋转位置编码
python123456_的博客
08-20 1万+
位置编码是Transformer模型中至关重要的一部分，不同的编码方式适用于不同的任务和数据类型。本文详细介绍了绝对位置编码、相对位置编码和旋转位置编码的原理、实现及应用，通过具体的案例分析展示了它们在实际任务中的表现。随着NLP领域的不断发展，新的位置编码方法可能会不断涌现，进一步提升Transformer模型在复杂任务中的表现。了解并掌握这些位置编码方法，将有助于研究人员和工程师更好地应用Transformer模型，处理各种序列数据，提升模型的性能和应用效果。
一文搞懂Transformer的位置编码
热门推荐
xian0710830114的专栏
10-08 2万+
本文介绍Transformer的位置编码，有图有表有推导，看不懂你打我！！！在Transformer出现以前，NLP任务大多是以RNN、LSTM为代表的循环处理方式，即一个token一个token的输入到模型当中。这种设计存在天生的缺陷。为了解决这些缺陷，Transformer把token的顺序信号加到词向量上帮助模型学习这些信息，这就位置编码（Positional Encoding）。接下来的内容不会涉及Self-Attention等牛逼的创新设计，只讨论位置编码，希望对大家有所帮助。
Transformer 位置编码
小嗷犬的博客
01-16 5146
词的位置和顺序是任何语言的重要组成部分。它们决定着语法，因此也决定了句子的实际语义。卷积神经网络（CNN）使用卷积核来捕获单词之间的相对位置信息，但其仅能捕获固定大小的局部上下文信息。循环神经网络（RNN）在处理序列信息上会有更好的效果，其依靠循环结构，将序列信息逐步传递，这其中就引入了单词的位置和顺序信息。但随着序列长度的增加，RNN 会慢慢忘记早前的信息，这就导致了长期依赖问题。除此之外，循环结构也使得 RNN 无法并行计算，这使得 RNN 的训练速度十分缓慢。放弃了循环结构，而采用了自注意力机制。
transformer--输入（位置编码）
进击的菜鸟
02-27 848
【代码】transformer--输入（位置编码）
Transformerbased预训练语言模型：自然语言处理的未来
AI天才研究院
07-26 1355
作者：禅与计算机程序设计艺术 1.简介 近几年来，深度学习技术飞速发展、Transformer模型架构在自然语言处理领域的应用越来越广泛，极大地提升了自然语言理解的准确率和效率。为了充分利用这些模型的优势，研究者们纷纷尝试将其运用于预训练语言模型的训练中。 以基于Transformer的预
Transformer-based 模型可以用python实现吗
03-10
#### 2.1 位置编码（引用[1]中的位置信息编码） ```python import torch import math class PositionalEncoding(torch.nn.Module): def __init__(self, d_model, max_len=5000): super().__init__() pe = torch....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值