Transformer细节（九）——Transformer位置编码的改进

最新推荐文章于 2025-05-04 02:47:21 发布
最新推荐文章于 2025-05-04 02:47:21 发布
阅读量1.5k 收藏 10
点赞数 40
文章标签： 机器学习 python 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_47129891/article/details/139896787
版权

一、相对位置编码

        相对位置编码是针对绝对位置编码的一种改进，旨在捕捉序列中元素之间的相对位置信息。相对位置编码在处理长距离依赖关系和泛化到不同长度的序列时表现更好。

1、工作原理

        相对位置编码的核心思想是，位置关系是相对的而不是绝对的。相对位置编码将位置差异（相对位置）纳入注意力计算中。

        假设有一个序列长度为 \( N \)，位置 \( i \) 和位置 \( j \) 的相对位置编码可以表示为 \( r_{ij} \)，并用于调整注意力得分 \( e_{ij} \)。

2、实现方式

（1）相对位置嵌入

        使用一个相对位置嵌入矩阵 \( W_r \) 来表示位置差异。位置 \( i \) 和位置 \( j \) 的相对位置编码 \( r_{ij} \) 可以通过查询这个嵌入矩阵得到。

   \[
   r_{ij} = W_r[j - i + N - 1]
   \]

        其中 \( N \) 是序列的最大长度，确保索引 \( j - i + N - 1 \) 在有效范围内。

（2）相对位置编码与注意力计算

最低0.47元/天 解锁文章
SwinTransformer改进（4）：SK模块集成
2401_82355416的博客
04-25 602
这段代码实现了一个改进版的Swin Transformer模型，主要特点是在分类头前插入了一个Selective Kernel(SK)模块。SK模块能够自适应地调整不同特征通道的重要性，从而增强模型的表示能力。
5.11 Transformers的改进——自适应Attention
炫云云
04-05 1315
💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖 💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖 🥝🥝 1 自适应Attention 🥝🥝 2 Self-attention 🥝🥝 3 Adaptive attention span
Transformer的改进
Neways的博客
12-21 3343
Transformer的改进Transformer简介Efficient Transformer简介Fixed PatternsCombination of PatternsLearnable PatternsMemoryLow-RankKernelsRecurrence性能比较 Transformer简介 Transformer的核心是self-attention，通过计算输入序列中元素与其他所有元素的相关性来获取加权得分。但是这一步骤需要 O(n2)O(n^2)O(n2)的时间和空间复杂度，因为需要两个
Transformer模型的改进
mudongcd0419的博客
11-07 2549
Transformer中的各种改进
hellozhxy的博客
01-11 1928
LLM大行其道的时代，Transformer成为了当下最流行的模型结构，没有之一。为了达到加速或提效的目的，在vanilla Transformer的基础上，业界探索了针对不同组件的各种改进。
魔改Transformer！9种提速又提效的模型优化方案
python12345678_的博客
07-04 2510
Transformer目前已经成为人工智能领域的主流模型，应用非常广泛。然而Transformer中注意力机制计算代价较高，随着序列长度的增加，这个计算量还会持续上升。为了解决这个问题，业内出现了许多Transformer的魔改工作，以优化Transformer的运行效率。我这次就给大家。文章主要涉及4个方向：稀疏注意力机制、Transformer处理长文本、Transformer运行提效以及卷积Attention，原文及源码都已整理。
深度学习 Transformer机制
Fantastic
10-30 6475
Transformer
Transformer细节（九）——Transformer位置编码
weixin_47129891的博客
06-24 497
总之，位置编码在Transformer模型中起到了引入序列位置信息的关键作用，确保模型在处理序列数据时能够正确理解和利用位置信息。3. 可扩展性：由于位置编码是通过数学函数计算出来的，因此可以扩展到任意长度的序列，而不需要预定义所有可能的序列长度。这些函数确保了不同位置的编码是唯一的，同时不同位置之间的距离也通过这些编码被保留和反映出来。2. 平滑性：相近位置的编码在高维空间中也是相近的，这有助于模型捕捉局部信息。1.唯一性：每个位置的编码都是唯一的，不同位置的编码不会相同。\( i \) 是维度索引。
Transformer细节（九）——Transformer对比CNN/RNN引入位置编码的原因
weixin_47129891的博客
06-24 422
CNN通过卷积操作的局部感受野和权重共享机制捕捉到序列中的局部模式和顺序信息。RNN通过隐状态的时间步传递机制显式地保留和利用序列的顺序信息。Transformer由于使用全局的自注意力机制，需要通过位置编码显式地引入序列的位置信息。这些特性使得CNN和RNN在处理序列数据时天然地具备顺序感知能力，而Transformer则通过位置编码来达到类似的效果。
Transformer数学推导——Q50 分析位置编码在低资源语言中的迁移学习稳定性
最新发布
墨顿随笔
05-04 1100
在自然语言处理的广阔版图中，低资源语言如同隐匿于迷雾深处的神秘岛屿，尽管蕴含独特的语言文化宝藏，却因标注数据稀缺、研究资源有限，长期处于被忽视的边缘。这些语言包括世界上众多使用人数较少的少数民族语言、区域性方言等，当传统自然语言处理模型试图涉足这片领域时，就像驾驶一艘装备精良的巨轮驶入暗礁密布的浅滩，难以施展拳脚。而位置编码作为深度学习模型理解序列数据的 “导航仪”，在处理高资源语言时已展现强大威力。
Transformer数学推导——Q45 分析位置编码与词嵌入的耦合效应对模型容量的影响
墨顿随笔
05-03 1033
在 Transformer 的自注意力机制中，位置编码与词嵌入的耦合表现为二者信息的融合参与注意力分数计算。设查询向量、键向量由词嵌入与位置编码共同构成，即。注意力分数的计算公式为：将代入可得：展开分子：可见，词嵌入与位置编码的向量点积相互交织，共同影响注意力分数，此即为耦合的数学体现。位置编码与词嵌入的耦合效应是影响模型容量的关键因素。通过严谨的数学推导、真实的研究案例与可复现的代码实践，我们揭示了其正向增强与负向限制的双重作用。
Transformer 的结构改进与替代方案
hellozhxy的博客
03-09 3871
自从 Transformer 结构被提出以来，以 BERT 为代表的 Encoder 模型，以 GPT 为代表的 Decoder 模型，以 ViT 为代表的 CV 模型，都烜赫一时。时至今日，几乎所有的 LLM 也都是 Transformer 结构，尽管不时也会有新的结构被提出来，但 Transformer 的江湖地位仍然无可撼动。希望通过以上问题的思考和讨论，能够帮助我们更好地使用Transformer、理解Transformer、优化Transformer和改进Transformer。
Reformer RoPE,旋转位置编码，关于Transformer当中的位置编码的优化考察
AI生成式技术曾小健
06-09 1140
DeBerta矩阵的定义与T5相反，T5是去除了位置与token的交叉项，只保留相对位置产生的偏移矩阵，而DeBerta与之相反，它去除掉了相对位置产生的偏置矩阵，但是留下了两个位置与token之间的交叉项，并将之用相对位置矩阵的方式进行保留。如前所述，位置编码的核心就是给每一个位置添加一个具体的position embedding从而令attention层的输入可以识别出其具体的位置，但是由于句长的无限性所以限制了绝对位置编码的使用方法。，大概会去考虑这个问题的人就大幅减少了。
Transformer模型：未来的改进方向与潜在影响
qlkaicx的博客
06-17 1492
自从2017年Google的研究者们首次提出Transformer模型以来，它已经彻底改变了自然语言处理（NLP）领域的面貌。Transformer的核心优势在于其“自注意力（Self-Attention）”机制，该机制能够在处理序列数据时同时考虑序列中的所有元素，从而显著提高了模型处理长距离依赖的能力。尽管现有的Transformer模型已经非常强大，但科学家和工程师们仍然在不断探索如何进一步改进这一架构。本文将探讨可能的改进方向和这些改进可能带来的影响。
自动检索、修复Python代码bug，微软推出DeepDebug
zandaoguang的博客
08-12 399
视学算法报道机器之心编辑部还在为不断的 debug 代码烦恼吗？本地化 Bug 并修复程序是软件开发过程中的重要任务。在本篇论文中，来自微软 Cloud+AI 部门的研究者介绍了 Deep...
ICML 2024 | 北大、字节提出新型双层位置编码方案，有效改善长度外推效果
Paper weekly
05-25 669
在这项工作中，我们利用语言序列的内在分段特性，设计了一种新的位置编码方法来达到更好的长度外推效果，称为双层位置编码（BiPE）。对于每个位置，我们的 BiPE 融合了段内编码和段间编码。段内编码通过绝对位置编码标识段内位置，并帮助模型捕捉其中的语义信息。段间编码指定段索引，通过相对位置编码建模段间关系，旨在提高外推能力。理论分析表明，这种位置信息的解耦使学习更加有效。实证结果也表明，我们的 BiP...
【计算机视觉 | Transformer】魔改Transformer！9种提速又提效的模型优化方案分享！
wzk4869的博客
11-30 5119
【计算机视觉 | Transformer】魔改Transformer！9种提速又提效的模型优化方案分享！
对处理点云的Transformer的位置编码改进方法：法向量编码、局部坐标系编码、球面坐标编码、高斯权重编码、多尺度几何编码
weixin_47129891的博客
06-28 1261
假设有 \( S \) 个尺度，每个尺度对应的邻域大小为 \( r_s \)，则在第 \( s \) 个尺度上，点 \( p_i \) 的邻域为 \( \mathcal{N}_s(p_i) \)，在该邻域上计算几何特征 \( g_s(p_i) \)。局部坐标系编码通过定义每个点的局部坐标系，并在该坐标系下表示邻域内的点，以捕捉局部几何关系。（2）计算协方差矩阵的特征值和特征向量，最小特征值对应的特征向量即为法向量 \( n_i \)。其中，\(\bar{p_i}\) 是邻域点的均值。
Transformer及其改进型总结
Steve Wang's blog
09-09 4408
Transformer是Google提出的用来解决LSTM建模长期依赖乏力的问题全新架构模型，同时其网络架构的设计全部考虑如何并行化，包括self-attenion机制、multi-head self-attention机制、FFW全部都是可以并行计算的，Add&Norm中Add类似预ResNet的shortcut，是为了解决深层模型梯度消失的问题，LayerNorm可以加速计算，这全部都是在为后面的大规模预训练模型做准备。Transformer的提出在NLP中具有里程碑式的意义，现在取得成功的B.
transformer中相对位置编码改进
03-14
### Transformer 中相对位置编码的改进方法 #### 背景介绍 Transformer 模型最初采用的是绝对位置编码 (Absolute Positional Encoding)，即通过固定的位置索引来表示输入序列中的每个词。然而，在处理长序列时，绝对位置编码可能无法充分捕捉远距离上下文关系。因此，研究者提出了多种 **相对位置编码** 方法来解决这一问题。 #### 相对位置编码的基本概念 相对位置编码的核心思想在于利用序列中元素间的相对偏移量而非固定的绝对位置来进行建模[^1]。这种方法能够更好地捕获长程依赖关系，并减少因序列长度增加而导致的信息丢失风险。 #### 改进方法概述 以下是几种常见的相对位置编码改进方法及其对应的实现方式： --- #### 1. **基于注意力机制的相对位置编码** 该方法通过对自注意力机制进行扩展，将相对位置信息融入到注意力权重计算过程中。具体而言，对于任意两个 token \(i\) 和 \(j\)，定义其相对位置为 \(\text{rel}_{ij} = j - i\)。然后将其映射至一个可学习的嵌入矩阵中。 ##### 实现细节 假设我们有一个大小为 \(d_{\text{model}}\) 的隐藏层维度，则可以构建如下形式的相对位置编码： \[ E_{\text{rel}}(k) = f(k), \quad k \in [-K, K], \] 其中 \(f(k)\) 表示某种函数（如正弦/余弦波形），\(K\) 是最大允许的距离范围。 在实际应用中，可以通过以下代码片段展示如何生成这些相对位置向量： ```python import torch import math def generate_relative_positions(max_len=512, d_model=512): positions = torch.arange(-max_len, max_len).float() / max_len * d_model embeddings = [] for pos in positions: embedding = [math.sin(pos / (10000**(2*i/d_model))) if i % 2 == 0 else \ math.cos(pos / (10000**(2*(i-1)/d_model))) for i in range(d_model)] embeddings.append(embedding) return torch.tensor(embeddings) relative_pos_embeddings = generate_relative_positions() print(relative_pos_embeddings.shape) # 输出形状应为 (2*max_len+1, d_model) ``` 此部分涉及的内容主要来源于早期关于 Transformer-XL 的工作。 --- #### 2. **旋转位置编码 (Rotary Position Embedding)** 另一种有效的改进方案称为“旋转位置编码”，它通过周期性的三角函数变换实现了动态调整的能力[^2]。相比于静态的绝对或相对位置编码，这种方式具有更强的表现力以及更少的记忆负担。 ##### 数学描述 给定一对 query (\(q_i\)) 及 key (\(k_j\)) 向量，我们可以分别对其进行分解并施加特定角度的旋转变换操作： \[ q'_i[k] = \begin{cases} q_i[k]\cos{\theta_k}, & \text{(even)} \\ -q_i[k]\sin{\theta_k}, & \text{(odd)} \end{cases}, \] 同理适用于 keys 的转换过程。这里 \(\theta_k=\frac{1}{T^{2k/d}}\) 定义了一个随频率变化的角度参数表。 上述逻辑可以用 PyTorch 编写成如下模块化结构： ```python class RotaryPositionEmbedding(torch.nn.Module): def __init__(self, dim, base=10000): super().__init__() self.dim = dim inv_freq = 1. / (base ** (torch.arange(0, dim, 2).float() / dim)) self.register_buffer('inv_freq', inv_freq) @staticmethod def rotate_half(x): x1, x2 = x[..., :x.shape[-1]//2], x[..., x.shape[-1]//2:] return torch.cat((-x2, x1), dim=-1) def forward(self, seq_len): t = torch.arange(seq_len, device=self.inv_freq.device).type_as(self.inv_freq) freqs = torch.einsum("i,j->ij", t, self.inv_freq) emb = torch.cat((freqs, freqs), dim=-1) # shape: [seq_len, dim] cos_emb, sin_emb = emb.cos(), emb.sin() return cos_emb[:, None, :], sin_emb[:, None, :] # Add batch dimension rot_pe = RotaryPositionEmbedding(dim=64) cosines, sines = rot_pe(seq_len=8) print(cosines.shape, sines.shape) # 应输出 [(8, 1, 64)] twice. ``` 这部分技术通常被用于视觉领域内的 ViTs 或 NLP 领域的大规模预训练模型当中。 --- #### 3. **乘积法 (Product Method)** 针对传统交叉法存在的不足之处——比如容易混淆不同方向上的相似间隔情况等问题，有学者提出了一种名为 “乘积法” 的新型策略[^4]。它的核心优势体现在两方面：一是显著降低了存储需求；二是增强了区分度较高的多维特征表达能力。 简单来说，就是把原本独立的一维坐标替换成了由多个因子共同决定的新体系。例如在一个二维平面上，假设有水平轴 L 和垂直轴 V ，那么对应某个点 P(i,j) 就能写作： \[ e_P[i][j]=e_L[i]*e_V[j]. \] 下面是一个简化版的例子演示如何创建这样的表格数据集： ```python def product_method_encoding(height=16, width=16, embed_dim=32): assert embed_dim % 2 == 0, 'Embedding size must be even.' half_d = embed_dim // 2 row_embs = torch.zeros([height, half_d]) col_embs = torch.zeros([width, half_d]) for h in range(height): row_embs[h] = [ math.sin(h/(10000**(r/half_d))) if r%2==0 else math.cos(h/(10000**((r-1)/half_d))) for r in range(half_d)] for w in range(width): col_embs[w] = [ math.sin(w/(10000**(c/half_d))) if c%2==0 else math.cos(w/(10000**((c-1)/half_d))) for c in range(half_d)] combined = torch.matmul(row_embs.unsqueeze(2), col_embs.T.unsqueeze(0)).view(height*width,-1) return combined encoded_matrix = product_method_encoding() print(encoded_matrix.size()) # Expected output: torch.Size([256, 32]) when height=width=16 and embed_dim=32 ``` 以上算法特别适合应用于图像分类或者目标检测任务之中。 --- ### 总结 综上所述，目前主流的三种相对位置编码改进方法分别为基于注意力机制的方法、旋转位置编码以及乘积法。每种都有各自的特点和适用场景，开发者可以根据具体的项目需求灵活选用合适的解决方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值