深入理解Transformer位置编码：正余弦函数编码

最新推荐文章于 2025-12-19 18:43:33 发布
原创 最新推荐文章于 2025-12-19 18:43:33 发布 · 799 阅读 · 27 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #深度学习 #人工智能

文章目录

Transformer模型自2017年提出以来，彻底改变了自然语言处理领域。与传统的RNN和LSTM不同，Transformer完全基于注意力机制，能够并行处理整个序列。然而，这也带来了一个关键问题：如何让模型理解序列中元素的位置信息？

在RNN中，位置信息是天然存在的——每个时间步的处理都依赖于前一个时间步。但在Transformer中，所有位置是并行处理的，因此需要显式地注入位置信息。这就是位置编码（Positional Encoding）的作用。

为什么需要位置编码？

核心问题：Transformer的自注意力机制是置换不变的（permutation-invariant），即输入序列的顺序改变不会影响输出。这意味着模型无法区分"我喜欢你"和"你喜欢我"这两个句子。

位置编码通过为每个位置添加唯一的位置信息，使得模型能够理解：

  • 序列中每个元素的位置
  • 元素之间的相对距离
  • 序列的顺序关系

绝对位置编码

  • 提到位置编码，第一个可能想到的方法是为每个时间步添加一个[0-1]范围内的数字，其中0表示第一个单词，1表示最后一个单词。但这样会存在一个问题：无法计算出特定范围内有多少个单词。换句话说，时间步长在不同句子中的含义不一致。如下图：
    在这里插入图片描述

  • 另一个可能的想法是为每个时间步按一定步长线性分配一个数字。也就是说，第一个单词是“1”，第二个单词是“2”第三个单词是“3”，依此类推。这种方法的问题在于，随着句子变长，这些值可能会变得特别大，并且我们的模型在实际应用中可能会遇到比训练时更长的句子，此外，我们的模型可能会忽略某些长度的样本（比如Bert模型支持最长序列长度为512），这会损害模型的泛化。

以上两种方法，其实就是所谓的绝对位置编码。但是其实理想情况下，位置编码需要满足以下几个要求：

  • 必须是确定性的；
  • 每个时间步都有唯一的编码；
  • 在不同长度的句子中，两个时间步之间的距离应该一致；
  • 模型不受句子长短的影响，并且编码范围是有界的。（不会随着句子加长数字就无限增大）。

Transformer的位置编码原理

在这里插入图片描述

在这里插入图片描述

1. 正余弦函数为什么能用来表示位置信息呢？

以下内容来自：https://zhuanlan.zhihu.com/p/1900502346804466158

此时，你可能好奇：正余弦组合怎么能代表一个位置信息呢？其实很简单，假设你想用二进制格式表示一个数字。可以看到不同位置上的数字交替变化。

  • 最后一位数字每次都会0、1交替；
  • 倒数第二位置上00，11相互交替一次；
  • 倒数第三个位置上0000，1111相互交替；
  • 以此类推。

在这里插入图片描述

但对于浮点数来说，使用二进制值是对空间的浪费，所以可以用正弦函数代替。事实上，正弦余弦函数也能表示出二进制那样的交替。此外随着正弦函数频率的降低，也可以达到上图红色位到橙色位交替频率的变化。

下图使用正弦函数编码，句子长度为50（纵坐标），编码向量维数128（横坐标），可以看到交替频率从左到右逐渐减慢。
在这里插入图片描述

2. 工作原理

（1）与词嵌入的结合

位置编码通过元素相加的方式与词嵌入结合：

在这里插入图片描述

这种相加操作允许模型同时学习词汇语义和位置信息，两者在同一个向量空间中表示。

（2）相对位置的线性关系

在这里插入图片描述

3. 特点分析

一个理想的位置编码方案应该满足四个关键要求。让我们逐一分析Transformer的正弦位置编码在这些方面的表现：

（1）每个时间步都有唯一的编码

分析：正弦位置编码通过位置索引pos直接计算编码值。由于每个位置pos都是唯一的整数（0, 1, 2, …），而编码函数是确定性的，因此每个位置都会得到唯一的编码向量。

在这里插入图片描述

在实现中，我们可以通过计算不同位置编码向量的余弦相似度来验证。实验表明，不同位置的编码向量相似度通常很低（接近0），证明了编码的唯一性。

（2）在不同长度的句子中，两个时间步之间的距离应该一致

分析：这是正弦位置编码的一个核心优势。编码值只依赖于位置索引pos，而不依赖于序列的总长度。因此，无论序列长度如何，位置i和位置j之间的编码差异只取决于它们的相对距离|i-j|。

在这里插入图片描述

实际意义：这意味着模型在不同长度的序列中学习到的相对位置关系是一致的。例如，模型在短序列中学到的"相邻词"的概念，可以直接应用到长序列中。

在这里插入图片描述

（3）模型不受句子长短的影响，并且编码范围是有界的

分析：正弦位置编码完美满足这个要求。由于使用了三角函数sin和cos，编码值被严格限制在[-1,1]范围内，无论序列长度如何。

在这里插入图片描述

优势：

数值稳定性：有界的编码值避免了梯度爆炸或数值溢出问题
外推能力：模型可以处理比训练时更长的序列，因为编码值始终在合理范围内
归一化友好：编码值在[-1,1]范围内，与词嵌入相加后不会导致数值过大

在这里插入图片描述

位置编码是Transformer架构中的关键组件，它解决了自注意力机制无法感知序列顺序的问题。正弦位置编码通过巧妙的数学设计，不仅提供了位置信息，还使得模型能够学习相对位置关系。虽然现在有各种变体，但理解原始的正弦位置编码仍然是掌握Transformer的重要基础。

【深度学习】如何理解 Transformer 位置编码：每个位置的编码真的都是唯一的吗？还是周期性的？
q742971636的博客
08-22 1247
位置编码在 Transformer 模型中的作用至关重要，它通过一组不同频率的正弦和余弦函数为每个位置生成唯一的表示。虽然这些函数是周期性的，但不同维度的组合确保了位置编码在实际应用中的唯一性。在处理自然语言序列时，Transformer 的位置编码机制已经被证明是有效且稳健的。即使你知道理论上可能存在编码重复的情况，也无需担心，因为在实际应用中，这种情况几乎不可能发生。Transformer 的设计使得我们可以在保留位置信息的同时，充分利用自注意力机制进行并行处理，从而带来更强大的自然语言理解能力。
LLM - 理解 Transformer 的位置编码 sin & cos 的作用与原理
AGI
07-25 706
Transformer 模型中的位置编码是关键技术，通过为每个词嵌入向量添加位置信息来保留序列的顺序性，增强模型对长距离依赖关系的捕捉能力，使得模型能够理解单词在句子中的位置，从而更好地处理语言的语法和语义结构，提高模型的表达能力和泛化能力，同时减少训练时间并增强模型的自适应性。位置编码通常通过正弦和余弦函数的组合实现，为每个位置生成唯一的编码，使得模型能够在并行处理序列数据的同时保留顺序信息。
深入理解Transformer中采用正余弦函数进行位置编码的意义
缘友一世的博客
10-18 790
深入理解Transformer中采用正余弦函数进行位置编码的意义
深入理解Transformer位置编码：从理论到MLX框架实践指南
gitblog_00664的博客
11-26 337
在当今人工智能领域，Transformer模型已成为自然语言处理、计算机视觉等任务的核心架构。然而，要让Transformer真正理解序列数据，位置编码技术起着至关重要的作用。本文将带你深入探索mlx-examples项目中Transformer位置编码的实现奥秘。 ## 什么是位置编码？为什么它如此重要？ 位置编码是Transformer架构中的关键创新之一 🤔。与RNN和LSTM不同，T
Transformer的位置编码笔记（positional encoding）
m0_59113542的博客
02-28 5286
介绍了transformer的位置编码为什么是正余弦函数，以及正余弦函数里面的数值是怎么来的
Transformer正余弦位置编码理解
pengxiang1998的博客
04-01 5196
在学习Transformer模型过程中不可避免的一个过程便是要对序列进行位置编码，在Transformer中分为固定位置编码与可学习的位置编码，其一般采用固定位置编码中的正余弦位置编码方式。今天便以DETR模型为例，介绍正余弦编码的原理与实现过程。
【Transformer系列】深入浅出理解Positional Encoding位置编码
IT菜鸟
09-14 4万+
【Transformer系列】深入浅出理解Positional Encoding位置编码
一文通透位置编码：从标准位置编码、复数、欧拉公式到旋转位置编码RoPE(含其推导与代码实现)
热门推荐
结构之法 算法之道
10-27 7万+
关于位置编码和RoPE为彻底解决这个位置编码/RoPE的问题，我把另外两篇文章中关于这部分的内容抽取出来，并不断深入、扩展、深入，最终成为本文。
transformer_正余弦位置编码代码笔记
qq_29787929的博客
01-31 875
transformer输入的序列中，不同位置的相同词汇可能会表达不同的含义，通过考虑位置信息的不同来区分序列中不同位置的相同词汇。
正弦和余弦位置编码 - Transformer教程
shandianfk_com的博客
08-13 1293
本文详细介绍了正弦和余弦位置编码在Transformer模型中的应用，解释了其工作原理及优势，并提供了实现代码示例。位置编码通过为输入序列中的每个词添加位置信息，使Transformer模型能够有效识别词语间的顺序关系，从而提升自然语言处理任务的表现。
【大模型位置编码】2万5千字详解：Transformer 位置编码的演进历程：从正余弦到可学习，到相对位置，旋转位置RoPE，线性偏置ALiBi 与多模态到deepseek R1的位置编码
weixin_41645791的博客
05-22 2302
Transformer 模型需要注入位置信息来理解序列顺序。从原始 Transformer 采用的正弦绝对位置编码，到 BERT/GPT 等使用的可学习绝对位置嵌入，再到 Transformer-XL、T5 引入的相对位置编码，以及近年流行的旋转位置编码 RoPE 和线性偏置位置编码 ALiBi，位置编码技术不断演进。此外，在视觉和多模态模型中还发展出 2D/3D 位置编码方案。 本文将全面介绍这些位置编码方法产生的背景、数学原理、优缺点，并列举采用它们的中英文主流大模型（如 LLaMA、BLOOM、De
基于深度学习的肾结石检测系统演示与介绍(YOLOv12/v11/v8/v5模型+Pyqt5界面+训练代码+数据集)
ningfoshao8678的博客
12-16 928
本文介绍了基于YOLO目标检测算法开发的肾结石检测系统。该系统支持图片、视频、文件夹批量及摄像头实时检测，包含用户登录、多模型切换等功能。技术栈采用Python3.10、PyQt5和SQLite，对比了YOLOv5/v8/v11/v12四种模型性能，其中YOLO12n精度最高(mAP40.6%)，YOLO11n速度最快(56.1ms)。系统在17000张肾脏影像数据集上训练，mAP@0.5达90%，F1值0.86，能有效识别肾结石位置并显示置信度。
基于YOLO11-seg的白蚁种类智能识别与分类系统——利用深度学习技术实现白蚁图像分割与多类别精准识别
Dekesas9695的博客
12-15 616
本研究基于YOLO11-seg算法开发了一种高效、准确的白蚁种类智能识别与分类系统，实现了对白蚁图像的精确分割与多类别精准识别。通过构建高质量的数据集、优化模型架构和训练策略，我们的系统在多种白蚁种类和复杂环境条件下都表现出优异的性能。在技术层面，本研究的主要贡献包括：构建了包含多种白蚁种类的高质量数据集，为白蚁识别研究提供了宝贵的资源。成功将YOLO11-seg算法应用于白蚁识别任务，实现了同时进行目标检测和实例分割，提高了识别精度。
深度学习2:理解感知机
最新发布
paopao_wu的专栏
12-19 501
感知机是神经网络的基础算法，由Frank Rosenblatt于1957年提出。它接收多个输入信号，通过加权求和并与阈值比较来输出信号。通过调整权重和阈值，感知机可以实现与门、与非门和或门等逻辑电路。引入偏置参数b后，感知机的表达式更简洁。单层感知机只能解决线性可分问题，而多层感知机通过组合多个感知机可以处理更复杂的非线性问题，如加法器和编码器等。虽然早期需要人工设定权重，但现代神经网络能够自动从数据中学习合适的参数。
程序代做python代编程matlab代码设计plc深度学习java编写C++代写
matlabgoodboy的博客
12-19 461
通过上述方案，可系统化解决多语言代码定制、深度学习集成、工业控制优化等复杂需求，实现从技术方案到业务价值的精准转化。
AI深度学习如何重塑机器视觉系统的大脑？
weixin_51554164的博客
12-15 945
传统的机器视觉系统，它们依赖工程师精心设计的规则，比如寻找清晰的边缘、标准的圆形或特定对比度的斑点，在稳定、可控的环境下，它们堪称精准高效的典范。与传统的视觉算法不同，它不是由人类工程师直接告诉机器边缘在哪里或什么是划痕，而是给机器提供海量的图片，并告诉它哪些是合格品，哪些是有缺陷的，然后让机器自己去寻找其中的规律。这使它具备了处理不确定性的惊人能力，对于那些难以用明确数学公式描述的复杂视觉模式，比如自然变化的纹理、随机出现的缺陷，深度学习模型能够挖掘出其中深层次的、本质性的特征关联。
深度学习简介
weixin_57225400的博客
12-19 195
深度学习是机器学习的一个子领域，基于人工神经网络（尤其是深层结构）进行数据表征学习。其核心思想是通过多层非线性变换，从原始数据中自动提取高层次的特征，无需依赖人工设计的特征工程。
基于深度学习的穿戴识别系统设计与实现
XiaoMu_001的博客
12-19 243
本系统是一个基于深度学习（YOLOv8）与 Web 技术（Django + Vue3）相结合的智能安全检测平台。本项目旨在解决工业现场及特定场所的安全规范管理问题，**以帽子（安全帽/普通帽）与鞋子（安全鞋/普通鞋）的识别检测为例**，展示了如何利用计算机视觉技术实时监测人员的穿戴合规情况。
MATLAB中基于CNN实现图像超分辨率重建
fie8889的博客
12-18 358
在MATLAB中基于CNN实现图像超分辨率重建，主要有使用预训练模型和从零训练自定义网络两种路径。
transformer位置编码为什么使用正余弦函数
02-22
### Transformer 模型中位置编码使用正余弦函数的原因 在Transformer模型中，引入位置编码是为了给输入序列提供顺序信息。由于自注意力机制本身不具备处理序列顺序的能力，因此需要额外的位置信息来帮助模型理解词序的重要性。 #### 正余弦函数作为位置编码的优势 1. **唯一性** 利用不同频率的正弦和余弦波形可以确保任意两个不同的位置都对应着不完全相同的位置向量[^1]。这意味着即使对于非常长的序列，也能通过调整频率参数获得独特的表示形式。 2. **平移不变性和缩放特性** 正余弦函数具有良好的数学性质——它们可以在一定范围内保持相对稳定的变化趋势，并且能够自然地支持长度变化较大的句子结构。具体来说，当我们将一段较短的文字扩展成更长版本时，原有的位置关系不会因为新增部分而发生剧烈变动；同样地，如果截取其中一部分内容，则剩余片段内部的关系依旧得以保留[^2]。 3. **易于计算与实现** 该方法基于简单的三角学原理构建而成，不仅容易理解和解释，而且便于编程人员快速上手并集成到现有框架之中。例如，在PyTorch库中有现成的方法可以直接生成所需矩阵[^4]： ```python import torch from math import pi def get_position_angle_vec(position, dim): return [position / pow(10000, 2 * (hid_j // 2) / dim) for hid_j in range(dim)] def generate_positional_encoding(max_len, d_model): positional_encoding = torch.zeros((max_len, d_model)) for pos in range(max_len): angle_rads = get_position_angle_vec(pos, d_model) # apply sin to even indices in the array; 2i positional_encoding[pos, 0::2] = torch.sin(torch.tensor(angle_rads[0::2])) # apply cos to odd indices in the array; 2i+1 positional_encoding[pos, 1::2] = torch.cos(torch.tensor(angle_rads[1::2])) return positional_encoding.unsqueeze(0) # Example usage: pe = generate_positional_encoding(50, 512) print(pe.shape) # Output should be torch.Size([1, 50, 512]) ``` 上述代码展示了如何创建一个形状为 `(batch_size=1, sequence_length=max_len, embedding_dim=d_model)` 的张量 `positional_encoding` ，用于后续与其他嵌入特征相结合。 4. **适应性强** 这种方案允许模型自动学习哪些频率分量更重要，从而更好地捕捉长期依赖模式而不受特定距离单位的影响。此外，它还能够在一定程度上缓解过拟合现象的发生概率，提高泛化能力[^3]。 综上所述，正是这些特点使得正余弦位置编码成为Transformer架构下不可或缺的一部分，极大地促进了此类网络性能表现及其广泛应用的可能性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

TracyCoder123

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值