RoPE 大模型用的位置编码技术

已于 2024-07-12 13:59:11 修改
阅读量198 收藏
点赞数 1
分类专栏： LLM 文章标签： 人工智能
于 2024-07-11 14:18:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bbbeoy/article/details/140350431
版权
大模型位置编码：RoPE的优化方案
kakaZhui的博客
04-09 28
在Transformer 架构中，位置编码（Positional Encoding, PE）是让模型理解 Token 顺序的关键技术。近年来，旋转位置编码（Rotary Positional Embedding, RoPE）因其出色的性能和对相对位置的优雅编码而成为主流选择，被 Llama 系列等众多模型采用。然而，随着对超长上下文（如 128k 甚至更长）的需求日益增长，标准 RoPE 在超出其预训练长度时表现出的外推性（Extrapolation）问题逐渐显现。
大模型面试之位置编码
强化学习曾小健
05-09 1489
答案层次化的位置编码方式整个序列划分为多个块(block)总的来说,LongROPE是一种针对超长序列的位置编码扩展方法,通过层次化的设计,结合了旋转位置编码和相对位置编码的优势,可以有效支持更长的序列长度。这种方法在大型语言模型中得到了应用,为处理超长文本输入提供了一种有效的解决方案。
RoPE（旋转式位置编码）
qq_41898761的博客
06-13 3430
对q,k进行操作（f（））使得他们带上位置m,n的绝对位置信息， 通过内积后，希望结果带上相对位置信息，因此假设存在下列恒等关系 假设f(q,0)=q 和f(k,0)=k 先求出在二维情景下的情况，在推广到高纬度借助复数来求解。在复数中有⟨q,k⟩=Re[qk∗]，Re[] 代表复数的实部，所以我们有 简单起见，我们假设存在复数g(q,k,m−n)，使得f(q,m)f∗(k,n)=g(q,k,m−n)，然后我们用复数的指数形式，设 那么代入方程后就得到方程组...
位置编码--RoPE
Sarah ~
01-02 311
RoPE通过引入旋转矩阵来对序列中的每个位置进行编码，从而使得模型能够有效捕捉序列中的位置信息，尤其适用于长序列的建模。在标准的Transformer模型中，位置编码（Positional Encoding，PE）通常通过固定的正弦和余弦函数生成，旨在为模型提供序列中各个元素的位置。这个方法的一个潜在问题是，它对于长序列的泛化能力较差，尤其是在处理长文本或其他复杂的序列数据时，传统的位置编码可能无法很好地捕捉到长距离的依赖关系。这是通过旋转机制实现的，其中序列中的每个位置都由嵌入空间中的旋转表示。
【AI大模型面试】一听到面试问RoPE旋转位置编码，就脑壳疼....
最新发布
datian1234的博客
01-12 656
ChatGLM 和 LLaMA 中使用的旋转位置编码（RoPE），原版论文中大段大段的公式推导实在是太绕了，看了脑壳疼。这篇文章我用能理解能记住的方式梳理一下。我个人觉得关于 RoPE 的核心问题有两个：首先，为什么 LLM 普遍采用这种编码方式而不是其他的其次，工程上的实现方式和论文公式是否严格一致。如果静下心来读一读，这两个问题都能解答。为了助力朋友们跳槽面试、升职加薪、职业困境，提高自己的技术，本文给大家整了一套涵盖AI大模型所有技术栈的快速学习方法和笔记。
RoPE旋转位置编码
weixin_40777649的博客
12-27 871
【代码】RoPE旋转位置编码。
LLM：Rope旋转位置编码个人理解和总结
qq_43814415的博客
07-16 561
绝对位置编码就是和词向量层一样大小的位置嵌入，著名的三角函数编码，bert虽然也是用的tranformers，但是其位置编码是可学习的，没有用三角函数编码。我们的目标是让输入有位置相关性，所以假定m和n位置上的token的语义向量是xm,xn，那么我们要证明的就是m和n是可以用一个函数变换的。然后q的某一个token地与k的每个token计算注意力分数，并且累加，得到q的该token与整个k的注意力分数，可以记作q。以上的位置信息是在词向量阶段添加的，但是rope是在注意力计算时添加的。
【大模型理论篇】RoPE旋转位置编码底层数学原理分析
源泉的小广场
08-30 5315
大模型、位置编码、Transformer、旋转位置编码、RoPE、Rotary Positional Encoding、数学原理、数学推导、旋转矩阵、相对位置、绝对位置、词元相似性、位置相关性
Llama为何要采用RoPE旋转位置编码？
m0_64752471的博客
09-29 952
最近在做 LLM 窗口外推的相关工作，因此刚好也回顾一下目前最流行的位置编码 RoPE。01RoPE（Rotary Position Embedding），是苏剑林大神在 2021 年就提出的一种 Transformer 模型的位置编码。RoPE 是一种可以以绝对位置编码形式实现的相对位置编码，兼顾了模型性能和效率。2023 年上半年的时候，大模型位置编码尚有 Alibi 和 RoPE 在相互比拼，而到了 2023 年下半年，及今 2024 年，新开源出来的模型，大部分都是使用 RoPE 了。
【笔记】大模型长度外推技术 NTK-Aware Scaled RoPE
m0_53162279的博客
10-28 1120
直接外推会将外推压力集中在“高位（m较大）”上，而位置内插则会将“低位（m较小）”的表示变得更加稠密，不利于区分相对距离。而NTK-aware Scaled RoPE其实就是进制转换，它将外推压力平摊到每一位上，并且保持相邻间隔不变，这些特性对明显更倾向于依赖相对位置的LLM来说是非常友好和关键的，所以它可以不微调也能实现一定的效果。就是通过进制转换的思想，实现高频外推，低频内插。（声明：文章主要目的是记录学习，内容大多为各路大神的总结）
RoPE旋转位置编码浅析
段智华的博客
12-04 1716
RoPE旋转位置编码浅析本文介绍了旋转位置编码RoPE在大模型中的广泛应用，包括Llama、Mistral 7B、Baichuan、ChatGLM、Qwen、…等。由于计算资源限制，大模型通常在较小的上下文长度中进行训练，导致在推理超出预训练长度时性能显著下降。为了解决这个问题，涌现了许多基于RoPE的长度外推工作，旨在让大模型在预训练长度之外取得更好的效果。RoPE将相对位置信息集成到自注意力中，具有较好的位置外推性，并可与Flash-Attention v2配合使用，提升模型训练速度约20%.
Rotary Position Embedding (RoPE, 旋转式位置编码) | 原理讲解+torch代码实现
热门推荐
weixin_43646592的博客
05-29 4万+
Rotary Position Embedding (RoPE, 旋转式位置编码) | 原理讲解+torch代码实现
RoPE 相对位置编码解读与外推性研究
温染的笔记
05-16 3718
RoPE（Rotary Position Embedding）位置编码是大模型中最常见的位置编码之一，是论文 Roformer: Enhanced Transformer With Rotary Position Embedding 提出的一种能够将相对位置信息依赖集成到 self-attention 中并提升 transformer 架构性能的位置编码方式。谷歌的 PaLM 和 Meta 的 LLaMA 等开源大模型都是 RoPE 位置编码。
LLM中的RoPE位置编码代码解析与RoPE的性质分析（一）
上帝是个娘们的博客
05-27 1565
RoPE相关博客都有复杂的数学推导，看起来有一定的难度，本博客没有复杂数学推导，尽量从图解的方式分析RoPE与其对于的性质。
大模型基础之位置编码RoPE
beingstrong的博客
08-03 1781
大模型基础之位置向量RoPE
超超超超超简单！从结果推导RoPE旋转位置编码
m0_49478110的博客
08-03 1749
我们知道，主流大语言模型使用的自注意力机制(self-attention)技术中，缺少位置的信息。而位置信息对于理解语言而言是相当重要的，比如你爱我和我爱你有同样的字却有截然不同的含义，其中的关键就在于字的位置不同。一种传统并且相当直观的方法是在计算self-attention之前给输入加上绝对位置编码，让输入能够带有位置信息，以便于模型理解。# __init__作用，定义一个词嵌入层，一个位置嵌入层，以及六个decoder layer。
图解RoPE旋转位置编码及其特性
zenRRan的博客
11-23 1282
来自：YeungNLP直播 | LLMs时代下，前沿领域的最新研究01前言旋转位置编码RoPE (Rotary Position Embedding) 是目前大模型中广泛使用的一种位置编码，包括但不限于Llama、Baichuan、ChatGLM、Qwen等。由于计算资源限制，目前的大模型大多在较小的上下文长度中进行训练，在推理中，若超出预训练的长度，模型的性能将会显著降低。于是涌现出了许多基于R...
RoPE 旋转位置编码，详细解释（下）NLP 面试的女生彻底说明白了
AI生成式技术曾小健
07-08 988
这时候认知就要提高了，就好像古代人的活动范围很小，那自然认为地球是平的。知道后来可以航海，发现为什么船接近的时候为什么总是先看到船帆然后才看到船的身子，这个时候就开始思考了，地球有没有可能是圆的。，实在是有些脑壳疼。下面简单回顾一下上文的重点，后面复数域的解释会用到一些结论，详细的可以点击上面的文章观看。所以有时候看上去有些困惑，看完本文和下图的解释应该就明白了。只不过复数域中的内积不再是简单的相乘，而是要取共轭。然后 RoPE 的论文里公式的表示似乎没那么严谨，注意左边二维向量的实数域的表示，右边则是。
旋转式位置编码Rotary Position Embedding（RoPE）
taoqick的专栏
06-04 1749
这篇堪称苏剑林老师的代表作了，简单来说RoPE就是乘上复数形式即可。以下转载自https://kexue.fm/archives/8265。其中Re[]表示实数部分，
Rope相比于绝对位置编码
12-27
### Rope与绝对位置编码的区别 #### 绝对位置编码的特点 绝对位置编码的优势在于其实现简单并具备良好的可解释性。该方法能为序列中的每一个位置提供独一无二的编码，有助于模型理解输入数据的时间或空间顺序信息[^1]。 然而，在面对长度不固定的序列或是当需要建模非常远的距离之间的依赖关系时，绝对位置编码的效果可能会打折扣。这是因为固定模式下的位置表示难以适应变化多端的实际场景需求，对于超出训练期间遇到的最大序列长度的情况尤其如此。 #### RoPE (Rotary Position Embedding) 的特点 相比之下，RoPE设计之初就考虑到要克服传统静态位置嵌入的一些不足之处。它引入了一种基于旋转机制的位置表征方案，允许更灵活地处理任意长度的输入序列，并且可以更好地捕捉到全局范围内的相互作用而不增加过多参数量。此外，由于采用了循环移位操作来构建相对位置偏置项，这使得即使是在解码阶段也能维持住有效的长期记忆能力[^2]。 具体来说，RoPE通过将正弦波函数应用于不同频率下得到的一系列数值来进行位置编码，这些值会随着所处维度的变化而呈现出特定规律性的波动特性；更重要的是，这样的构造方式让两个词之间不论相隔多少步长都能保持一定意义上的相似度衡量标准——即所谓的“周期性”，进而支持模型学习到更加抽象级别的语义关联结构[^3]。 ### 应用场景对比 - **短文本分类/命名实体识别** 对于这类任务而言，通常涉及较短的句子片段分析，此时采用简单的绝对位置编码已经足以满足大多数情况下对局部上下文感知的需求。因此在这种环境中部署较为轻便高效的解决方案可能是更为合理的选择。 - **机器翻译/对话系统** 当涉及到较长篇幅的文章转换或者是持续交互式的聊天机器人开发，则往往倾向于利用像RoPE这样能够有效应对远程依赖难题的技术手段。因为在这类应用里，维护好长时间跨度内各个部分间的联系显得尤为重要，而这正是RoPE擅长的地方之一。 ```python import torch from transformers import AutoModel, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained('bert-base-uncased') model_with_rope = AutoModel.from_pretrained('facebook/bart-large') # 假设此预训练模型使用了RoPE input_text = "An example sentence to demonstrate the difference between absolute and rotary position embeddings." inputs = tokenizer(input_text, return_tensors="pt") # 使用带有RoPE的模型进行推理 outputs_with_rope = model_with_rope(**inputs) print(outputs_with_rope.last_hidden_state.shape) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

张博208

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值