论文阅读：TRAIN SHORT, TEST LONG: ATTENTION WITH LINEAR BIASES ENABLES INPUT LENGTH EXTRAPOLATION

最新推荐文章于 2025-06-27 01:00:00 发布
原创 最新推荐文章于 2025-06-27 01:00:00 发布 · 481 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读

论文研究表明，正弦位置嵌入的Transformer模型在推理时难以外推到训练时未见过的输入长度。ALiBi（Attention with Linear Biases）方法通过引入线性递减惩罚，提高了模型的外推能力，允许在较短序列上训练的模型在推理时处理更长序列，实现与正弦模型相当的性能，但训练速度更快、内存使用更少。ALiBi在外推到训练长度的两倍时达到最佳效果，有效降低了早期token的困惑度。

论文链接

ABSTRACT

自从transformer模型被提出以来，一个基本问题尚未得到回答：对于比训练中看到的更长的序列，模型如何在推理时实现外推。我们首先证明了外推可以通过简单地改变位置表示方法来实现，尽管我们发现目前的方法不允许有效的外推。因此我们引入了一个更加简单而且更高效的位置表示方法，即Attention with Linear Biases（ALiBi）。ALiBi不会将position embedding和word embedding相加，它使query-key的注意力得分产生偏差，惩罚与他们的距离成正比 。实验表明，该方法在长度为1024的输入序列上训练13亿参数模型，该模型外推到长度为2048的输入序列，实现了与在长度为2048输入上训练的正弦位置嵌入模型相同的困惑度 ，但训练速度快11%，使用的内存少11%。ALiBi对时间的归纳偏见也使其在WikiText-103基准测试中优于多种强位置方法。

1. INTRODUCTION

在构建一个基于transformer的模型时，一个主要的设计是对训练时序列长度的设计，在这里用 L L

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Transformer-Attention优化：ALiBi（Attention with Linear Bias）【提升外推性】
u013250861的博客
08-19 826
ALiBi 是 22 年提出的一种方法，其目的就是解决 transformer 训练和推理时文本长度不一致的难题，论文中在训练时候使用 1024 的最大长度，但在推理时用 2048 的最大长度推理，并且在 PPL 指标持平。我们只用在稍微短一些的训练集上训练模型（更快），最后也能在长测试句子上取得相当的效果。而这将会导致训练好的模型无法在一个与训练时的长度相差较远的句子上取得较好的推理结果。上图中表示，ALiBi 都是在测试集的句子最大长度的「一半长度」上进行训练，
《深入浅出LLM基础篇》（三）：大模型结构分类
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
05-10 2579
导读：本篇为《深入浅出LLM基础篇》系列第三篇，《深入浅出LLM基础篇》（三）：大模型结构分类主要讨论大型语言模型是如何构建的，章节将着重讨论模型架构，主要讨论Transformer架构及编码、解码器组成结构及原理，这是真正实现大型语言模型的建模创新。
LLM论文笔记 8: Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation
m0_65305142的博客
02-15 319
注：本系列不包括基础的知识点讲解，为笔记/大纲性质而非教程，用于论文知识点和思想和快速记忆和回顾，更多细节建议阅读论文原文。3. T5的位置嵌入可以实现外推但是导致内存加大和训练速度降低（本质上是改变attention value）（本质上不是改变attention value而是改变q/k的值）4. 可学习的 PE 无法实现外推，因为。2. 传统余弦位置编码无法实现外推。(PE) 可以实现长度外推。
位置编码与外推性[bias(Alibi/KERPLE/Sandwich)+插值 + ROPE/RERope + keynorm。与长度外推性]
weixin_36378508的博客
09-21 3924
长度外推性=train short, test longtrain short：1）受限于训练成本；2）大部分文本的长度不会特别长，训练时的max_length特别特别大其实意义不大（长尾）。test long：这里long是指比训练时的max_length长，希望不用微调就能在长文本上也有不错的效果。
Alibi:Attention With Linear Biases Enables Input Length Extrapolation
Hanze的博客
06-29 1123
假设一个模型在512token上做训练，在推理的时候，模型在更长的序列上表现叫做模型的外推性。Alibi的方法十分简单，如上图，在计算 attention score的时候，会对以前的分数按照与当前的位置差距进行不同程度的惩罚。假设在计算q3与k3的attention时，q3还会考虑 k1，k2的attention，其中对q3。同时，Ailibi在训练速度与推理速度上都比T5与Rotary要快，与Sin相当，内存占用上也要比前者少11%。
【亲测免费】 探索新颖注意力模型：线性偏置注意力（Attention with Linear Biases）
gitblog_00049的博客
04-19 1036
探索新颖注意力模型：线性偏置注意力（Attention with Linear Biases） 在这个链接中，我们发现了一个有趣的开源项目——，由Ofir Press贡献。该项目旨在提出并实现一种新的注意力机制，通过引入线性偏置来改进传统的自注意力层，从而提高深度学习模型在处理序列数据时的效率和性能。 项目简介 线性偏置注意力是针对Transformer架构的一个修改版，Transformer是当...
LLMs组件系列：Attention排列不变性与位置编码（超详细）
jpw41的博客
08-25 2649
Transformer注意力可并行计算的特性既是其相较于RNN的优势，也使其丢失了时间步语义信息，所以位置编码 (positional encodings) 是Transformer这种并行结构必须要有的，否则机器就会已读乱回。但位置编码原理是什么，工程上怎么实现呢？网上有许多讲解位置编码的方案，但很多都为了文章篇幅而舍弃掉一些前置信息，如果没有基础看起来还是比较吃力的。为此，本文用篇幅换取详细度，介绍详细介绍了当前四种主流的位置编码方案，包看懂的。
RWKV:一种鱼和熊掌兼得的线性transformer模型
u013250861的博客
06-14 1544
本文介绍了一种鱼和熊掌兼得的模型。既能和AFT一样兼具通用性和高效，distance位置编码的设计使得模型也具备面对超长文本的能力。实际实验效果可以去看原文的内容，本文只对其结构进行介绍。但总体而言，笔者测试过基于GPT的ai写小说和基于RWKV的ai写小说。相比较而言，RWKV的写出来的文章会更流畅，并且在训练时收敛速度页更快。参考文献。
【大模型上下文长度扩展】线性偏差注意力 ALiBi
Debroon
02-06 3643
当前位置编码方法不支持高效的序列长度外推。这个问题具体指出了实现核心问题目标中遇到的一个主要障碍：现有的位置编码方法限制了模型外推到训练长度之外序列的能力。位置编码是Transformer模型中一个关键的组成部分，用于提供序列中各个元素的位置信息，这对于模型理解输入序列的结构至关重要。如果位置编码方法不能高效地支持长序列的处理，那么模型在处理超出训练时序列长度的输入时就会遇到困难，这直接影响到模型的泛化能力和效率。
ALiBi：Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation输入长度的外推
Together_CZ的博客
06-27 832
ALiBi：Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation——训练短序列，测试长序列：带线性偏置的注意力可实现输入长度的外推
Attention with Linear Biases (ALiBi)方法介绍：提升Transformer外推能力的创新方法
阿正的梦工坊
04-12 1593
2022年ICLR会议上发表的论文《Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation》提出了一种简单而高效的方法显著提升了Transformer在长序列上的外推能力。本文将详细介绍ALiBi的核心方法、其为何能提高外推能力，以及后续工作如何进一步优化这一能力。
ALiBi (Attention with Linear Biases) 优化LLM 模型注意力
陈锐的技术笔记
05-02 1173
是一种注意力机制优化技术，最初在论文《》（2022）中提出。它通过在 Transformer 的注意力机制中引入线性偏置，取代传统的基于绝对位置嵌入（Positional Embedding）的编码方式，从而提高模型对长序列的泛化能力。使用线性形式的偏置，使得不同位置之间的关系可以通过简单的线性函数建模。这种方式不仅简化了位置编码的复杂性，还提高了模型的灵活性。也因为 ALiBi 不需要显式地计算每个位置的偏置，特别是在长序列中，其计算效率更高，能够在资源有限的情况下处理更长的输入。
论文阅读：LLM：ALiBi - 给注意力加上线性偏置
微风❤水墨
01-19 1287
为什么是一个下三角矩阵，因为我们研究的是，autoregressive language modeling，所以这就是上三角被MASK的原因，我们不关注未来，只关注过去，这个编码只应用在Query和Key中，不会应用到Value中。这使得我们的方法与正弦方法相似，正弦方法中的超参数一次性设置的，然后在不同大小的不同数据集上的不同模型中重复使用。1：尽管大多数模型使用训练过的或正弦的位置嵌入，T5模型使用一种相对位置方法，这种方法不向词嵌入添加位置信息（与之前的方法不同）。相反，它修改了注意力值的计算方式。
Efficient Attention: Attention with Linear Complexities
qq_52302919的博客
04-21 3070
注意机制在计算机视觉和自然语言处理中有着广泛的应用。最近的工作开发了点积注意力机制，并将其应用于各种视觉和语言任务。然而，点积注意力的内存和计算成本随着输入的时空复杂度大小呈二次增长。这样的增长阻碍了该机制在大输入上的应用，例如长序列、高分辨率图像或大视频。为了弥补这一缺陷，本文提出了一种新的有效注意力机制，它相当于点积注意力，但大大减少了内存和计算成本。资源效率允许更广泛和灵活地将有效的注意力模块合并到神经网络中，从而
【Efficient Attention: Attention with Linear Complexities】WCAV2021
gesshoo的博客
03-18 4981
由于矩阵乘法是关联的，将顺序从切换到对效果没有什么影响，但可以将复杂度从O(n^2)到O(dk*dv)，使其复杂度成为线性。在实际情况下，dk*dv明显小于n^2。 这种方法被文章称为”efficient attention“。 新机制在数学上等价于尺度归一化的点乘注意力，近似于softmax归一化的点乘注意力。实验证明，当近似相等时并不影响准确率。另外，实验表明它的效率允许将更多的注意力模块集成到网络中，并集成到网络的高分辨率部分中，这将导致更高的准确率。此外，实验还表明，有效的注意力可以将注意力..
2021 年 10 月推荐阅读的10篇精选ML论文
deephub
10-02 4359
每个月都会有几千篇的论文在arXiv发布，我们不可能看完所有的文章，但是我们可以从中找到一些趋势： 大型语言模型不再与较小的模型在同一类别中竞争(如训练前+监督数据微调)。为什么?这已经没有意义了，因为每个人都知道，当更大的模型在SuperGLUE这样的监督基准上进行微调时会发生什么:它们只会变得更好。相反，我们看到这些模型正在探索一些以前不可行的问题，比如零样本/少样本和或多模态学习。 衡量标准和基准：我们如何量化我们关心的东西？为了使我们的进步更有意义，我们也需要不断地重新思考和创新。MNIST对于一
各种位置编码
薰珞婷紫小亭子的博客
11-08 5310
位置编码
大模型并行训练指南——通俗理解Megatron-DeepSpeed：从模型并行(张量并行、流水线并行)到数据并行ZeRO3优化
热门推荐
结构之法 算法之道
08-24 4万+
BLOOM 的模型架构与GPT3非常相似，只是增加了一些改进，本文稍后将对此进行讨论。该模型是在Jean Zay上训练的，Jean Zay 是由 GENCI 管理的法国政府资助的超级计算机，安装在法国国家科学研究中心 (CNRS) 的国家计算中心IDRIS。训练所需的算力由 GENCI 慷慨捐赠给本项目 (捐赠号 2021-A0101012475)。GPU: 384 张 NVIDIA A100 80GB GPU (48 个节点) + 32 张备用 GPU。
LLaMA, ChatGLM, BLOOM的参数高效微调实践
丨汀、的博客
06-12 4879
大语言模型的训练分为两个阶段：（1）在海量文本语料上的无监督预训练，学习通用的语义表示和世界知识。（2）在小规模数据上，进行指令微调和基于人类反馈的强化学习，更好地对齐最终任务和人类偏好。LIMA[1] 证明了，只需要有限的指令微调数据就可以生成高质量的回复。因此，基座模型的性能是至关重要的，如果基座模型的性能不够好，指令微调和强化学习也难以取得很好的效果。目前，主流的开源大语言模型主要有三个：LLaMA、ChatGLM 和 BLOOM。
VSA: Learning Varied-Size Window Attention in Vision Transformers论文代码
最新发布
08-28
目前没有直接提供VSA（Learning Varied-Size Window Attention in Vision Transformers）论文的开源代码信息[^1]。建议关注相关作者的官方发布渠道或学术平台，例如arXiv或Google Scholar，以获取最新更新[^2]。此外，可以查阅GitHub上的Vision Transformer相关项目，尝试联系开发者或社区以获得帮助[^3]。 ### 代码示例（参考Swin Transformer实现风格） 以下是一个模拟的代码框架，可用于实现类似VSA中可变尺寸窗口注意力机制的部分逻辑： ```python import torch import torch.nn as nn class VariedSizeWindowAttention(nn.Module): def __init__(self, dim, window_sizes, num_heads, qkv_bias=True, attn_drop=0., proj_drop=0.): super().__init__() self.dim = dim self.window_sizes = window_sizes # 支持不同窗口尺寸的列表 self.num_heads = num_heads # 动态生成不同窗口大小的相对位置偏置 self.relative_position_biases = nn.ParameterList([ nn.Parameter(torch.zeros((2 * w - 1) * (2 * h - 1), num_heads)) for w, h in window_sizes ]) # 查询、键、值的线性变换 self.qkv = nn.Linear(dim, dim * 3, bias=qkv_bias) self.attn_drop = nn.Dropout(attn_drop) self.proj = nn.Linear(dim, dim) self.proj_drop = nn.Dropout(proj_drop) def forward(self, x, H, W): B, N, C = x.shape qkv = self.qkv(x).reshape(B, N, 3, self.num_heads, C // self.num_heads).permute(2, 0, 3, 1, 4) q, k, v = qkv[0], qkv[1], qkv[2] # 计算注意力矩阵 attn = (q @ k.transpose(-2, -1)) * (1.0 / (C // self.num_heads) ** 0.5) # 添加可学习的相对位置偏置 for i, (win_w, win_h) in enumerate(self.window_sizes): window_area = win_w * win_h relative_position_bias = self.relative_position_biases[i] # 假设此处通过索引将偏置添加到对应的窗口 # 实际实现需根据窗口划分逻辑调整 attn[:, :, :window_area, :window_area] += relative_position_bias attn = attn.softmax(dim=-1) attn = self.attn_drop(attn) x = (attn @ v).transpose(1, 2).reshape(B, N, C) x = self.proj(x) x = self.proj_drop(x) return x ``` 此代码框架旨在展示如何实现支持多种窗口尺寸的注意力机制，具体实现细节可能需要根据实际论文内容进行调整。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

comli_cn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值