Transformers Can Achieve Length Generalization But Not Robustly

最新推荐文章于 2025-11-26 15:49:07 发布
最新推荐文章于 2025-11-26 15:49:07 发布
阅读量413 收藏 7
点赞数 8
CC 4.0 BY-SA版权
文章标签： 语言模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/136225585
LLM 日更 专栏收录该内容
828 篇文章

已下架不支持订阅

本文研究了Transformer在长度泛化上的表现，即从短序列训练到长序列测试的能力。尽管发现适当的配置下Transformer可以实现2.5倍输入长度的泛化，但这种泛化并不稳健，易受权重初始化和训练顺序影响。研究强调了数据格式和位置编码在提升泛化能力中的关键作用，同时指出鲁棒的长度泛化仍然是一个挑战。

本文是LLM系列文章，针对《Transformers Can Achieve Length Generalization But Not Robustly》的翻译。

Transformers可以实现长度泛化但不健壮

摘要

长度泛化，定义为从较短的训练序列外推到较长的测试序列的能力，对语言模型来说是一个重大挑战。即使大型Transformers处理相对简单的任务，这个问题仍然存在。在本文中，我们使用两个整数相加的任务来测试Transformer的长度泛化能力。我们表明，长度泛化的成功与数据格式和位置编码的类型密切相关。使用数据格式和位置编码的正确组合，我们首次展示了标准Transformers可以外推到2.5×输入长度的序列长度。然而，与分布泛化不同，长度泛化仍然很脆弱，受到随机权重初始化和训练数据顺序等因素的显著影响，导致不同随机种子之间的差异很大。

1 引言

2 位置编码和数据格式

3 十进制加法中的长度泛化公式

4 实验

5 分析

6 相关工作

7 结论

Transformers中的长度泛化一直是一个长期的挑战。我们使用十进制加法任务来评估Transformers推广到更长测试序列的能力。通过大量的实验，我们发现Transformers的设计不存在阻碍有效长度泛化的固有限制。相反，缺少的是数据格式和位置编码的正确组合。我们

了解本专栏 已下架不支持订阅
UnknownBody
关注
专栏目录

已下架不支持订阅

ModuleNotFoundError: No module named ‘transformers.modeling_bert‘解决方案
weixin_43178406的博客
09-13 3万+
本文主要介绍了ModuleNotFoundError: No module named 'transformers.modeling_bert’解决方案，希望能对学习BERT的同学们有所帮助。需要特别说明的是本方法不需要降级transformers的版本，希望能对使用Pytorch的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
ModuleNotFoundError: No module named ‘transformers.modeling_bart‘解决方案
weixin_43178406的博客
09-05 5万+
本文主要介绍了ModuleNotFoundError: No module named 'transformers.modeling_bart’解决方案，希望能对学习BART的同学们有所帮助。需要特别说明的是本方法不需要降级transformers的版本，希望能对同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
LLM论文笔记 11: Exploring Length Generalization in Large Language Models
m0_65305142的博客
02-18 515
本文系统性地研究了基于 Transformer 的大规模语言模型（LLMs）在长度泛化任务中的表现，分析了不同训练和提示策略（注：本系列不包括基础的知识点讲解，为笔记/大纲性质而非教程，用于论文知识点和思想和快速记忆和回顾，更多细节建议阅读论文原文。3. 自注意力是一种等变变换，能够执行像最大池化这样的池化操作，策略不允许在不同长度的问题之间进行知识转移。5. CoT+微调也无法推广到更长问题，干扰项是导致长度泛化失败的主要原因。4. 在微调机制中，缩放数据、模型大小和计算并不能提高长度泛化能力。
LLM论文笔记 15: Transformers Can Achieve Length Generalization But Not Robustly
m0_65305142的博客
02-20 961
主要探讨Transformer模型在长度泛化（length generalization）上的表现，特别是在整数加法任务中的应用。注：本系列不包括基础的知识点讲解，为笔记/大纲性质而非教程，用于论文知识点和思想和快速记忆和回顾，更多细节建议阅读论文原文。3. 长度泛化的表现高度依赖于随机权重初始化和训练数据的顺序，导致不同试验之间的性能差异显著。2. 在适当的配置下，Transformer模型可以泛化到训练序列长度的。长度泛化指的是模型从训练中的短序列泛化到测试中的更长序列的能力。
超详细解读 Transformer 框架！建议收藏!
机器学习社区
04-13 4105
首先我们先对Transformer来个直观的认识。Transformer出现以前，NLP领域应用基本都是以RNN或LSTM循环处理完成，一个token一个tokrn输入到模型中。模型本身是一种顺序结构，包含token在序列中的位置信息。但是存在了一些问题：会出现梯度消失现象，无法支持长时间序列。句子越靠后的token对结果的影响越大。只能利用上文信息，无法获取下文信息。循环网络逐个token输入，也就是句子有多长就要循环多少遍，计算的效率低。
LM-Infinite: 一种简单有效的大模型即时长度泛化，解决更长文本推理问题
zenRRan的博客
09-04 1148
深度学习自然语言处理 原创作者：qazw论文：LM-Infinite: Simple On-the-Fly Length Generalization for Large Language Models地址：https://arxiv.org/abs/2308.16137进NLP群—>加入NLP交流群摘要近年来，LLM在各个领域的性能都有了显著的进展。随着这些LLM被用于越来越复杂的任务，它...
LLM（大语言模型）无法对数字进行准确运算的底层原因是什么？
2401_84495872的博客
12-12 1286
能通向AGI”这一观点的反对者经常提这个问题：你们整天吹LLM会达到AGI，可为啥大模型连最简单的“多位数加法”都做不好？这质疑对很多AGI信奉者来说是很扎心的，不好反驳，因为大模型做多位数加法这种简单数学确实有困难。早期LLM的Tokenizer一般不会对数字进行特殊处理，经常把连续的若干数字切在一起形成一个Token，比如“13579”，可能被切成三个Token ,“13”是一个，“57”是一个，“9”是一个Token，类似这种。
LLM论文笔记 7: Investigating the Limitations of Transformers with Simple Arithmetic Tasks
m0_65305142的博客
02-15 348
注：本系列不包括基础的知识点讲解，为笔记/大纲性质而非教程，用于论文知识点和思想和快速记忆和回顾，更多细节建议阅读论文原文。本文主要是实验结论，实验都是基于 pretrained-transformer 做的（T5模型）。1. 传统的语言处理方法明确使用语言学理论中的中间表示，而现代 Transformer 模型通过。的方法隐式学习这些表示，从而更灵活但也更难解释其内部的语言学知识结构。2. 通过对输入序列的简单操作（显式枚举数字位置的语义）将表示“可以帮助神经模型学习简单的算术任务（引出了后面。
为什么LLM（大语言模型）无法对数字进行准确运算？
2401_85373691的博客
07-28 2829
LLM（大语言模型）无法对数字进行准确运算的底层原因是什么？先看下面，一本正经的胡说八道)AI数字计算翻车示例：图1- 智谱GLM-CodeGeeX图2- 阿里-通义灵码**为什么简单的数学计算问题，AI不会做呢？以下是从网络查阅到相关资料。**“LLM能通向AGI”这一观点的反对者经常提这个问题：你们整天吹LLM会达到AGI，可为啥大模型连最简单的“多位数加法”都做不好？这质疑对很多AGI信奉者来说是很扎心的，不好反驳，因为大模型做多位数加法这种简单数学确实有困难。
51c大模型~合集99
whaosoft~aiotの开发板商城
12-31 2040
最成功的≠最复杂的高端的食材，往往需要最朴素的烹饪方式。AI 发展到后半场「大雾散去」，如何让大模型的智力落实成执行力，智能体似乎成了业界的共同答案。从元宝到混元，各类智能体平台如雨后春笋般涌现。上个月，智谱发布 AutoGLM 的发布会上，智能体好像突破了次元壁，一句指令，就拿着手机在现场发了一个总计两万块钱的红包。我们正在见证一个重要的转折点：智能体正在将 AI 的能力从「能说会道」转变为「能做会干」。作为最强大模型厂商的有力竞争者，Anthropic 推出的智能体功能也着实惊艳了我们一把。
LLM论文笔记 27: Looped Transformers for Length Generalization
m0_65305142的博客
05-04 865
Transformer在长度泛化（length generalization）上表现有限，尤其是对未见长度的输入。本文重点研究解决这一问题的Loop Transformer架构（Looped Transformers），通过循环处理增加模型对输入长度的适应能力。注：本系列不包括基础的知识点讲解，为笔记/大纲性质而非教程，用于论文知识点和思想和快速记忆和回顾，更多细节建议阅读论文原文。1. RASP-L限制transformer无法处理包含循环的任务的长度泛化。，做到“n次transformer”
查看transformers模型对应的device的实战代码
热门推荐
weixin_43178406的博客
04-19 6万+
本文主要介绍了查看transformers模型对应的device的实战代码，希望能对使用transformers的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 270
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
三大空间信息焕新：辉视让酒店服务、教育通知、监所管控更智能高效
CalebLXL的博客
11-24 677
走访这些场所后我发现，系统的真正价值不在于那些炫目的屏幕，而在于它构建了一套"空间信息免疫系统"——就像人体淋巴网络般，能智能识别各区域的信息需求，精准输送"营养"，快速清除"毒素"。当我们在酒店大堂不再错过末班机场大巴，在学校走廊偶遇恰好需要的竞赛通知，甚至在高墙内获得规整的信息权时，或许该重新思考：所谓智能化，本质是对空间信息代谢效率的一次外科手术式改造。这种荒诞的割裂感，正是传统信息分发模式崩溃的缩影——直到我最近走访数家采用辉视系统的场所，才意识到我们早已进入"精准信息触达"的新纪元。
（116页PPT）关于5G和新基建赋能智慧工地整体解决方案（附下载方式）
2501_92808811的博客
11-25 411
在整体架构方面，方案以“5G智慧工地平台”为核心，依托多类感知设备（如传感器、摄像头、AI眼镜、智能安全帽等）采集数据，通过5G网络实时回传至云平台，再借助大数据、云计算、人工智能等技术进行分析处理，最终在PC、手机、监控大屏等多终端进行可视化展示。此外，文件还详细列举了传统智慧工地子系统（如深基坑监测、升降机监控、扬尘噪音监测、智能水电计量等）的功能与部署方式，并补充了如5G企业专网、实测机器人、智慧科技体验中心等延伸应用，体现出方案的系统性与前瞻性。详细资料请看本解读文章的最后内容。
信息检索13
最新发布
2301_80828873的博客
11-26 874
最近邻检索的方法，PQ，IVF,HNSW
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 625
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
【LoRA（低秩适应）技术详解：原理、公式与实践】
m0_46882548的博客
11-26 669
参数高效：可训练参数量通常仅为全量微调的0.01% - 3%，极大降低了计算和存储成本。内存友好：由于大部分原始权重被冻结，无需存储其优化器状态，显著减少了训练时的显存占用。无推理延迟：训练后可将LoRA权重合并回原模型，推理速度与原始模型一致。模块化与灵活性：一个基础模型可以搭配多个针对不同任务的、体积很小（几兆字节）的LoRA适配器，轻松切换任务。减轻灾难性遗忘：因为原始权重基本不动，模型在适应新任务时更不容易遗忘预训练时获得的通用知识。
【NullSwap】NullSwap: Proactive Identity Cloaking Against Deepfake
人生不是轨道，是旷野。希望每天都有好心情。
11-23 370
由于生成模型的进步，被动检测高质量Deepfake图像的性能瓶颈，主动扰动提供了一种有前途的方法，通过将信号插入良性图像来禁用Deepfake操作。【生成模型的发展，使得生成高质量伪图越来越难被检测】然而，现有的主动扰动方法在以下几个方面仍然不能令人满意：【当前主动扰动存在的问题】1）由于直接元素添加而导致的视觉退化;2）对交换操纵的有效性有限;3）不可避免地依赖于白盒和灰盒设置，以在训练期间涉及生成模型。我们分析了深度伪造swap技术的本质，并论证了保护源身份而非目标图像的必要性。
peft 0.3.0 requires transformers, which is not installed.
07-07
在安装 PEFT 0.3.0 时提示缺少依赖库 `transformers`，通常是因为当前环境中未正确安装 Hugging Face 的 `transformers` 库。要解决这一问题，可以通过以下方式确保所有必要的依赖项被正确安装。 ### 安装 `transformers` 解决依赖问题 1. **使用 pip 安装 transformers** 确保 `transformers` 被安装到当前 Python 环境中。可以运行以下命令： ```bash pip install transformers ``` 这会安装最新版本的 `transformers`。如果希望安装特定版本以与 PEFT 兼容，请指定版本号： ```bash pip install transformers==4.28.0 ``` 2. **安装 PEFT 并自动处理依赖** 如果手动安装 `transformers` 后仍然存在问题，可以直接通过 pip 安装 PEFT，并让它自动尝试解析和安装缺失的依赖： ```bash pip install peft==0.3.0 ``` 在此过程中，pip 会自动检查并安装所有缺失的依赖项，包括 `transformers` [^2]。 3. **使用虚拟环境管理依赖** 若系统中存在多个项目或不同版本需求，推荐使用虚拟环境（如 `venv` 或 `conda`）来隔离依赖。例如： ```bash python -m venv peft_env source peft_env/bin/activate # Linux/macOS peft_env\Scripts\activate # Windows pip install peft==0.3.0 ``` 这样可以避免与其他项目的依赖冲突，并确保 `transformers` 正确安装。 4. **验证安装** 安装完成后，可通过以下代码验证 `transformers` 和 `peft` 是否成功导入： ```python import transformers import peft print(transformers.__version__) print(peft.__version__) ``` 5. **升级 pip 以避免兼容性问题** 某些情况下，旧版本的 pip 可能无法正确解析依赖关系。可以通过以下命令更新 pip： ```bash pip install --upgrade pip ``` 6. **从源码安装 PEFT（可选）** 如果需要更复杂的配置，或者想确保所有依赖都被正确处理，可以从源码安装 PEFT： ```bash git clone https://github.com/huggingface/peft.git cd peft pip install -e . ``` 这种方式将确保所有依赖项（包括 `transformers`）被正确解析并安装 [^2]。 --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值