Training-Free Long-Context Scaling of Large Language Models

最新推荐文章于 2025-11-24 18:29:32 发布
最新推荐文章于 2025-11-24 18:29:32 发布
阅读量468 收藏
点赞数 6
CC 4.0 BY-SA版权
分类专栏： LLM context 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/137021291
LLM 日更 同时被 2 个专栏收录
828 篇文章

已下架不支持订阅

LLM context
31 篇文章
订阅专栏
本文介绍了一种名为双块注意力（DCA）的方法，用于增强大型语言模型处理长序列文本的能力，无需额外训练。DCA通过块内和块间的注意力机制，使70B参数的LLAMA2能处理超过10万个token的上下文。实验结果显示，DCA在长上下文任务中的性能与微调模型相当，甚至更好，提供了一个开源的gpt-3.5-16k替代方案。

本文是LLM系列文章，针对《Training-Free Long-Context Scaling of Large Language Models》的翻译。

大型语言模型的无训练长上下文伸缩

摘要

当输入token的数量超过其预训练长度时，大型语言模型处理和生成连贯文本的能力显著减弱。考虑到微调具有较长序列的大规模模型的昂贵开销，我们提出了双块注意力（DCA），它使LLAMA2 70B能够在没有持续训练的情况下支持超过10万个token的上下文窗口。通过将长序列的注意力计算分解为基于块的模块，DCA能够有效地捕获同一块内（块内）和不同块间（块间）的token的相对位置信息，并与Flash attention无缝集成。除了令人印象深刻的外推能力外，DCA在实际的长上下文任务中的性能与微调模型相当，甚至更好。与专有模型相比，我们的无训练70B模型的性能达到了gpt-3.5-16k的94%，这表明它是一个可行的开源替代方案。本工作中使用的所有代码和数据都发布在https:

了解本专栏 已下架不支持订阅
UnknownBody
关注
专栏目录

已下架不支持订阅

[论文笔记] DCA（Dual Chunk Attention）
心宝的博客
07-23 3016
DCA 通过分块处理和分步注意力计算，巧妙地解决了长文本处理中的计算和内存瓶颈问题，使得模型在处理长文本时既高效又有效。
大模型系列——论文解读：DCA
hang on it more longer
12-16 532
为了保留全局信息，另一种观点是有效地推断出超出训练时遇到的序列长度。一些流行的技术，如基于Llama模型的位置插值（PI）和NTK-Aware RoPE，是对旋转位置编码（RoPE）的调整。然而，在无需训练的环境中，这些方法通常会导致PPL显著增加，尤其是在输入长度是训练长度两倍以上时。可以看出，当块数超过3个时，可能还是存在问题的， 部分位置会出现4,5,6,7,8,9,4,5,6,7,8,9序列。部分位置会出现1,2,3,4,5,6,4,5,6,7,8,9序列。
LLMs之Long-Context ：《Training-Free Long-Context Scaling of Large Language Models大型语言模型中无训练法实现长上下文扩展》翻
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
08-12 1953
​ LLMs之Long-Context ：《Training-Free Long-Context Scaling of Large Language Models大型语言模型中无训练法实现长上下文扩展》翻译与解读 目录 《Training-Free Long-Context Scaling of Large Language Models》翻译与解读 Abstract 1、Introduction 5. Conclusion 《Training-Free Lo
U-Net结构改进：双交叉注意力模块（DCA）
热门推荐
记录
05-07 2万+
本文由迈阿密大学的研究团队于2023年3月30日发表，提出了双交叉注意力模块（Dual Cross-Attention , DCA），其目标是在轻微的参数和复杂性增加的情况下改进U-Net及其变体，能够简单而有效地增强u-net结构中的跳跃连接（skip-connection）。
今日Arxiv最热NLP大模型论文：Llama-2上下文扩大48倍的方法来了，港大发布，无需训练
夕小瑶科技说
03-03 3267
Dual Chunk Attention（DCA）提出了一种新颖的训练无关框架，通过巧妙地利用模型现有的位置索引和引入多面向的注意力机制，允许LLMs扩展超过8倍的训练长度，而无需昂贵和耗时的进一步训练。DCA的创新点在于它与Flash Attention的兼容性，仅需要对推理代码进行修改，无需进行大量的重新训练。DCA在训练长度内保持模型性能，并在此范围之外提供额外的性能提升，与已经进行了长上下文微调的模型兼容。
RT-2论文翻译: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control
机器学习实战
01-26 1553
在广泛的Web规模数据集上预训练的高容量模型为各种下游任务提供了有效且强大的平台：大型语言模型不仅可以实现流畅的文本生成（Anil等，2023；Brohan等，2022；OpenAI，2023），还能实现新兴的问题解决（Cobbe等，2021；Lewkowycz等，2022；Polu等，2022）以及散文（Brown等，2020；OpenAI，2023）和代码（Chen等，2021）的创造性生成，而视觉语言模型则实现了开放词汇的视觉识别（Kirillov等，2023；Minderer等，2022；
笔记-《A Survey of Large Language Models》- 尾声
Working harder, getting stronger!
03-27 2478
Sutton, S.Schuh, K.Lomeli, L.Mann, E.Perez, N.5547–5569.[Online].[152] J.Austin, A.Odena, M.I.Nye, M.353–355.[177] P.V.ACM, 2022.559–578.Drain, S.Fort, D.4582–4597.Yih, Eds.8410–8423.[240] Q.Zhang, M.Chen, A.He, Y.Cheng, W.
sigir + recsys + cikm + acl + AAAI 2024论文笔记
weixin_43845649的博客
07-19 1077
探索信息检索的scaling laws。
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.02.25-2024.03.01
小小帅
03-01 1816
对大型语言模型（LLMs）进行细粒度控制仍然是一项重大挑战，这阻碍了它们对不同用户需求的适应性。虽然人类反馈强化学习（RLHF）在对齐 LLM 方面大有可为，但它对标量奖励的依赖往往限制了其在实际应用中捕捉不同用户偏好的能力。为了解决这一局限性，我们引入了定向偏好对齐（DPA）框架。与标量奖励的 RLHF 不同，DPA 结合了多目标奖励建模，以表示不同的偏好特征。此外，DPA 还将用户偏好建模为奖励空间中的方向（即单位向量），以实现用户偏好控制。
DCA，不需训练让Llama上下文扩大48倍的方法
十一月廿七风雨大作
02-18 5303
大型模型在输入token数量超过其预训练长度时，生成能力会断崖式下降，但如果直接训练长序列的大模型成本非常高。因此作者提出了双块注意力（DCA），使 LLAMA2 70B 能够支持超过 10 万个token的上下文输入，而且不需要持续训练。DCA可以与 Flash Attention 无缝集成。除此之外，DCA 在实际的长上下文任务上的性能与微调模型相当甚至更好。与专有模型相比，DCA的免训练 70B 模型达到了 gpt-3.5-16k 性能的 94%。
U-Net结构改进：双交叉注意力模块（DCA）——图像分割的新突破
2401_82355416的博客
03-13 1819
本文提出了一种新颖的双交叉注意力模块（DCA），并将其成功应用于U-Net架构中。实验结果表明，DCA模块能够有效捕捉长距离依赖关系和多尺度特征，显著提升图像分割的性能。未来，我们将从以下几个方面进一步探索DCA模块的潜力：1. 扩展到其他网络结构：将DCA模块应用于其他图像分割网络（如DeepLab、PSPNet等），验证其通用性。2. 应用于其他视觉任务：探索DCA模块在目标检测、图像生成等任务中的应用。3. 优化计算效率：进一步优化DCA模块的计算复杂度，使其更适合实际应用场景。
推荐文章：双交叉注意力在医学影像分割中的突破 - DCA框架解析
gitblog_00188的博客
09-12 765
推荐文章：双交叉注意力在医学影像分割中的突破 - DCA框架解析 项目介绍 在医疗领域，准确的影像分割是临床诊断和治疗计划制定的关键。近年来，基于深度学习的方法，特别是U-Net及其变种，在这一任务上取得了显著进展。然而，如何高效融合编码器与解码器间的多尺度特征信息，一直是提升模型性能的瓶颈。在此背景下，双交叉注意力（Dual-Cross-Attention, DCA） 应运而生，为医学影像分割领...
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 207
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
2025企业微信AI落地新趋势：微盛AI·企微管家破解内外增长难题
最新发布
weisheng00的博客
11-24 480
2025年企业微信AI落地的三大关键趋势：微盛AI·企微管家通过智能客服、精准营销和内部协作三大场景，帮助企业实现200%的客服效率提升、90%的报修响应提速和50%的员工效能增长。作为企业微信生态最大ISV服务商，微盛依托"AI+SCRM"双引擎，已服务160家500强企业，提供合规AI聊天Agent、生态闭环整合及私有化部署方案，有效解决数据孤岛问题，90%客户在3个月内实现AI能力全员覆盖。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 317
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 145
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
基于华为开发者空间实现花卉识别
优快云高校俱乐部官方博客
11-21 1665
基于华为开发者空间实现花卉识别
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 478
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
DeepSeek LLM Scaling Open-Source Language Models with Longtermism
02-26
### 关于DeepSeek 扩展开源语言模型及其长期主义方法 #### DeepSeek LLM 的架构扩展策略 DeepSeek LLM 通过增加网络层数来实现模型规模的扩大。对于较小版本如 DeepSeek LLM 7B，采用了30层结构；而对于较大版本如 DeepSeek LLM 67B，则增加了至95层[^2]。这种分层次的设计不仅有助于维持与其他开源模型的一致性，同时也支持更有效的并行计算和分布式处理。 #### 长期发展视角下的技术贡献 为了推动大型语言模型领域内的持续进步和技术共享，DeepSeek 发布了一个名为 DeepSeek-V2-Lite 的轻量化版本模型，该模型拥有15.7亿参数量，并且每个token激活约2.4亿参数[^4]。这一举措旨在降低参与门槛，鼓励更多研究人员参与到基于多专家混合(MoE) 和自适应局部注意(Adaptive Local Attention, MLA)机制的研究工作中去。 #### 开放生态系统的建设 除了提供不同尺寸大小的语言模型外，DeepSeek 还致力于构建一个开放包容的技术生态系统。这包括但不限于发布详细的文档说明、分享最佳实践案例以及积极参与社区交流活动等措施。这样的做法能够吸引更多开发者加入到这个充满活力的群体当中，共同探索未知领域，解决实际应用中的挑战。 ```python # Python 示例代码展示如何加载预训练好的 DeepSeek 模型 from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "deepseek-llm" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) text = "Once upon a time," input_ids = tokenizer.encode(text, return_tensors='pt') output = model.generate(input_ids, max_length=50) print(tokenizer.decode(output[0], skip_special_tokens=True)) ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值