Parallel Context Windows for Large Language Models

并行上下文窗口在大型语言模型中的应用
最新推荐文章于 2025-11-25 12:11:01 发布
最新推荐文章于 2025-11-25 12:11:01 发布
阅读量1.7k 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 人工智能 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/132587963
LLM 日更 专栏收录该内容
828 篇文章

已下架不支持订阅

本文提出并行上下文窗口（PCW）方法，无需额外训练即可扩展现成大型语言模型（LLM）的上下文窗口限制。通过在窗口间重复使用位置嵌入，PCW在多种任务中表现出显著改进，特别是在上下文学习和检索增强问答中。研究表明，PCW在处理长文本序列时具有潜力，但也存在上下文窗口数量限制和适用任务类型的局限性。

本文是LLM系列文章，针对《Parallel Context Windows for Large Language Models》的翻译。

大语言模型并行上下文窗口

摘要

当应用于处理长文本时，大型语言模型（LLM）受到其上下文窗口的限制。现有的解决这一限制的努力涉及训练专门的体系结构，并且不能很容易地应用于现成的LLM。我们提出了并行上下文窗口（PCW），这是一种在没有进一步训练的情况下减轻任何现成LLM的上下文窗口限制的方法。该方法的关键是将长上下文分割成块（“窗口”），将注意力机制限制为仅在每个窗口内应用，并在窗口之间重复使用位置嵌入。我们的主要结果测试了PCW方法在上下文学习中的应用，模型的大小在7.5亿到1780亿个参数之间，并显示出对具有不同输入和输出空间的任务的显著改进。我们在长上下文窗口可能有益的其他设置中展示了额外的好处：多跳问题和使用多个检索到的文档的检索增强问答。我们的研究结果强调，并行上下文窗口是一种很有前途的方法，可以在一系列需要长文本序列的设置中应用现成的LLM。我们在https://github.com/ai21labs/parallel-context-windows.

1 引言

2 并行上下文窗口

3 上下文学习的PCW

4 PCW用于QA

5 相关工作

6 结论和未来工作

近年来，已经提出了许多成功的方法，允许基于Transformer的

了解本专栏 已下架不支持订阅
UnknownBody
关注
专栏目录

已下架不支持订阅

【LLM】长文本大模型之扩展Context长度（RoPE等方法）
发现问题，并解决问题，批判性思维
07-18 5764
展LLM的Context长度其实已有不少，但多数是通过结合检索或者摘要的方式来缩短样本的长Context，如Unlimiformer。由于不是直接处理长Context，因此通常无法做精细的阅读理解，而且这些方案往往需要在训练阶段就考虑进去，而不是事后即插即用到已有的LLM模型中。 2. PCW方法 以前能够不微调地扩展Context长度的方案是Parallel Context Window（下面简称PCW），出自论文《Parallel Context Windows for Large Language
大语言模型综述 —— A Survey Of LLM，Large Language Models
热门推荐
AI天才研究院
05-29 1万+
有趣的是，当参数规模超过一定水平时，这些扩展的语言模型不仅可以实现显著的性能提升，而且还展示了小规模语言模型中不存在的一些特殊能力。最近，学术界和工业界对LLM的研究取得了重大进展，ChatGPT的推出引起了社会的广泛关注。20世纪80年代到90年代，LM的最初阶段基于传统的N-gram模型，并利用基于频率统计的方法进行训练，如Katz回退和Kneser-Ney平滑。语言建模近年来受到了广泛的研究。这些发展阶段中的新模型和算法显著提高了语言建模的准确性和可靠性，并为自然语言处理等众多应用带来了更好的效果。
Parallel-Context-Windows：为大型语言模型带来并行上下文窗口
gitblog_00573的博客
04-09 1046
Parallel-Context-Windows：为大型语言模型带来并行上下文窗口 项目介绍 Parallel-Context-Windows（PCW）是一个开源项目，旨在通过为大型语言模型引入并行上下文窗口的概念，提升模型在分类任务中的性能。该项目的代码库包含了在AI21 Labs论文《Parallel Context Windows for Large Language Models》中描述的...
Context并行
smartcat2010的博客
08-25 1586
即每张卡做1/N的sequence tokens，先计算好自己这些tokens的Q、K、V，然后每次用自己的Q，计算1/N的K和V，GPU之间达成环形来每次传输1/N的K和V；每个GPU和所有K、V计算完毕后，将N个结果向量加和起来，就得到了自己这1/N tokens的attention计算结果；N张卡参与CP，将sequence划分为2N份，GPU-0: 0+5, GPU-1:1+4, GPU-2: 2+3，这样每卡之间的计算量就均匀了；Context并行，天然就是接上Sequence并行，一起用的；
Megatron-LM源码系列(八): Context Parallel并行
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
05-28 7557
megatron中的context并行(简称CP)与sequence并行(简称SP)不同点在于，SP只针对Layernorm和Dropout输出的activation在sequence维度上进行切分，CP则是对所有的input输入和所有的输出activation在sequence维度上进行切分，可以看成是增强版的SP。除了Attention模块以外，其他的模块(Layernorm、Dropout)由于没有多token的处理，在CP并行时都不用任何修改。
Large Language Model系列之三：大模型并行训练（Parallel Training of Large Language Models）
mingo_敏
07-19 864
Large Language Model系列之三：大模型并行训练（Parallel Training of Large Language Models）
Retrieval-Augmented Generation for Large Language Models: A Survey——(1)Overview
qq_19300283的博客
01-31 1532
首篇全面RAG(检索增强生成)综述, 包括RAG的概念和分类, 与ICL(in-context learning), FT(微调)的对比, RAG优化检索(retrieval), 索引(indexing), 生成(generation), 增强(augmentation)的不同方法
AI大模型：无需训练让LLM支持超长输入
2301_81888214的博客
12-30 1363
考虑ChatGLM本身是二维的Attention矩阵和位置编码，特殊的BOS和GMASK，我重写了PCW，但是在长文本QA问题上表现比较一般，表现在当上文多段文本无明显关系的时候例如多个完全无关的新闻，在进行问答的时候，正确答案中会混杂很多无关的文本变短，以及这个问题当上文片段变多，或者指令问题变多的时候会变得越来越严重，直到开始完全胡说八道。因此每一段输入的文本的注意力矩阵是相互独立的。在解码层，每一步解码，query都会检索注意力最高的Top-k个输入Token，作为编码器部分的信息用于解码器的解码。
NBCE：使用朴素贝叶斯扩展LLM的Context处理长度
Paper weekly
07-02 520
©PaperWeekly 原创 ·作者 | 苏剑林单位 | 追一科技研究方向 | NLP、神经网络在 LLM 时代还玩朴素贝叶斯（Naive Bayes）？这可能是许多读者在看到标题后的首个想法。确实如此，当古老的朴素贝叶斯与前沿的 LLM 相遇时，产生了令人惊讶的效果——我们可以直接扩展现有 LLM 模型的 Context 处理长度，无需对模型进行微调，也不依赖于模型架构，具有线性效率，而且效...
万字长文梳理 LLM 中的长文本问题
zenRRan的博客
12-13 3621
深度学习自然语言处理 分享作者：紫气东来(知乎)编辑：马景锐链接：https://zhuanlan.zhihu.com/p/640641794近期，随着大模型技术的发展，长文本问题逐渐成为热门且关键的问题，不妨简单梳理一下近期出现的典型的长文本模型：10 月上旬，Moonshot AI 的 Kimi Chat 问世，这是首个支持 20 万汉字输入的智能助手产品；10 月下旬，百川智能发布 Baic...
长文本数据在大模型中应用的解决办法
weixin_46103454的博客
07-11 1624
依据语言建模的局部性原理，对模型中近距离敏感的位置索引进行保留，同时截断或插值处理远距离的位置索引，确保其不超出预设的最大旋转角度。对于一个原始上下文窗口为𝑇max的模型，目标是将其上下文窗口扩展到𝑇′ max（其中𝑇′ max > 𝑇max）.在RoPE的每个子空间𝑖 上，对于相对位置𝑡，旋转角度 𝑓(𝑡,𝑖) = 𝑡 · 𝜃𝑖 的修改可以分解为对距离𝑡 的修改𝑔(𝑡) 和对基𝜃𝑖 的修改ℎ(𝑖)。然而在处理较短的文本时，由于位置索引的缩放，可能会对模型的性能产生一定的负面影响。
Quantized LLM ，GPTQ生成式预训练量化
AI生成式技术曾小健
06-08 2195
今天自己量化了一个 LLaMA-13b-gptq-8，几乎是药到病除，效果立刻超越了 LLaMA-7b-fp16。模型越大，GPTQ 量化模型的精度损失越小，对性能的提升越高，感觉就跟免费的午餐一样。在 RTX 3090/RTX A6000 级别的显卡上，LLaMA-30B 和 LLaMA-65B 的推理性能几乎完全由模型尺寸和内存带宽决定。此外，默认的 GPTQ 加速库里面的累加使用的也是 fp32，而不是 fp16，而 pytorch 在默认的配置下使用 fp16 对矩阵乘法求和。
【分布式训练】Megatron-LM 中 Context Parallel原理：如何结合flash_attnV2和Ring attention
王尚权 qq:2515162716
12-10 538
第二步：Megatron-LM 中 Context Parallel原理, 如何实现负载均衡的， 数据对称重组，并移除causal masking中不必要的计算， 如何修正F2。第一步：先学习flash_attn和Ring Attntion。第三步：修正F2 的原理及公式推导。
NLP深入学习：《A Survey of Large Language Models》详细学习（三）
日常学习与专研的记录
02-06 1425
本文根据论文《A Survey of Large Language Models》来介绍预训练部分，这是 LLMs 的重要部分！
【大模型入门必看】LLM大语言模型导读，零基础入门到精通，收藏这篇就够了
leah126的博客
02-14 1446
在规模扩展定律（Scaling Laws）被证明对语言模型有效之后，研究者构建出了许多大语言模型。尤其是 2022 年底面向普通消费者的 ChatGPT 模型的出现，正式标志着自然语言处理进入大语言模型时代。本章将简要梳理大语言模型的技术要点以及构建过程，并且列举了可用于预训练以及微调模型的常用数据集，介绍了目前开发大语言模型常用的代码库、预训练大语言模型的步骤以及涉及的关键技术，包括数据准备阶段、模型架构以及实际的预训练操作。
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 253
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
三大空间信息焕新：辉视让酒店服务、教育通知、监所管控更智能高效
CalebLXL的博客
11-24 487
走访这些场所后我发现，系统的真正价值不在于那些炫目的屏幕，而在于它构建了一套"空间信息免疫系统"——就像人体淋巴网络般，能智能识别各区域的信息需求，精准输送"营养"，快速清除"毒素"。当我们在酒店大堂不再错过末班机场大巴，在学校走廊偶遇恰好需要的竞赛通知，甚至在高墙内获得规整的信息权时，或许该重新思考：所谓智能化，本质是对空间信息代谢效率的一次外科手术式改造。这种荒诞的割裂感，正是传统信息分发模式崩溃的缩影——直到我最近走访数家采用辉视系统的场所，才意识到我们早已进入"精准信息触达"的新纪元。
（116页PPT）关于5G和新基建赋能智慧工地整体解决方案（附下载方式）
最新发布
2501_92808811的博客
11-25 307
在整体架构方面，方案以“5G智慧工地平台”为核心，依托多类感知设备（如传感器、摄像头、AI眼镜、智能安全帽等）采集数据，通过5G网络实时回传至云平台，再借助大数据、云计算、人工智能等技术进行分析处理，最终在PC、手机、监控大屏等多终端进行可视化展示。此外，文件还详细列举了传统智慧工地子系统（如深基坑监测、升降机监控、扬尘噪音监测、智能水电计量等）的功能与部署方式，并补充了如5G企业专网、实测机器人、智慧科技体验中心等延伸应用，体现出方案的系统性与前瞻性。详细资料请看本解读文章的最后内容。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 449
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
DAPPLE: A Pipelined Data Parallel Approach for Training Large Models
02-27
### 关于DAPPLE Pipelined Data Parallel Approach 在机器学习领域，尤其是针对大型模型的训练，分布式训练技术变得至关重要。一种有效的方法是采用管道化数据并行方法（Pipelined Data Parallelism），即所谓的DAPPLE (Data-parallel Pipeline Learning)[^1]。 #### 数据并行与管道机制 传统上，在单节点多GPU环境中实现的数据并行方式会将输入批次分割成更小的部分分配给不同的设备处理。然而当面对超大规模神经网络时，这种方法可能遇到瓶颈。为了克服这些挑战，DAPPLE引入了一种新颖的设计理念——它不仅利用多个工作进程间的横向扩展性，还巧妙地设计了一个流水线调度器来管理前向传递和反向传播之间的依赖关系[^2]。 ```python import torch.distributed as dist from torch.nn.parallel import DistributedDataParallel as DDP def setup(rank, world_size): # 初始化环境... class Model(nn.Module): pass # 定义复杂模型结构 model = Model().to(rank) ddp_model = DDP(model) for epoch in range(epochs): for batch_idx, (data, target) in enumerate(train_loader): output = ddp_model(data) loss = F.nll_loss(output, target) optimizer.zero_grad() loss.backward() # 反向传播过程中的资源消耗较大 optimizer.step() if rank == 0: print('Training completed.') ``` 这种架构允许不同阶段的任务被重叠执行，从而提高了整体效率。具体来说，在等待某些层完成其正向计算的同时，其他部分已经开始准备下一个mini-batch的数据加载或启动早期梯度更新操作。这有效地隐藏了通信延迟，并使得整个系统的吞吐量显著增加。 #### 资源优化与性能提升 值得注意的是，尽管采用了先进的并行策略，但在实际应用中仍然需要注意合理配置硬件资源以及软件层面的各种参数设置。例如适当调整批量大小(batch size)，确保每个子任务有足够的样本数量来进行有效的统计估计；同时也要考虑内存占用情况等因素的影响，以达到最佳平衡状态。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值