LONGLORA: EFFICIENT FINE-TUNING OF LONGCONTEXT LARGE LANGUAGE MODELS

最新推荐文章于 2025-02-14 20:09:00 发布
最新推荐文章于 2025-02-14 20:09:00 发布
阅读量1.3k 收藏
点赞数
文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/133711525
版权
LLM 日更 专栏收录该内容
828 篇文章

已下架不支持订阅

LongLoRA是一种新的微调方法，能够在不显著增加计算成本的情况下，有效扩展预训练大型语言模型的上下文大小。通过引入转移短注意力和支持长上下文的LoRA，LongLoRA在保持模型性能的同时减少了GPU内存和训练时间。实验表明，该方法成功应用于LLaMA2模型，实现了从几千到数十万的上下文扩展。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文是LLM系列文章，针对《LONGLORA: EFFICIENT FINE-TUNING OF LONGCONTEXT LARGE LANGUAGE MODELS》的翻译。

Longlora:长上下文大型语言模型的高效微调

摘要

我们提出了LongLoRA，一种有效的微调方法，以有限的计算成本扩展预训练的大型语言模型(llm)的上下文大小。通常，训练具有长上下文大小的llm在计算上是昂贵的，需要大量的训练时间和GPU资源。例如，在上下文长度为8192的情况下进行训练，自注意力层的计算成本是在上下文长度为2048的情况下的16倍。本文从两个方面加快LLM的语境扩展。一方面，虽然在推理过程中需要密集的全局关注，但通过稀疏的局部关注可以有效地对模型进行微调。所提出的转移短注意力(S2 -Attn)有效地支持上下文扩展，从而节省大量计算，性能与使用普通注意力进行微调相似。特别的是，它可以在训练中仅用两行代码实现，而在推理中是可选的。另一方面，我们重新审视了上下文扩展的参数有效微调机制。值得注意的是，我们发现LoRA在可训练的嵌入和规范化的前提下可以很好地进行上下文扩展。LongLoRA在LLaMA2模型从7B/13B到70B的各种任务上证明了强有力的实证结果。LongLoRA在单个8× A100机器上采用LLaMA2 7B从4k上下文到100k，或LLaMA2 70B到32k。LongLoRA扩展了模型的上下文，同时保留了它们原来的架构，并且与大多数现有技术兼容，

了解本专栏 已下架不支持订阅
UnknownBody
关注
专栏目录

已下架不支持订阅

大规模语言模型从理论到实践 FastServe框架
AI天才研究院
06-24 888
大规模语言模型从理论到实践 FastServe框架 1.背景介绍 在人工智能和自然语言处理领域，大规模语言模型（Large Language Models, LLMs）已经成为了研究和应用的热点。随着计算能力的提升和数据量的增加，LLMs在各种任务中表现出了卓越的性能。然而
Automated Federated Pipeline for Parameter-Efficient Fine-Tuning of Large Language Models
c_cpp_csharp的专栏
07-11 185
近年来，高级智能生成内容（AIGC），特别是大型语言模型（LLMs）的发展激增。然而，对于许多下游任务，有必要使用私有数据对LLM进行微调。虽然联邦学习为LLM微调提供了一种有前景的隐私保护解决方案，但LLM的庞大规模，再加上高计算和通信需求，使得它很难应用于下游任务。更重要的是，在现实世界中，私有边缘服务器通常拥有不同的计算和网络资源，这给LLM微调带来了额外的复杂性。为了解决这些问题，我们设计并实现了一个名为FedPipe的自动化联邦管道，以最小的训练成本微调LLM，但不会增加任何推理延迟。
港中文联合MIT提出超长上下文LongLoRA大模型微调算法
TechBeat人工智能社区博客
02-26 1223
本文针对LLM微调训练提出了一种名为LongLoRA的方法，它可以有效地将LLM的上下文窗口长度扩展到更长的范围。LongLoRA与标准完全微调方法相比，所使用的GPU显存成本和训练时间更少，并且精度损失也很小。在架构层面，作者将原始笨重的自注意力计算转换为更加轻量的shift short attention（S2-Attn），S2-Attn以独特的注意力头划分模式实现了局部的信息交互，从而带来更高效的性能，更关键的是，S2-Attn只需要两行代码就可以实现。
LONGLORA: EFFICIENT FINE-TUNING OF LONGCONTEXT LARGE LANGUAGE MODELS翻译
nopSled
10-05 633
大型语言模型 (LLM) 通常使用预定义的上下文大小进行训练，例如 LLaMA 为 2048 个token，LLaMA2 为 4096 个token。然而，预定义的大小限制了LLM在许多应用中的应用，例如总结长文档或回答长问题。为了解决这个限制，最近的一些工作对LLM进行了训练或微调以适应更长的上下文。然而，使用长序列从头开始训练 LLM 会带来计算挑战，并且对现有预训练的 LLM 进行微调也相当昂贵。
【论文笔记】LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models
小嗷犬的博客
01-05 1352
我们提出了LongLoRA，一种高效的微调方法，它通过有限的计算成本扩展了预训练大型语言模型（LLM）的上下文大小。通常，使用长上下文大小训练LLM在计算上非常昂贵，需要大量的训练时间和GPU资源。例如，在819281928192个上下文长度的训练中，自注意力层的计算成本是204820482048个上下文长度的161616倍。在本文中，我们从两个方面加速了LLM上下文扩展。一方面，尽管在推理过程中需要密集的全局注意力，但通过稀疏局部注意力可以有效地进行模型微调。
LongLoRA
whaosoft143ai的博客
09-30 268
研究者已经发布了 13B 和 70B 32k 型号的 SFT、Llama-2-13b-chat-longlora-32k-sft 和 Llama-2-70b-chat-longlora-32k-sft，并将在下个月发布数据集。发布了所有模型，包括从 7B 到 70B 的模型，上下文长度从 8k 到 100k，包括 LLaMA2-LongLoRA-7B-100k、LLaMA2-LongLoRA-13B-64k 和 LLaMA2-LongLoRA-70B-32k。模型进行了 1000 步的训练 whaosoft
第28篇：FLoRA: Federated Fine-Tuning Large Language Models with Heterogeneous （FedIT的升级版）​
weixin_74009895的博客
02-14 1180
（本地的秩为16，全局的秩为64，上传的是A,B，全局聚合下发的是堆积后的AB，不是w的原因是w太大了，最终本地再将这个堆积后的AB吸收）目录添加到系统的 PATH 环境变量中，这样你可以在命令行中直接使用安装的脚本和工具。测试，比较了 FLoRA 与其他基线方法的性能。注意：每一个本地训练都要进行模型初始化。注意：每一个本地训练都要进行模型初始化。实验结果通过不同设置的。这些不安装，使用#注销。
PEFOMED: PARAMETER EFFICIENT FINE-TUNING ON MULTIMODAL LARGE LANGUAGE MODELS
c_cpp_csharp的专栏
02-18 520
多模态大型语言模型（MLLM）代表了传统大型语言模型功能的进化扩展，使其能够应对超越纯基于文本的应用程序范围的挑战。它利用了这些语言模型中先前编码的知识，从而增强了它们在多模态上下文中的适用性和功能。最近的工作研究了MLLMs对预测自由形式答案的适应性，将其作为解决医学视觉问答（Med-VQA）任务的生成任务。在本文中，我们提出了一个专门针对Med-VQA应用程序的参数有效的MLLM微调框架，并在公共基准数据集上进行了实证验证。
Federated Fine-tuning of Large Language Models under Heterogeneous Language Tasks and Client
c_cpp_csharp的专栏
04-21 229
联合学习（FL）最近被应用于大型语言模型（LLM）的参数有效微调。尽管前景广阔，但由于客户端的异构资源和数据分布，它带来了重大挑战。本研究引入了FlexLoRA，这是一种简单而有效的LLM微调聚合方案，通过将资源充足的客户与资源最少的参与者的能力联系起来，缓解了传统FL中的“桶效应”，即限制了他们的潜力。FlexLoRA允许动态调整当地的LoRA等级，促进开发一个充满更广泛、更少特定任务知识的全球模型。
大语言模型之十六-基于LongLoRA的长文本上下文微调Llama-2
shichaog的专栏
10-07 3159
增加LLM上下文长度可以提升大语言模型在一些任务上的表现，这包括多轮长对话、长文本摘要、视觉-语言Transformer模型的高分辨4k模型的理解力以及代码生成、图像以及音频生成等。对长上下文场景，在解码阶段，缓存先前token的Key和Value（KV）需要巨大的内存开销，其次主流的LLM模型在推理的时候上下文长度都小于等于训练时的上下文长度。
ICLR 2024：长文本的大模型微调--LongLoRA
Kaiyuan_sjtu的博客
02-14 838
后台留言『交流』，加入 NewBee讨论组https://github.com/dvlab-research/LongLoRA/tree/main1. 基本信息和摘要论文题目：LongLoRA: Efficient Fine-Tuning of Long-Context Large Language Models作者：ICLR author摘要：本文提出了一种高效的微调方法，可以扩展预训练的大型语...
【AI视野·今日NLP 自然语言处理论文速览 第三十九期】Fri, 22 Sep 2023
TomRen
09-23 1066
AI视野·今日CS.NLP 自然语言处理论文速览 Fri, 22 Sep 2023 Totally 59 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models Authors Yukang Chen, Shengju Qian, Haotian Tang, Xin Lai, Zhijia
LongAlign: A Recipe for Long Context Alignment of Large Language Models
c_cpp_csharp的专栏
03-06 221
扩展大型语言模型以有效处理长上下文需要对类似长度的输入序列进行指令微调。为了解决这个问题，我们提出了LongAlign——一个用于长上下文对齐的指令数据、训练和评估的配方。首先，我们使用Self instruction构建了一个长指令跟随数据集。为了确保数据的多样性，它涵盖了来自各种长上下文来源的广泛任务。其次，我们采用打包和排序分批策略来加快对具有不同长度分布的数据的监督微调。此外，我们开发了一种损失加权方法，以平衡打包训练过程中不同序列的损失。
LongAlign：ChatGLM 团队发布的超长文指令数据及训练评估方案
木尧大兄弟
08-24 1701
这是一个由清华 ChatGLM 团队提出的长上下文指令微调数据（64k）、模型训练策略、评测基准 LongBench-Chat 一条龙方案。
七月论文审稿GPT第2版：用一万多条paper-review数据微调LLaMA2 7B最终反超GPT4
热门推荐
结构之法 算法之道
11-02 1万+
如此前这篇文章《》中的第三部分所述，对于论文的摘要/总结、对话、翻译、语法检查而言，市面上的学术论文GPT的效果虽暂未有多好，可至少还过得去，而如果涉及到论文的修订/审稿，则市面上已有的学术论文GPT的效果则大打折扣。原因在哪呢？
LongAlign: A Recipe for Long Context Alignment of Large Language Model
步子哥的博客
02-01 671
- 在ChatGLM3-6B-64k模型上，通过不同的长指令数据集（LongAlign-0k, LongAlign-5k, LongAlign-10k, LongAlpaca-12k）进行监督式微调（SFT），并评估模型在长任务（LongBench-Chat）和短任务（MT-Bench）上的性能。： - 对模型在长上下文任务上的泛化能力进行了研究，发现模型能够处理未见过的长上下文查询，如撰写研究论文的评论。：研究LLMs在未见过的长上下文查询（OOD）上的泛化能力，以及如何通过训练提高这种能力。
LoongServe论文解读：prefill/decode分离、弹性并行、零KV Cache迁移
weixin_45817413的博客
05-08 1万+
LoongServe论文解读。介绍了prefill、decode分离的问题背景。介绍了LoongServe如何通过使ESP实例组根据负载的变化动态地scale up或者scale down并且没有KV Cache的迁移开销。
LongAlign：大模型长文本处理能力提升之道
人工智能讲师分享前沿技术
07-27 1558
大模型（LLMs）在处理长文本时，需要在输入序列上进行指令微调（instruction finetuning），以确保它们能够有效地处理长文本。现有的方法主要集中在上下文扩展（context extension），即通过位置编码扩展和对长文本的持续训练来提升模型的上下文长度。
【论文专辑】2024年大模型推理优化论文精选第六期
CodeFuse的博客
01-08 1759
本文整理了 OSDI 2024 和 SOSP 2024 中与大语言模型（LLM）推理优化相关的10篇论文，涵盖 Parrot、ServerlessLLM、dLoRA 等系统，提出的技术如 Chunked Prefill、Prefix-Caching、P/D分离等已被 vLLM 和 TensorRT-LLM 等主流推理引擎采用。这些研究解决了 LLM 推理中的冷启动延迟、资源分配、KV 缓存管理等问题，提升了推理性能和资源利用率。CodeFuse推理优化项目地址https://github.com/code
adapter-transformers
最新发布
02-17
### Adapter-Transformers Library Information #### Overview of Adapter-Tuning with Pre-Trained Models Adapter-tuning leverages pre-trained language models from model zoos like Hugging Face's Transformers library as a foundation. These libraries offer various utilities and functionalities that facilitate efficient adaptation of large-scale models without requiring extensive retraining or modification of the original architecture[^1]. #### Installation Process for Required Libraries To begin working with adapters, installing necessary packages is essential. Specifically, the `transformers` library must be installed since it supplies access to pre-trained models including BERT along with optimizers required for fine-tuning operations. ```bash !pip install transformers ``` This command installs all dependencies needed to work with adapter modules within Python environments[^2]. #### Parameter-Efficient Fine-Tuning Techniques Research on parameter-efficient methods has led to developments such as LLm-Adapters, an innovative approach introduced by researchers at multiple institutions. This technique allows developers to apply minimal changes—specifically through low-rank updates—to existing weights while maintaining performance gains during transfer learning tasks[^3]. #### Implementation Details Using Low-Rank Adaptation (LoRA) One notable implementation detail involves breaking down weight updates into two smaller matrices \( A \) and \( B \), where: - Matrix \( A \): Dimensions are \( d_{\text{model}} \times r \). - Matrix \( B \): Dimensions are \( r \times d_{\text{model}} \). Here, \( r \) represents rank size much lower than \( d_{\text{model}} \), leading to significant reductions in computational overhead when applying these adjustments compared to full matrix modifications[^4]. --related questions-- 1. What specific advantages does using adapter-based tuning have over traditional fine-tuning approaches? 2. How do different ranks affect the efficiency and effectiveness of LoRA implementations? 3. Can you explain how one might integrate custom adapters into their own projects built upon Transformer architectures? 4. Are there any particular challenges associated with deploying adapter-modified models in production settings?
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值