LONGQLORA: EFFICIENT AND EFFECTIVE METHOD TO EXTEND CONTEXT LENGTH OF LARGE LANGUAGE MODELS

UnknownBody

于 2024-01-04 11:41:22 发布

阅读量485

点赞数 14

CC 4.0 BY-SA版权

文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/135382933

LLM 日更专栏收录该内容

828 篇文章

已下架不支持订阅

LongQLoRA是一种融合位置插值、QLoRA和移位短注意优势，用于有限资源下扩大大型语言模型上下文长度的方法。通过这种方法，能在单个32GB V100 GPU上将LLaMA2 7B和13B的上下文长度扩展至8192或12k，且在PG19和Proof pile数据集上保持良好性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《LONGQLORA: EFFICIENT AND EFFECTIVE METHOD TO EXTEND
CONTEXT LENGTH OF LARGE LANGUAGE MODELS》的翻译。

摘要

我们提出了LongQLoRA，这是一种用较少的训练资源扩展大型语言模型上下文长度的有效方法。LongQLoRA融合了LongLoRA的位置插值、QLoRA和移位短注意的优点。使用单个32GB V100 GPU，LongQLoRA可以在1000个微调步骤内将LLaMA2 7B和13B的上下文长度从4096扩展到8192，甚至扩展到12k。LongQLoRA在PG19和Proof pile数据集上实现了竞争性困惑性能，我们的模型优于LongLoRA，在8192的评估上下文长度内非常接近MPT-7B-8K。我们收集并构建了39k长的指令数据，将Vicuna-13B的上下文长度从4096扩展到8192，并在长上下文和短上下文生成任务中都获得了良好的性能。我们还做了一些消融实验来研究LoRA等级、微调步骤和注意力模式在推理中的影响。模型权重、训练数据和代码在https://github.com/yangjianxin1/LongQLoRA上可用.