ASPEN: High-Throughput LoRA Fine-Tuning of Large Language Models with a Single GPU-优快云博客

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/135631221

ASPEN是一个高通量框架，利用LoRA在单个GPU上高效微调大型语言模型（LLM），减少GPU内存使用并提高训练吞吐量。通过自适应调度，它能减少周转时间和训练延迟，兼容多种LLM如LLaMA和ChatGLM。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《ASPEN: High-Throughput LoRA Fine-Tuning of Large Language Models with a Single GPU》的翻译。

摘要

基于Transformer的大型语言模型（LLM）在不同的领域中表现出了卓越的性能，尤其是在对特定领域进行微调时。最近的研究表明，可以通过低秩自适应（LoRA）等参数有效的方法来节省微调LLM所需的资源。虽然LoRA有效地减少了计算负担和资源需求，但它目前只支持单个作业的微调设置。在本文中，我们提出了ASPEN，一种用于微调LLM的高通量框架。ASPEN利用共享的预训练模型和自适应调度，使用LoRA方法在单个GPU上高效地训练多个作业。ASPEN与LLaMA和ChatGLM等基于transformer的语言模型兼容。实验表明，当在NVIDIA A100 80GB GPU上训练多个LLaMA7B模型时，ASPEN节省了53%的GPU内存，并且当在不同GPU上使用各种预训练模型进行训练时，与现有方法相比，训练吞吐量提高了约17%。自适应调度算法将周转时间减少了24%，端到端训练延迟减少了12%，可以优先处理作业并防止内存不足问题。