ASPEN: High-Throughput LoRA Fine-Tuning of Large Language Models with a Single GPU

本文是LLM系列文章，针对《ASPEN: High-Throughput LoRA Fine-Tuning of Large Language Models with a Single GPU》的翻译。

摘要

基于Transformer的大型语言模型（LLM）在不同的领域中表现出了卓越的性能，尤其是在对特定领域进行微调时。最近的研究表明，可以通过低秩自适应（LoRA）等参数有效的方法来节省微调LLM所需的资源。虽然LoRA有效地减少了计算负担和资源需求，但它目前只支持单个作业的微调设置。在本文中，我们提出了ASPEN，一种用于微调LLM的高通量框架。ASPEN利用共享的预训练模型和自适应调度，使用LoRA方法在单个GPU上高效地训练多个作业。ASPEN与LLaMA和ChatGLM等基于transformer的语言模型兼容。实验表明，当在NVIDIA A100 80GB GPU上训练多个LLaMA7B模型时，ASPEN节省了53%的GPU内存，并且当在不同GPU上使用各种预训练模型进行训练时，与现有方法相比，训练吞吐量提高了约17%。自适应调度算法将周转时间减少了24%，端到端训练延迟减少了12%，可以优先处理作业并防止内存不足问题。

1 引言

2 背景与动机

3 系统概述

4 多LoRA训练器

5 任务调度器

6 评估

<