FinGPT-HPC: Efficient Pretraining and Finetuning Large Language Models for Financial Applications_pretraining and finetuning language models on geos-优快云博客

本文是LLM系列文章，针对《FinGPT-HPC: Efficient Pretraining and Finetuning Large Language Models for Financial Applications with High-Performance Computing》的翻译。

摘要

大型语言模型（LLM）是计算密集型的。计算工作负载和内存占用空间随维度（层宽度）呈二次方增长。LLM的大多数参数来自transformer结构的线性层，并且是高度冗余的。这些线性层贡献了80%以上的计算工作量和99%的模型大小。为了有效地预训练和微调LLM，有三个主要挑战需要解决：1）减少线性层的冗余；2）减少GPU内存占用；3）在使用分布式训练时提高GPU利用率。现有的方法，如LoRA和QLoRA，分别利用低秩矩阵和量化来减少可训练参数的数量和模型大小。然而，生成的模型仍然会消耗大量的GPU内存。在本文中，我们提出了基于GPU的高性能方法，这些方法利用低秩结构来预训练和微调金融应用的LLM。我们用两个更窄的线性层代替transformer结构的一个传统线性层，这使我们能够将参数的数量减少几个数量级。通过将参数量化为低精度（8位和4位），进一步减少了所得模型的内存消耗。与现有的LLM相比，我们的方法在没有精度下降的情况下实现了1.3倍的加速和2.64倍的模型压缩比。对于微调，我们的方法在一般任务和财务任务中分别实现了6.3%和24.0%的平均精度提高，GPU内存消耗率为6.3×。我们的模型大小小于0.59 GB，可以在智能手机上进行推理。