VeRA: Vector-based Random Matrix Adaptation

本文是LLM系列文章，针对《VeRA: Vector-based Random Matrix Adaptation》的翻译。

摘要

低秩（LoRA）是一种流行的方法，它可以在微调大规模语言模型时减少线性参数的数量，但在扩展更大的模型时仍然面临着巨大的存储挑战，需要大量的用户或任务自适应的模型。在这项工作中，我们提出了基于向量的随机矩阵自适应（VeRA），它将线性参数的数目减少了LoRA的10倍，同时保持了相同的性能。它通过使用在所有层共享的低阶矩阵的一部分来实现估计，而不是使用小规模的向量。GLUEA和E2E基准点的演示效果都不重要，以及它在说明中的应用——使用Llama27B模型，只有1.4M参数。

1 引言

2 相关工作

3 方法

4 实验

5 结论

在这项工作中，我们介绍了一种微调方法，与LoRA相比，该方法显著减少了可训练参数的数量，并且在精度上没有损失。具体而言，在RoBERTalarge的GLUE基准上，它实现了参数减少十倍，在GPT-2medium的E2E基准上减少了三倍。这种方法