LoRA Meets Dropout under a Unified Framework

本文是LLM系列文章，针对《LoRA Meets Dropout under a Unified Framework》的翻译。

摘要

凭借其卓越的功能，大型语言模型（LLM）已成为众多NLP应用程序中的重要元素，而参数高效的微调，特别是LoRA，作为模型定制的轻量级方法越来越受欢迎。同时，各种dropout方法最初设计用于在所有参数更新的情况下进行完全微调，减轻了与过多参数冗余相关的过拟合。因此，LoRA的可训练参数可以忽略不计，而之前的dropout方法的有效性在很大程度上被忽视了，这可能会产生矛盾。为了填补这一空白，我们首先确认参数有效的LoRA也容易过拟合。然后，我们重新审视了transformer特定的压降方法，并在数学和实证上建立了它们的等价性和区别。基于这一比较分析，我们引入了一个统一的综合调查框架，该框架根据下降位置、结构模式和补偿措施来实例化这些方法。通过这个框架，我们揭示了它们在有限可训练参数下的新偏好和性能比较。该框架还允许我们将最有利的方面合并到一种名为HiddenKey的新型dropout方法中。大量实验验证了HiddenKey在多个模型和任务中的显著优势和充分性，这突显了它是LLM高性能和参数高效微调的首选方法。

1 引言

2 前言

3 方法

4 实验

5 结论

我们研究了LoRA的有限可训练参数与过拟合相关的过度参数冗余之间可能存在的矛盾。在确认LoRA的过拟合倾向性后，我们从理论和实证上分析了现有的dropout方法，并进一步引入了一个统一的框架进行深入比较。这也指导我们推导出一种新的dropout方法Hid