大模型微调爆火！32种前沿微调方法全面汇总

大模型微调技术在短时间内迅速发展，迎来了爆火，各种微调包括LoRA的多个版本迭代、增量学习、蒸馏技术和开源模型的理解等技术层出不穷。

这些技术能够向模型输入更多信息，优化特定功能，使其适应特定任务或领域，是大模型er必须掌握的重要技能。

为了让大家跟上领域前沿，我整理了32种前沿微调技术，并提供了参考论文和源码，涵盖_指令微调_、_模型对齐_和_模型推理_等方面。

模型指令微调

【选取一部分参数更新】

1.BitFit: Simple Parameter-efficient Fine-tuning or Transformer-based Masked Language-models

简述：该文介绍了BitFit，这是一种稀疏微调方法，其中只修改模型的偏差项（或其子集）。作者发现，对于中小型训练数据，在预训练的BERT模型上应用BitFit与对整个模型的微调相比有时甚至更好。对于较大的数据，该方法与其他稀疏微调方法具有竞争力。

---

【增加额外参数】

2.Prefix-Tuning Optimizing Continuous Prompts for Generation

简述：该文提出了预调优，这是一种用于自然语言生成任务的轻量级微调替代方案，它可以保持语言模型参数的frozen，优化一个小的连续任务特定向量（称为预调优）。预调试从提示中汲取灵感，允许后续tokens像“虚拟tokens”一样参与预调试。

作者对GPT-2进行预调优，以生成表到文本，并对BART进行摘要。通过仅学习0.1%的参数，预调优在全数据设置中获得了可比的性能，在低数据设置中优于微调。