大模型PEFT技术原理（一）：BitFit、Prefix Tuning、Prompt Tuning

最新推荐文章于 2025-02-13 14:41:21 发布

wshzd

最新推荐文章于 2025-02-13 14:41:21 发布

阅读量1.5k

点赞数 19

分类专栏： ChatGPT 笔记文章标签： prompt 人工智能

本文链接：https://blog.youkuaiyun.com/wshzd/article/details/135509519

版权

本文介绍了如何通过BitFit、PrefixTuning和PromptTuning等方法在保持大模型预训练参数不变的情况下，仅调整一小部分参数以实现接近全量微调的效果。这些技术在小至大规模数据集上表现出色，尤其在参数效率和性能上具有竞争力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

随着预训练模型的参数越来越大，尤其是175B参数大小的GPT3发布以来，让很多中小公司和个人研究员对于大模型的全量微调望而却步，近年来研究者们提出了各种各样的参数高效迁移学习方法（Parameter-efficient Transfer Learning），即固定住Pretrain Language model（PLM）的大部分参数，仅调整模型的一小部分参数来达到与全部参数的微调接近的效果（调整的可以是模型自有的参数，也可以是额外加入的一些参数）。本文将介绍一些常见的参数高效微调技术，比如：BitFit、Prefix Tuning、Prompt Tuning、P-Tuning、P-Tuning v2、Adapter Tuning及其变体、LoRA、AdaLoRA、QLoRA、MAM Adapter、UniPELT等。

1、BitFit

论文地址：https://aclanthology.org/2022.acl-short.1.pdf

代码地址：https://github.com/benzakenelad/BitFit

BitFIt只对模型的bias进行微调。在小规模-中等规模的训练数据上，BitFit的性能与全量微调的性能相当，甚至有可能超过，在大规模训练数据上，与其他fine-tuning方法也差不多。在大模型中bias存在Q,K,V,MLP,LayerNorm中，具体公式如下：

在Bert-Base/Bert-Large这种模型里，bias参数仅占模型全部参数量的0.08%～0.09%。但是通过在Bert-Large模型上基于GLUE数据集进行了 BitFit、Adapter和Diff-Pruning的效果对比发现，BitFit在参数量远小于Adapter、Diff-Pruning的情况下，效果与Adapter、Diff-Pruning想当，甚至在某些任务上略优于Adapter、Diff-Pruning。

通过Bitfit训练前后的参数对比，发现很多bias参数没有太多变化，例如跟计算key所涉及到的bias参数。发现其中计算query与中间MLP层的bias（将特征维度从N放大到4N的FFN层——将输入从768d转化为到3072d）变化最为明显，只更新这两类bias参数也能达到不错的效果，反之，固定其中任何一者，模型的效果都有较大损失。