一文读懂基于PEFT大模型微调技术

原创 已于 2024-06-11 21:12:23 修改 · 1.5k 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #深度学习 #机器学习

于 2024-05-20 11:54:26 首次发布

目录

为什么要对大模型进行微调

参数高效微调

参见的高效微调方法

PEFT是什么

常见的高效微调方法

1.BitFit

2.Prompt Tuning

3.P Tuning

4.Prefix Tuning

​编辑

5.LoRA

6.IA3

7.Adapter

参考视频

参考文章

为什么要对大模型进行微调

  2018年BERT问世后，NLP任务的主流范式已经变为预训练语言模型+微调。从大多数模型的自我对比来说，尺寸越大，效果越好。预训练语言模型的趋势为：大 → 更大 → 再大。BERT-Base只有0.1B，而现在意义上的大模型，起步就要6、7B，更大的模型带来了更好的性能，但是也带来了一些问题。

1.以传统微调的方式对模型进行全量参数更新会消耗巨大的计算与存储资源。

2.个人层面，很难拥有充足的资源进行训练

参数高效微调

  在上述的情况下，参数高效微调(Parameter-efficient fine-tuning，PEFT)应运而生。

  参数高效微调方法仅对模型的一小部分参数(这一小部分可能是模型自身的，也可能是外部引入的)进行训，便可以为模型带来显著的性能变化，一些场景下甚至不输于全量微调，颇有一种四两拨千斤的感觉。

  由于训练一小部分参数，极大程度降低了训练大模型的算力需求，不需要多机多卡，单卡即可完成对一些大模型的训练，不仅如此，少量的训练参数对存储的要求同样降低了很多，大多数的参数高效微调方法只需要保存训练部分的参数，与动辄几十GB的原始大模型相比，几乎可以忽略。

参见的高效微调方法

高效微调技术可以粗略分为以下三大类：增加额外参数（A）、选取一部分参数更新（S）、引入重参数化（R）。而在增加额外参数这类方法中，又主要分为类适配器（Adapter-like）方法和软提示（Soft prompts）两个小类。

PEFT是什么

PEFT（Parameter-Efficient Fine-Tuning）是hugging face开源的一个参数高效微调大模型的工具，里面集成了4种微调大模型的方法，可以通过微调少量参数就达到接近微调全量参数的效果，使得在GPU资源不足的情况下也可以微调大模型。

常见的高效微调方法

1.BitFit

BitFit是一种稀疏的微调方法，它训练时只更新bias的参数或者部分bias参数。

对于Transformer模型而言，冻结大部分 transformer-encode

最低0.47元/天 解锁文章
【LLM大模型】指令微调、peft高效参数微调
发现问题，并解决问题，批判性思维
05-07 1万+
LLaMA 是 Meta AI 发布的包含 7B、13B、33B 和 65B 四种参数规模的基础语言模型集合，LLaMA-13B 仅以 1/10 规模的参数在多数的 benchmarks 上性能优于 GPT-3(175B)，LLaMA-65B 与业内最好的模型 Chinchilla-70B 和 PaLM-540B 比较也具有竞争力。通过使用与 ChatGLM（chatglm.cn）相同的技术，ChatGLM-6B 初具中文问答和对话功能，并支持在单张 2080Ti 上进行推理使用。
一文读懂「LM，Large Model / Foundation Model」大模型
女王の专属领地
02-03 6901
大模型是指具有大量参数的机器学习模型，通常指深度学习模型。首先，大模型这个词是建立在神经网络模型上的。神经网络是一种基于生物学神经系统结构和功能的计算模型，旨在模仿人脑的学习和决策过程该模型由多个神经元组成，这些神经元通过权重连接形成层次结构，通常分为输入层、隐藏层和输出层。输入层接收原始数据，输出层产生最终的输出，而隐藏层在这两者之间进行中间处理。神经网络通过学习调整连接权重，从而能够识别模式、进行分类、回归等任务。
大模型微调——PEFT
m0_73944777的博客
05-17 1075
PEFT（参数高效微调）是用于高效微调大模型的技术，针对全量微调成本高问题。其方法分 Additive、Selective、Reparametrization-based 三类，本文将简要分析其中几个方法的内容
大模型微调技术——PEFT
Whitney66的博客
04-08 3432
本文主要讲述了大模型的训练和微调成本较高，以及如何通过Prefix Tuning降低大模型微调成本的问题。此外，文中也涉及到大模型的训练难度和微调的复杂性，以及Prefix Tuning的原理和优势。同时，文中还介绍了如何使用Prefix Tuning进行模型微调的具体步骤和注意事项，以及Prefix Tuning在自然语言处理领域的应用前景。
大模型参数高效微调（PEFT）技术解析及微调加速实践
2301_76161259的博客
06-06 3013
本文详细介绍了几种高效微调方法的原理解析和实验效果对比，并基于Unsloth做了一些微调加速的实践尝试。实验效果显示结合优秀的低参微调方法和微调加速，完全可以做到极为高效的微调大模型，可以在极低的资源占用上得到媲美全参微调的效果。作者介绍：刘辉，58同城TEG-AILab大语言模型算法工程师，主要负责灵犀大语言模型的SFT微调工作。读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用如果你是零基础小白，想快速入门大模型是可以考虑的。一方面是学习时间相对较短，学习内容更全面更集中。
一文彻底搞懂大模型参数高效微调（PEFT）
热门推荐
2401_84033492的博客
08-11 1万+
最近这一两周看到不少互联网公司都已经开始秋招提前批了。不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。。更多实战和面试交流，加入我们。
大模型高效微调（PEFT）方法大全
xzp740813的博客
06-11 3173
按Additive、Selective、Reparametrization-based分类介绍，主要方法会介绍细节，其余方法一句话概括。
一文搞懂如何用 QLoRA 高效微调大语言模型
最新发布
和大家一起涨芝士
09-03 956
随着大语言模型规模不断增长，显存瓶颈成为微调大模型的最大难题。 QLoRA（Quantized LoRA）作为结合了量化技术和低秩微调的创新方案，极大降低了显存占用，实现了资源有限设备上对超大模型的高效微调。
一文读懂「LoRA」：大型语言模型的低秩适应
古月居
01-06 1323
LoRA作为大模型的微调框架十分实用，在LoRA出现以前本人都是通过手动修改参数、优化器或者层数来“炼丹”的，具有极大的盲目性，但是LoRA技术能够快速微调参数，如果LoRA微调后的效果不行，就可以转而修改优化器或模块了。而调整参数一步是工作量最大的，而且大模型的参数都是以亿为计数单位的，所以人工硬调参数变得不太可能，而LoRA就为这个提供了解决方法！LoRA通过仅训练低秩矩阵，然后将这些参数注入到原始模型中，从而实现对模型的微调。
大模型微调（PEFT）
蜡笔小晴
04-14 1247
利用PEFT包微调大模型
手把手教你如何利用PEFT技术，微调一个AI大模型
weixin_43199439的博客
06-15 1232
PEFT（Parameter-Efficient Fine-Tuning）是一种微调大型预训练模型的方法，通过只调整一小部分参数（通常是模型的最后几层或者插入的特定层）来实现模型在特定任务上的优化。高效性：只需调整模型的一部分参数，计算资源需求大大降低。灵活性：可以在不同任务之间快速切换，适应性强。节省内存和存储：调整的参数少，节省了存储空间。减少过拟合：只微调部分参数，可以减少在小数据集上过拟合的风险。根据任务的需求和模型的架构，选择合适的微调策略。
如何高效微调大模型？五大前沿 PEFT 技术为你揭晓，零基础入门到精通，收藏这一篇就够了
Python_0011的博客
08-01 894
大模型的微调一直是一个复杂而资源密集的任务。然而，近年来出现了一些高效的微调技术（PEFT），使得这一过程变得更加简便和高效。本文将详细介绍几种主要的 PEFT 技术，包括 Adapter Tuning、Prefix Tuning、Prompt Tuning、P-Tuning v1 和 P-Tuning v2。Adapter Tuning 是一种在 2019 年提出的创新微调技术，旨在通过添加额外的适配层来提高模型的微调效率。
大模型内容分享(十一)：大模型高效微调（PEFT）方法大全
之乎者也·的博客
01-08 3869
结构简洁明了，在Transformer的前馈层后加入上图中右边所示的Adapter层，Adapter是一个bottleneck结构，先把d维特征映射为m维，然后通过一个非线性层，最后映射回d维特征，m
【自然语言处理】大模型高效微调：PEFT 使用案例
wzk4869的博客
08-09 6635
【自然语言处理】大模型高效微调：PEFT 使用案例
大模型微调：参数高效微调（PEFT）方法总结
2401_85375186的博客
07-30 912
PEFT (Parameter-Efficient Fine-Tuning) 参数高效微调是一种针对大模型微调的技术，旨在减少微调过程中需要调整的参数量，同时保持或提高模型的性能。以和为主的PEFT方法总结如下。
大模型微调高效指南：五大前沿PEFT技术揭秘，提升模型性能的关键策略
2401_85375186的博客
11-20 827
大模型的微调一直是一个复杂而资源密集的任务。然而，近年来出现了一些高效的微调技术（PEFT），使得这一过程变得更加简便和高效。本文将详细介绍几种主要的 PEFT 技术，包括 Adapter Tuning、Prefix Tuning、Prompt Tuning、P-Tuning v1 和 P-Tuning v2。Adapter Tuning 是一种在 2019 年提出的创新微调技术，旨在通过添加额外的适配层来提高模型的微调效率。
大模型参数高效微调（PEFT）高效解析
Python栈
03-18 1131
2023年，大模型如雨后春笋般爆发，58同城TEG-AI Lab作为AI平台部门，紧跟大语言模型技术发展步伐，打造了大语言模型平台，支持大语言模型训练和推理部署，并基于大语言模型平台构建了58同城生活服务领域（房产、招聘、汽车、黄页）垂类大模型灵犀大语言模型（ ChatLing），支撑了业务方大模型应用的探索落地。灵犀大语言模型在公开评测集和实际应用场景下，效果均优于开源通用大语言模型以及商用通用大语言模型。在研发灵犀大模型过程中，我们在大模型参数高效微调
大模型微调 | 微调的主要方法，微调的关键步骤，微调实战（使用peft进行Fine Tuning）
Code1994的博客
03-05 1514
大模型（Large Language Models, LLMs）通常是指模型参数量极大的深度学习模型，能够理解和生成人类语言，在大量的文本数据上进行训练，可以执行广泛的任务。我们首先会想为什么要进行大模型微调，这是因为大模型的训练成本极其高昂，同时大模型的知识库有其滞后性，以及希望在特定任务上的能力能够得到提升。为此，成为了一种重要手段，其借鉴于计算机视觉模型的迁移学习，这是一个非常伟大的想法。
【模型参数微调】最先进的参数高效微调 （PEFT） 方法
weixin_46481662的博客
06-02 644
由于大型预训练模型的规模，微调大型预训练模型的成本通常高得令人望而却步。参数高效微调 （PEFT） 方法只需微调少量（额外）模型参数而不是所有模型参数，即可使大型预训练模型有效地适应各种下游应用。这大大降低了计算和存储成本。最近最先进的PEFT技术实现了与完全微调的模型相当的性能。PEFT 与 Transformers 集成，可轻松进行模型训练和推理，与 Diffusers 集成，方便地管理不同的适配器，与 Accelerate 集成，用于大型模型的分布式训练和推理。查看 PEFT 适配器 API 参考部分
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值