大语言模型微调框架学习记录：LoRA、全参数、PEFT、RLHF

原创 已于 2024-04-01 17:25:12 修改 · 4.9k 阅读 · 33 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语言模型 #学习 #人工智能

于 2024-04-01 10:05:53 首次发布
本文详细介绍了微调技术，特别是高效微调的PEFT方法（如LoRA、PrefixTuning等），以及基于强化学习的RLHF在OpenAI项目中的应用。此外，还探讨了LangChain工具库，它在构建和研究基于语言模型的应用中扮演重要角色，如AutoGPT的实现。

文章目录

微调与高效微调简介

讲一些基本概念内容，和之前的猜测不太一样

微调 Fine-Tuning

一般指全参数微调，即全量微调。

高效微调 PEFT

围绕部分参数进行微调的方法，目前比较常用。不过Fine-Tuning也可以代指所有微调方法。OpenAI中的在线微调API Fine-Tuning实际上也是一种高效微调。

基于强化学习的RLHF

OpenAI团队提出，2023年开源。目前最好的实现是DeepSpeedChat库，由微软维护。

下面是一些关于PEFT和RLHF的详细介绍

一、PEFT

目前主流的很多方法，包括LoRA，Prefix Tuning，P-tuning，Prompt Tuning等都属于这类方法。这些方法都被集成到Huggingface的PEFT库中，能够更方便快速的使用。

1.LoRA

Github地址：https://github.com/microsoft/LoRA
paper地址：https://arxiv.org/abs/2106.09685

基于低阶自适应的大语言模型微调方法
可以认为是PE

最低0.47元/天 解锁文章
微调大模型：LoRA、PEFT、RLHF 简介
晴天彩虹雨的博客
03-23 598
LoRA 是一种低秩适配方法，旨在减少大模型微调时的参数更新量。LoRA 通过冻结原始模型权重，仅在特定层（如 Transformer 的注意力层）插入低秩矩阵进行训练，从而降低计算成本。PEFT 是一组参数高效微调技术，包括 LoRA、Prefix Tuning 和 Adapter。其核心思想是减少模型训练的参数数量，降低资源消耗，同时保持模型性能。RLHF 是强化学习（RL）+ 人类反馈（HF）结合的一种微调方法，主要用于提升 LLM 生成结果的质量。方法优点适用场景LoRA。
LLMs之PEFT：大模型核心技术—PEFT(参数高效微调)的简介(指令微调/RLHF微调)、微调两大范式+三类五法—(Adapter/Prefix/P-tuning/HINT，Delta-tunin
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-21 2848
​ LLMs之PEFT：大模型核心技术—PEFT(参数高效微调)的简介(指令微调/RLHF微调)、微调两大范式+三类五法—(Adapter/Prefix/P-tuning/HINT，Delta-tuning，LoRA/QLoRA/LOMO)之详细攻略 LLMs之PEFT：大模型核心技术—PEFT(参数高效微调)的简介(指令微调/RLHF微调)、微调两大范式+三类五法—基于添加式(引入额外可训练参数或模块，如Adapter/Prefix/P-tuning/HINT)、基于规范化(冻结某些固有模型参数同时指定
大语言模型-RLHF(二)——LoRA实现&代码逐行讲解
qjzcy的博客
06-14 7119
为方便学习，对ChatGlm的代码做了逐行解读，这里主要是lora方法使用，里面核心的部分如数据的解析，loss的定义，lable制作，lora调用的框架流程等。将输入转化为我们想要的input和lable格式，注意这里输入的特征是已经转化为id的特征，根据我们自己的数据和需要定义，重写 compute_loss 方法，计算模型的损失。（1）将promot和input，target转化为我们想要的input格式。整体代码如下，文件获取可以参考git。1，数据处理，两个功能。3，loss计算定义。
【万字长文】大模型微调全攻略：从LoRA到框架选择，一篇搞定！
最新发布
m0_63171455的博客
10-29 751
本文全面介绍了大语言模型微调技术，包括主流微调方法（特征使用、参数高效微调PEFT如LoRA/Adapter、全参数/部分参数微调），详细解析了LoRA技术及变体DoRA、QLoRA，并针对微调中的过拟合与欠拟合问题提供解决方案。文章还系统梳理了微调数据格式（预训练格式、问答格式、多轮对话格式、多模态格式），对比分析了LitGPT、LLaMA-Factory、Unsloth和Axolotl四大主流微调框架的架构特点与适用场景，为大模型微调实践提供全面指导。
LLM微调知多少（2）——LoRA及QLoRA微调技术实战
QWYF123的博客
01-15 1948
微调方式篇
LLaMA-Factory：大语言模型微调框架（大模型）
2301_81940605的博客
07-18 5308
LLaMA-Factory 是一个国内北航开源的低代码大模型训练框架，专为大型语言模型（LLMs）的微调而设计
【2024最新】深入了解 大语言模型（LLM）微调方法（总结）
m0_48891301的博客
05-06 3650
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。即更新模型所有权重的过程，被称为全微调。需要注意的是，与预训练一样，全微调需要足够的内存和计算预算来存储和处理训练过程中的所有梯度、优化器和其他更新组件。其中，大模型微调技术在此过程中起到了非常关键的作用，它提升了模型的生成效率和适应性，使其能够在多样化的应用场景中发挥更大的价值。
一文带你了解大模型微调框架
m0_48891301的博客
01-20 3028
大模型的微调（Fine-tuning），通常是指在已经预训练好的大型语言模型（LargeLanguageModels，简称LLMs）基础上，使用特定的数据集进行进一步的训练，以使模型适应特定的任务或领域。这个过程可以让模型学习到特定领域的知识，优化其在特定NLP任务中的表现，比如情感分析、实体识别、文本分类、对话生成等。1、预训练模型：在微调之前，大模型通常已经经过大量的无监督预训练，这使得模型掌握了语言的基本统计特征和知识，具备了预测下一个词的能力。2、任务特定的数据集。
cv君独家视角 | AI内幕系列二：LORA微调，让大模型更平易近人
热门推荐
cv君的博客
05-29 2万+
LORA 在ICLR2022中提出，是利用低秩适配（low-rankadaptation）的方法，可以在使用大模型适配下游任务时只需要训练少量的参数即可达到一个很好的效果。由于 GPU 内存的限制，在训练过程中更新模型权重成本高昂。例如，假设我们有一个 7B 参数的语言模型，用一个权重矩阵 W 表示。在反向传播期间，模型需要学习一个 ΔW 矩阵，旨在更新原始权重，让损失函数值最小。
10、大语言模型微调技术：LoRA、QLoRA、提示调优与基于人类反馈的强化学习
qsc901234的博客
07-27 113
本文详细介绍了大语言模型（LLM）的几种重要微调技术，包括LoRA、QLoRA、提示调优和基于人类反馈的强化学习（RLHF）。LoRA和QLoRA通过低秩矩阵分解和量化技术显著降低计算和内存成本，提示调优利用软提示优化模型输入，而RLHF则通过人类反馈使模型输出更符合人类价值观和偏好。这些技术在资源利用和性能之间取得了较好的平衡，适用于不同场景下的模型优化需求。
大模型（LLM）微调方法分类框架
Bug_makerACE的博客
03-10 895
大模型微调方法可以按照多个维度进行分类。以下是一个系统化的分类框架，结合技术原理、应用场景和资源需求，帮助你理解不同方法的定位和特点
【24年最新】AI大模型零基础入门到精通学习资料大全，学完你就是LLM大师！
bagell的博客
08-08 760
通过学习大模型课程，可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术，从而提升自己在数据处理、分析和决策制定方面的能力。此外，大模型技术在多个行业中的应用日益增加，掌握这一技术将有助于提高就业竞争力，并为未来的创新创业提供坚实的基础。①智能客服：某科技公司员工在学习了大模型课程后，成功开发了一套基于自然语言处理的大模型智能客服系统。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，皆可用。如果你对大模型感兴趣，可以看看我整合并且整理成了一份AI大模型资料包，需要的小伙伴文末免费领取哦，
2024年大语言模型（LLM）微调方法最全总结！
机器学习社区
02-24 9158
众所周知，大语言模型(LLM)正在飞速发展，各行业都有了自己的大模型。其中，大模型微调技术在此过程中起到了非常关键的作用，它提升了模型的生成效率和适应性，使其能够在多样化的应用场景中发挥更大的价值。那么，今天这篇文章就带大家深入了解大模型微调，主要包括什么是大模型微调、什么时候需要大模型微调、大模型微调方法总结、大模型微调最佳实践等。
【大模型】LoRA模型微调-基于transformers框架的示例，零基础入门到精通，收藏这一篇就够了
Python_paipai的博客
08-02 3042
本文将完整介绍使用LoRA进行模型微调。使用框架。代码可以在 我的github[1] 上找到。
技术研究｜深度探讨大语言模型微调技术
GentelAi的博客
02-21 1021
随着大语言模型（Large Language Models, LLMs）的快速发展，如何高效地对其进行任务适配已成为自然语言处理领域的关键课题。其中，大语言模型微调成为目前备受关注的一个方法，通过微调，可以使模型更好地适应特定领域的需求和特征。通过引入特定领域的数据集进行微调，大模型可以学习该领域的知识和语言模式，这有助于模型在特定任务上取得更好的性能。继上一篇文章（工具推荐）后，我们将继续深入探讨现代语言模型微调的技术体系。
【LLM大模型】介绍一个大语言模型的微调框架Swift
2301_81940605的博客
07-18 2003
微调（Fine-tuning）是指在已经预训练好的大语言模型基础上，使用特定领域或任务的数据集进行进一步的训练，使模型能够更好地适应并完成该领域或任务的具体要求。预训练的大语言模型通常在大规模通用语料库上进行训练，学习了语言的普遍规律和特征，但对于特定领域或任务的专业知识和特定需求，往往需要通过微调来优化。
大模型微调之基础篇：大模型微调概念以及微调框架
zhishi0000的博客
03-17 1668
在大模型微调领域，存在多种框架，每个框架都有其独特的优势和局限性。下面介绍几种常见的微调框架，包括示例代码和适用模型，帮助你根据任务需求选择最合适的框架。
大语言模型（LLM）框架及微调 (Fine Tuning)
ejinxian的专栏
12-30 2494
GPT (Generative Pre-trained Transformer) 的提出标志着 LLM 技术的飞速发展，其预训练和微调的方法为语言任务提供了前所未有的性能，以此为基础，多模态融合的应用使得 LLM 更全面地处理各种信息，支持更广泛的应用领域。通过数据向量化，实现了在向量数据库中进行高效的相似性计算和查询。Transformer 架构和预训练与微调策略是 LLM 技术的核心，随着大规模语言数据集的可用性和计算能力的提升，研究者们开始设计更大规模的神经网络，以提高对语言复杂性的理解。
模型微调之基础篇：模型微调概念以及微调框架
2401_85375186的博客
03-13 1602
之前我们一直强调，大语言模型（LLM）是概率生成系统。能力边界知识时效性：模型知识截止于训练数据时间点推理局限性：本质是概率预测而非逻辑运算，复杂数学推理易出错（deepseek的架构有所不同）专业领域盲区：缺乏垂直领域知识幻觉现象：可能生成看似合理但实际错误的内容之前一直讲解如何通过各种不同的知识库进行知识片段的检索，并通过提示词临时注入到大模型。从今天开始，我会写一写微调相关的文章。定义：在预训练大模型（如GPT、BERT）的基础上，使用特定领域或任务的数据进行额外训练，使模型适应新任务。类比。
大型语言模型训练全解析：从预训练到RLHF
Efficient Fine-Tuning, PEFT），如LoRA（Low-Rank Adaptation）、Adapter模块、Prefix-Tuning等，也成为主流选择，它们仅训练少量新增参数即可实现接近全参数微调的效果，极大降低了资源消耗与部署成本。...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值