XTuner 微调 LLM笔记

最新推荐文章于 2025-05-25 23:58:14 发布
最新推荐文章于 2025-05-25 23:58:14 发布
阅读量365 收藏
点赞数 3
文章标签： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/2302_79146973/article/details/138049195
版权

 Finetune介绍

主要有两种微调范式，目的是使基座大模型成为垂直模型

什么是指令微调————就是有对话

数据要可以被系统利用

不同模型有不同的输入/输出模板

喂给模型的是拼装好的

 

基座不变，在基座上微调lora，新建小linear，也就是adapter。主要目的是减少开销。

XTuner介绍

第四节“XTuner 微调 LLM”笔记
PiQiuNi的博客
04-16 1136
XTuner 一个大语言模型&多模态模型微调工具箱。由 MMRazor 和 MMDeploy 联合开发。🤓 傻瓜化： 以 配置文件 的形式封装了大部分微调场景，0基础的非专业人员也能一键开始微调。 🍃 轻量级： 对于 7B 参数量的LLM，微调所需的最小显存仅为 8GB ： 消费级显卡✅，colab✅XTuner 的运行原理:
【InternLM 实战营第二期笔记04】XTuner微调LLM:1.8B、多模态、Agent
qq_74261455的博客
04-19 1315
XTuner是一款功能强大的软件，其设计旨在提供灵活且高效的微调策略与算法，以满足各类场景下的应用需求。其主要功能亮点体现在多个方面：首先，XTuner支持多种微调算法，无论是InternLM、Llama、Gemma，还是Mistral等，都能找到相应的优化策略。这种多样化的算法支持使得XTuner可以覆盖更广泛的场景，从而为用户提供更多的选择。其次，XTuner能够适配多种开源生态，如HuggingFace和ModelScope等。
XTuner 微调 LLM：1.8B、多模态、Agent——笔记
YYYYbhjbhkv_的博客
04-16 1399
LLM的下游应用中，增量预训练 和 指令跟随 是经常会用到两种的微调模式。增量预训练微调使用场景:让基座模型学习到一些新知识，如某个垂类领域的常识。训练数据:文章、书籍、代码等。指令跟随微调使用场景:让模型学会对话模板，根据人类指令进行对话。训练数据:高质量的对话、问答数据。可以看到，增量预训练更多的只是将某种知识喂给模型，让模型学会这个知识，但怎么用，模型此时还是不知道的。然后，指令跟随微调就会训练模型，让模型学会对话模板，当想它问出问题的时候，模型就会运用自己的知识来解答。
学习笔记 | XTuner 微调 LLM：1.8B、多模态、Agent
DrFlown的博客
04-21 1357
​ 底座模型 (Foundation Model) 是为了一般性任务而训练，需要领域内微调来更好地适应领域内任务。
XTuner 微调 LLM作业与笔记
m0_65989999的博客
04-24 273
通过对比原模型的能力来看看差异，可以看到在没有进行我们数据的微调前，原模型是能够输出有逻辑的回复，并且也不会认为他是我们特有的小助手。因此我们可以很明显的看出两者之间的差异性。，转换完成后，可以看到模型被转换为 Huggingface 中常用的 .bin 格式文件，这就代表着文件成功被转化为 Huggingface 格式了。根据文档指示可以训练自己的小助手，训练结果如下。与模型进行对话测试，可以看到模型已经严重。和装文件按照步骤来就好了，直接到部署自己的小助手这里。
XTuner 微调 LLM：1.8B、多模态、Agent——作业
YYYYbhjbhkv_的博客
04-21 1128
XTuner 微调 LLM：1.8B、多模态、Agent——作业一、基础作业1.1、训练自己的小助手认知1.1.1、环境安装1.1.2、数据集准备1.1.3、模型准备1.1.4、配置文件选择1.1.5、常规训练1.1.6、加速训练1.1.7、模型转换1.1.8、模型结合1.1.9、对话测试1.1.10、 Web demo 部署二、进阶作业2.1、将自我认知的模型上传到 OpenXLab，并将应用部署到 OpenXLab2.1.1、 克隆空仓库：2.1.2、使用 git lfs track 标记文件2.1.3
XTuner 微调 LLM：1.8B、多模态
2301_80703617的博客
04-19 672
准备InternLM2-Chat-7B的预训练模型，然后初始化git配置，并设置 Git 用户名，OpenXLab 使用你在平台的用户名作为 Git的用户名。在 OpenXLab 先创建一个空仓库，填写模型仓库的基本信息，创建完成空的模型仓库后，找到该仓库的 git 地址并拉取该空仓库至本地，空仓库的地址在模型文件的下载，找到空仓库下的 git 地址，执行 git clone 操作。在OpenXLab浦源平台选择Gradio组件，开始创建，填入 GitHub 仓库的地址，创建。微调后，可以更好的回答问题。
XTuner 微调 LLM：1.8B、多模态、Agent（InternLM 实战营第4次笔记）
m0_65597091的博客
04-24 393
为什么要微调？因为将底座模型应用到某些特定任务下，需要微调。
第四节课《XTuner 微调 LLM：1.8B、多模态、Agent》
fanre的专栏
04-30 1209
为什么微调？基础模型不能满足特定领域需求。增量预训练：简单的增加新的知识指令跟随：问答的形式，学会人类指令。基座模型只是单纯的拟合训练数空间分布，无法意识到输入是一个问题，返回一个类似于最相似的结果，如上图test。指令微调输入的是一问一答的聊天，可以理解输入的是问题。一条数据的一生原始数据：如爬虫得来的标准格式数据：训练模型能接受的输入XTuner中json形式为了让大语言模型能够区分出三种角色，实际上就是增加标注，并且在实际训练的时候还要增加其实标识符。Token方案：LoRA和QLoRA。
第五讲 XTuner 微调 LLM
cms90822的博客
04-20 378
3. XTuner支持多款开源大模型，如书生、Llama、阿里的通义千问、百川大模型和清华的chatGLM等。原始数据--标准格式数据--添加对话模板--Tonkenized数据--添加label--开始训练。1、Lora：在原本的linear旁新增一个支路，包含两个连续的小linear，叫做Adapter。1、为什么要微调：LLM的下游应用，对齐特殊领域。2、QLora：进一步在加载模型时进行量化。3、查找可用于1.8b模型微调用的配置文件。2、创建用于微调的数据集。
第四课课程笔记 XTuner 微调 LLM：1.8B、多模态、Agent
weixin_44555688的博客
04-18 543
为什么要微调？提升基座模型在特定领域内的性能两种finetune范式增量预训练指令跟随微调。训练数据为高质量对话。没有经过指令微调的模型，不一定会对话一条数据的一生user/input部分为数据输入，bot/output为数据输出标签不同厂家有不同的对话模板未来让模型知道什么时候开始，什么时候结束System、User、Assistant三种角色微调方案。Xtuner用两种LORA、QLORA训练出新增支路adapter，减少显存开销。
第五节课《XTuner 微调 LLM：1.8B、多模态和 Agent》学习笔记
weixin_59512778的博客
04-21 1121
Q：首先我们要清楚为什么要进行微调？A：目前很多大语言模型其实都是底座模型（foundation model），为普遍的（一般性的）任务而进行预训练，将这类模型应用到特定领域，其表现不如领域内训练的模型，因此要进行领域内微调。
第四课-XTuner 微调 LLM：1.8B、多模态、Agent笔记
weixin_51314534的博客
04-20 626
在本节中，我们将 自己构造<questiontext><image><answer text>数据对,基于InternLM2 chat 1.8B这个文本单模态模型，使用LLaVA方案训练一个给InternLM2 Chat 1.8B使用的lmage Projector文件。除了将训练中间状态切片外，DeepSpeed 训练时使用 FP16 的权重，相较于 Pvtorch 的 AMP 训练在单 GPU 上也能大幅节省显存。使用场景:让模型学会对话模板，根据人类指令进行对话训练数据:高质量的对话、问答数据。
vite学习笔记
zxz86的博客
05-23 1546
现代浏览器项目（Chrome >=61, Firefox >=60, Safari >=11）assetsInlineLimit: 4096, // 4KB以下资源内联。框架新项目（Vue3/React18/Svelte）极速启动：冷启动时间比传统工具快 10-100 倍。闪电热更新：HMR 更新速度不受项目规模影响。智能构建：生产环境使用 Rollup 打包。库开发（利用 Rollup 的纯净打包）.scss/.less 直接导入。微前端子应用（快速加载需求）模拟 CommonJS。
香橙派3B学习笔记2：Vscode远程SSH登录香橙派_权限问题连接失败解决
NULL指向我的博客
05-24 907
Vscode下载插件，ssh远程登录香橙派。
【学习笔记】Sophus (Python) 使用文档
Chase Blog
05-23 824
Sophus 是一个用于处理李群的库，支持旋转与变换的多种表示形式（如四元数、旋转矩阵、轴角等），并提供李群与李代数的相互转换、位姿插值、逆变换等功能。
uni-app学习笔记十四-vue3中emit的使用
最新发布
shenxiaomo1688的博客
05-25 424
在组件传值中，无论是props还是slot都是单向数据流，父组件向子组件传值，子组件不能直接对父组件传过来的值进行重新赋值。在父组件中，onAdd接收子组件传递过来的随机数并转化为字符串进行截取，得到一个颜色的随机数。通过@add="onAdd"，其中add就是子组件的函数名。在实际开发中，emit通常需要在JS部分进行处理，上面的。子组件设置传递过去的函数名为add，值为一个随机数。下面学习子组件向父组件传值的工具--emit。在子组件emit设置传递的函数名和值。可以实现一样的效果。
ESP32-S3 学习笔记（2）-屏幕驱动和lvgl移植
qq_26048279的博客
05-25 870
本文介绍了ESP32驱动ST7789屏幕并移植LVGL图形库的全过程。首先通过SPI协议实现了ST7789驱动，包括引脚配置、初始化流程和刷新机制。然后将LVGL移植到ESP32平台，重点解决了显示缓存分配、坐标校准等关键问题。文中详细说明了硬件接口配置、显存管理方法，并提供了屏幕坐标校准函数来解决显示偏移问题。最后指出实际应用中需要注意的细节问题，为开发者提供了完整的嵌入式GUI开发解决方案。
​​UniBoard：私有化部署，导航笔记文件一站式管理
srebro.cn | 运维小弟
05-25 676
一款集成了导航管理、云笔记、短链服务、文件存储与分享等实用工具
Rlhf微调LLM
04-01
### 使用 RLHF 方法对大型语言模型进行微调 #### 什么是 RLHF？ 强化学习基于人类反馈（Reinforcement Learning from Human Feedback, RLHF）是一种利用人类偏好数据来优化大型语言模型（LLM）的方法[^1]。这种方法通过引入外部的人类评价信号，使模型能够更好地理解复杂的语义需求并生成高质量的内容。 RLHF 的核心流程可以分为以下几个方面： 1. **数据收集** 需要从真实场景中获取大量的人类反馈数据。这些数据通常来源于问卷调查、用户交互记录或者专门设计的任务实验。例如，在对话系统中，可以让测试人员评估不同回复的质量，并标记哪些回复更好。 2. **奖励建模** 基于上述标注好的数据集构建一个奖励函数或奖励模型。该模型用于衡量当前状态下采取某种行动所带来的收益大小。对于自然语言处理任务来说，则可能涉及判断一段文字是否符合预期风格、逻辑连贯程度等方面的标准。 3. **策略优化** 利用强化学习算法调整原始预训练模型参数直至达到最优解为止。在此过程中会不断尝试新的动作序列组合并通过比较其累积折扣回报值决定下一步该如何改进现有政策πθ(s)[^1]。 以下是实现这一过程的一个简单伪代码示例： ```python import torch from transformers import AutoTokenizer, AutoModelForCausalLM def rlhf_finetune(model_name="gpt2", num_epochs=5): tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) optimizer = torch.optim.AdamW(model.parameters(), lr=1e-5) # 加载奖励模型... reward_model = load_reward_model() for epoch in range(num_epochs): inputs = get_training_data() # 获取一批次的数据 outputs = model(**inputs) # 计算前向传播结果 rewards = compute_rewards(reward_model, outputs.logits) # 根据奖励模型计算奖励 loss = calculate_loss(outputs.loss, rewards) # 结合损失与奖励更新目标函数 loss.backward() optimizer.step() optimizer.zero_grad() rlhf_finetune() ``` 此脚本展示了如何加载基础的大规模预训练模型以及定义相应的优化器设置；接着循环迭代读取样本批次执行梯度下降操作完成整个训练周期内的参数修正工作流。 值得注意的是虽然相比监督式微调(Supervised Fine-Tuning,SFT)，采用RLHF确实能带来更好的效果表现但是同时也增加了不少额外开销比如需要精心准备高质量的示范案例供后续分析参考之外还需要花费更多时间去探索最佳超参配置方案等问题都需要提前考虑清楚再付诸实践才行。 --- #### RMSNorm 对 RLHF 微调的影响 除了传统的层归一化(Layer Normalization)，近年来提出的RMSNorm也逐渐成为提升Transformer架构性能的重要工具之一。它通过对输入张量求平方后再开根号的方式来进行标准化处理而无需显式估计均值项因此具备更快的速度特性同时还能够在一定程度上缓解某些特定条件下可能出现数值不稳定现象的发生几率从而间接促进了包含RLHF在内的各种高级技术手段的应用与发展趋势[^4]。 --- #### 总结 综上所述，RLHF 提供了一种强大的机制使得我们可以更加灵活精准地定制专属版本的语言生成解决方案不仅限于学术研究领域同样适用于工业界实际产品开发当中只要合理规划资源投入比例就能收获显著成效当然前提条件是要充分认识到其中存在的挑战所在并且积极寻找应对措施加以克服最终达成既定目标要求水平之上甚至超越期望上限范围以外的结果呈现形式出来才是真正的成功标志体现之处。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Liu&&Liu

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值