XTuner大模型单卡低成本微调实践

最新推荐文章于 2025-11-25 12:59:39 发布
原创 最新推荐文章于 2025-11-25 12:59:39 发布 · 506 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能 #nlp #语言模型

本文介绍了Finetune技术的两个关键部分：增量预训练，使模型吸收特定领域知识；指令跟随，提升模型的对话能力。同时，针对LLM中参数量大、显存消耗高的问题，文章讨论了LoRA和QLoRA的适应器方法，以及XTuner中使用的FlashAttention加速技术。

Finetune简介

微调模式：增量预训练、指令跟随

增量预训练

基座模型学习到新知识，如某个垂类领域的常识

指令跟随

让模型学会对话模板，根据人类指令进行对话

LoRA&QLoRA

LLM的参数量主要集中在模型中的Linear，训练这些参数会耗费大量的显存

LoRA通过在原本的Linear旁，新增一个支路，包含两个连续的小 Linear,新增的这个支路通常叫做Adapter

Adapter参数量远小于原本的Linear，能大幅降低训练的显存消耗

XTuner介绍

加速方式：flash attention

SmallZCan_t
关注
XTuner 大模型单卡低成本微调实战
zhjunqin的博客
01-14 688
视频链接：https://www.bilibili.com/video/BV1yK4y1B75J/?vd_source=bebd279bbc043ae1c13d45838597180f 文档地址：https://github.com/InternLM/tutorial/tree/main/xtuner XTuner Repo: https://github.com/InternLM/xtuner/tree/main 拷贝修改配置文件 训练微调 使用命令训练 也可以增加 d
04 XTuner 大模型单卡低成本微调实战
Wzxdecsdn的博客
01-14 1195
关于XTuner 大模型单卡低成本微调实战的记录
XTuner 大模型单卡低成本微调实战笔记
m0_75085274的博客
01-13 2064
这部分非常重要，因为以后如果我们想在自己的训练集上进行训练，就要使用这个内容。首先第一步的话就是准备数据集的格式，这里大佬是用GPT生成的，我的天呀，原来大佬也用gpt生成代码呀，但是的话，大佬好像比我强的是使用提示词，我代码不会写，可以使用提示词让gpt帮我写，就这么干了！上面的数据文件是表格形式的，我们要先将提问和回答提取出来，然后保存到josnl文件中去，学习一下提示词[{},}]这后吧文件复制过来。
XTuner大模型单卡低成本微调实践--练习
SmallZCan_t的博客
01-14 512
未完待续。。。
XTuner 大模型单卡低成本微调之本地实战
weixin_55982578的博客
02-22 1519
3090单卡微调大模型
第四课-XTuner 大模型单卡低成本微调实战
qq_46016871的博客
02-21 1375
一个大语言模型微调工具箱。由MMRazor和MMDeploy联合开发。以数据集为例场景需求基于 InternLM-chat-7B 模型，用 MedQA 数据集进行微调，将其往医学问答领域对齐。此时，我们重新建一个文件夹来玩“微调自定义数据集”把前面下载好的internlm-chat-7b模型文件夹拷贝过来。别忘了把自定义数据集，即几个.jsonL，也传到服务器上。
XTuner大模型单卡低成本微调实战
qq_34354951的博客
01-24 569
最开始还是越学越迷糊的状态。
大模型微调学习之旅④ — XTuner 大模型单卡低成本微调实战
HOOK1的博客
01-13 4473
图解：Alpaca 格式，斯坦福大学开源数据集的格式，也是社区开源项目使用较多的一种格式MOSS 格式，复旦大学开源指令微调数据集的格式，包含多轮对话和工具调用Gunacao 格式，QLoRA 项目中所使用数据集的格式OpenAI 格式，GPT-3.5-Turbo Finetune 接口要求的数据集格式。
XTuner 大模型单卡低成本微调
weixin_55982578的博客
02-20 453
LLM的下游应用中，增量预训练和指令跟随是经常会用到两种的微调模式在 XTuner 里面使用 LoRAGPT 里面的 plugin利用多数据并连来提高GPU资源的使用自定义数据集。
大模型实战营Day4 XTuner 大模型单卡低成本微调实战
m0_72806612的博客
01-13 629
同第三节的建立数据库中所提及到的，如果通用大模型在专用领域表现能力不强，如何改进——第三者在显存和GPU之间进行了一个整合，如果GPU满会到显存里面跑，速度会慢一些。LoRA的原理是在线性层平行增加一个两个小层的分支，因而能够减少训练的耗费。构建角色和对话模板，这项工作由Xtuner做过了，可以借此一键完成。欢迎关注无神，一起学大模型和AI方面的前沿知识！建立知识库或者微调，本节课进行的则是微调。其能支持的模型的硬件资源比较广泛。
鱼类识别系统【最新版】Python+TensorFlow+Vue3+Django+人工智能+深度学习+卷积神经网络算法
2301_78372746的博客
11-24 1946
鱼类识别系统，基于TensorFlow搭建卷积神经网络算法，通过收集了包括‘墨鱼’、‘多宝鱼’、‘带鱼’、‘石斑鱼’等在内的30种鱼类图像数据集进行训练，最后得到一个识别精度较高的模型，然后搭建Web可视化操作平台。前端后端：Django算法：TensorFlow、卷积神经网络算法具体功能系统分为管理员和用户两个角色，登录后根据角色显示其可访问的页面模块。登录系统后可发布、查看、编辑文章，创建文章功能中集成了markdown编辑器，可对文章进行编辑。
Week 26: 深度学习补遗：LSTM 原理与代码复现
MCHacker的专栏
11-23 970
本周对 LSTM模型利用PyTorch进行了复现，将其实现与数学形式进行了逐条对应，清晰、重点地理解门控机制与细胞状态与其在时序场景下的应用。在 2017 年 Transformer 架构（Attention 机制）横空出世之前，LSTM 曾是序列建模（NLP、语音、时序）的绝对王者。而在 2025 年的今天，它不再是唯一的 SOTA，但依然是非常棒的轻量级选择。本周阅读了一些时序预测领域的工作，发现LSTM在时序预测领域仍然相当活跃，在本周对LSTM进行了数学原理的复习、代码的简单复现和其应用场景的分析。
生成式AI开发入门：Python实现GAN与Diffusion模型
我是 二川兄，对Web开发、GIS开发、3D模型、机器学习、面试技巧等方面都有一些涉猎~ 欢迎您加入技术交流圈！你可以在我的文章末尾找到我~
11-23 1190
# 生成式AI开发入门：Python实现GAN与Diffusion模型
更换适配python版本直接进行机器学习深度学习等相关环境配置(非仿真环境)
qq_42217078的博客
11-23 241
​ 上一篇 最新的python3.14版本下仿真环境配置深度学习机器学习相关 在仿真环境下配置的 ，但是运行效率没有直接合适版本的快，故而重新配置 ​至此环境已完全配置就绪，可直接用于机器学习、深度学习、数据可视化等各类开发场景！ 整理不易，诚望各位看官点赞 收藏 评论 予以支持，这将成为我持续更新的动力源泉。若您在阅览时存有异议或建议，敬请留言指正批评，让我们携手共同学习，共同进取，吾辈自当相互勉励！
交通标志识别系统【最新版】Python+TensorFlow+Vue3+Django+人工智能+深度学习+卷积神经网络算法
2301_78372746的博客
11-22 661
交通标志识别系统，本项目基于TensorFlow框架，构建了一套完整的交通标志识别系统。系统采用卷积神经网络（CNN）算法，针对40种常见交通标志（包括“停车避让”“减速让行”“限速15千米”“注意行人”“禁止左转弯”等）构建数据集，通过多轮迭代训练，最终获得高精度识别模型，并实现了基于Web的可视化操作平台。前端后端：Django算法：TensorFlow、卷积神经网络算法具体功能系统分为管理员和用户两个角色，登录后根据角色显示其可访问的页面模块。
时间序列预测2025：Python中Prophet与LSTM对比分析
我是 二川兄，对Web开发、GIS开发、3D模型、机器学习、面试技巧等方面都有一些涉猎~ 欢迎您加入技术交流圈！你可以在我的文章末尾找到我~
11-22 3622
时间序列预测2025：Python中Prophet与LSTM对比分析
循环神经网络详解（二）：LSTM（长短时记忆网络）
最新发布
limenga102的专栏
11-25 978
理论贡献：成功解决了RNN的长期依赖问题引入了门控机制的思想为序列建模提供了强大的基础架构实践影响：在多个领域达到state-of-the-art性能推动了深度学习在序列任务中的应用启发了后续的门控架构设计从简单开始：首先尝试单层LSTM，根据需要增加复杂度精心初始化：特别注意遗忘门的偏置初始化监控训练：密切关注梯度范数和门激活 patterns正则化策略：合理使用Dropout和权重衰减学习率调度：使用学习率衰减或余弦退火。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值