【笔记】XTuner 大模型单卡低成本微调实战

原创 于 2024-01-13 10:09:09 发布 · 702 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#笔记

本文探讨了Finetuning在技术领域的最新进展，包括指令微调、增量预训练方法（如LoRA和QLoRA）以及引入的旁路分支策略XTuner，这些都提高了模型效率和性能的灵活性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Finetune

在这里插入图片描述

指令微调

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

增量预训练微调

不需要一问一答，只需要回答（陈述句），systerm和user留空，数据放入assistant
在这里插入图片描述

LoRA&QLoRA

新增旁路分支
在这里插入图片描述

最低0.47元/天 解锁文章
芷詩
关注
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值