Xtuner大模型低成本微调

原创已于 2024-01-14 23:41:53 修改 · 507 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #人工智能 #语言模型

于 2024-01-14 23:40:18 首次发布

部署运行你感兴趣的模型镜像

1. Finetune简介

2. Xtune简介

3. 8G显卡训练LLM

4. 动手实践

1. Finetune简介

数据处理

对预训练模型进行指令微调，使得模型具有回答问题的能力。

2. Xtuner简介

Xtuner微调原理

全参数微调和LoRA微调的对比

3. 8G显卡训练LLM

4. 动手实践

（动手实践部分放到下一篇作业贴中了......）

您可能感兴趣的与本文相关的镜像

Llama Factory

模型微调

LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

智能驾驶探索者

关注关注

8
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

XTuner 大模型低成本微调操作笔记

qq_45607888的博客

01-24

740

挑战在于使用自己的数据集。

Xtuner大模型低成本微调实践-作业

Axr_Samuel的博客

01-14

550

将HuggingFace模型合并到底座internlm-chat-7b模型。开始单卡，epoch=1 训练，加载配置文件，基于mmengine。将torch模型转换为HuggingFace模型。准备微淘配置文件，列出配置文件。开启deepspeed加速训练。自定义微调未完待续......创建虚拟环境并clone代码。拷贝一个配置文件进行微调。下载数据文件和map数据。

参与评论您还未登录，请先登录后发表或查看评论

第四课-XTuner 大模型低成本微调实战

sunney的博客

01-13

1208

大模型(FFT的原理，就是用特定的数据，对大模型进行训练，将W变成W，W相比W ，最大的优点就是上述特定数据领域的表现会好很多。不同的分类角度，只是侧重点不一样，对同一个大模型的微调，也不局限于某一个方案，可以多个方案一起。微调的最终目的，是能够在可控成本的前提下，尽可能地提升大模型在特定领域的能力。

XTuner 大模型单卡低成本微调实战

zhjunqin的博客

01-14

689

视频链接：https://www.bilibili.com/video/BV1yK4y1B75J/?vd_source=bebd279bbc043ae1c13d45838597180f 文档地址：https://github.com/InternLM/tutorial/tree/main/xtuner XTuner Repo: https://github.com/InternLM/xtuner/tree/main 拷贝修改配置文件训练微调使用命令训练也可以增加 d

XTuner 大模型单卡低成本微调实战笔记

m0_75085274的博客

01-13

2065

这部分非常重要，因为以后如果我们想在自己的训练集上进行训练，就要使用这个内容。首先第一步的话就是准备数据集的格式，这里大佬是用GPT生成的，我的天呀，原来大佬也用gpt生成代码呀，但是的话，大佬好像比我强的是使用提示词，我代码不会写，可以使用提示词让gpt帮我写，就这么干了！上面的数据文件是表格形式的，我们要先将提问和回答提取出来，然后保存到josnl文件中去，学习一下提示词[{},}]这后吧文件复制过来。

XTuner 大模型单卡低成本微调之本地实战

weixin_55982578的博客

02-22

1523

3090单卡微调大模型

InternLM大模型实战-4.XTuner大模型低成本微调实战

raw_inputhello的博客

02-12

1249

本文是对于InternLM全链路开源体系系列课程的学习笔记。【XTuner 大模型单卡低成本微调实战】 https://www.bilibili.com/video/BV1yK4y1B75J/?这个部分演示了在实际需求下如何准备数据、修改配置文件、进行微调。

04 XTuner 大模型单卡低成本微调实战

Wzxdecsdn的博客

01-14

1200

关于XTuner 大模型单卡低成本微调实战的记录

大模型微调学习之旅④ — XTuner 大模型单卡低成本微调实战

HOOK1的博客

01-13

4478

图解：Alpaca 格式，斯坦福大学开源数据集的格式，也是社区开源项目使用较多的一种格式MOSS 格式，复旦大学开源指令微调数据集的格式，包含多轮对话和工具调用Gunacao 格式，QLoRA 项目中所使用数据集的格式OpenAI 格式，GPT-3.5-Turbo Finetune 接口要求的数据集格式。

[免费]基于Python的深度学习人脸表情识别系统(Keras卷积神经网络+OpenCV+PyQt)【论文+源码+SQL脚本】

java1234的博客

12-01

628

[免费]基于Python的深度学习人脸表情识别系统(Keras卷积神经网络+OpenCV+PyQt)【论文+源码+SQL脚本】

RNN公式推导、案例实现及Python实现

m0_46670850的博客

12-01

580

循环神经网络（RNN）是一种专为序列数据设计的神经网络，通过循环结构传递隐藏状态来捕捉时序依赖关系。与传统前馈神经网络相比，RNN具有权重共享、变长序列处理能力和短期记忆等优势。文章详细介绍了RNN的理论基础、前向/反向传播推导过程，以及5种典型结构（1to1、NtoN等）。同时分析了RNN的优缺点：虽然能有效处理序列数据，但存在梯度消失/爆炸、并行性差、长序列记忆有限等问题。最后预告了Python实现RNN的内容。

基于LSTM-GARCH混合模型：降息预期驱动金价攀升，白银刷新历史峰值的蒙特卡洛模拟验证

12-01

380

本文通过构建宏观经济变量与贵金属价格联动的AI量化模型，结合市场情绪分析算法与历史数据回溯，分析美联储降息预期、美元指数波动及关键经济数据对黄金、白银价格走势的量化影响机制。

【动物识别系统】Python+TensorFlow+Django+人工智能+深度学习+卷积神经网络算法

子午的博客

12-01

246

动物识别系统，基于TensorFlow搭建Resnet50卷积神经网络算法，通过对4种常见的动物图片数据集（猫、鸡、马、狗）进行训练，最后得到一个识别精度较高的模型，然后搭建Web可视化操作平台。技术栈项目前端使用Html、CSS、BootStrap搭建界面。后端基于Django处理逻辑请求基于Ajax实现前后端数据通信选题背景与意义在人工智能技术蓬勃发展的当下，动物识别作为计算机视觉领域的重要应用方向，有着广泛的实际需求，如动物保护监测、智能安防等场景均需精准高效的动物识别能力。

【光伏功率预测】EMD 分解 + PCA 降维 + LSTM 的联合建模与 Matlab 实现

专注AI大模型,软件混淆,授权

12-01

1072

本文提出一种基于EMD-PCA-LSTM的光伏功率预测方法，通过多尺度分解与深度学习结合解决光伏功率的非线性、非平稳性问题。首先利用EMD将功率序列分解为不同时间尺度的IMF分量，再结合辐照度、温度等外部特征构建特征矩阵，通过PCA降维后输入LSTM网络进行预测。Matlab实现流程包括数据预处理、EMD分解、PCA降维、LSTM建模等步骤，并给出完整的代码框架。实验结果表明该方法能有效提高预测精度，RMSE、MAE等指标表现良好。该方法可扩展加入更多特征和深度学习结构，为光伏功率预测提供有效解决方案。

深度学习实战（基于pytroch）系列（四十）长短期记忆（LSTM）从零开始实现

echo的博客

11-28

1447

LSTM（长短期记忆网络）是一种改进的循环神经网络，通过引入输入门、遗忘门和输出门三个控制单元，以及记忆细胞结构，有效解决了传统RNN的梯度消失问题。其核心计算包括：三个门控单元通过sigmoid函数调节信息流动，候选记忆细胞使用tanh函数生成，最终记忆细胞由遗忘门和输入门共同决定。实验使用周杰伦歌词数据集进行训练，从零实现了LSTM模型的参数初始化和前向传播过程，包括状态初始化、门控计算和隐藏状态更新。该结构能更好地捕捉长距离依赖关系，适用于序列建模任务。

【深度学习新浪潮】DeepSeek V3.2深度解析：稀疏革命与Agent突破，开源模型的效率跃迁