Xtuner大模型低成本微调

原创已于 2024-01-14 23:41:53 修改 · 507 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #人工智能 #语言模型

于 2024-01-14 23:40:18 首次发布

部署运行你感兴趣的模型镜像

1. Finetune简介

2. Xtune简介

3. 8G显卡训练LLM

4. 动手实践

1. Finetune简介

数据处理

对预训练模型进行指令微调，使得模型具有回答问题的能力。

2. Xtuner简介

Xtuner微调原理

全参数微调和LoRA微调的对比

3. 8G显卡训练LLM

4. 动手实践

（动手实践部分放到下一篇作业贴中了......）

您可能感兴趣的与本文相关的镜像

Llama Factory

模型微调

LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

智能驾驶探索者

关注关注

8
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

XTuner 大模型单卡低成本微调实战

zhjunqin的博客

01-14

689

视频链接：https://www.bilibili.com/video/BV1yK4y1B75J/?vd_source=bebd279bbc043ae1c13d45838597180f 文档地址：https://github.com/InternLM/tutorial/tree/main/xtuner XTuner Repo: https://github.com/InternLM/xtuner/tree/main 拷贝修改配置文件训练微调使用命令训练也可以增加 d

04 XTuner 大模型单卡低成本微调实战

Wzxdecsdn的博客

01-14

1200

关于XTuner 大模型单卡低成本微调实战的记录

参与评论您还未登录，请先登录后发表或查看评论

XTuner 大模型低成本微调操作笔记

qq_45607888的博客

01-24

740

挑战在于使用自己的数据集。

Xtuner大模型低成本微调实践-作业

Axr_Samuel的博客

01-14

550

将HuggingFace模型合并到底座internlm-chat-7b模型。开始单卡，epoch=1 训练，加载配置文件，基于mmengine。将torch模型转换为HuggingFace模型。准备微淘配置文件，列出配置文件。开启deepspeed加速训练。自定义微调未完待续......创建虚拟环境并clone代码。拷贝一个配置文件进行微调。下载数据文件和map数据。

第四课-XTuner 大模型低成本微调实战

sunney的博客

01-13

1209

大模型(FFT的原理，就是用特定的数据，对大模型进行训练，将W变成W，W相比W ，最大的优点就是上述特定数据领域的表现会好很多。不同的分类角度，只是侧重点不一样，对同一个大模型的微调，也不局限于某一个方案，可以多个方案一起。微调的最终目的，是能够在可控成本的前提下，尽可能地提升大模型在特定领域的能力。

XTuner 大模型单卡低成本微调实战笔记

m0_75085274的博客

01-13

2065

这部分非常重要，因为以后如果我们想在自己的训练集上进行训练，就要使用这个内容。首先第一步的话就是准备数据集的格式，这里大佬是用GPT生成的，我的天呀，原来大佬也用gpt生成代码呀，但是的话，大佬好像比我强的是使用提示词，我代码不会写，可以使用提示词让gpt帮我写，就这么干了！上面的数据文件是表格形式的，我们要先将提问和回答提取出来，然后保存到josnl文件中去，学习一下提示词[{},}]这后吧文件复制过来。

XTuner 大模型单卡低成本微调之本地实战

weixin_55982578的博客

02-22

1525

3090单卡微调大模型

InternLM大模型实战-4.XTuner大模型低成本微调实战

raw_inputhello的博客

02-12

1249

本文是对于InternLM全链路开源体系系列课程的学习笔记。【XTuner 大模型单卡低成本微调实战】 https://www.bilibili.com/video/BV1yK4y1B75J/?这个部分演示了在实际需求下如何准备数据、修改配置文件、进行微调。

大模型微调学习之旅④ — XTuner 大模型单卡低成本微调实战

HOOK1的博客

01-13

4479

图解：Alpaca 格式，斯坦福大学开源数据集的格式，也是社区开源项目使用较多的一种格式MOSS 格式，复旦大学开源指令微调数据集的格式，包含多轮对话和工具调用Gunacao 格式，QLoRA 项目中所使用数据集的格式OpenAI 格式，GPT-3.5-Turbo Finetune 接口要求的数据集格式。

【水果识别系统】Python+TensorFlow+Django+人工智能+深度学习+卷积神经网络算法

子午的博客

12-01

489

水果识别系统，基于TensorFlow搭建Resnet50卷积神经网络算法，通过对5种常见的水果图片数据集（‘圣女果’, ‘梨’, ‘芒果’, ‘苹果’, ‘香蕉’）进行训练，最后得到一个识别精度较高的模型，然后搭建Web可视化操作平台。技术栈项目前端使用Html、CSS、BootStrap搭建界面。后端基于Django处理逻辑请求基于Ajax实现前后端数据通信选题背景与意义。

RNN公式推导、案例实现及Python实现

最新发布

m0_46670850的博客

12-01

585

反向传播的推导。

超越梯度消失：LSTM的数学本质与工程实现新探

不懂先生的博客

12-01

469

在深度学习的发展历程中，循环神经网络(RNN)曾被认为是处理序列数据的自然选择。然而，传统的RNN在实际应用中面临着和两大核心挑战。1997年，Sepp Hochreiter和Jürgen Schmidhuber提出的长短期记忆网络(LSTM)通过精巧的门控机制，成功解决了这些问题，成为序列建模的重要里程碑。本文将从数学原理和工程实现两个维度，深入剖析LSTM的内部工作机制，并探讨在现代深度学习框架下的优化实践。

基于LSTM-GARCH混合模型：降息预期驱动金价攀升，白银刷新历史峰值的蒙特卡洛模拟验证

12-01

491

本文通过构建宏观经济变量与贵金属价格联动的AI量化模型，结合市场情绪分析算法与历史数据回溯，分析美联储降息预期、美元指数波动及关键经济数据对黄金、白银价格走势的量化影响机制。

【光伏功率预测】EMD 分解 + PCA 降维 + LSTM 的联合建模与 Matlab 实现

专注AI大模型,软件混淆,授权

12-01

1081

本文提出一种基于EMD-PCA-LSTM的光伏功率预测方法，通过多尺度分解与深度学习结合解决光伏功率的非线性、非平稳性问题。首先利用EMD将功率序列分解为不同时间尺度的IMF分量，再结合辐照度、温度等外部特征构建特征矩阵，通过PCA降维后输入LSTM网络进行预测。Matlab实现流程包括数据预处理、EMD分解、PCA降维、LSTM建模等步骤，并给出完整的代码框架。实验结果表明该方法能有效提高预测精度，RMSE、MAE等指标表现良好。该方法可扩展加入更多特征和深度学习结构，为光伏功率预测提供有效解决方案。

【动物识别系统】Python+TensorFlow+Django+人工智能+深度学习+卷积神经网络算法

子午的博客

12-01

261

动物识别系统，基于TensorFlow搭建Resnet50卷积神经网络算法，通过对4种常见的动物图片数据集（猫、鸡、马、狗）进行训练，最后得到一个识别精度较高的模型，然后搭建Web可视化操作平台。技术栈项目前端使用Html、CSS、BootStrap搭建界面。后端基于Django处理逻辑请求基于Ajax实现前后端数据通信选题背景与意义在人工智能技术蓬勃发展的当下，动物识别作为计算机视觉领域的重要应用方向，有着广泛的实际需求，如动物保护监测、智能安防等场景均需精准高效的动物识别能力。

使用卷积神经网络(CNN)提取文字特征来辅助大语言模型生成文字

makh256257282931的博客

11-29

455

使用卷积神经网络(CNN)提取文字（无删减原文）特征来辅助大语言模型生成文字是一种有效的技术方案。encoder_hidden_states=projected_features.unsqueeze(1) # 作为额外上下文。这种CNN+LLM的混合架构在需要精确控制生成内容、保持特定风格或增强特定语义特征的场景中表现出色。self.entity_cnn = load_entity_cnn() # 识别命名实体。self.topic_cnn = load_topic_cnn() # 识别主题特征。