Xtuner大模型低成本微调实践-作业

原创 已于 2024-01-16 23:04:01 修改 · 550 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能 #语言模型

于 2024-01-14 23:42:40 首次发布
本文详细介绍了如何在Python环境中创建虚拟环境，clone项目代码，配置微淘模型，解决下载速度问题，通过mmengine进行单卡训练，并利用HuggingFace框架进行模型转换和部署。内容涵盖了从预处理到微调、自定义数据集调整和最终测试的全过程。

基础作业：

创建虚拟环境并clone代码

安装环境依赖

准备微淘配置文件，列出配置文件

拷贝一个配置文件进行微调

复制模型，下载太慢

复制微调数据集

修改配置参数

开始单卡，epoch=1 训练，加载配置文件，基于mmengine

下载数据文件和map数据

开启deepspeed加速训练

将torch模型转换为HuggingFace模型

部署和测试：

将HuggingFace模型合并到底座internlm-chat-7b模型

微调前

微调后

开始微调训练

训练完成

修改自定义数据集

开始重新训练自定义数据集

微调前

微调后

XTuner 大模型单卡低成本微调实战
zhjunqin的博客
01-14 689
视频链接：https://www.bilibili.com/video/BV1yK4y1B75J/?vd_source=bebd279bbc043ae1c13d45838597180f 文档地址：https://github.com/InternLM/tutorial/tree/main/xtuner XTuner Repo: https://github.com/InternLM/xtuner/tree/main 拷贝修改配置文件 训练微调 使用命令训练 也可以增加 d
大模型微调学习之旅④ — XTuner 大模型单卡低成本微调实战
HOOK1的博客
01-13 4476
图解：Alpaca 格式，斯坦福大学开源数据集的格式，也是社区开源项目使用较多的一种格式MOSS 格式，复旦大学开源指令微调数据集的格式，包含多轮对话和工具调用Gunacao 格式，QLoRA 项目中所使用数据集的格式OpenAI 格式，GPT-3.5-Turbo Finetune 接口要求的数据集格式。
XTuner大模型单卡低成本微调实践--练习
SmallZCan_t的博客
01-14 512
未完待续。。。
XTuner 大模型单卡低成本微调之本地实战
weixin_55982578的博客
02-22 1523
3090单卡微调大模型
XTuner 大模型单卡低成本微调实战笔记
m0_75085274的博客
01-13 2065
这部分非常重要，因为以后如果我们想在自己的训练集上进行训练，就要使用这个内容。首先第一步的话就是准备数据集的格式，这里大佬是用GPT生成的，我的天呀，原来大佬也用gpt生成代码呀，但是的话，大佬好像比我强的是使用提示词，我代码不会写，可以使用提示词让gpt帮我写，就这么干了！上面的数据文件是表格形式的，我们要先将提问和回答提取出来，然后保存到josnl文件中去，学习一下提示词[{},}]这后吧文件复制过来。
XTuner 大模型低成本微调操作笔记
qq_45607888的博客
01-24 740
挑战在于使用自己的数据集。
Xtuner大模型低成本微调
Axr_Samuel的博客
01-14 507
数据处理对预训练模型进行指令微调，使得模型具有回答问题的能力。Xtuner微调原理全参数微调和LoRA微调的对比。
XTuner大模型单卡低成本微调实践
SmallZCan_t的博客
01-14 506
加速方式：flash attention。
XTuner 大模型单卡低成本微调实战--笔记
m0_49134108的博客
01-27 477
指令跟随微调数据中会有 Input 和 Output 希望模型学会的是答案(Output)而不是问题(Input)，训练时只会对答案部分计算Loss。 增量数据微调最终要的不同在于：“让LLM知道什么时候开始一段话，什么时候结束一段话。” 微调 准备工作 模型下载 数据下载 开始微调 加速 模型转换 将得到的 PTH 模型转换为 HuggingFace 模型，即：生成 Adapter 文件夹 在本示例中，为： 此时，hf 文件夹即为我们平时所理解的所谓 “LoRA 模型文件”将 Hugging
XTuner大模型单卡低成本微调实战作业
qq_74261455的博客
01-23 1217
XTuner大模型单卡低成本微调实战作业
04 XTuner 大模型单卡低成本微调实战
Wzxdecsdn的博客
01-14 1200
关于XTuner 大模型单卡低成本微调实战的记录
【民族服饰识别系统】Python+TensorFlow+Vue3+Django+人工智能+深度学习+卷积网络+resnet50算法
最新发布
子午的博客
11-30 720
民族服饰识别，民族服饰智能识别与分析系统基于TensorFlow框架，采用卷积神经网络（CNN）算法构建而成。系统在收集了回族、汉族、满族、苗族四类典型民族服饰图像数据集的基础上，通过多轮迭代训练，最终生成高精度识别模型，并配合Web可视化平台实现便捷交互。前端后端：Django算法：TensorFlow、卷积神经网络算法具体功能系统分为管理员和用户两个角色，登录后根据角色显示其可访问的页面模块。登录系统后可发布、查看、编辑文章，创建文章功能中集成了markdown编辑器，可对文章进行编辑。
深度学习实战（基于pytroch）系列（四十）长短期记忆（LSTM）从零开始实现
echo的博客
11-28 1445
LSTM（长短期记忆网络）是一种改进的循环神经网络，通过引入输入门、遗忘门和输出门三个控制单元，以及记忆细胞结构，有效解决了传统RNN的梯度消失问题。其核心计算包括：三个门控单元通过sigmoid函数调节信息流动，候选记忆细胞使用tanh函数生成，最终记忆细胞由遗忘门和输入门共同决定。实验使用周杰伦歌词数据集进行训练，从零实现了LSTM模型的参数初始化和前向传播过程，包括状态初始化、门控计算和隐藏状态更新。该结构能更好地捕捉长距离依赖关系，适用于序列建模任务。
深度学习实战（基于pytroch）系列（四十一）长短期记忆（LSTM）pytorch简洁实现
echo的博客
11-29 1042
本文介绍了使用PyTorch简洁实现长短期记忆网络(LSTM)语言模型的方法。首先读取周杰伦歌词数据集并进行预处理，然后定义包含LSTM层和全连接层的RNN模型类，其中LSTM需要同时处理隐藏状态和细胞状态。文章详细展示了模型初始化、预测函数实现以及训练过程，包括梯度裁剪和数据迭代器设计。通过对比手动实现，突出了PyTorch框架在简化LSTM实现方面的优势，为自然语言处理任务提供了高效的解决方案。
深度学习实战（基于pytroch）系列（四十四） 优化与深度学习
echo的博客
11-30 1000
本文探讨了优化与深度学习的关系及优化在深度学习中的挑战。优化算法通过最小化训练误差来降低损失函数值，而深度学习更关注降低泛化误差。文中重点分析了深度学习中常见的两个优化挑战：局部最小值和鞍点。通过数学函数示例和可视化图表，展示了这些特征点的特性，并指出在高维参数空间中，鞍点比局部最小值更为常见。最后强调虽然全局最优解难以获得，但现有优化算法已能有效训练深度学习模型。
Bayes-CNN-LSTM、Bayes-CNN-BiLSTM、Bayes-CNN-GRU、B...
2503_94130034的博客
11-24 439
无需手动调参，运行即出结果，特别适合刚接触时序预测的新手。Bayes-CNN-LSTM、Bayes-CNN-BiLSTM、Bayes-CNN-GRU、Bayes-CNN-BiGRU回归(四选一)(可以更换为分类/单、多变量时序预测，前)，Matlab代码，可直接运行，适合小白新手。Bayes也可以优化CNN-LSTM-Attention,CNN-BiLSTM-Attention，CNN-GRU-Attention,CNN-BiGRU-Attention模型回归，分类，时序预测()[电力负荷预测结果对比图]
Xtuner大模型微调入门：轻松定制专属深度学习模型
Xtuner 是一个专注于大模型微调（Fine-tuning）的开源工具包，其设计目标是让大语言模型（Large Language Models, LLMs）的训练过程更加轻量、简单和高效。该项目特别适合希望在有限计算资源下对主流大模型进行个性...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值