【作业】XTuner 大模型单卡低成本微调实战

原创 已于 2024-01-30 18:03:46 修改 · 674 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #pytorch #人工智能

于 2024-01-14 14:07:28 首次发布
本文介绍了在使用TMUX进行远程操作时遇到的Ctrl+BD键的bug，即一次按键被误解为换行，而需连续两次才能正确输入段落。此外，提到4bit问题可能导致空内容重复自身微调数据。

tmux远程微调防止中断
Ctrl+B D 退出
在这里插入图片描述
敲一次是换行，敲两次才是输入段落
bug
在这里插入图片描述
4bit快一点,空内容会重复
在这里插入图片描述
自己的微调数据
在这里插入图片描述
结果

在这里插入图片描述

芷詩
关注
XTuner 大模型单卡低成本微调实战
zhjunqin的博客
01-14 688
视频链接：https://www.bilibili.com/video/BV1yK4y1B75J/?vd_source=bebd279bbc043ae1c13d45838597180f 文档地址：https://github.com/InternLM/tutorial/tree/main/xtuner XTuner Repo: https://github.com/InternLM/xtuner/tree/main 拷贝修改配置文件 训练微调 使用命令训练 也可以增加 d
04 XTuner 大模型单卡低成本微调实战
Wzxdecsdn的博客
01-14 1195
关于XTuner 大模型单卡低成本微调实战的记录
XTuner 大模型单卡低成本微调实战笔记
m0_75085274的博客
01-13 2064
这部分非常重要，因为以后如果我们想在自己的训练集上进行训练，就要使用这个内容。首先第一步的话就是准备数据集的格式，这里大佬是用GPT生成的，我的天呀，原来大佬也用gpt生成代码呀，但是的话，大佬好像比我强的是使用提示词，我代码不会写，可以使用提示词让gpt帮我写，就这么干了！上面的数据文件是表格形式的，我们要先将提问和回答提取出来，然后保存到josnl文件中去，学习一下提示词[{},}]这后吧文件复制过来。
第四课-XTuner 大模型单卡低成本微调实战
qq_46016871的博客
02-21 1374
一个大语言模型微调工具箱。由MMRazor和MMDeploy联合开发。以数据集为例场景需求基于 InternLM-chat-7B 模型，用 MedQA 数据集进行微调，将其往医学问答领域对齐。此时，我们重新建一个文件夹来玩“微调自定义数据集”把前面下载好的internlm-chat-7b模型文件夹拷贝过来。别忘了把自定义数据集，即几个.jsonL，也传到服务器上。
XTuner 大模型单卡低成本微调之本地实战
weixin_55982578的博客
02-22 1518
3090单卡微调大模型
XTuner大模型单卡低成本微调实战作业
qq_74261455的博客
01-23 1216
XTuner大模型单卡低成本微调实战作业
XTuner 大模型单卡低成本微调实战——作业
YYYYbhjbhkv_的博客
01-26 328
构建数据集，使用 XTuner 微调 InternLM-Chat-7B 模型, 让模型学习到它是你的智能小助手。
《书生·浦语大模型全链路开源开放体系》第四课作业 XTuner 大模型单卡低成本微调实战
m0_65719612的博客
02-13 823
目标：通过微调，帮助模型认清了解对自己身份弟位方式：使用XTuner进行微调（回答比较官方）（对自己的身份弟位有了清晰的认知）
XTuner大模型单卡低成本微调实战
qq_34354951的博客
01-24 569
最开始还是越学越迷糊的状态。
作业--XTuner 大模型单卡低成本微调实战
donotpython的博客
01-23 511
作业：在data目录下新建一个generate_data.py文件，运行该脚本即可生成数据集personal_assistant.json。然后微调后参数转换，并Merge模型参数。
大模型微调学习之旅④ — XTuner 大模型单卡低成本微调实战
HOOK1的博客
01-13 4472
图解：Alpaca 格式，斯坦福大学开源数据集的格式，也是社区开源项目使用较多的一种格式MOSS 格式，复旦大学开源指令微调数据集的格式，包含多轮对话和工具调用Gunacao 格式，QLoRA 项目中所使用数据集的格式OpenAI 格式，GPT-3.5-Turbo Finetune 接口要求的数据集格式。
大模型实战营Day4 XTuner 大模型单卡低成本微调实战
m0_72806612的博客
01-13 629
同第三节的建立数据库中所提及到的，如果通用大模型在专用领域表现能力不强，如何改进——第三者在显存和GPU之间进行了一个整合，如果GPU满会到显存里面跑，速度会慢一些。LoRA的原理是在线性层平行增加一个两个小层的分支，因而能够减少训练的耗费。构建角色和对话模板，这项工作由Xtuner做过了，可以借此一键完成。欢迎关注无神，一起学大模型和AI方面的前沿知识！建立知识库或者微调，本节课进行的则是微调。其能支持的模型的硬件资源比较广泛。
缺失值插补策略比较线性回归vs.相邻填充在LSTM输入层的性能差异分析
木头大左的博客
11-24 78
对照组A：使用Scikit-learn实现多元线性回归模型，基于完整历史窗口构建自变量矩阵进行缺失推测；对照组B：采用前向/后向相邻观测值加权平均法完成快速修补；评估指标：均方误差(MSE)、夏普比率(Sharpe Ratio)及最大回撤(MDD)，从统计学显著性和风险调整收益双重维度验证优劣。所有实验均在PyTorch框架下搭建双层LSTM架构，保证其他超参数完全一致以突出插补方法的差异效果。
【深度学习日记】调参侠指南
weixin_63466958的博客
11-22 813
本文总结了深度学习模型调参与训练的关键要点，主要包括： 基础超参数：详细介绍了模型结构参数（网络深度/宽度、激活函数、卷积核等）和优化参数（学习率、batch size、优化器等）的设置建议。 实用技巧：包括学习率寻找方法、冷/热启动策略、调参顺序建议、数据增强技术，以及模型验证诊断方法（过拟合/欠拟合处理）。 进阶策略：涵盖学习率调度、混合精度训练、多卡并行、早停等高级训练技术，并提供了超参数速查表和自动化调参工具推荐。 经验分享：强调从小模型开始验证、优先调整学习率、记录实验日志、使用可视化工具等实用建
鱼类识别系统【最新版】Python+TensorFlow+Vue3+Django+人工智能+深度学习+卷积神经网络算法
2301_78372746的博客
11-24 1573
鱼类识别系统，基于TensorFlow搭建卷积神经网络算法，通过收集了包括‘墨鱼’、‘多宝鱼’、‘带鱼’、‘石斑鱼’等在内的30种鱼类图像数据集进行训练，最后得到一个识别精度较高的模型，然后搭建Web可视化操作平台。前端后端：Django算法：TensorFlow、卷积神经网络算法具体功能系统分为管理员和用户两个角色，登录后根据角色显示其可访问的页面模块。登录系统后可发布、查看、编辑文章，创建文章功能中集成了markdown编辑器，可对文章进行编辑。
基于LSTM的中文情感分析实战指南
最新发布
像风一样自由的博客
11-25 518
LSTM中文情感分析指南 摘要 本文详细介绍了基于LSTM网络的中文情感分析方法。首先阐述了RNN和LSTM的理论基础，重点分析了LSTM的门控机制如何解决梯度消失问题。接着详细讲解了中文文本预处理的关键步骤，包括使用jieba进行分词、停用词处理和文本向量化。文章提供了完整的模型构建流程，从环境配置、数据准备到LSTM实现，并介绍了模型训练、评估和优化技巧。最后给出了完整代码示例，为中文情感分析任务提供了实用解决方案。该指南特别强调了中文处理的特点，如分词挑战和含蓄表达等问题。
深度学习理论与实战：MNIST 手写数字分类实战
2501_92613722的博客
11-25 825
本文介绍了使用深层神经网络进行MNIST手写数字分类的完整流程。首先讲解了多分类问题的核心工具：Softmax函数将网络输出转换为概率分布，交叉熵损失衡量预测准确性。接着详细说明MNIST数据集的预处理方法，包括标准化和拉平处理。然后通过PyTorch搭建4层全连接网络，使用ReLU激活函数解决梯度消失问题，并展示了训练过程的关键代码。最后指出通过调整网络层数、激活函数等参数可以进一步优化模型性能，为后续学习更复杂网络结构奠定基础。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值