xtuner作业：

最新推荐文章于 2025-07-28 18:55:04 发布
最新推荐文章于 2025-07-28 18:55:04 发布
阅读量175 收藏
点赞数 2
CC 4.0 BY-SA版权
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lxmlxmmmm/article/details/137608090
本文介绍了如何将个人的自我认知模型上传至OpenXLab平台，并详细说明了应用程序在该平台上进行部署的步骤和技术细节。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

配置环境：

将自我认知的模型上传到OpenXLab，把应用程序部署到OpenXLab

IT冷小莫
关注
【第4讲】XTuner 微调 LLM:1.8B、多模态、Agent
熊猫小妖的AI世界
04-22 944
视频教程文档连接作业xtuner官网基础作业（结营必做）训练自己的小助手认知（记录复现过程并截图）进阶作业将自我认知的模型上传到 OpenXLab，并将应用部署到 OpenXLab（优秀学员必做）复现多模态微调（优秀学员必做）- 2 种不同训练范式- 数据处理的一般过程原始数据 -> 标注格式数据 -> 添加对话模板 -> tokenized数据 ->添加label -> 开始训练(1) 标准格式数据（2）添加对话模板对话模板有3种角色：（3）微调方案XTuner 的运行原理。
XTuner 微调 LLM:1.8B、多模态、Agent
天黑请闭眼~缓解下眼睛疲劳
06-13 1215
是不是感觉其实微调也不过如此！事实上确实是这样的！其实在微调的时候最重要的还是要自己准备一份高质量的数据集，这个才是你能否真微调出效果最核心的利器。微调也经常被戏称为是炼丹，就是说你炼丹的时候你得思考好用什么样的材料、用多大的火候、烤多久的时间以及用什么丹炉去烧。这里的丹炉其实我们可以想象为 XTuner ，只要丹炉的质量过得去，炼丹的时候不会炸，一般都是没问题的。但是假如炼丹的材料（就是数据集）本来就是垃圾，那无论怎么炼（微调参数的调整），炼多久（训练的轮数），炼出来的东西还只能且只会是垃圾。
书生作业：XTuner
qq_19859865的博客
05-10 363
作业链接： https://github.com/InternLM/Tutorial/blob/camp2/xtuner/homework.md xtuner: https://github.com/InternLM/xtuner首先，按照xtuner的指令依次完成conda环境安装，以及xtuner库的安装。然后，我们开始尝试使用QLora 进行Finetune。通过执行generate_data.py,我们实现对数据的处理。需要复制下列内容 然后，会看到personal_assistant.json
XTuner 作业
VC_Alexa的博客
08-09 223
这里/root/InternLM/Tutorial/tools/跑了20多分钟，如果用30%显卡，调配置应该可以时间短点。运行py脚本后，生成了一个json数据文件。我喜欢问“你是谁”，所以加了一条。看到hf文件夹内容，有bin文件。多了一个merged文件夹内容。AI回答自己是“汪星人”的助手。命名为“汪星人”的小助手。重新打开8501端口网页。注意py文件的地址，在。
xtuner作业
akandfxs
04-19 192
其实主要依据前面ft-medqa修改一下就行。准备工作。
XTuner 微调 LLM：1.8B、多模态、Agent——作业
YYYYbhjbhkv_的博客
04-21 1188
XTuner 微调 LLM：1.8B、多模态、Agent——作业一、基础作业1.1、训练自己的小助手认知1.1.1、环境安装1.1.2、数据集准备1.1.3、模型准备1.1.4、配置文件选择1.1.5、常规训练1.1.6、加速训练1.1.7、模型转换1.1.8、模型结合1.1.9、对话测试1.1.10、 Web demo 部署二、进阶作业2.1、将自我认知的模型上传到 OpenXLab，并将应用部署到 OpenXLab2.1.1、 克隆空仓库：2.1.2、使用 git lfs track 标记文件2.1.3
第四节课《XTuner作业》
fanre的专栏
05-05 1122
视频链接：https://b23.tv/BrTSfslPDF链接：https://pan.baidu.com/s/1JFtvBWgEGFWJq8pHafvIUg?pwd=6666提取码：6666。
第四节Xtuner作业
qq_46052444的博客
01-13 544
5.模型转化成hf格式，合并模型。6.开启推理和网页Demo。1. 安装环境和代码。
XTuner 微调LLM：1.8B 多模态实操作业
m0_68405343的博客
06-02 172
XTuner课程作业
han____shuai的专栏
05-07 726
教程地址：Tutorial/xtuner/README.md at main · InternLM/Tutorial · GitHub按照教程一步一步操作即可：前言：一个大语言模型微调工具箱。由 MMRazor 和 MMDeploy 联合开发。※ 因此，你找到了一种叫 LoRA 的方法：只对玩具中的某些零件进行改动，而不是对整个玩具进行全面改动。※ 而 QLoRA 是 LoRA 的一种改进：如果你手里只有一把生锈的螺丝刀，也能改造你的玩具。Ubuntu + Anaconda + CUDA/CUDNN + 8
《XTuner 微调 LLM：1.8B、多模态、Agent》课程笔记及作业
weixin_51956916的博客
04-24 927
LLaVA过程，分为两个阶段：1、Pretrain阶段，训练数据为图像和描述图像的短文本组成的图像-文本对，将其输入到文本单模态LLM中进行训练，得到Pretrained LLaVA模型，类似增量预训练阶段 2、微调数据为图像和复杂对话文本组成的图像-文本对，对 Pretrained LLaVA进行微调，得到Finetuned LLaVA模型，相当于指令微调阶段。LLaVa方案，类似LoRA微调方案，在已有LLM的基础上，用新的数据训练一个新的组成部分，结合到原有LLM基础上。训练后的部分结果文件。
书生·浦语大模型实战营：XTuner 微调 LLM：1.8B、多模态、Agent
weixin_45222417的博客
04-24 1856
使用场景：让基座模型学习到一些新知识，如某个垂类领域的常识训练数据：文章、书籍、代码等。使用场景：让模型学会对话模板，根据人类指令进行对话训练数据：高质量的对话、问答数据。LLM 的下游应用中，增量预训练和指令跟随是经常会用到两种的微调模式。XTuner 一个大语言模型&多模态模型微调工具箱。两种Finetune范式。
【InternLM 实战营第二期笔记04】XTuner微调LLM:1.8B、多模态、Agent
qq_74261455的博客
04-19 1325
XTuner是一款功能强大的软件，其设计旨在提供灵活且高效的微调策略与算法，以满足各类场景下的应用需求。其主要功能亮点体现在多个方面：首先，XTuner支持多种微调算法，无论是InternLM、Llama、Gemma，还是Mistral等，都能找到相应的优化策略。这种多样化的算法支持使得XTuner可以覆盖更广泛的场景，从而为用户提供更多的选择。其次，XTuner能够适配多种开源生态，如HuggingFace和ModelScope等。
Linux随记（二十一）
Nightwish5的博客
07-26 334
参考：https://blog.youkuaiyun.com/zsb706496992/article/details/144722449。参考：https://zhuanlan.zhihu.com/p/711713588 《Tomcat 小版本升级》
未授权访问各种靶场复现 总结
最新发布
2201_75617121的博客
07-28 496
本文总结了多种常见的未授权访问漏洞及其利用方法，涵盖了Redis、MongoDB、Memcached、Zookeeper、Jenkins等21种服务。每个漏洞都包含环境搭建、检测方法和攻击步骤，如使用特定工具连接、执行命令获取shell、利用可视化工具访问等。文中还提供了资产收集技巧和工具下载链接，包括nmap扫描、fofa查询等。这些漏洞可能允许攻击者直接访问敏感数据或获取系统控制权，突显了配置安全的重要性。
模拟flink处理无限数据流
m0_75138009的博客
07-25 696
使用工具：IntelliJ IDEA 2021，Maven 3.6.1。
Java研学-RabbitMQ(三)
zhlyxx的博客
07-25 788
本文介绍了基于AMQP协议和Spring AMQP实现的消息队列通信方案。首先概述了AMQP协议作为跨平台消息标准的特性，以及Spring AMQP对RabbitMQ的封装优势。接着通过一个入门Demo详细演示了如何搭建RabbitMQ环境，包括创建虚拟主机、交换机与队列绑定，以及父工程依赖配置。文章重点展示了Workqueues工作队列模式，通过代码示例说明了多消费者负载均衡的实现，并分析了默认轮询策略的不足。最后介绍了通过配置prefetchCount参数优化消息分发的解决方案，确保消费者按实际处理能力
大数据工程师：职责与技能全景图 -- 从“数据搬运工”到“价值架构师”
weixin_43680337的博客
07-27 458
当大模型时代来临，数据工程师正在进化为“AI-Native 数据架构师”用给大模型准备高质量训练语料用让业务方像调用 API 一样调用数据用Data Mesh把“数据仓库”拆成“领域数据产品”数据本身不产生价值，让数据流动起来的管道才产生价值。而大数据工程师，就是那个设计管道、维护管道、升级管道的人。延伸阅读书籍：《Designing Data-Intensive Applications》工具：Amundsen（数据发现）、dbt（数据转换即代码）
Java HashMap中的compute及相关方法详解：从基础到Kafka Stream应用
neweastsun的专栏
07-28 171
HashMap是Java集合框架中最常用的数据结构之一，它提供了高效的键值对存储和检索功能。在Java 8中，HashMap引入了一系列新的原子性更新方法，包括`compute()`、`computeIfAbsent()`和`computeIfPresent()`等，这些方法极大地简化了在Map中进行复杂更新操作的代码。本文将详细介绍这些方法，包括它们的用法、示例和实际应用场景，并特别探讨它们在Kafka Stream数据处理中的实际应用。
deepseek agent
02-04
### DeepSpeed Agent Usage and Configuration Deepspeed代理（agent）主要用于优化和加速大规模模型的分布式训练过程。通过配置特定参数，可以显著提升训练效率并降低资源消耗。 为了使用 Deepspeed 进行训练，通常需要指定一个 Python 脚本以及相应的配置文件来定义模型架构和其他超参数设置[^1]： ```bash xtuner train /root/ft/config/internlm2_1_8b_qlora_alpaca_e3_copy.py \ --work-dir /root/ft/train_deepspeed \ --deepspeed deepspeed_zero2 ``` 上述命令展示了如何利用 `deepspeed` 参数启动带有 Zero Redundancy Optimizer (ZeRO) 的训练作业。Zero2 是指 ZeRO 阶段 2，在该阶段下，激活值仍然保存在每个 GPU 上，而权重、梯度和优化器状态则被分区存储于多个设备之间以减少内存占用。 对于更复杂的场景，可以通过创建 JSON 文件进一步自定义 DeepSpeed 行为。此配置文件允许用户调整诸如批处理大小、学习率调度策略以及其他高级选项。下面是一个简单的例子展示如何编写这样的配置文件： ```json { "train_batch_size": 16, "gradient_accumulation_steps": 4, "fp16": { "enabled": true }, "zero_optimization": { "stage": 2 } } ``` 之后可以在调用时通过 `--deepspeed_config path/to/deepspeed.json` 添加到命令行中应用这些设定。 当涉及到具体的应用开发时，建议参考官方文档获取最新最全的功能列表和支持平台说明。此外，社区论坛也是一个很好的地方去寻找最佳实践案例和技术支持。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值