XTuner 微调 LLM：1.8B、多模态、Agent

最新推荐文章于 2025-03-13 03:29:36 发布
最新推荐文章于 2025-03-13 03:29:36 发布
阅读量331 收藏 5
点赞数 10
CC 4.0 BY-SA版权
分类专栏： 书生·浦语大模型 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/l18817813618/article/details/137938667

微调的两种范式

增量预训练微调

使用场景：让基座模型学习一些新的知识，如垂直类型领域的知识

指令跟随微调

使用场景：让模型学会对话模板根据人类的指令进行对话

训练数据：高质量的对话，问答数据

 一条数据的一生：

 

 

微调算法的种类

FULL FineTuning  LoRA QLoRA

 

最低0.47元/天 解锁文章

200万优质内容无限畅学
Gradle 2.0 用户指南翻译——第五十章. 依赖管理
一个码农的博客
07-15 4402
本文禁止w3cschool转载！ 翻译项目请关注Github上的地址：https://github.com/msdx/gradledoc。 本文翻译所在分支：https://github.com/msdx/gradledoc/tree/2.0。更好的阅读体验请访问：http://gradledoc.githang.com/2.0/userguide/userguide.html。 另外，...
【InternLM 实战营第二期笔记04】XTuner微调LLM:1.8B、多模态、Agent
qq_74261455的博客
04-19 1327
XTuner是一款功能强大的软件，其设计旨在提供灵活且高效的微调策略与算法，以满足各类场景下的应用需求。其主要功能亮点体现在多个方面：首先，XTuner支持多种微调算法，无论是InternLM、Llama、Gemma，还是Mistral等，都能找到相应的优化策略。这种多样化的算法支持使得XTuner可以覆盖更广泛的场景，从而为用户提供更多的选择。其次，XTuner能够适配多种开源生态，如HuggingFace和ModelScope等。
求助：VLLM镜像部署本地大模型OSError: Incorrect path_or_model_id
qq_39207407的博客
09-06 2996
但是报错OSError: Incorrect path_or_model_id: '/models/model'. Please provide either the path to a local folder or the repo_id of a model on the Hub.同样的命令使用vllm的python环境运行没问题：python3 -m vllm.entrypoints.openai.api_server <args...>
抱抱脸自动下载模型地址
teletubbies的博客
08-08 1000
解决：MODEL_PATH = "/home/user/.cache/huggingface/hub/models--THUDM--cogvlm2-llama3-chat-19B/snapshots/2bf7de6892877eb50142395af14847519ba95998"HuggingFace模型自动下载找保存地址。HuggingFace模型自动下载找保存地址。
本地及云服务器上部署yoloworld的过程中遇到一些问题整理记录
ITdaka的博客
05-14 6894
在本地部署yoloworld项目时遇到的一些问题的记录，供大家参考！
第四课课程笔记 XTuner 微调 LLM：1.8B、多模态、Agent
weixin_44555688的博客
04-18 563
为什么要微调？提升基座模型在特定领域内的性能两种finetune范式增量预训练指令跟随微调。训练数据为高质量对话。没有经过指令微调的模型，不一定会对话一条数据的一生user/input部分为数据输入，bot/output为数据输出标签不同厂家有不同的对话模板未来让模型知道什么时候开始，什么时候结束System、User、Assistant三种角色微调方案。Xtuner用两种LORA、QLORA训练出新增支路adapter，减少显存开销。
XTuner微调LLM：1.8B，多模态和Agent
2401_83218582的博客
04-19 839
这意味着，当我们访问 /root/ft/model 时，实际上就是在访问 /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b 目录下的内容。执行上述操作后，/root/ft/model 将直接成为一个符号链接，这个链接指向 /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b 的位置。准备好的配置文件只要运行起来就代表着模型就开始训练或者微调了。
书生·浦语大模型实战营 第四节课 XTuner 微调 LLM：1.8B、多模态、Agent
weixin_45483762的博客
06-03 843
XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。高效支持大语言模型 LLM、多模态图文模型 VLM 的预训练及轻量级微调。XTuner 支持在 8GB 显存下微调 7B 模型，同时也支持多节点跨设备微调更大尺度模型（70B+）。自动分发高性能算子（如 FlashAttention、Triton kernels 等）以加速训练吞吐。兼容DeepSpeed🚀，轻松应用各种 ZeRO 训练优化策略。灵活支持多种大语言模型，包括但不限于InternLMLlama 2ChatGLMQwen。
书生·浦语大模型实战营：XTuner 微调 LLM：1.8B、多模态、Agent
weixin_45222417的博客
04-24 1857
使用场景：让基座模型学习到一些新知识，如某个垂类领域的常识训练数据：文章、书籍、代码等。使用场景：让模型学会对话模板，根据人类指令进行对话训练数据：高质量的对话、问答数据。LLM 的下游应用中，增量预训练和指令跟随是经常会用到两种的微调模式。XTuner 一个大语言模型&多模态模型微调工具箱。两种Finetune范式。
问答系统 ChatGLM3部署实战
jacke121的专栏
04-25 1200
问答系统 ChatGLM3部署实战
pycharm链接服务器，映射路径无误-运行程序时出现No such file or directory：解决办法
weixin_46566149的博客
01-16 521
解决：运行配置-编辑-添加路径映射。检查了映射路径没问题。
git教学指南_完整的Git指南
cuk0051的博客
08-25 721
git教学指南Git is a free and Open Source version control system (VCS), a technology used to track older versions of files, providing the ability to roll back and maintain separate different versions at th...
faster_whisper调用whisper-large-v3-turbo模型的坑
qq_38342152的博客
03-13 1171
Please provide either the path to a local folder or the repo_id of a model on the Hub.
Huggingface知识图谱任务
weixin_49186516的博客
09-22 967
对文本内容完成实体抽取，建立不同实体之间的联系例如主体为百日咳，客体就为症状、病因、相关疾病等text = '据报道称，新冠肺炎患者经常会发热、咳嗽，少部分患者会胸闷、乏力，其病因包括: 1.自身免疫系统缺陷\n2.人传人。' # content是输入的一段文字针对输入的文本建立以下的关系：运行demo发生报错是因为写地址的时候需要用\\不然\t\n之类的会读取异常。
本地加载模型报错Repo id must be in the form ‘repo_name‘ or ‘namespace/repo_name‘
weixin_44362418的博客
04-24 6504
原因：部分文件没有下载全，比如tokenizer.json文件没有下载。
VSCode 报错 [Please specity the “MIDebuggerPath“ option] --无法调试c++
Fight_adu的博客
10-16 638
C++调试
万字综述：大语言模型多agent进展
最新发布
03-30
通过融合不同数据类型的优势[^1]，LLMs 提升了人工智能理解和处理复杂信息的能力，从而推动了多模态技术的发展。 #### 2. 基于 LLM 的多智能体系统架构 基于 LLM 的多智能体系统近年来在多个领域取得了显著进步。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值