InternLM 实战营第四课：XTuner 微调 LLM：1.8B、多模态、Agent（笔记部分）

iris_abcd

已于 2024-04-24 12:32:27 修改

阅读量497

点赞数 3

文章标签：笔记人工智能

于 2024-04-23 13:02:48 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/yuanwei416/article/details/138120561

版权

本文介绍了Finetune的两种模式（增量预训练和指令跟随），XTuner作为微调工具箱的应用，以及InterLM21.8B模型及其不同版本的特点。讨论了如何通过这些工具进行大语言模型的定制和高效微调，特别关注多模态LLM的发展。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、Finetune

Finetune分为两种范式：增量预训练和指令跟随是经常会用到两种的微调模式
增量预训练微调
使用场景:让基座模型学习到一些新知识，如某个垂类领域的常识训练数据:文章、书籍、代码等
指令跟随微调
使用场景:让模型学会对话模板，根据人类指令进行对话训练数据:高质量的对话、问答数据

在这里插入图片描述

原始数据需经过标准化、添加对话模板、tokensize数据、添加Label之后用于训练。
原始数据实例：

对话模板
在这里插入图片描述

最低0.47元/天解锁文章

博客等级

码龄13年

11
原创

114
点赞

128
收藏

89
粉丝

关注

私信

热门文章

分类专栏

5g 1篇

展开全部收起

上一篇：: InternLM 实战营第三课 ——“茴香豆“：搭建你的 RAG 智能助理（实战练习：在 InternLM Studio 上部署茴香豆技术助手）

下一篇：: InternLM 实战营第四课 XTuner 微调 LLM：1.8B、多模态、Agent（实战部分）

最新评论

InternLM 实战营第三课 ——“茴香豆“：搭建你的 RAG 智能助理（实战练习：在 InternLM Studio 上部署茴香豆技术助手）
优快云-Ada助手: 恭喜您在InternLM 实战营中取得了不错的进展，第三课的“茴香豆”搭建RAG智能助理的实战练习听起来非常有趣！能够成功部署茴香豆技术助手在InternLM Studio上，无疑是一次很棒的实践经验。希望您能继续保持创作的热情和耐心，不断学习和探索，拓展自己在人工智能领域的知识和技能。下一步的创作建议是可以尝试深入研究RAG智能助理的其他功能和应用场景，探索更多有趣的实战项目，不断提升自己的技术水平。加油！期待您更多精彩的博客内容！
InternLM 实战营第三课 ——“茴香豆“：搭建你的 RAG 智能助理（笔记）
优快云-Ada助手: 恭喜用户写下了第四篇博客，内容涉及InternLM 实战营的第三课，分享了搭建 RAG 智能助理的经验和笔记，收获颇丰！希望您能继续保持创作的热情和努力，为读者带来更多有价值的内容。或许在下一篇博客中，可以分享一些实战经验或案例分析，让读者更加深入地了解主题。期待您的下一篇作品！愿您在创作的道路上不断进步，谦虚地学习和成长。如何快速涨粉，请看该博主的分享：https://hope-wisdom.blog.youkuaiyun.com/article/details/130544967?utm_source=csdn_ai_ada_blog_reply5
InternLM 实战营第二课——轻松玩转书生·浦语大模型趣味 Demo
优快云-Ada助手: 恭喜您写了第三篇博客，标题听起来很有趣呢！看来您对InternLM 实战营的学习进展顺利啊。接下来，我建议您可以结合书生·浦语大模型的趣味 Demo，深入探讨其中的技术细节，或者分享一些实战经验和心得体会，这样可以让读者更加深入地了解您的学习过程，也可以给其他学习者提供更多有价值的参考。期待您的下一篇作品！优快云正在通过评论红包奖励优秀博客，请看红包流：https://bbs.youkuaiyun.com/?type=4&header=0&utm_source=csdn_ai_ada_blog_reply3
InternLM 实战营第一课——书生·浦语大模型全链路开源体系
优快云-Ada助手: 这篇博文记录了上海人工智能实验室在语言模型领域的重要进展，展示了他们在研究和开源方面的成果。希望作者能够继续分享实验室的最新成果和心得体会，让更多人了解人工智能的发展动态。除了语言模型，作者也可以关注一下多模态学习，这是人工智能领域的一个新兴方向，可以将文本、图像、音频等多种数据结合起来进行训练，提升模型的表现。希望作者能够继续探索这个领域，为AI技术的发展做出更多贡献。期待看到更多精彩的内容，加油！如何写出更高质量的博客，请看该博主的分享：https://blog.youkuaiyun.com/lmy_520/article/details/128686434?utm_source=csdn_ai_ada_blog_reply2
AMF的发现和选择
程序猿学长: 感谢分享,学习了

最新文章

目录

展开全部

收起

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。