书生浦语-模型微调

最新推荐文章于 2025-12-02 19:01:55 发布
原创 最新推荐文章于 2025-12-02 19:01:55 发布 · 714 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #语言模型 #人工智能

本文介绍了大语言模型微调的过程，包括LoRA旁路分支微调和使用Xtuner框架进行训练，特别提到微调作业通常需要16个epoch的训练时间。
部署运行你感兴趣的模型镜像

大语言模型微调

在这里插入图片描述

指令微调的流程

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

LoRA(旁路分支微调)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Xtuner微调框架

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

微调训练

在这里插入图片描述
在这里插入图片描述

作业

微调作业需要多训练几个epoch，这里训练了16个epoch

在这里插入图片描述

在这里插入图片描述

您可能感兴趣的与本文相关的镜像

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调

书生·浦语大模型之XTuner微调个人小助手认知
2301_80313103的博客
08-12 1351
书生·浦语大模型之个人微调小助手篇
书生浦语大模型实战营
weixin_66889864的博客
06-09 938
这里要考察业务本身是否需要跟环境进行交互，如果这个业务是需要与环境进行交互的，比如需要调用外部API，或者与已有的数据库进行交互，那么就需要构建一个智能体（Agent），完成相关业务。如果算力足够，可能就需要进行模型的续训，或者全参数的微调，当然，这个花的钱就比较多。如果不是足够复杂，可以直接使用该模型，加上Prompt工程，就可以实现相关的业务；XTuner可以适合不同的生态，支持不同的算法，支持不同的开原生态、不同的加速方式和Nvidia的各级显卡。关注不同维度的能力，特别是专业上的能力。
基础岛 - 书生·浦语大模型全链路开源开放体系
纸上得来终觉浅 绝知此事要躬行
08-06 728
书生·浦语大模型全链路开源开放体系
书生·浦语大模型实战营-XTuner微调个人小助手认知
qq_53999675的博客
08-15 300
【代码】书生·浦语大模型实战营-XTuner微调个人小助手认知。
书生·浦语大模型实战营
sorrowyn的博客
05-11 2159
Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。它的整个框架图如下:流式输出：提供 stream_chat 接口作流式输出，本地就能演示酷炫的流式 Demo。接口统一，设计全面升级，提升拓展性，包括：Model : 不论是 OpenAI API, Transformers 还是推理加速框架 LMDeploy 一网打尽，模型切换可以游刃有余；
书生·浦语大模型全链路开源体系（四）——微调（XTuner）
2301_77286822的博客
01-12 1539
{},}]通过 python脚本：将数据集中的 “问题” 和 “回答 ”两列 提取出来，再放入.jsonL文件的每个 conversation 的 input 和 output 中，这一步的 python 脚本可以请 ChatGPT 来完成。[{},}]# 修改import部分，其实这一句改不改都行# 修改模型为本地路径# 修改训练数据为 MedQA2019-structured-train.jsonl 路径# 修改 train_dataset 对象。
书生浦语-大模型平台学习-环境搭建01
lituo20的专栏
07-16 376
InternStudio 是大模型时代下的云端算力平台。基于 InternLM 组织下的诸多算法库支持，为开发者提供开箱即用的大语言模型微调环境、工具、数据集，并完美兼容 🤗 HugginFace 开源生态。执行hello world脚本import re# 获取主机名# 创建 Gradio 界面"></a></p></h1>"></a></p>"""
【书生·浦语大模型实战营】书生浦语大模型全链条开放体系介绍
weixin_42553583的博客
05-23 987
在国内众多开源大模型中，上海人工智能实验室开源的书生浦语系列绝对占有一席之地。可能有很多同学还记得年初央视播出的首部人工智能生成动画片《千秋诗颂》，就是上海人工智能实验室的“书生筑梦”大模型制作的。具体可以查看以下新闻报道国产文生视频大模型“筑梦”亮相 助央视制作AI动画片《千秋诗颂》筑梦大模型是文生图大模型，我们今天介绍的重点是大语言模型，所以重点在书生浦语上。正好我最近报名的书生·浦语大模型实战营需要写学习笔记。这篇文章既可以当做学习笔记，也可以给大家详细的介绍一下书生浦语系列产品。
【InternLM】书生-浦语大模型demo搭建&服务接口部署&本地映射
艰难困苦，玉汝于成。
01-06 2373
大模型：大模型是指在机器学习和人工智能领域中，具有大规模参数和复杂结构的模型。这些模型通常由数百万甚至数十亿、数千亿个参数组成，可以用来解决复杂的任务和问题，如自然语言处理、图像识别、语音识别等。
书生浦语大模型实战营微调部署至OpenXlab.zip
07-26
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
[书生浦语] 大模型实战：大模型微调数据构造
mycomin的博客
06-03 1075
场景需求基于 InternLM2-chat-1.8B 模型，用弱智吧中的数据进行微调，训练一个不弱智的模型本节内容可参照XTuner 微调个人小助手认知，这里简单介绍下流程：首先进入之前创建的开发机并激活之前创建的虚拟环境建立文件夹ruozhiba复制internlm2-chat-1.8B模型然后将处理过的训练集train.jsonl和测试集test.jsonl上传到该路径下。
书生·浦语大模型——XTuner大模型单卡微调实战
Yogffee的博客
01-30 1527
增量预训练微调：让基座模型学习到一些新知识，如某个垂类领域的常识指令跟随微调：让模型学会对话模板，根据人类指令进行对话。
书生浦语大模型实战营第四次课作业-使用XTuner 微调 InternLM-Chat-7B 模型
qq_40831032的博客
01-14 656
书生浦语大模型实战营第四次课作业构建数据集，使用 XTuner 微调 InternLM-Chat-7B 模型, 让模型学习到它是你的智能小助手，效果如下图所示，本作业训练出来的模型的输出需要替换成自己名字或昵称！
Python Pandas多列合并成一长列(扁平化)
视觉算法小趴菜的博客
11-29 417
本文介绍了Pandas中三种数据扁平化方法：melt()按变量名和值两列重组数据，concat()垂直拼接多列，stack()将多列转为单列。测试数据显示melt()保留原列名信息，concat()和stack()仅保留数值。三种方法各有特点，适用于不同的数据扁平化需求。
【推荐系统】深度学习训练框架（五）：pyspark分布式TorchDistributor主从读取OSS文件认证机制
人工智能领域博客
11-28 1849
摘要： 本文详细解释了Spark Driver端与Worker端在OSS认证上的核心区别。Driver端通过Spark配置自动认证，而Worker端（独立Python进程）需显式提供认证信息。认证来源优先级为：1)Driver传递参数，2)环境变量，3)IAM角色。文章分析了架构差异导致的不同认证方式，并推荐从Driver传递认证信息的解决方案。当前实现已采用该方案，通过Spark配置或环境变量获取认证后传递给Worker进程，确保PyArrow能正确访问OSS数据。
【Android逆向工程】第8章：Frida 高级应用：函数追踪与 RPC 调用
w987333120的博客
12-01 339
本文介绍了Frida框架的核心功能与应用技巧，包括函数调用栈追踪、RPC机制、批量Hook、内存操作和脚本模块化等关键技术。重点讲解了Thread.backtrace()和DebugSymbol.fromAddress()的用法，提供Java和Native函数的调用栈追踪示例，并展示了调用栈过滤与分析方法。最后通过实战案例演示登录流程追踪和RPC调用，同时给出常见问题解决方案。这些技术可有效提升逆向分析效率，适用于移动应用安全测试场景。
python中快速更新ini文件之方法~
最新发布
英布之剑的优快云 Blog
12-02 86
Python标准库中的configparser模块可方便读写INI格式配置文件。通过ConfigParser()创建对象，使用read()读取文件，set()修改键值，write()保存更改。示例代码展示了更新INI文件的完整流程：创建解析器、读取文件、修改指定分组下的键值、保存修改并清理对象。使用前需导入configparser模块。该方法简单高效，适用于处理标准INI格式的配置文件。
遗留Python包中的漏洞代码可通过域名劫持攻击Python包索引
FreeBuf_的博客
11-28 462
遗留Python包漏洞可致供应链攻击，域名劫持风险威胁PyPI生态。
Python抓取ZLibrary元数据实战指南
yiruo250的博客
11-29 545
本文介绍使用Python抓取ZLibrary电子书元数据的技术方案。首先说明准备工作，包括Python环境配置、网页结构分析和反爬策略。详细讲解两种抓取方法：静态页面使用requests+BeautifulSoup解析，动态内容通过Selenium模拟浏览器操作。提供数据存储示例（CSV/JSON格式）和清洗技巧，并介绍异步抓取、Scrapy框架等高级优化方案。特别强调法律合规性，包括遵守robots.txt、控制请求频率及版权注意事项。附完整代码示例链接，为电子书数据分析提供技术参考。
书生浦语大模型作业
05-13
在实际应用中，可能需要对书生浦语大模型进行微调以适配特定任务需求。常见的微调方式包括 **增量预训练** 和 **指令跟随微调** [^3]。前者适用于引入新的领域知识（如行业术语、技术文档），后者则用于优化模型的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

云朵不吃雨

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值