书生大模型学习笔记及课后作业4

XTuner大模型微调实战与OpenXLab部署教程
原创 已于 2024-02-21 17:34:54 修改 · 715 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#学习 #笔记 #人工智能

于 2024-02-20 22:04:17 首次发布
本文介绍了如何使用XTuner对InternLM-Chat-7B模型进行低成本微调，包括构建数据集、微调步骤、将模型转换为HuggingFace格式、部署到Web服务以及进阶操作如上传到OpenXLab并部署到服务端的过程。
部署运行你感兴趣的模型镜像

课程内容

课程地址：GitHub - InternLM/tutorial

第4节 XTuner大模型单卡低成本微调实战

课程笔记

课后作业

基础作业：

构建数据集，使用 XTuner 微调 InternLM-Chat-7B 模型, 让模型学习到它是你的智能小助手，效果如下图所示，本作业训练出来的模型的输出需要将不要葱姜蒜大佬替换成自己名字或昵称！

①开始进行大模型的微调

微调之后的结果

②将得到的pth模型转换为HuggingFace模型

③将HuggingFaceadapter合并到大语言模型

④启动web服务并测试

在web界面测试微调之后的大模型

进阶作业：

  • 将训练好的Adapter模型权重上传到 OpenXLab、Hugging Face 或者 MoelScope 任一一平台。

①上传模型权重文件到OpenXLab

参考：OpenXLab平台上传下载笔记 - 知乎

②OpenXLab平台查看结果

OpenXLab浦源 - 模型中心

  • 将训练好后的模型应用部署到 OpenXLab 平台，参考部署文档请访问：Docs

①构建项目并上传github

GitHub - linzimu/InternLM-XTuner-homework: 书生·浦语大模型实战营第4节的进阶作业

②InternStudio服务端本地测试

（1）启动服务

（2）web界面测试

③在OpenXLab平台部署，算力资源申请未通过

您可能感兴趣的与本文相关的镜像

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调

【 书生·浦语大模型实战营】学习笔记（一）：全链路开源体系介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-31 2241
本文为实战营第一次课程笔记，主要分为两个部分，第一部分从书生·浦语大模型发展、分类、组成进行详细介绍，方便大家理解。第二部分为对 InternLM2技术报告解读，后续系列会继续更新，欢迎大家交流！
【 书生·浦语大模型实战营】学习笔记（七）：大模型评测实战
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
05-03 1514
本篇笔记内容主要为【 书生·浦语大模型实战营】学习笔记（七）：大模型评测实战 ，主要对OpenCompass 大模型评测部分详细介绍，欢迎大家交流学习！
书生大模型学习笔记及课后作业3
LinZiMu_Abraham的博客
02-19 381
《第3节基于 InternLM 和 LangChain 搭建你的知识库》学习笔记及课后作业
书生大模型学习笔记及课后作业1
LinZiMu_Abraham的博客
04-02 247
书生·浦语大模型全链路开源体系
书生大模型学习笔记及课后作业6
LinZiMu_Abraham的博客
02-20 375
《第6节 OpenCompass 大模型评测》学习笔记及课后作业
书生大模型学习笔记及课后作业2
LinZiMu_Abraham的博客
02-19 295
《第2节 轻松玩转书生·浦语大模型趣味 Demo》学习笔记及课后作业
书生大模型学习笔记及课后作业5
LinZiMu_Abraham的博客
02-20 820
《第5节 LMDeploy 大模型量化部署实践》学习笔记及课后作业
书生·浦语大模型实战营-学习笔记2
qq_37397652的博客
01-11 705
目录轻松玩转书生·浦语大模型趣味Demo1. 大模型及 InternLM 模型介绍2. InternLM-Chat-7B 智能対话 Demo3. Lagent 智能体工具调用 Demo4. 浦语•灵笔图文创作理解 Demo5. 通用环境配置6. 课后作业 视频地址： (2)轻松玩转书生·浦语大模型趣味Demo 文档教程： https://github.com/InternLM/tutorial/blob/main/helloworld/hello_world.md 轻松玩转书生·浦语大模型趣味Demo
书生·浦语大模型全链路开源体系课后作业-第二课
Icanruntheworld的博客
04-05 340
1.2.
书生·浦语(InternLM)-大模型实战营-春节课程-学习笔记2
LYMing1986的博客
02-19 1012
书生浦语项目首页:https://github.com/InternLM/InternLM 训练营课程首页：https://github.com/internLM/tutorial?tab=readme-ov-file b站视频首页：OpenMMLab的个人空间-OpenMMLab个人主页-哔哩哔哩视频
学习笔记：书生·浦语实战营第二期第六课
追寻本身即是答案
04-23 2202
Lagent是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。支持多种智能体范式，如 AutoGPT，ReWoo，ReAct，也支持多种工具，如谷歌搜索、Python解释器等AgentLego是一个多模态工具包，可以像乐高积木一样快速简便地拓展自定义工具，从而组装出自己的智能体，支持多个智能体框架，如Lagent、LangChain、 Transformers Agents
上海人工智能实验室的书生·浦语大模型学习笔记及作业--day5
weixin_53443275的博客
01-26 1264
模型部署是指将训练好的模型在特定环境中运行的过程，以便将其应用到实际生产中。这个过程需要解决模型框架兼容性和运行速度的问题。LMDeploy是一个用于部署大模型的工具箱，由上海人工智能实验室开发。它使用C++/CUDA进行推理，并对外提供Python/gRPC/HTTP接口和WebUI界面。LMDeploy支持tensor parallel分布式推理，并支持fp16/weightint4/kv cache int8量化。LMDeploy的核心功能包括量化、TurboMind和推理服务。
书生大模型学习笔记4 - 模型的部署
jaysonhu的博客
08-05 1055
LMDeploy 已经支持了 InternLM-XComposer2 系列的部署，但值得注意的是 LMDeploy 仅支持了 InternLM-XComposer2 系列模型的视觉对话功能。InternLM-XComposer2 是一款基于 InternLM2 的视觉语言大模型，其擅长自由形式的文本图像合成和理解。LMDeploy 启动一个与 InternLM-XComposer2-VL-1.8B 模型交互的 Gradio 服务。Streamlit web运行。创建 cli_demo.py。
书生大模型学习笔记9 - LMDeploy 量化部署
jaysonhu的博客
08-19 799
lmdeploy lite auto_awq: lite这是LMDeploy的命令，用于启动量化过程，而auto_awq代表自动权重量化（auto-weight-quantization）。/root/learning/InternLM/XTuner/merged_20b-w4a16-4bit: 这是工作目录的路径，用于存储量化后的模型和中间结果。–calib-dataset ‘ptb’: 这个参数指定了一个校准数据集，这里使用的是’ptb’（Penn Treebank，一个常用的语言模型数据集）。
探索 10bit 100MS/s 流水线Pipelined ADC电路：0.18um工艺下的宝藏学习资源
最新发布
qq__27699885的博客
12-06 351
10bit 100MS/s 流水线Pipelined ADC电路，采用0.18um工艺，直接可以用，直接可以跑仿真，包含实际电路和各模块的测试电路，有效位9.5bit，适合学习。最近在研究ADC电路相关内容，发现了一个超赞的 10bit 100MS/s 流水线Pipelined ADC电路，基于0.18um工艺设计，简直就是学习ADC的神器，必须来和大家分享分享。
【AI学习-comfyUI学习-第十二节-FLUX局部重绘工作流-各个部分学习-第十二节】
qq_22146161的博客
12-02 868
最近，学习comfyUI，这也是AI的一部分，想将相关学习到的东西尽可能记录下来。加载图像这就是上传的那张桥墩照片没问题这也算各一个开始吧，我也在学习摸索中。
C++基础：Stanford CS106L学习笔记 1 类型与结构
WM2101的博客
12-02 337
本文介绍了C++的类型系统和结构体特性。在类型系统方面，C++采用静态类型，变量类型一旦确定不可更改，与Python的动态类型形成对比。静态类型能提高效率并减少运行时错误。文章还介绍了using类型别名、auto类型推断以及函数重载等现代类型特性。在结构体方面，展示了如何定义和使用结构体，以及使用std::pair模板简化多值返回的实现方式。通过对比Python和C++的代码示例，突出了C++在类型安全性和编译时检查方面的优势。
vite学习
qq_41549657的博客
12-04 613
核心优势极速开发启动：开发阶段不打包，直接让浏览器加载原生ESM,配合ebuild预购建第三方依赖，启动时间从webpack的秒级变为毫秒级热更新（HMR）快:只更新修改的模块，而非全量重建，大型项目热更新耗时<10ms按需编译：开发阶段仅编译当前请求的模块，而非全量打包内置对Typescript、JSX、CSS、静态资源的支持，无需复杂配置生产环境优化：基于Rollup打包，输出高度优化的静态资源，兼顾开发销量和生产性能<docs>Vite 处理.vue。
算法题归类学习
qq_43751506的博客
12-05 258
删除排序链表中的重复元素II（LeetCode 82） - 全删除。删除排序链表中的重复元素（LeetCode 83） - 保留一个。删除链表的倒数第N个结点（LeetCode 19） - 快慢指针。二叉树的最大深度（LeetCode 104） - DFS/BFS。二叉树的最近公共祖先（LeetCode 236） - 递归查找。二叉树的层序遍历（LeetCode 102） - BFS队列。二叉树的中序遍历（LeetCode 94） - 递归/迭代。环形链表（LeetCode 141） - 快慢指针判环。
书生浦语大模型作业
05-13
### 书生浦语大模型作业实现指南 #### 1. 环境配置与模型加载 为了完成与书生浦语大模型相关的作业，首先需要确保基础环境已正确配置。可以通过指定 `local_llm_path` 参数来加载本地模型文件夹路径或 Huggingface 上的模型名称，例如 `"internlm/internlm2-chat-7b"` 或 `"qwen/qwen-7b-chat-int8"` [^1]。此外，还需设置参数 `local_llm_max_text_length`，以定义模型可接受的最大文本长度。 对于具体操作步骤，可以参考如下 Python 示例代码： ```python from transformers import AutoTokenizer, AutoModelForCausalLM model_name_or_path = "internlm/internlm2-chat-7b" tokenizer = AutoTokenizer.from_pretrained(model_name_or_path) model = AutoModelForCausalLM.from_pretrained(model_name_or_path) max_input_length = model.config.max_position_embeddings print(f"Maximum input length supported by the model: {max_input_length}") ``` #### 2. 数据准备与微调策略 在实际应用中，可能需要对书生浦语大模型进行微调以适配特定任务需求。常见的微调方式包括 **增量预训练** 和 **指令跟随微调** [^3]。前者适用于引入新的领域知识（如行业术语、技术文档），后者则用于优化模型的对话能力。 以下是针对不同场景的数据准备建议： - 如果目标是提升模型的知识覆盖范围，则应收集相关领域的文章、书籍或其他结构化数据作为训练集； - 若旨在增强交互效果，则需构建高质量的人机对话样本集合。 #### 3. 功能开发实例——图文创作工具 利用书生浦语及其衍生版本（如浦语·灵笔2），开发者能够快速搭建具备先进图文生成能力的应用程序 [^2]。下面展示了一个简单的 CLI 接口设计思路，允许用户输入自定义主题并获得相应的文字描述及配套插图链接。 ```python def generate_article_with_images(prompt): response = model.generate( tokenizer.encode(prompt, return_tensors="pt"), max_new_tokens=500, num_beams=4, no_repeat_ngram_size=2 ) decoded_output = tokenizer.decode(response[0], skip_special_tokens=True) article_content, image_url_list = parse_response(decoded_output) # 自定义解析逻辑 return {"text": article_content, "images": image_url_list} if __name__ == "__main__": user_prompt = input("请输入您的创意方向：") result = generate_article_with_images(user_prompt) print(result["text"]) for idx, img_link in enumerate(result["images"]): print(f"[Image {idx+1}] URL: {img_link}") ``` > 注：以上仅为伪代码框架示意，请根据实际情况调整函数内部实现细节以及依赖库的选择。 #### 4. 常见问题分析与改进措施 尽管书生浦语系列表现出众，但在某些复杂查询情境下仍可能存在不足之处 [^5]。比如，当面对高度相似的信息源时，可能会倾向于优先选用最早录入的内容而忽略后续更新更优解的可能性。对此现象可通过以下方法缓解： - 扩展检索范围至整个数据库而非局限于前几条记录； - 结合外部搜索引擎动态补充实时资讯； - 定期维护知识库内容保持时效性和准确性。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值