书生·浦语大模型实战营第二期 第5节作业

最新推荐文章于 2025-12-15 12:15:10 发布
原创 最新推荐文章于 2025-12-15 12:15:10 发布 · 235 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#笔记

该博客记录了完成特定作业的过程，包括配置lmdeploy运行环境，创建开发机和conda环境；下载internlm-chat-1.8b模型；以命令行方式与模型对话，还使用LMDeploy与模型对话，并设置KV Cache最大占用比例为0.4，开启W4A16量化，使现存使用量下降。
部署运行你感兴趣的模型镜像

完成以下任务，并将实现过程记录截图：

  • 配置lmdeploy运行环境
  • 下载internlm-chat-1.8b模型
  • 以命令行方式与模型对话

具体作业完成情况如下：

一、配置lmdeploy运行环境

创建开发机，创建conda环境

二、下载internlm-chat-1.8b模型

三、以命令行方式与模型对话

四、使用LMDeploy与模型对话

五、使用LMDeploy与模型对话

将设置KV Cache最大占用比例为0.4，开启W4A16量化，以命令行方式与模型对话。

现存的使用量明显下降了，从7856下降到6192.

您可能感兴趣的与本文相关的镜像

Python3.8

Python3.8

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

lacy_zhang
关注
【书生浦语大模型实战营第三期】入门岛 Git基础知识
weixin_40574825的博客
07-25 445
1、Fork 目标项目 https://github.com/InternLM/Tutorial。2、切换到自己的仓库，获取项目链接，克隆项目，完成之后查看项目分支等信息。【书生浦语大模型实战营第三期】入门岛 Git基础知识。5、创建个人破冰文件，并提交到新建的分支。
【书生浦语大模型实战营第三期】基础岛 InternLM + LlamaIndex RAG 实践
weixin_40574825的博客
08-04 1119
llamaindex+Internlm2 RAG实践。
书生·浦语大模型实战营第二期学习笔记及作业（7）
qq_39310059的博客
04-26 1460
视频链接：OpenCompass 大模型评测实战_哔哩哔哩_bilibiligithub教程链接：https://github.com/InternLM/Tutorial/blob/camp2/opencompass/readme.md1、大模型评测的重要性以及评测所面临的挑战，并详细讲解了司南评测体系2.0的实现方法和特点。首先，研究评测对于我们全面了解大型语言模型的优势和限制至关重要。尽管许多研究表明大型语言模型在多个通用任务上已经达到或超越了人类水平，但仍然存在质疑，即这些模型的能力是否只是对训练数据
书生大模型实战营第四期----书生·浦语大模型开源开放体系
2301_81998532的博客
11-19 1436
一、书生·浦语大模型发展之路 二、书生·浦语2.5的发展现状 1、推理能力领先 综合推理能力领先社区开源模型,相对internLM2性能提升20%; 1) 模型能力飞轮 当前模型通过数据过滤智能评估预训练数据和指令生成辅助标注对齐数据来训练出更好模型从而促使当前模型的不断迭代更新. 2) 高质量合成数据:融合多种数据合成方案,提升合成数据质量 (1) 基于规则的数据构造 (2) 基于模型的数据扩充 (3) 基于反馈的数据生成 2、支持100万字上下文 百万字长文的理解和精确处理性能处于
【书生浦语大模型实战营第三期】入门关卡Python
u013571134的博客
07-09 739
运行完全部代码后来到最后一步，可以看到count_res里已经是我们需要的结果了。
书生·浦语大模型实战营第二期 第3节作业
JOCC_JOCC的博客
04-19 541
第六轮我提出紧贴实事的社会问题，豆姐用时最长，给出的是比较教科书的回答，并且附上了一些自己的想法总结，且标注了参考文献的出处和建议。将书名、出版社、作者及自己分析总结的体会整合给了我。第三轮我提出了一个文献中没有显著罗列的抽象时间问题，茴香豆根据文献材料，对我的抽象问题进行了回答，并准确的先后时间轴的排序。本次导入的课题是《西方欧洲音乐的历史》，我导入了一篇WORD版本的50页的材料，作为基础文献，并进行了5论对话。第二轮我提出了一个乐理概念，茴香豆讲文献中关于该概念的相关内容进行的索引。
书生·浦语大模型实战训练营第二期第四节--Xtuner微调LLM--homework
weixin_61573157的博客
04-16 871
后两部分都是 XTuner 官方帮我们优化好的东西，一般而言只有在魔改的情况下才需要进行修改。下面我们将根据项目的要求一步步的进行修改和调整吧！
书生浦语大模型实战营第三期 L1 书生大模型全链路开源体系学习笔记
yizhiboshanshan的博客
07-24 335
总结：书生·浦语大模型构建了全链路开源体系，并深入介绍了其发展历程与独特特点。大模型作为通用人工智能的关键路径，已展现出解决多元化任务与模态的强大能力。具体而言，书生葡语大模型凭借其超长上下文处理能力，实现了综合性能的全面飞跃，不仅支持结构化创作，还确保了数据分析的可靠性。此外，该模型还强化了内生计算能力并集成了先进的代码解释器，在多个能力维度上均取得了优异的评测成绩。
书生浦语大模型实战营
weixin_66889864的博客
06-09 942
这里要考察业务本身是否需要跟环境进行交互，如果这个业务是需要与环境进行交互的，比如需要调用外部API，或者与已有的数据库进行交互，那么就需要构建一个智能体（Agent），完成相关业务。如果算力足够，可能就需要进行模型的续训，或者全参数的微调，当然，这个花的钱就比较多。如果不是足够复杂，可以直接使用该模型，加上Prompt工程，就可以实现相关的业务；XTuner可以适合不同的生态，支持不同的算法，支持不同的开原生态、不同的加速方式和Nvidia的各级显卡。关注不同维度的能力，特别是专业上的能力。
书生·浦语大模型实战营第六节课作业
stone_tigerLI的博客
02-21 706
这次评估不知道为什么没有结果。
书生浦语大模型实战课（第二期） 第二课作业
04-04
### 书生浦语大模型实战课（第二期）第二课作业知识点总结 #### 一、使用Powershell配置端口及权限问题处理 在学习过程中，遇到的第一个问题是在使用Powershell配置端口时出现问题，尝试修改端口号并复制密码，但...
书生浦语大模型实战课 第二课作业（更新）
04-04
### 书生浦语大模型实战课程第二课作业解析与技术难点详解 #### 一、课程背景概述 在书生浦语大模型实战课程中，第二课主要涉及模型的部署与调试过程。本次作业旨在通过实际操作加深学员对模型部署流程的理解，并...
书生·浦语大模型第二课
03-04
根据提供的信息，“书生·浦语大模型第二课”似乎是指一次课程或者教学活动的内容，主要涉及“浦语大模型”的相关内容。虽然提供的信息较为有限，但从这些线索中，我们可以推测出这可能是一次关于自然语言处理（NLP...
pcie笔记
bortonyu的博客
12-11 770
模式全称描述共用参考时钟Root Complex（RC）和 Endpoint（EP）使用同一颗外部 RefclkSRNSRC 和 EP 使用独立时钟源，但 不允许展频（SSC）SRISRC 和 EP 使用独立时钟源，允许各自带有 SSC 抖动txt复制编辑FS 表示信号的总摆幅，用于判断是否满足发送器输出的最大电压范围（如 800mV full swing）。Full Swing 模式下：FS ∈ [24, 63]Reduced Swing 模式下：FS ∈ [12, 63]
运放学习笔记
Z97371539的博客
12-13 542
单电源运放是指仅使用单一电源电压（例如，+5V）和地（0V）作为电源供给的运放。也就是说，它只需要一个正电压和地作为参考电压，而不需要负电压。
先立后破：Linux 下“新建管理员 → 验证 → 禁用 root 远程 SSH”的零翻车笔记
weixin_45626288的博客
12-12 503
本文提供了一套零风险的Linux服务器安全加固流程，重点解决等保2.0要求的"禁用root远程SSH"需求。通过"先立后破"原则，先创建并验证新管理员账号的sudo权限，再禁用root远程登录，全程保持root会话不断开作为应急通道。关键步骤包括：创建新管理员账号、配置sudo权限、严格测试新账号功能、安全修改sshd配置、保留本地root登录权限等。文章特别强调验证环节的重要性，并提供了快速回滚方案，确保运维人员不会因配置失误导致服务器失联。这套方法适用于Kylin
Android学Dart学习笔记第十四节 库和导库
最新发布
weixin_44656996的博客
12-15 537
其他语言中的访问修饰符关键字提供了更细粒度的控制，而Dart使用下划线和基于库的隐私提供了直接的配置机制，有助于高效实现动态访问，并改进了树抖动（死代码消除）。库不仅提供api，还是隐私的单位：以下划线（_）开头的标识符只在库内部可见。当你导入的多个库中，使用了相同的类名时，可以为库起个别名，使用 别名.类名 明确指定所引用的类。使用import来指定如何在另一个库的作用域中使用来自一个库的命名空间。带有通配符_的导入前缀是不绑定的，但可以访问该库中的非私有扩展。
学习笔记095——Ubuntu 安装 lrzsz 服务？
code__bee的博客
12-10 414
lrzsz是一款基于协议的文件传输工具集，专门用于在终端环境下实现本地与远程服务器之间的文件上传和下载，是 Linux/Unix 运维和开发场景中常用的轻量级工具。
AD学习笔记-36 gerber文件输出
2401_83451707的博客
12-14 280
今天，我们学习如何导出gerber文件，这是我们给板厂的最终文件。
InternVL多模态模型部署与QLoRA微调实战
文章源自第三期书生大模型实战营的技术实践总结，具有高度的可操作性和工程指导意义。 首先，在任务介绍部分，作者明确了本次实践的核心目标：通过对InternVL模型进行有监督微调（Supervised Fine-tuning, SFT），...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值