【第5节】LMDeploy 大模型量化部署实践

已于 2024-06-27 01:33:43 修改
阅读量1.9k 收藏 24
点赞数 36
CC 4.0 BY-SA版权
分类专栏： 书生浦语LLM大模型从入门到精通 文章标签： 人工智能 LLM 大模型开发 多模态
于 2024-04-24 01:42:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42237113/article/details/138090589

目录


欢迎关注我的公众号，后续将会及时更新更多AI前沿内容和实践。
公众号：Aifastlane
请添加图片描述

1 简介

视频 | 文档 | 作业 | lmdeploy-github | lmdeploy官方文档 |

了解本专栏 订阅专栏 解锁全文 超级会员免费看
（第三期）书生大模型实战营——LMDeploy量化部署进阶实践
a_blade_of_grass的博客
08-12 1088
教程原文在。
第 5 节 LMDeploy 大模型量化部署实践
yxg2012_04_06的博客
02-18 606
LMDeploy,量化，推理，服务，TurboMind
LMDeploy 量化部署 LLM&VLM实战--笔记
taotao_zhang1的博客
04-12 1593
打开InternStudio平台，创建开发机。填写开发机名称；选择镜像；选择10% A100*1GPU；点击“立即创建”。排队等待一小段时间，点击“进入开发机”。点击左上角图标，切换为终端(Terminal)模式。
降本增效利器：LMDeploy 部署 LLM 全流程详解
最新发布
静心编程，禅意生活。
06-26 1182
本文介绍使用 LMDeploy 部署 LLM
LMDeploy 量化部署 LLM 实践+进阶
nlpx2000的博客
04-11 1366
pipe = pipeline('liuhaotian/llava-v1.6-vicuna-7b', backend_config=backend_config) 非开发机运行此命令。# pipe = pipeline('liuhaotian/llava-v1.6-vicuna-7b', backend_config=backend_config) 非开发机运行此命令。internlm2-chat-1_8B模型量化部署与llava多模态模型llava-v1.6-7b部署实践。
LMDeploy 量化 部署 LLM&VLM 实践
qq_42137576的博客
05-23 1353
LMDeploy 量化部署 LLM&VLM 实践
LMDeploy量化部署LLM&VLM
weixin_45924641的博客
04-18 2713
LMDeploy量化部署InternLM2-chat-1.8B & LLaVa
第五课-LMDeploy 的量化和部署
qq_46016871的博客
02-21 6103
首先我们需要明白一点，服务部署和量化是没有直接关联的，量化的最主要目的是降低显存占用，主要包括两方面的显存：模型参数和中间过程计算结果。接下来我们切换到刚刚的终端（就是上图右边的那个「bash」，下面的「watch」就是监控的终端），创建部署和量化需要的环境。目录下的环境是官方未大家准备好的基础环境，因为该目录是共享只读的，而我们后面需要在此基础上安装新的软件包，所以需要复制到我们自己的 conda 环境（该环境下我们是可写的）。值得说明的是，以上的划分是一个相对完整的模型，但在实际中这并不是绝对的。
第五课-LMDeploy 大模型量化部署实践
sunney的博客
01-13 1537
LMDeploy 由MMDeploy和MMRazor团队联合开发，是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。高效推理引擎 TurboMind：基于 FasterTransformer，我们实现了高效推理引擎 TurboMind，支持 InternLM、LLaMA、vicuna等模型在 NVIDIA GPU 上的推理。**交互推理方式：**通过缓存多轮对话过程中 attention 的 k/v，记住对话历史，从而避免重复处理历史会话。多 GPU 部署和量化。
LMDeploy 大模型量化部署实践
MD-coder的博客
02-26 958
1 环境配置首先我们可以使用 vgpu-smi 查看显卡资源使用情况。结果如下图所示，该窗口会实时检测 GPU 卡的使用情况。接下来我们切换到刚刚的终端（就是上图右边的那个「bash」，下面的「watch」就是监控的终端），创建部署和量化需要的环境。建议大家使用官方提供的环境，使用 conda 直接复制。
LMDeploy大模型量化部署实践
qq_18608609的博客
08-29 558
稍待片刻，等出现double enter to end input >>>的输入提示即启动成功，此时便可以随意与InternLM2.5对话，同样是两下回车确定，输入exit退出。输入以下指令，让我们同时启用量化后的模型、设定kv cache占用和kv cache int4量化。在最新的版本中，LMDeploy使用的是AWQ算法，能够实现模型的4bit权重量化。使用的是50%A100，占用了23GB，执行以下命令，观看占用显存情况。输入以下命令，使用Gradio作为前端，启动网页。
学习笔记 | LMDeploy 量化部署 LLM-VLM 实践
DrFlown的博客
04-22 2325
根据InternLM2技术报告提供的模型参数数据，以及KV Cache空间估算方法，以FP16为例，在batch-size为16、输入512 tokens、输出32 tokens的情境下，仅20B模型就会产生10.3GB的缓存。该过程在新版本的LMDeploy中是自动进行的，无需用户操作。​ TurboMind是LMDeploy团队开发的一款关于LLM推理的高效推理引擎，它的主要功能包括：LLaMa 结构模型的支持，continuous batch 推理模式和可扩展的 KV 缓存管理器。
浦语提示词工程实践
qscfgjn的博客
10-05 1913
Prompt是一种用于指导以大语言模型为代表的生成式人工智能生成内容(文本、图像、视频等)的输入方式。它通常是一个简短的文本或问题，用于描述任务和要求。Prompt可以包含一些特定的关键词或短语，用于引导模型生成符合特定主题或风格的内容。例如，如果我们要生成一篇关于“人工智能”的文章，我们可以使用“人工智能”作为Prompt，让模型生成一篇关于人工智能的介绍、应用、发展等方面的文章。Prompt还可以包含一些特定的指令或要求，用于控制生成文本的语气、风格、长度等方面。
书生大模型实战营L1-3 浦语提示词工程实践
csdn8668的博客
08-01 465
Role (角色) -> Profile（角色简介）—> Profile 下的 skill (角色技能) -> Rules (角色要遵守的规则) -> Workflow (满足上述条件的角色的工作流程) -> Initialization (进行正式开始工作的初始化准备) -> 开始实际使用。两级，模块表示要求或提示LLM的方面，例如：背景信息、建议、约束等。LangGPT框架参考了面向对象程序设计的思想，设计为基于角色的双层结构，一个完整的提示词包含。
InternLM2_PracticalCamp_L1_rask3_浦语提示词工程实践
spring5的博客
08-12 1076
Prompt是一种用于指导以大语言模型为代表的生成式人工智能生成内容(文本、图像、视频等)的输入方式。它通常是一个简短的文本或问题，用于描述任务和要求。Prompt可以包含一些特定的关键词或短语，用于引导模型生成符合特定主题或风格的内容。例如，如果我们要生成一篇关于“人工智能”的文章，我们可以使用“人工智能”作为Prompt，让模型生成一篇关于人工智能的介绍、应用、发展等方面的文章。Prompt还可以包含一些特定的指令或要求，用于控制生成文本的语气、风格、长度等方面。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI扩展坞

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值