【笔记】LMDeploy 大模型量化部署实践

最新推荐文章于 2025-11-25 12:11:25 发布
原创 最新推荐文章于 2025-11-25 12:11:25 发布 · 556 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#笔记 #深度学习 #人工智能

芷詩
关注
第五节笔记 LMDeploy大模型量化部署实践
tuyihan的博客
02-18 332
【LMDeploy 大模型量化部署实践——笔记】
YYYYbhjbhkv_的博客
01-25 1324
详细教学讲解视频，请看。
第五课笔记 LMDeploy 大模型量化部署实践
weixin_42035282的博客
02-19 1801
TurboMind。
第5节LMDeploy 大模型量化部署实践：笔记
m0_75085274的博客
01-14 2384
我们先来介绍一下大模型的特点：首先就是参数量大，对于7B的模型，就需要14G以上的内存，并且由于是采用自回归的方式，所以这就需要去缓存之前的信息，这就会进一步增加消耗。而部署的定义就是将训练好的模型放在特定的环境（cpu，gpu，tpu，npu）接收输入，产生输出。这就要对模型进行优化，如模型压缩和硬化加速。从上面可以得出如何在低存储的设备上部署？如何提高token推理的速度？如何解决动态token的问题？如何提供系统吞吐量？对此现在有很多成熟的技术：低比特量化，模型并行等。
LMDeploy 大模型量化部署实践 学习笔记
weixin_42837310的博客
01-16 641
附录1：TritonServer 作为推理引擎。2.4.1 TurboMind 服务作为后端。2.4.2 TurboMind 推理作为后端。2.3 TurboMind推理+API服务。TritonServer推理+API服务。TritonServer 服务作为后端。2.6 这么多，头秃，有没有最佳实践。3.1 KV Cache 量化。2.4 网页 Demo 演示。3.2 W4A16 量化。2.1.1 在线转换。2.1.2 离线转换。3.1.1 量化步骤。3.1.2 量化效果。3.2.1 量化步骤。
第五节笔记：LMDeploy 大模型量化部署实践
Kerin的博客
02-17 1332
大语言模型推理是典型的访问密集型，因为是decoder only的架构，需要token by token的生成，因此需要频繁读取之前生成过的token。参数用FP16半精度也就是2字节，7B的模型就大约占14G。这个量化只是在存储时做的， 在推理时还要反量化回FP16.w4a16意思是参数4bit量化，激活时是16bit。不用等一个batch的请求全部执行完才退出。量化降低显存需求量，提高推理速度。3.动手实践-安装、部署、量化。2.LMDeploy简介。
作业】LMDeploy 大模型量化部署实践
googteo的博客
01-16 694
LMDeploy 大模型量化部署实践
LMDeploy 大模型量化部署实践——作业
YYYYbhjbhkv_的博客
01-25 377
LMDeploy 大模型量化部署实践——作业一、基础作业二、进阶作业 一、基础作业 二、进阶作业
【LMDeploy 大模型量化部署实践】学习笔记
weixin_64546620的博客
01-26 586
参考学习教程【
「浦语大模型笔记五」lmdeploy大模型部署量化实践
ljn20001229的博客
01-23 1328
这节课讲解使用lmdeploy工具包对模型部署和量化的相关知识，主讲人是HuggingLLM负责人长琴，课程文档分享连接。
内网渗透笔记-Day5
m0_66921984的博客
11-24 770
内网渗透笔记、组、全局组、域本地组、A-G-DL-P策略
大模型核心笔记
weixin_63182000的博客
11-24 490
本文系统介绍了大语言模型（LLM）的核心概念与技术要点。首先明确LLM定义（超大规模参数模型）及四大特征：参数规模、数据需求、计算需求和泛化能力。从发展历程看，LLM经历了从统计模型到神经网络、预训练模型直至当前大规模生成式模型的演进。重点解析了LLM三大架构（Encoder/Decoder-Only及混合型）及其适用场景。在训练环节，详细说明了数据准备、预训练、微调的全流程及关键数据集。评估体系涵盖人工/自动方法及PPL、BLEU等核心指标。部署部分以VLLM为例，提供从环境配置到性能测试的完整指南。最后
2025最新 SpringCloud 教程，Nacos-总结，笔记19
最新发布
Rockandrollman的博客
11-25 183
2025最新 SpringCloud 教程，Nacos-总结，笔记19
隐语——数据要素流通技术MOOC三期 课程笔记——数据组件安全可行流通新模式课堂笔记
明月朗，潇水寒
11-23 873
本文介绍了数据组件作为标准化数据初级产品的核心概念与应用。主讲人胡承盛阐述了数据组件的三种形态（主态、模态、组合态）及其在金融、医疗等领域的应用案例。课程重点解析了数据组件的四大特性（安全、价值、品质、政策定位）、双层封装体系以及其在解决数据确权难题中的突破性作用。详细展示了数据组件从设计生产到流通使用的全流程，包括5阶段15步骤40工序的生产工艺。目前已在德阳、郑州等多个城市试点落地，实现交易额破亿。展望未来，数据组件将与隐私计算等技术深度融合，成为促进数据要素流通和数字经济发展的关键基础设施。
学习笔记——基础hash思想及其简单C++实现
2502_91790308的博客
11-23 900
哈希表是一种查找时间复杂度为O(1)的高效数据结构，通过哈希函数将数据映射到固定位置实现快速查询。本文介绍了哈希表的核心概念，包括哈希函数（重点讲解除留余数法）、负载因子和哈希冲突。针对冲突问题，详细阐述了开放定址法（含线性探测、二次探测）和链地址法两种解决方案。文章还通过计数排序示例说明哈希思想，并探讨了实现中的关键问题，如扩容策略、处理非整数类型键值的方法等。哈希表性能优异但需合理设计，否则可能退化为O(n)复杂度。
2025最新 SpringCloud 教程，Nacos 注册中心-服务注册，笔记06
Rockandrollman的博客
11-24 362
2025最新 SpringCloud 教程，Nacos 注册中心-服务注册，笔记06
第十八课 小红书笔记 + 自动创建的飞书多维表
Lilac_0215的博客
11-23 615
摘要：本文介绍了自动化搜索小红书笔记并导入飞书多维表的流程实现。文章对比了手动创建表格与自动化流程的优劣，指出自动化处理在批量操作中的效率优势。最后强调了持续编程实践的重要性，为类似自动化办公场景提供了可复用的解决方案思路。
STM32外设学习-I2C通信(代码)--MPU6050--笔记
d111111111d的博客
11-20 1202
本文介绍了使用STM32硬件I2C外设读取MPU6050的步骤。首先说明了硬件接线注意事项，由于PA6和PA7被OLED占用，必须使用PB10和PB11引脚。然后详细讲解了I2C初始化配置过程，包括时钟频率、占空比选择、应答位设置等参数。重点分析了硬件I2C的非阻塞特性，需要通过检查标志位确保操作完成。文章详细说明了主机发送和接收的时序流程，包括各种EV事件的等待条件，特别强调了最后一个字节接收前需要提前设置ACK和STOP位。最后针对死循环等待问题，提出了超时退出机制的解决方案，使程序更加安全可靠。
【CUDA笔记】04 CUDA 归约， 原子操作，Warp 交换
明天，做什么好呢
11-25 270
/ 与前一个方法的区别仅在于最后使用原子操作来进行归约, 直接将所有的和加到 out 指向的内存空间// 申请 BLOCK_SIZE 个 float 大小的共享内存空间// 获取当前全局线程 index// 获取当前 block 中的线程ID tid, 并初始化对应地址 shared memory 的初始值// 使用 grid stride load(这里因为启动的总的线程数量为 gridDim.x * blockDim.x, 所以以这个数为步长)
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值