LMDeploy大模型量化部署实验

最新推荐文章于 2025-09-29 09:50:00 发布

原创

最新推荐文章于 2025-09-29 09:50:00 发布 · 440 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#nlp #语言模型 #深度学习

本文探讨了大模型部署中的挑战，如内存管理、动态形状和速度问题，以及如何通过模型并行、量化技术、Transformer优化和LMDeploy的量化、推理引擎TurboMind和推理服务apiserver来解决这些问题。

大模型部署背景

大模型特点

内存开销

巨大庞大的参数量。 7B 模型仅权重就需要 14+G 内存
采用自回归生成 token，需要缓存 Attention 的 k/v,带来巨大的内存开销

动态shape

请求数不固定
Token逐个生成，且数量不定

相对视觉模型，LLM结构简单

Transformers结构，大部分时decoder-only

大模型部署挑战

设备：存储问题
推理：token生成速度；动态shape，让推理不间断
服务：提升系统整体吞吐量；降低个体用户响应时间

大模型部署方案

技术点：模型并行；低比特量化；transformer计算和访存优化；continuous batch
方案

LMDeploy简介

LMDeploy时LLM在英伟达设备上部署的全流程解决方案。包括模型轻量化、推理和服务。

核心功能 - 量化

为什么做Weight Only的量化

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

SmallZCan_t

关注关注

7
点赞
踩
6

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

国产大模型轻量化部署实战指南：量化 × 裁剪 × Jetson/安卓/iOS全流程落地解读

努力分享一些人工智能、计算机视觉、影像等相关的知识干货！

04-06

2885

国产大模型能力越来越强，但“能训”的同时，“能跑”却成为新的挑战：推理慢、资源吃紧、无法离线部署。本篇将从工程视角出发，详细讲解如何通过模型量化、结构裁剪、推理引擎适配与跨端部署，让 Qwen、DeepSeek 等国产模型高效运行在 Jetson、Android、iOS 等设备上，真正实现“从训练中心到终端落地”的完整闭环。文章包含技术原理、框架对比、格式转换流程、Jetson部署示例、安卓/iOS调用方式、实测数据对比表格，适合工程实践者收藏并快速落地部署。

【第5节】LMDeploy 大模型量化部署实践

熊猫小妖的AI世界

04-24

2059

视频文档作业lmdeploy官方文档OpenXLab个人感觉camp2讲解的没有第一次的内容好，都是照着文档跑一遍，基础内容也没有啥深度(也可能是我水平太低哈，哈哈)。补充观看之前1.0版本的讲解吧文档视频基础作业（结营必做）配置 LMDeploy 运行环境以命令行方式与 InternLM2-Chat-1.8B 模型对话进阶作业设置KV Cache最大占用比例为0.4，开启W4A16量化，以命令行方式与模型对话。（优秀学员必做）

1 条评论您还未登录，请先登录后发表或查看评论

【深度学习】模型量化-笔记/实验

AI爱好者的博客，分享计算机领域相关知识

03-31

5937

深度学习的模型参数类型为FP32，每个数值在存储时需要32bit存储空间，若是将其转换为int8或者uint8来保存，那么模型的大小将会降低为1/4。下表为不同精度的数值计算成本，可以看出8bit数值的计算成本远低于32bit计算成本。

大模型轻量化部署：DeepSeek-V2.5移动设备端实现方案

最新发布

gitblog_00654的博客

09-29

546

你是否还在为大模型部署到移动设备时面临的算力不足、内存溢出、响应缓慢等问题困扰？本文将系统介绍DeepSeek-V2.5在移动设备端的轻量化部署方案，通过模型压缩、推理优化和工程实践三大步骤，帮助你在手机等资源受限设备上高效运行这款融合了DeepSeek-V2-Chat与DeepSeek-Coder-V2-Instruct优势的强大语言模型。读完本文，你将掌握模型裁剪、量化技术、推理引擎选型等关键...

零基础，零成本，部署一个属于你的大模型

蛮三刀酱

04-22

9305

因此，本文是为AI初学者们（包括我自己）编写的保姆级大型模型部署和使用指南。现在正值阿里云免费试用计划，我们可以不花一分钱就可以体验部署自己的大型模型的乐趣。

嵌入式系统中大语言模型的轻量化边缘部署

2501_92431218的博客

06-13

1222

实验表明，在STM32H7系列芯片上，TFLite-X将ResNet-18的推理速度提升至82FPS，内存占用控制在120MB以内[20]。某智慧城市项目通过模型切片（Model Slicing）技术，将YOLOv7分割为推理引擎（推理模块）和服务引擎（通信模块），使边缘设备推理延迟从68ms降至29ms[27]。在工业质检领域，轻量化部署已取得显著成效。然而，现有大语言模型（如GPT-3、PaLM）的参数量普遍超过100亿，单次推理能耗高达5-10kWh[2]，这对资源受限的嵌入式系统构成严峻挑战。

一文讲清：AI大模型轻量化的5个主流方法，看完你就懂了！

javatiange的博客

06-03

511

摘要：本文介绍了五种主流的神经网络压缩与加速技术：1）低秩分解通过张量分解降低参数规模；2）剪枝技术剔除不重要连接实现稀疏化；3）量化方法减少数值精度以优化存储计算；4）知识蒸馏将大模型知识迁移至轻量学生网络；5）架构搜索自动设计高效网络结构。随着AI大模型爆发式增长（国内超10亿参数模型已逾百个），相关人才需求激增（2025年预计缺口达千万）。文末提供包含学习路线、书籍报告等资源的全套AI大模型学习资料。

LMDeploy 大模型量化部署

weixin_55982578的博客

02-26

1601

LMDeploy是LLM在英伟达设备上部署的全流程解决方案。包括模型轻量化、推理和服务

第五课-LMDeploy 大模型量化部署实践

sunney的博客

01-13

1648

LMDeploy 由MMDeploy和MMRazor团队联合开发，是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。高效推理引擎 TurboMind：基于 FasterTransformer，我们实现了高效推理引擎 TurboMind，支持 InternLM、LLaMA、vicuna等模型在 NVIDIA GPU 上的推理。**交互推理方式：**通过缓存多轮对话过程中 attention 的 k/v，记住对话历史，从而避免重复处理历史会话。多 GPU 部署和量化。

LMDeploy大模型量化部署实践

qq_18608609的博客

08-29

613

稍待片刻，等出现double enter to end input >>>的输入提示即启动成功，此时便可以随意与InternLM2.5对话，同样是两下回车确定，输入exit退出。输入以下指令，让我们同时启用量化后的模型、设定kv cache占用和kv cache int4量化。在最新的版本中，LMDeploy使用的是AWQ算法，能够实现模型的4bit权重量化。使用的是50%A100，占用了23GB，执行以下命令，观看占用显存情况。输入以下命令，使用Gradio作为前端，启动网页。

大模型 “轻量化” 之战：从千亿参数到端侧部署，AI 如何走进消费电子？

stbomei的博客

08-29

988

大模型轻量化是AI技术从云端走向终端设备的关键路径，旨在解决大模型规模扩张带来的高成本、高延迟和硬件适配难题。其核心技术包括知识蒸馏、参数剪枝、低秩分解和量化计算，通过降低模型参数量和计算精度，在可接受的精度损失范围内提升运行效率。该技术在智能手机、智能家居和穿戴设备领域已取得显著应用进展，如vivo、荣耀等厂商推出的端侧AI大模型。然而仍面临精度与效率平衡、硬件适配和场景匹配等挑战，未来需通过混合技术方案、芯片优化和云边协同来解决。随着技术成熟，轻量化大模型将深度融入消费电子各场景，推动AI交互方式的革新

基于LMDeploy部署大模型和量化

分享技术干货和灵感、推荐新书和好玩的项目、分享Java面试题

02-29

2035

LMDeploy 是LLM在英伟达设备上部署的全流程解决方案。包括模型轻量化、推理和服务。核心功能-量化核心功能-推理引擎TurboMind核心功能-推理服务。

汇总！7种大模型的部署方法！

python1222_的博客

06-06

6107

选择部署框架的关键在于任务需求。只有根据实际需求来确定合适的框架，才能确保项目的顺利推进和成功实现。因此，在选择部署框架时，我们应该深入了解框架的特性、优缺点以及适用场景，综合考虑项目规模、技术栈、资源等因素，从而选择最适合的框架来支撑项目的实施。这样不仅可以提高开发效率，还能降低项目风险，确保项目的顺利推进和最终成功。

第5节LMDeploy 大模型量化部署实践：笔记

m0_75085274的博客

01-14

2384

我们先来介绍一下大模型的特点：首先就是参数量大，对于7B的模型，就需要14G以上的内存，并且由于是采用自回归的方式，所以这就需要去缓存之前的信息，这就会进一步增加消耗。而部署的定义就是将训练好的模型放在特定的环境（cpu，gpu，tpu，npu）接收输入，产生输出。这就要对模型进行优化，如模型压缩和硬化加速。从上面可以得出如何在低存储的设备上部署？如何提高token推理的速度？如何解决动态token的问题？如何提供系统吞吐量？对此现在有很多成熟的技术：低比特量化，模型并行等。

大模型 LMDeploy 量化部署

nnxiong

12-09

1238

关于Function call，即函数调用功能，它允许开发者在调用模型时，详细说明函数的作用，并使模型能够智能地根据用户的提问来输入参数并执行函数。此时对于24GB的显卡，即30%A100，权重占用14GB显存，剩余显存24-14=10GB，因此kv cache占用10GB*0.8=8GB，加上原来的权重14GB，总共占用14+8=22GB。“组团”挑选显著权重权重。模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、kv cache占用的显存，以及中间运算结果占用的显存。

模型压缩与加速：轻量化部署的关键技术

AI天才研究院

03-03

311

1. 背景介绍 1.1 深度学习的发展与挑战随着深度学习技术的快速发展，神经网络模型在各个领域取得了显著的成果。然而，这些模型往往具有庞大的参数量和计算量，导致在资源受限的设备上部署和运行变得非常困难。为了解决这个问题，研究人员提出了许多模型压缩与加速的方法，以实现轻量化部署。

模型压缩与优化：轻量化部署的关键

AI天才研究院

03-17

422

1.背景介绍随着深度学习的发展，模型的规模和复杂性也在不断增加。这些大型模型在训练和推理阶段需要大量的计算资源，这对于资源有限的设备（如移动设备和嵌入式设备）来说是一个巨大的挑战。因此，如何将这些大型模型压缩和优化，使其能在资源有限的设备上高效运行，成为了一个重要的研究方向。本文将介绍模型压缩与优化的基本概念，核心算法，以及如何在实际应用中进行模型压

2023大模型安全解决方案白皮书

12-06

1226

在当今迅速发展的数字化时代，人工智能技术正引领着科技创新的浪潮而其中的大模型技术则被视为人工智能的一大突破。大模型是指参数量巨大能力强大的人工神经网络模型，以其卓越的表现在自然语言处理、计算机视觉、语音识别等领域赢得了持续的关注和青睐。这些模型的出现，不仅在学术界引起了研究者们的广泛兴趣，也在商业应用领域带来了一系列创新和变革大模型技术的崛起，首要得益于深度学习的发展以及硬件计算能力的提升。深度学...

LMDeploy 大模型量化部署实践

RessCris的博客

01-21

633

在设备上运行起来，能够接受输入，返回输出。最重要的就是性能和效率方面的考虑。大模型也是模型的一种，内存开销大，7b 要14G左右的显存。因为是自回归的方式，需要把中间结果缓存下来，生成的结果越多，占的显存就越大。生成过程就是采样的过程。推理的时候是如何解决这种要生成万字的情况？依赖前一个生成的时候是怎么处理的？服务也是一个框架支持起来的。推理引擎是 C++ 写的，上层是 Python. 可以把 Python 当成一个客户端。量化是非常有必要的。请求的吞吐量。提升推理的速度。