【书生·浦语大模型实战营】第5节：LMDeploy 大模型量化部署实践（笔记版）

1.大模型部署背景

模型部署

定义：将训练好的模型在特定软硬件环境中启动的过程，使模型能够接收输入并返回预测结果。为了性能和效率要求需要对模型进行优化，如模型压缩和硬件加速。

产品形态：云端、边缘计算端、移动端

计算设备：CPU、GPU、NPU、TPU

大模型特点：内存开销巨大，庞大参数量，需要缓存之前生成的K/V；动态shape;相对视觉模型，LLM结构简单。

部署挑战

设备：低存储设备部署；推理：加速token生成、动态shape推理不间断、有效管理利用内存；服务：吞吐量提高、平均响应时长

部署方案

2.LMDeploy简介

LMDeploy是LLM在英伟达设备上部署的全流程解决方案。包括模型轻量化、推理和服务。

推理性能：LMDeploy遥遥领先