第四讲 LMDeploy量化部署

笔记：

1、大模型部署面临的挑战：计算量巨大；内存开销巨大；访存瓶颈；动态请求

2、大模型部署方法：模型剪枝；知识蒸馏；量化（降低访存量，牺牲一定精度）

3、LMDploy功能：模型高效推理；模型量化压缩；服务化部署

基础作业：

1、复制环境：

2、利用原生Transformer进行对话：

3、利用LMDploy来部署对话：

利用LMDploy部署简单方便，而且推理速度比原生Transformer确实在推理速度上有优势。