【阿尼亚探索大模型】书生大模型实战营-进阶岛第3关（L2G3000）LMDeploy 量化部署进阶实践

任务类型	任务内容
基础任务	使用结合W4A16量化与kv cache量化的internlm2_5-1_8b-chat模型封装本地API并与大模型进行一次对话
基础任务	使用Function call功能让大模型完成一次简单的"加"与"乘"函数调用，作业截图需包括大模型回复的工具调用情况

一、配置LMDeploy环境

依然选择30%A100开发机进行实验。

使用conda创建虚拟环境。

启动对应虚拟环境，并安装所需依赖包，完成环境配置。

二、LMDeploy与InternLM2.5

1.设置最大kv cache缓存大小

2.设置在线 kv cache int4/int8 量化

3.W4A16 模型量化和部署

4.W4A16 量化+ KV cache+KV cache 量化

三、LMDeploy之FastAPI与Function call

1.FastAPI开发

2. Function call