书生大模型学习笔记及课后作业5

课程内容

课程地址：GitHub - InternLM/tutorial

第5节 LMDeploy 大模型量化部署实践

课程笔记

课后作业

基础作业：

• 使用 LMDeploy 以本地对话、网页Gradio、API服务中的一种方式部署 InternLM-Chat-7B 模型，生成 300 字的小故事（需截图）

①在线转换，直接启动本地的Huggingface模型

②TurboMind推理+命令行本地对话

③TurboMind推理+APi服务

（1）启动web服务

（2）服务端本地测试

（3）SwaggerUi接口服务界面

④TurboMind服务作为后端

（1）启动TurboMind服务

（2）启动Gradio作为前端

（3）测试前端Gradio服务

⑤Gradio直接与TurboMind连接

（1）启动服务

（2）测试前端界面，生成300字的小故事

进阶作业（可选做）

• 将第四节课训练自我认知小助手模型使用 LMDeploy 量化部署到 OpenXLab 平台。
• 对internlm-chat-7b模型进行量化，并同时使用KV Cache量化，使用量化后的模型完成API服务的部署，分别对比模型量化前后（将 bs设置为 1 和 max len 设置为512）和 KV Cache 量化前后（将 bs设置为 8 和 max len 设置为2048）的显存大小。
• 在自己的任务数据集上任取若干条进行Benchmark测试，测试方向包括：
  （1）TurboMind推理+Python代码集成
  （2）在（1）的基础上采用W4A16量化
  （3）在（1）的基础上开启KV Cache量化
  （4）在（2）的基础上开启KV Cache量化
  （5）使用Huggingface推理