LMDeploy W4A16+KV量化 、Function Call

教程：https://github.com/InternLM/Tutorial/blob/camp3/docs/L2/LMDeploy/readme.md

internlm2.5 7b

记录一下量化前的显存

量化前显存23G

W4A16量化

W4A16的意思是：权重（weight）量化为4位整数（int4），激活（Activate）保持在16位浮点数（例如FP16或BF16）。

量化使用的是AWQ算法，所以命令会看到awq

lmdeploy lite auto_awq \
   /root/models/internlm2_5-7b-chat \
  --calib-dataset 'ptb' \
  --calib-samples 128 \
  --calib-seqlen 2048 \
  --w-bits 4 \
  --w-group-size 128 \
  --batch-size 1 \
  --search-scale False \
  --work-dir /root/models/internlm2_5-7b-chat-w4a16-4bit

跑