书生·浦语大模型第二期实战营（5）作业-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_33228039/article/details/137958266

本文介绍了如何在LMDeploy环境中安装并配置模型，包括使用conda和pip安装，以及如何使用transformers库进行推理。还展示了如何通过命令行与InternLM2-Chat-1.8B模型交互，以及如何修改KVCache缓存大小和进行W4A16量化处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.配置 LMDeploy 运行环境

安装环境`

studio-conda -t lmdeploy -o pytorch-2.1.2

conda activate lmdeploy

pip install lmdeploy[all]==0.3.0

在这里插入图片描述

配置模型

ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b /root/
# cp -r /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b /root/

使用transformes库推理

touch /root/pipeline_transformer.py

将以下内容复制粘贴进入pipeline_transformer.py。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("/root/internlm2-chat-1_8b", trust_remote_code=True)

# Set `torch_dtype=torch.float16` to load model in float16, otherwise it will be loaded as float32 and cause OOM Error.
model = AutoModelForCausalLM.from_pretrained("/root/internlm2-chat-1_8b", torch_dtype=torch.float16, trust_remote_code=True).cuda()
model = model.eval()

inp = "hello"
print("[INPUT]", inp)
response, history = model.chat(tokenizer, inp, history=[])
print("[OUTPUT]", response)

inp = "please provide three suggestions about time management"
print("[INPUT]", inp)
response, history = model.chat(tokenizer, inp, history=history)
print("[OUTPUT]", response)

在这里插入图片描述

以命令行方式与 InternLM2-Chat-1.8B 模型对话

使用lmdeploy 推理

lmdeploy chat /root/internlm2-chat-1_8b

在这里插入图片描述

修改KV Cache缓存大小

lmdeploy chat /root/internlm2-chat-1_8b --cache-max-entry-count 0.01

在这里插入图片描述

使用W4A16量化

#安装
pip install einops==0.7.0
#转化
lmdeploy lite auto_awq \
   /root/internlm2-chat-1_8b \
  --calib-dataset 'ptb' \
  --calib-samples 128 \
  --calib-seqlen 1024 \
  --w-bits 4 \
  --w-group-size 128 \
  --work-dir /root/internlm2-chat-1_8b-4bit

在这里插入图片描述