InternLM Task-L1 提示词工程实践

一、利用LMDeploy对InternLM2-chat-1.8b进行模型部署部署

创建虚拟环境并激活,安装需要的库

# 创建虚拟环境
conda create -n langgpt python=3.10 -y
conda activate langgpt
# 安装一些必要的库
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y

# 安装其他依赖
pip install transformers==4.43.3

pip install streamlit==1.37.0
pip install huggingface_hub==0.24.3
pip install openai==1.37.1
pip install lmdeploy==0.5.2

用LMDeploy将开源的Intern2-1.8b部署为API格式

## 创建路径
mkdir langgpt
## 进入项目路径
cd langgpt
tmux new -t langgpt
tmux a -t langgpt
CUDA_VISIBLE_DEVICES=0 lmdeploy serve api_server /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --server-port 23333 --api-keys internlm2

进行图形化界面调用，如下图所示