0.1 环境配置
根据文档,完成需要的环境搭建
0.2 创建项目路径
## 创建路径
mkdir langgpt
## 进入项目路径
cd langgpt
0.3 安装必要软件
apt-get install tmux
1. 模型部署
使用intern-studio开发机,可以直接在路径/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b
下找到模型
1.2 部署模型为OpenAI server
tmux new -t langgpt
tmux a -t langgpt
需要将环境切换到环境配置时,搭建好的环境:
conda activate ****
使用LMDeploy进行部署,参考如下命令:
CUDA_VISIBLE_DEVICES=0 lmdeploy serve api_server /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --server-port 23333 --api-keys internlm2
1.3 图形化界面调用
InternLM部署完成后,打开新的cmd窗口,可利用提供的chat_ui.py
创建图形化界面,在实战营项目的tools项目中。
git clone https://github.com/I