使用Fastchat部署vicuna大模型

  FastChat是一个用于训练、提供服务和评估基于大型语言模型的聊天机器人的开放平台。其核心特点包括：

• 最先进模型（例如 Vicuna）的权重、训练代码和评估代码。
• 一个分布式的多模型提供服务系统，配备 Web 用户界面和与 OpenAI 兼容的 RESTful API。

  本篇博客介绍如何在aws instance上通过FastChat部署vicuna大模型。首先需要在aws申请带GPU的instance，以及安装CUDA driver，这部分内容，请参考上一篇博客。

  配置好CUDA的driver后，就可以按照FastChat官方给出的安装步骤开始部署大模型了。

下载FastChat代码

git clone https://github.com/lm-sys/FastChat.git
cd FastChat

安装相关依赖包

pip3 install --upgrade pip  # enable PEP 660 support
pip3 install -e ".[model_worker,webui]"

下载大模型参数以及启动大模型

pytho