调用本地大模型实现聊天机器人ChatBot

原创

已于 2023-11-19 12:28:24 修改 · 1.9k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#机器人

于 2023-11-17 18:59:19 首次发布

本文介绍了如何在AWS上申请带有GPU的实例（如G4DN系列），安装CUDA驱动后，在实例上部署和配置开源大模型，如FastChat中的vicuan-7b-v1.5，以及如何通过Lanchain实现Chatbot和知识问答功能，同时处理了内存限制问题。

AWS Instance本地部署大模型

AWS上申请带GPU的instance，例如g4dn系列，申请instance后安装CUDA的driver，driver安装完成后，就可以在带gpu的instance上部署开源的大模型了。如果想了解在aws上部署本地模型细节，可以阅读我的这两篇博客。

AWS instance上本地部署大模型

Fastchat本地部署大模型

这里为了能在ChatBot上调用本地模型，使用FastChat进行部署，且启动了大模型的API接口。安装driver后，启动api接口和启动模型的命令如下所示。ssh连接到申请的instance后，执行下面的命令，即可部署开源的vicuan-7b-v1.5模型，当然，你也可以部署其他开源模型，只需要修改--model-path的值即可。

git clone https://github.com/lm-sys/FastChat.git
cd FastChat
#下载FastChat代码

pip3 install --upgrade pip  # enable PEP 660 support
pip3 install -e ".[model_worker,webui]"
#安装依赖

python3 -m fastchat.serve.controller
#启动fastchat的controller

python3