与风景对话_交互式旅游推荐系统_研究一下API_11

ChatGLM-6B 本地API调用

简介

本文档介绍如何在本地部署 ChatGLM-6B 模型，并实现类似 GPT3.5 的 API 调用，以便在 Web 端调用本地部署的 ChatGLM-6B ，从给定文本材料中抽取出问答对。

本地大模型： ChatGLM3-6B

任务名称： 用户提问有关旅游的问题，大模型给出具体的旅游信息的推荐。

准备工作

在开始部署之前，请确保满足以下准备工作：

• 操作系统： Windows 或 Ubuntu
• Python 版本： 推荐使用 3.10 或以上版本
• 显卡内存： Nvidia 至少 6GB 可用内存
• transformers 库版本： 4.30.2 或以上
• torch 版本： 2.0 或以上 (GPU 版本)

ChatGLM-6B 本地部署步骤

1. 克隆/下载 ChatGLM3 官方代码仓库以及模型

   Bash

   git clone https://github.com/THUDM/ChatGLM3
   

   ChatGLM Hugging Face 地址：https://huggingface.co/THUDM/chatglm-6b

   下载模型到指定路径，