windows中使用ubuntu子系统部署chatglm-6b-int4量化后的模型

效果展示如上

首先要安装ubuntu子系统

GitHub - THUDM/ChatGLM-6B: ChatGLM-6B：开源双语对话语言模型 | An Open Bilingual Dialogue Language Model 

从官网上拉取代码到本地

git clone https://github.com/THUDM/ChatGLM-6B.git

pip install -r requirements.txt

下载量化后的模型chatglm-6b-int4到本地文件目录

THUDM/chatglm-6b-int4 at mainWe’re on a journey to advance and democratize artificial intelligence through open source and open science.https://huggingface.co/THUDM/chatglm-6b-int4/tree/main

 修改cli_demo.py文件

 

试运行

python3 cli_demo.py