使用 OpenVINO 部署ChatGLM3-6B 模型

        实测OpenVINO比chatglm3-6b在cpu上运行，简单聊天对话，速度提高明显。

参考网站：https://github.com/THUDM/ChatGLM3/blob/main/Intel_device_demo/openvino_demo/README.md

一、环境配置

（一）克隆OpenVINO GLM3 推理仓库并安装依赖。

git clone https://github.com/OpenVINO-dev-contest/chatglm3.openvino.git
cd chatglm3.openvino

 

（二）新建一个虚拟环境，然后按照以下安装依赖。

1. 创建虚拟环境的

python3 -m venv openvino_env

该命令的解释如下：

  python3：指定使用Python 3版本的解释器