lstef的博客

跟chatglm3回复速度相比，简直是慢动作中的慢动作。把它修改成glm-4-9b-chat的路径：/home/ls/文档/GLM4/glm-4-9b-chat。composite_demo文件夹中的requirements.txt文件夹，是此版本需要安装的依赖。accelerate>=0.30.1，也是类似情况，但指定源下载依然不奏效。（浏览器下载也失败了2次，反正都是断点续传，继续重复执行下载即可。glm-4-9b-chjat为已经训练的参数。另一种是，手动从web下载安装文件后安装。

这是指定虚拟环境目录的名称。这个目录将会被创建在你运行这个命令的当前目录下，并且包含了Python解释器、标准库以及安装包的副本。2.英特尔的CPU，包括个人电脑CPU 和服务器CPU。这是一个选项，告诉Python解释器以模块的方式运行随后的参数。这是Python标准库中的一个模块，用于创建轻量级的虚拟环境。- OpenVINO IR 模型所在目录的路径。- OpenVINO IR 模型所在目录的路径。- 模型所在目录的路径（绝对路径）;- 输出标记的最大大小。- 保存模型的路径。- 运行推理的设备。

尝试部署chatglm3并进行对话（测试用的低功耗方式，即cpu）