文章讲述了如何在本地部署清华团队研发的ChatGLM-6B对话系统，包括所需的环境配置，如Python和GCC。在部署过程中遇到的504错误和transformers模块缺失的问题，以及相应的解决方法。尽管模型在16GB内存的机器上运行较慢，但最终仍能成功运行。
ChatGLM-6B是清华团队研发的机器人对话系统，类似ChatGPT，但是实际相差很多，可以当作一个简单的ChatGPT。
ChatGLM部署默认是支持GPU加速，内存需要32G以上。普通的机器无法运行。但是可以部署本地cpu版本。
本地部署，需要的环境：
- python3.9及以上
- gcc
这个框架本身就是python编写的，所以需要python环境。另外，运行的时候，需要加载cpu内核，所以需要编译本地内核，gcc环境就是用来编译quantization_kernels.c和quantization_kernels_parallel.c文件的。
gcc环境在windows上，可以通过mingw来安装，也可以通过
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
