python&anconda系列：ChatGLM:本地化搭建大模型实例

---

最近清华开源了ChatGLM-6B模型，想到了可本地部署这个模型，但是我本地显卡内存不够，然后就想用飞桨的studio来部署这个模型

1.项目启发

最近ChatGLM-6B清华开源模型发布,之前玩ChatGBT觉得挺好玩，想着能不能自己本地用chatgpt，毕竟某些不可抗力因素使用ChatGBT比较困难，目前申请不了百度文心一言的模型API,因此想自己部署ChatGLM-6B来进行测试，由于本地电脑显存不够（最低都要6GB）,所以只能来飞桨平台这里试试了~话不多说让我们进入部署的流程

1.1 硬件需求

量化等级	最低 GPU 显存
FP16（无量化）	13 GB
I NT8	10 GB
INT4	6 GB

1.2 项目地址

Github:https://github.com/THUDM/ChatGLM-6B
Hugging F