【AI】清华开源中英双语对话模型ChatGLM2-6B本地安装笔记

清华开源中英双语对话模型ChatGLM2-6B本地安装笔记

首先，直接上资源，网盘中是ChatGLM2-6B源码及模型文件：

链接：https://pan.baidu.com/s/1DciporsVT-eSiVIAeU-YmQ
提取码：cssa

官方的Readme已经很详尽了，再写点安装博客有点画蛇添足。本着记录自己的工作内容的初衷，还是写一写吧，毕竟输出才是最好的学习。

本文记录了本地安装ChatGLM2-6B的过程，本地是用了一张RTX4070 12G的显卡，对于这个模型有点勉强，但是在实际运行中发现Win11系统给了共享GPU存储，这让我这个12G的显卡也运行了13G的模型，目前看是能正常运行，没有爆显存的问题。官方也提供了int4的模型，可以在6G显存上运行起来，由于我这边已经运行起来了，所以没有在考虑使用int4模型。下图是我模型加载之后的GPU占用情况，就很神奇。。。

1. Conda复制虚拟环境

conda creat -n new_env_name --copy old_env_name

创建ChatGLM运行环境，因为ChatGLM使用pytorch框架，所以使用Conda复制一个Pytorch的虚拟环境，以便在安装所需依赖完成之后不会对其他环境依赖造成破坏。