这里写自定义目录标题 最终成果(页面端) 环境配置 安装工具 cuda安装(下载挺快的) 对应版本的pytorch安装(比较慢,一定要安装到正确的版本,否则后面会提示版本不对应,又要重新来一次) 代码下载 源码下载 1.从GitHub仓库中拉取代码 2.进入下载源码的目录 3.安装相关依赖 (建议使用虚拟环境 python -m venv 环境名称) 4.transformers的版本需要使用4.26.1的,默认是4.30.2(启动时会报错) 模型下载 程序启动 代码调整 遇到的问题 最终成果(页面端) 环境配置 ChatGLM2-6B至少需要13G GPU(虽然官网说12G即可),int8需要8G,int4需要4G。 Win10系统,GTX1060显卡6GB 1、git 3、Python 3.12.4 4、pip 5、CUDA 11.8 (GPU相关) 6、torch 2.5.1+cu118 安装工具 cuda安装(下载挺快的) 官网下载地址,点击进行下载 选择想要安装的版本 下载完成后,双击进行安装