清华ChatGLM2-6B一键式部署,无需自行安装依赖环境!!

提供ChatGLM2-6B模型的int4量化版本,适合6GB显存电脑,包含预配置的conda虚拟环境,解决了依赖包安装问题。同时附带CUDA11.7和CuDNN安装包,以及Anaconda2,确保环境搭建顺利。安装时需注意匹配torch2.0.1+cu117版本。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

直接上链接!
模型代码、模型参数、conda虚拟环境包全部已上传百度网盘
链接:https://pan.baidu.com/s/1IXN9Vfa4AQ2uB8zuaefC6Q?pwd=ntk4
提取码:ntk4

小白式部署,事先已经做好并上传了ChatGLM2-6B模型框架和模型参数的整合文件,且为int4量化版本,支持6GB显存电脑使用;同时,支持ChatGLM2-6B推理运行的环境也全部打包上传了,解压缩到自己的conda的envs文件夹下即可用!此外上传了CUDA、CuDNN安装包,甚至包括Anaconda2的安装包(个人感觉版本越老越好用,主要是网上教程多)

电脑配置需求说明
需要电脑具备6GB及以上的显存,可通过Ctrl+Shift+Esc通过“任务管理器-进程”查看
需要电脑具备Nvidia显卡驱动程序(一般有显卡的电脑都具备)

文件说明
【1】ChatGLM2-6B-main文件夹:为ChatCLM2-6B的模型代码,并且已在其中部署好int4量化模型的参数,使用时对demo文件中的路径信息,依照本地路径进行修改就行
Github模型代码下载地址:https://github.com/THUDM/ChatGLM2-6B
HuggingFace模型权重下载地址:https://huggingface.co/THUDM/chatglm2-6b

【2】chatglm2压缩包:为完整的conda虚拟环境,里边已经装好了所有的依赖包,直接解压,迁移到自己电脑的conda的envs文件夹下即部署好环境
该虚拟环境已经将ChatGLM2-6B推理需要的所有的依赖包都囊括其中!(相信有相关经历的人都知道依赖包的下载是玄学,有的时候一下就宕下来,有的时候一天都下不来,还有网速、版本等各种问题)

【3】CUDA安装包:11.7版本的安装包,其它版本下载可从官网:https://developer.nvidia.com/cuda-toolkit-archive

【4】CuDNN压缩包:支持CUDA11.X的深度学习计算包,其它版本下载可从官网:https://developer.nvidia.com/rdp/cudnn-archive(要注册,注册之后才能下载)

【5】Anaconda安装包:为2版本,其它版本的下载可从清华镜像源下载:https://mirrors.tuna.tsinghua.edu.cn/#
其.condarc文件配置镜像源可参考链接:参考链接:https://zhuanlan.zhihu.com/p/351348108

注意:虚拟环境里的torch是2.0.1+cu117版本,要求电脑上已经安装了对应的CUDA和CuDNN,不过11.7以下CUDA版本也支持(如CUDA11.4)

在这里插入图片描述

附安装torch2.0.1+cu117指令:pip install torch2.0.1+cu117 torchvision torchaudio -f https://download.pytorch.org/whl/torch_stable.html -i https://pypi.tuna.tsinghua.edu.cn/simple

评论 11
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yurous

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值