清华chatGLM2-6B windows本地安装教程

已于 2023-09-21 13:40:03 修改
阅读量1.1k 收藏 1
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 软件安装教程 LLM和AIGC 文章标签： transformer git hugging face gitee GitHub chatGLM chatgpt
于 2023-09-19 16:33:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_46530492/article/details/133034756
本文提供了一步步的指南，包括电脑环境配置、显卡驱动、CUDA+CUDNN、PyTorch的安装，以及清华chatGLM2-6B模型的克隆、虚拟环境部署和量化加载。详细介绍了每个步骤，特别是解决大文件下载问题和有限GPU显存的处理方法。

文章目录

电脑环境配置
  • 显卡驱动：12.2
  • cuda：11.8
  • cudnn：v8.9.5
  • pytorch：2.0.1
  • python：3.10

**应严格按照各版本进行安装，以免后面遇到一系列未知问题。**

显卡驱动安装教程

博客地址：https://blog.youkuaiyun.com/weixin_46530492/article/details/133029584?spm=1001.2014.3001.5502

cuda+cudnn安装教程

博客地址：https://blog.youkuaiyun.com/weixin_46530492/article/details/133024073?spm=1001.2014.3001.5502

pytorch安装教程

博客地址：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
How to properly set st.session_state in streamlit
suiusoar
11-05 223
如何正确设置 Streamlit 中的 st.session_state
AttributeError: ‘Tensor‘ object has no attribute ‘_keras_history‘报错解决
qq_35874169的博客
03-28 4655
注意： Layers 输入的张量也不能包含切片！ Layers 输入的张量也不能包含切片！Layers 输入的张量也不能包含切片！ 今天撸代码时： 错误是这样的：AttributeError: 'Tensor' object has no attribute '_keras_history' 百度告你： 用keras.Layers.Lambda() 这种方法是没错的，然后看自己写的代码，没问题啊，自己就是这么写的啊？？？各种找错。下面分享一下个人调试定位错误经验，教大家使用 Lambda后报错继续定位错误
Spring boot 集成Spring Security过程中的出现的关于Session scope的异常排查及解决方案
weixin_42173397的博客
08-30 8750
背景介绍 最近做的一个项目，其一需要用到Spring 的oauth认证功能， 其二需要对spring 的ContextRefreshedEvent 这个事件进行监听，实现一部分自定义注解的功能（具体功能不作赘述），本来以为毫不相关的两个功能，却出现了一些意料之外的异常。下面是一些具体的异常排查过程以及最终的解决方案，若有部分理解错误或描述错误，欢迎指正（自创文章，如需转载请说明出处）。 场...
Windows下ChatGLM2-6B本地化部署
YUYAN49的博客
07-25 1305
windows 本地部署ChatGlm2
ChatGLM2-6b小白部署教程(windows系统，16G内存即可，对显卡无要求，CPU运行)
热门推荐
IWBE的专栏
07-08 1万+
近期清华KEG和智谱AI公司一起发布了中英双语对话模型ChatGLM2-6B(小尺寸LLM)，本文整理出适合真正平民级玩家的部署教程(不需要GPU,系统为windows)
【ChatGLM2-6B】windows搭建清华ChatGLM2-6B，手把手，保姆级教学
最新发布
echo的PHP开发
11-06 1056
在模型文件 models/chatglm3-6b/tokenization_chatglm.py 中，在 def _pad() 方法中增加参数如下。PS: 把chatglm-6b的模型 放到我们从GitHub下载的 ChatGLM2-6B/models/[chatglm-6b] 目录下面。下载地址(需魔法): https://huggingface.co/THUDM/chatglm-6b/tree/main。注意事项: 这里我默认你已经下载好了,并且存放在一个叫做 chatglm-6b 的目录。
精选资源
Windows下cpu部署运行清华大学ChatGLM-6B语言模型（详解).docx
06-08
在本文档中，我们将深入探讨如何在Windows操作系统下部署和运行清华大学开发的ChatGLM-6B语言模型。ChatGLM-6B是一款强大的开源对话语言模型，具备中英双语支持和图像理解功能，其基础是General Language Model (GLM...
ChatGLM2-6b的本地部署
weixin_45885232的博客
06-08 593
chatglm2是清华大学发布的中英文双语对话模型，具备强大的问答和对话功能，拥有长达32K的上下文，可以输出比较长的文本。6b的训练参数量为60亿，本地部署大约需要12G以上的显存才能运行起来，但6b提供了一个量化后的int4版本，实测推理仅需要6gb即可。int4版本对于某些老旧的或者不支持int4的GPU而言运行不了，在额外的blog里面会记录如何修改使其运行起来。
windows11 本地化部署ChatGLM2-6B 安装笔记
weixin_42118737的博客
04-29 1591
详细记录了windows11 安装本地化部署ChatGLM2-6B的全过程
ChatGLM2-6b小白部署教程的补充(windows系统，16G内存即可，对显卡无要求，CPU运行)
juntang2019的博客
11-11 225
用vmware workstation创建了Win10的虚拟机，安装的python3.10.11, swigwin-4.1.1, w64devkit-1.18.0(下载的都是百度到的ZIP文件，可以解压后添加WINDOWS系统PATH路径使用。TDM-gcc安装的时候是需要翻墙下载的），再次通过pip install -requrements.txt 一次性安装成功。因为刚刚开始用Python，尽量想用venv，但是在venv环境下直接跑6B没问题，但是6B-int4始终提示两个.so文件打不开。
chatGLM2整体部署流程
weixin_45712480的博客
08-01 536
如需指定cpu：CUDA_VISIBLE_DEVICES=1 streamlit run web_demo2.py --server.port 7799。执行：streamlit run web_demo2.py --server.port 7799。有时候存在连不到github的情况，因此，直接下载代码，上传到服务器去解压。5. 把最开始下载模型的传到服务器，放到chatglm-6b文件夹下。7. 接着就可以在你的服务器地址+端口号上打开对应的网页。② 同代码一样，先从网上下载再传到服务器。
python环境搭建 + ChatGLM2-6b部署日志及问题记录
m0_37711292的博客
10-12 1430
如果失败，根据https://docs.github.com/zh/repositories/working-with-files/managing-large-files/installing-git-large-file-storage安装Git LFS；命令行在查找可执行文件时，现在当前目录找，如果找不到，就会在 Path 变量指定的目录找。3.从清华大学网盘下载模型参数文件，地址：https://cloud.tsinghua.edu.cn/d/674208019e314311ab5c/
Ubuntu18 安装chatglm2-6b
傻傻的宝玉
01-02 2793
原因：确实是 conda 创建的环境下 torch安装的太高了。使用 pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple 安装的时候， requirements.txt 里面 的 torch 版本写的是大于2.0 . 于是安装了最新的 版本2.1.8 ， 这个版本不支持 cuda11.6。3、在 web_demo.py 、web_demo2.py 的代码中注意更改模型的路劲、gpu 的数量等。
streamlit 重大bug以及解决办法，坑到爆炸#### 速看 #速看 #速看#
weixin_37881839的博客
04-19 4078
streamlit
解决AttributeError: ‘Session‘ object has no attribute ‘_session‘
qq_39710087的博客
04-15 7344
运行 Hierarchical Reinforcement Learning for Course Recommendation in MOOCs代码时报错AttributeError: ‘Session’ object has no attribute ‘_session’ Traceback (most recent call last): File "D:/semester3/user profile/HRL-master/Train.py", line 235, in <module&
Sanic之request['session']报错KeyError解决
weixin_44172434的博客
06-06 2111
背景： 最近在做项目时使用Sanic作为后台框架开发，在一开始没有多余调用的时候直接对异步函数里进行request[‘session’]毫无问题，一直测试也没什么问题，最近测着测着发现了点问题，而且是忽然间出现的，说明它有某个触发条件，或者是之前的使用不规范不合理。 如图所示，报错keyError:‘session’ 解决方法： 找到你的Sanic引用app的地方： 加入如下： from san...
Python程序报AttributeError的解决办法
whutfan的博客
09-22 4827
是由于__init__这个构造方法函数名，写得不正确。下划线少些了一个或者init拼错了~”检查发现我的并不是这样的问题，然后我发现我报错的那一行代码，解决办法很简单，让系统获取到自定义的这个类的这个属性就可以了。记录一个报错，在改一个代码时候出现了如题的报错。查阅发现大多的解释是。
ASP.NET Session详解
weixin_34112900的博客
08-06 200
当用户在 Web 应用程序中导航 ASP.NET 页时，ASP.NET 会话状态使您能够存储和检索用户的值。HTTP 是一种无状态协议。这意味着 Web 服务器会将针对页面的每个 HTTP 请求作为独立的请求进行处理。服务器不会保留以前的请求过程中所使用的变量值的任何信息。 ASP.NET 会话状态将来自限定时间范围内的同一浏览器的请求标识为一个会话，当每个用户首次与这台WWW服务器...
如何使用vscode调试streamlit代码，解决报错Did you forget to initialize it? More info: https://docs.streamlit.io/li
elephantbang的博客
06-07 1012
其中 program后路径替换为streamlit包在你当前环境下的路径。run.py换成你想调试的基于streamlit的python程序路径。3.重新调试，左上角选择debug_streamlit。2.添加以下内容至launch.json。运行浏览器端响应界面，调试开始！
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Cachel wood

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值