清华chatGLM2-6B windows本地安装教程

已于 2023-09-21 13:40:03 修改
阅读量1.1k 收藏 1
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 软件安装教程 LLM和AIGC 文章标签： transformer git hugging face gitee GitHub chatGLM chatgpt
于 2023-09-19 16:33:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_46530492/article/details/133034756
本文提供了一步步的指南，包括电脑环境配置、显卡驱动、CUDA+CUDNN、PyTorch的安装，以及清华chatGLM2-6B模型的克隆、虚拟环境部署和量化加载。详细介绍了每个步骤，特别是解决大文件下载问题和有限GPU显存的处理方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

电脑环境配置
  • 显卡驱动：12.2
  • cuda：11.8
  • cudnn：v8.9.5
  • pytorch：2.0.1
  • python：3.10

**应严格按照各版本进行安装，以免后面遇到一系列未知问题。**

显卡驱动安装教程

博客地址：https://blog.youkuaiyun.com/weixin_46530492/article/details/133029584?spm=1001.2014.3001.5502

cuda+cudnn安装教程

博客地址：https://blog.youkuaiyun.com/weixin_46530492/article/details/133024073?spm=1001.2014.3001.5502

pytorch安装教程

博客地址：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
windows11 本地化部署ChatGLM2-6B 安装笔记
weixin_42118737的博客
04-29 1506
详细记录了windows11 安装本地化部署ChatGLM2-6B的全过程
Windows下ChatGLM2-6B本地化部署
YUYAN49的博客
07-25 1269
windows 本地部署ChatGlm2
ChatGLM2-6b小白部署教程(windows系统，16G内存即可，对显卡无要求，CPU运行)
IWBE的专栏
07-08 1万+
近期清华KEG和智谱AI公司一起发布了中英双语对话模型ChatGLM2-6B(小尺寸LLM)，本文整理出适合真正平民级玩家的部署教程(不需要GPU,系统为windows)
ChatGLM2-6b小白部署教程的补充(windows系统，16G内存即可，对显卡无要求，CPU运行)
juntang2019的博客
11-11 212
用vmware workstation创建了Win10的虚拟机，安装的python3.10.11, swigwin-4.1.1, w64devkit-1.18.0(下载的都是百度到的ZIP文件，可以解压后添加WINDOWS系统PATH路径使用。TDM-gcc安装的时候是需要翻墙下载的），再次通过pip install -requrements.txt 一次性安装成功。因为刚刚开始用Python，尽量想用venv，但是在venv环境下直接跑6B没问题，但是6B-int4始终提示两个.so文件打不开。
chatGLM2整体部署流程
weixin_45712480的博客
08-01 495
如需指定cpu：CUDA_VISIBLE_DEVICES=1 streamlit run web_demo2.py --server.port 7799。执行：streamlit run web_demo2.py --server.port 7799。有时候存在连不到github的情况，因此，直接下载代码，上传到服务器去解压。5. 把最开始下载模型的传到服务器，放到chatglm-6b文件夹下。7. 接着就可以在你的服务器地址+端口号上打开对应的网页。② 同代码一样，先从网上下载再传到服务器。
【ChatGLM2-6B】windows搭建清华ChatGLM2-6B，手把手，保姆级教学
最新发布
echo的PHP开发
11-06 978
在模型文件 models/chatglm3-6b/tokenization_chatglm.py 中，在 def _pad() 方法中增加参数如下。PS: 把chatglm-6b的模型 放到我们从GitHub下载的 ChatGLM2-6B/models/[chatglm-6b] 目录下面。下载地址(需魔法): https://huggingface.co/THUDM/chatglm-6b/tree/main。注意事项: 这里我默认你已经下载好了,并且存放在一个叫做 chatglm-6b 的目录。
Windows下cpu部署运行清华大学ChatGLM-6B语言模型（详解).docx
06-08
在本文档中，我们将深入探讨如何在Windows操作系统下部署和运行清华大学开发的ChatGLM-6B语言模型。ChatGLM-6B是一款强大的开源对话语言模型，具备中英双语支持和图像理解功能，其基础是General Language Model (GLM...
清华大学开源ChatGLM2-6B开源模型在anaconda下的虚拟环境详细部署及安装教程
热门推荐
SupermarketX的博客
07-05 1万+
ChatGLM2-6B在anaconda中虚拟环境下的本地部署
python环境搭建 + ChatGLM2-6b部署日志及问题记录
m0_37711292的博客
10-12 1389
如果失败，根据https://docs.github.com/zh/repositories/working-with-files/managing-large-files/installing-git-large-file-storage安装Git LFS；命令行在查找可执行文件时，现在当前目录找，如果找不到，就会在 Path 变量指定的目录找。3.从清华大学网盘下载模型参数文件，地址：https://cloud.tsinghua.edu.cn/d/674208019e314311ab5c/
Ubuntu18 安装chatglm2-6b
傻傻的宝玉
01-02 2727
原因：确实是 conda 创建的环境下 torch安装的太高了。使用 pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple 安装的时候， requirements.txt 里面 的 torch 版本写的是大于2.0 . 于是安装了最新的 版本2.1.8 ， 这个版本不支持 cuda11.6。3、在 web_demo.py 、web_demo2.py 的代码中注意更改模型的路劲、gpu 的数量等。
streamlit 重大bug以及解决办法，坑到爆炸#### 速看 #速看 #速看#
weixin_37881839的博客
04-19 3933
streamlit
解决AttributeError: ‘Session‘ object has no attribute ‘_session‘
qq_39710087的博客
04-15 7246
运行 Hierarchical Reinforcement Learning for Course Recommendation in MOOCs代码时报错AttributeError: ‘Session’ object has no attribute ‘_session’ Traceback (most recent call last): File "D:/semester3/user profile/HRL-master/Train.py", line 235, in <module&
Sanic之request['session']报错KeyError解决
weixin_44172434的博客
06-06 2092
背景： 最近在做项目时使用Sanic作为后台框架开发，在一开始没有多余调用的时候直接对异步函数里进行request[‘session’]毫无问题，一直测试也没什么问题，最近测着测着发现了点问题，而且是忽然间出现的，说明它有某个触发条件，或者是之前的使用不规范不合理。 如图所示，报错keyError:‘session’ 解决方法： 找到你的Sanic引用app的地方： 加入如下： from san...
Python程序报AttributeError的解决办法
whutfan的博客
09-22 4731
是由于__init__这个构造方法函数名，写得不正确。下划线少些了一个或者init拼错了~”检查发现我的并不是这样的问题，然后我发现我报错的那一行代码，解决办法很简单，让系统获取到自定义的这个类的这个属性就可以了。记录一个报错，在改一个代码时候出现了如题的报错。查阅发现大多的解释是。
ASP.NET Session详解
weixin_34112900的博客
08-06 178
当用户在 Web 应用程序中导航 ASP.NET 页时，ASP.NET 会话状态使您能够存储和检索用户的值。HTTP 是一种无状态协议。这意味着 Web 服务器会将针对页面的每个 HTTP 请求作为独立的请求进行处理。服务器不会保留以前的请求过程中所使用的变量值的任何信息。 ASP.NET 会话状态将来自限定时间范围内的同一浏览器的请求标识为一个会话，当每个用户首次与这台WWW服务器...
How to properly set st.session_state in streamlit
suiusoar
11-05 163
如何正确设置 Streamlit 中的 st.session_state
如何使用vscode调试streamlit代码，解决报错Did you forget to initialize it? More info: https://docs.streamlit.io/li
elephantbang的博客
06-07 847
其中 program后路径替换为streamlit包在你当前环境下的路径。run.py换成你想调试的基于streamlit的python程序路径。3.重新调试，左上角选择debug_streamlit。2.添加以下内容至launch.json。运行浏览器端响应界面，调试开始！
AttributeError: ‘Tensor‘ object has no attribute ‘_keras_history‘报错解决
qq_35874169的博客
03-28 4620
注意： Layers 输入的张量也不能包含切片！ Layers 输入的张量也不能包含切片！Layers 输入的张量也不能包含切片！ 今天撸代码时： 错误是这样的：AttributeError: 'Tensor' object has no attribute '_keras_history' 百度告你： 用keras.Layers.Lambda() 这种方法是没错的，然后看自己写的代码，没问题啊，自己就是这么写的啊？？？各种找错。下面分享一下个人调试定位错误经验，教大家使用 Lambda后报错继续定位错误
【Streamlit学习】st.session_state简介
weixin_40646871的博客
03-19 4402
st.session_state一旦应用初始化完成后，会话状态通常不会被整体重置，即使你重新运行应用，之前的会话状态仍然会保留下来，不会被清除
Windows下部署清华大学ChatGLM-6B语言模型（部署教程）
本文档详细介绍了在Windows系统环境下部署和运行清华大学开发的开源对话语言模型ChatGLM-6B的过程。ChatGLM-6B是一款支持中英双语并具备图像理解能力的模型，基于General Language Model架构，拥有62亿参数，能够在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Cachel wood

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值