【ChatGLM】本地版ChatGPT ？6G显存即可轻松使用 ！ChatGLM-6B 清华开源模型本地部署教程

原创 已于 2023-05-03 00:28:31 修改 · 6.5k 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#chatgpt #人工智能 #学习 #娱乐 #深度学习

于 2023-05-03 00:23:53 首次发布
文章介绍了如何从Huggingface下载ChatGML模型并在本地部署，包括参考B站用户秋葉aaaki的资源，以及利用ChatGLM-webui项目搭建本地Web界面。同时，文章提及模型的局限性和思想钢印问题，并分享了微调人格的趣味性，提供潘金莲人格的实机演示。

目录

感谢B站秋葉aaaki大佬

前言

部署资源

部署流程 

实机演示

ChatGML微调（人格炼成）（个人感觉蛮有趣的地方）

 分享有趣の微调人格

 实机演示（潘金莲人格）

感谢B站秋葉aaaki大佬

秋葉aaaki的个人空间_哔哩哔哩_bilibilihttps://space.bilibili.com/12566101

前言

由于ChatGLM-6B的规模较小，目前已知其具有相当多的局限性，如事实性/数学逻辑错误，可能生成有害/有偏见内容，较弱的上下文能力，自我认知混乱，以及对英文指示生成与中文指示完全矛盾的内容。请大家在使用前了解这些问题，以免产生误解。

很明显这个模型，因为是中文训练的，在很多数据上非常适合中文提问和回答
其次，本模型有思想钢印的存在，部分滑梯是不能说的

 但是其也有着本地部署和开源社区的优势。

部署资源

模型可以从huggingface上下载

最低0.47元/天 解锁文章
timberman666
关注
手把手教你本地CPU环境部署清华大模型ChatGLM-6B，利用量化模型，本地即可开始智能聊天，达到ChatGPT的80%
微学AI的博客
04-28 2万+
大家好，我是微学AI，今天教你们本地CPU环境部署清华大ChatGLM-6B模型，利用量化模型，每个人都能跑动大模型。ChatGLM-6B是一款出色的中英双语对话模型，拥有超过62亿个参数，可高效地处理日常对话场景。与GLM-130B模型相比，ChatGLM-6B在对话场景处理能力方面表现更加卓越。此外，在使用体验方面，ChatGLM-6B采用了模型量化技术和本地部署技术，为用户提供更加便利和灵活的使用方式。值得一提的是，该模型还能够在单张消费级显卡上顺畅运行，速度较快，是一款非常实用的对话模型。
ChatGLM2本地部署的实战方案
热门推荐
herosunly的博客
06-27 11万+
本文主要介绍了ChatGLM2本地部署应用的实战方案，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 介绍 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 3. 下载权重文件 4. 运行ChatGLM2 4.1 方式一 4.2 方式二
ChatGLM2-6B、ChatGLM-6B 模型介绍及训练自己数据集实战
dream_home8407的博客
04-12 5万+
ChatGLM2-6B 模型介绍及训练实战
秋葉AI绘画工具全新升级v4.10，机器人企业技术路径分化趋势：运动型与干活派的技术博弈。
最新发布
pdtv6avp的博客
11-05 326
2025年2月4日，秋葉aaaki发布了最新的Stable Diffusion整合包v4.10版本，同时推出了ComfyUI整合包，为AI绘画爱好者提供了更高效、更稳定的创作工具。该整合包为AI艺术创作提供了完整的解决方案，从入门到专业级应用都能满足需求。用户可根据自身硬件条件和创作需求选择合适的组件搭配使用。生成图像模糊时，尝试调整采样步数。建议标注AI生成作品的工具信息。根据硬件配置调整批量生成数量。定期清理缓存文件维持系统性能。尊重原创，避免生成侵权内容。商用前请确认模型许可协议。
helm chart 介绍
魏志标的博客
07-28 2205
Helm 使用一种名为 charts 的包格式，一个 chart 是描述一组相关的 Kubernetes 资源的文件集合，单个 chart 可能用于部署简单的应用，比如 nginx pod，或者复杂的应用，比如一个完成的lnmp应用程序。Charts 是创建在特定目录下面的文件集合，然后可以将它们打包到一个版本化的存档中来部署。接下来我们就来看看使用 Helm 构建 charts 的一些基本方法。
清华开源语言大模型ChatGLM-6B调研
Bright20040513的博客
11-30 2440
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
零基础部署chatglm
CHNIM的博客
03-25 1万+
chatglm, 类chatgpt, 聊天机器人，文心一言
windows本地部署开源自然语言模型ChatGLM3-6b
weixin_40896800的博客
03-31 1785
ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能。默认情况下，模型以 FP16 精度加载，测试运行需要大概 16GB 显存。如果你的 GPU 显存有限，可以尝试以量化方式加载模型，或者CPU运算方式测试运行模型，下面流程是基于GPU的。
从零开始的ChatGLM教程（一）
04-15 2082
主流的老旧专业卡包括K80，M40（24G版）（下文简称M40），P40，P100等，其中P100具有半精度浮点计算能力，这可以使它的训练或推理速度更快，不过它的显存只有16G，还请自行取舍。本篇文章将真正意义上的从头教学，从装机开始教你组建自己的机器并训练自己的模型。ChatGLM（以及其他语言模型）并不强制性的需要你使用GPU进行运算，如果你的电脑大于32G，而你又没有心仪的显卡选择，你可以考虑试试使用CPU进行运算，据说速度会慢，但好处是在这篇文章编写的时候，内存可比显存便宜多了。
清华大学chatGLM6B模型本地化部署教程
愚者不惑的博客
05-19 743
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
ChatGLM两代的部署/微调/实现：从基座GLM、ChatGLM的LoRA/P-Tuning微调、6B源码解读到ChatGLM2的微调与实现
结构之法 算法之道
03-31 6万+
随着『GPT4多模态/Microsoft 365 Copilot/Github Copilot X/ChatGPT插件』的推出，绝大部分公司的技术 产品 服务，以及绝大部分人的工作都将被革新一遍类似iPhone的诞生 大家面向iOS编程 有了App Store现在有了ChatGPT插件/GPT应用商店，以后很多公司 很多人面向GPT编程(很快技术人员分两种，一种懂GPT，一种不懂GPT)然ChatGPT/GPT4基本不可能开源了，而通过上文《
把huggingface/transformers的模型文件下载到本地
Love-Coding
06-14 4172
python代码 自动下载模型实现和参数。如果你的网络环境较差，下载模型参数可能会花费较长时间甚至失败。此时可以先将模型下载到本地，然后从本地加载。参考 https://github.com/THUDM/ChatGLM-6B 的README。以chatglm-6b为例，然后运行。先安装Git LFS。
ChatGLM-6B部署到本地电脑
pengxiang1998的博客
09-17 1831
ChatGLM-6B是由清华大学开源的双语对话大模型，该模型有62亿参数，但在经过量化后模型体积大幅下降，因此不同于其他需要部署到服务器上的大模型，该模型可以部署到本地电脑，那么接下来我们来看看如何部署该模型。此时可以先将模型下载到本地，然后从本地加载，当然此时我们需要修改一下对应的地址。随便提一个问题，说起来确实一套一套的，好像谁不知道似的，说点干活嘛。之后，我们将人类语言转化为了机器语言，接下来就可以输入模型了。然后从这里手动下载模型参数文件，并将下载的文件替换到本地的。
ChatGlm的部署和训练
a3337779的博客
05-15 1708
这里要注意选择你是什么系统，cuda是安装了什么版本（博主前面选择的是12.1），然后复制下面红框中的命令到终端就可以安装了。在终端输入命令，注意不要用python3，因为可能会使用到其它环境下的python或者在pycharm运行即可。2）部署环境,在终端下打开ChatGLM-6B安装的目录，然后运行下面命令，安装相关库。在终端输入python，然后依次输入下面代码，验证torch-GPU版本是不是成功。如果电脑配置了GPU，要注意需安装GPU版本的pytorch，具体可。2)如果你没有下载你要去下载。
windows本地CPU+6G内存部署类ChatGPT模型（Vicuna 小羊驼）
jw283963895的博客
07-04 783
这里我们要下载4-bit量化的Vicuna模型，有7B和13B两个版本，每个版本里面还细分了几个版本，主要是速度和准确率之间的平衡，根据情况自己下载。13B的的Vicuna模型4-bit量化后，效果还可以，英文可能达到了宣称的那样，中文感觉还略差于ChatGLM-6B一点。llama-cpp-python是llama.cpp的Python接口，具体介绍看下面链接。锅包肉是一道非常有名的广东菜，制作方法简单，口感鲜美。(2) 锅包肉怎么做。
从零开始的ChatGLM 配置详细教程
风吹落叶的博客
04-22 1万+
最近安装了一下叶佬的一键安装包总感觉，没有被bug虐浑身不舒服遂，去github上重新git clone了官方的下来并部署玩玩。
ChatGLM 本地部署指南(Docker容器版)
Qinghub‘博客
05-21 2479
ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的对话预训练模型。ChatGLM3-6B 是ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 有更强大的基础模型，更完整的功能支持，更全面的开源序列
【ChatGLM2-6B微调】6GB显存实现ChatGLM2-6B大模型微调！
weixin_45666317的博客
08-15 5652
6GB显存配置实现ChatGLM2-6B大模型微调！使用官方项目包中的P-Tuning V2做微调实践。
腾讯混元文生图开源模型推出小显存版本，仅需 6G 显存即可运行
小小鱼儿小小林的博客
07-05 945
腾讯宣布开源小显存版本的混元文生图模型，降低至 6G 显存即可运行，方便个人电脑本地部署。同时，混元 DiT 模型升级至 1.2 版本，图片质感与构图提升。混元 Captioner 打标模型也正式开源，支持中英文双语，优化文生图场景，能更好地理解和表达中文语义。混元 DiT 模型及插件可通过 Hugging Face Diffusers 和图形化界面 Kohya 调用，提高易用性。
Windows下部署清华大学ChatGLM-6B语言模型（部署教程）
ChatGLM-6B是一款支持中英双语并具备图像理解能力的模型，基于General Language Model架构，拥有62亿参数，能够在消费级显卡（INT4量化级别下仅需6GB显存）上本地部署，适合资源有限的环境。 首先，模型的部署需要...
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值