清华大学ChatGLM-6B部署运行

原创 已于 2023-04-29 18:41:48 修改 · 1.5k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #chatglm #nlp #深度学习

于 2023-04-17 18:13:51 首次发布
ChatGLM-6B是基于GLM架构的62亿参数双语对话模型，支持在消费级显卡上本地部署。它采用类似ChatGPT的技术，经过大规模训练和优化，但存在一些局限性，如事实错误和上下文问题。文章提供了代码下载、环境配置步骤，并提示了解决旧版GPU驱动问题的方法。

一、模型介绍

开源项目：

GitHub - THUDM/ChatGLM-6B: ChatGLM-6B：开源双语对话语言模型 | An Open Bilingual Dialogue Language Model

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答，更多信息请参考我们的博客。

为了方便下游开发者针对自己的应用场景定制模型，我们同时实现了基于 P-Tuning v2 的高效参数微调方法 

最低0.47元/天 解锁文章
从零开始大模型开发与微调：最强的中文大模型—清华大学ChatGLM介绍
AI天才研究院
06-02 749
从零开始大模型开发与微调：最强的中文大模型—清华大学ChatGLM介绍 1.背景介绍 1.1 人工智能大模型的兴起 近年来,人工智能领域取得了长足的进步,其中大模型的出现引领了这一浪潮。大模型指的是拥
清华大学开源ChatGLM2-6B开源模型在anaconda下的虚拟环境详细部署及安装教程
SupermarketX的博客
07-05 1万+
ChatGLM2-6B在anaconda中虚拟环境下的本地部署
最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）
Y525698136的博客
08-07 1498
最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）
清华开源语言大模型ChatGLM-6B调研
Bright20040513的博客
11-30 2444
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
精选资源
Windows下cpu部署运行清华大学ChatGLM-6B语言模型（详解).docx
06-08
在本文档中，我们将深入探讨如何在Windows操作系统下部署和运行清华大学开发的ChatGLM-6B语言模型。ChatGLM-6B是一款强大的开源对话语言模型，具备中英双语支持和图像理解功能，其基础是General Language Model (GLM...
精选资源
ChatGLM3+更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数
01-11
ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性...
ChatGLM-6B 部署与使用指南
jooolin的博客
09-25 1604
ChatGLM-6B 是清华大学与智谱 AI 开源的一款对话语言模型，基于 General Language Model (GLM) 架构，参数达到 62 亿，因其卓越的语言理解与生成能力，受到广泛关注。
ChatGLM-6B-部署与使用
白乐天_ξ( ✿＞◡❛)的博客
09-23 1069
一、简介ChatGLM-6B 是由清华大学知识工程实验室（KEG）与智谱 AI 联合打造的一个开源的、支持中英双语的对话语言模型。二、基本参数参数量：62 亿参数。三、技术架构与特点架构基础：基于 General Language Model（GLM）架构，参考了 OpenAI 的 GPT 和 Google’s BERT 结构，并融合了 GLM 的技术特点。语言能力：具备良好的中英双语对话生成能力，能够理解和处理中英文混合输入。四、应用场景智能客服。
【一次成功】清华大学和智谱AI公司的ChatGLM-4-9B-Chat-1M大模型本地化部署教程
追寻上飞的博客
07-08 3042
GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出较高的性能。除了能进行多轮对话，GLM-4-9B-Chat 还具备网页浏览、代码执行、自定义工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高级功能。本代模型增加了多语言支持，支持包括日语，韩语，德语在内的 26 种语言。
本地部署清华大模型ChatGlm-6b、ChatGlm2-6b与ChatGlm3-6b（api接口、demo界面、流式非流式）（非常详细）
nfkjdx的博客
12-15 8382
（1）百度网盘下载地址(下载文件中附了非常详细的安装教程)：https://pan.baidu.com/s/1KQNOlYU-GMKbkPGcip1Hzw?pwd=5678（2）直接网上百度下载和安装，非常多教程，这里直接略过。
清华智谱AI大模型ChatGLM-Pro申请开通教程
学习笔记，人工智能，教程，技术分享！
10-10 5201
ChatGLM系列模型，包括ChatGLM-130B和ChatGLM-6B模型，支持相对复杂的自然语言指令，并且能够解决困难的推理类问题。其中，ChatGLM-6B模型吸引了全球超过 160 万人下载安装，该模型在 Hugging Face (HF) 全球大模型下载榜中连续 12 天位居第一名，在国内外的开源社区中产生了较大的影响。清华智谱AI大模型ChatGLM-Pro申请开通教程。
清华大学ChatGLM大模型，AI大模型学习并不难！
最新发布
AAI666666的博客
11-20 1017
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。
ChatGLM：清华开源本地部署（2023/05/06更新）
asd123pwj的博客
05-02 3975
ChatGLM 的本地部署及 API 调用。
清华大学开源的chatGLM-6B部署实战
沧海之巅的专栏
04-08 1505
wsl导入任意Linux发行版本 https://learn.microsoft.com/zh-cn/windows/wsl/use-custom-distro 可选。wsl开发环境配置 https://learn.microsoft.com/zh-cn/windows/wsl/setup/environment。显卡驱动自行更新 https://www.nvidia.cn/Download/index.aspx?需自行研究，失败因素过多无法列举，尤其是启用虚拟化失败导致无法正常启动wsl服务。
【人工智能AI2.0】清华发布了 ChatGLM-6B & 中国大模型5支学术界团队和10大产业界力量介绍
热门推荐
AI天才研究院
03-18 2万+
清华技术成果转化的公司智谱 AI 开源了系列模型 ChatGLM-6B，这是一个支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。GLM 模型开源地址：ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于架构，具有 62 亿参数。
清华 chatglm 本地部署
歌布衣的博客
06-14 429
requirements.txt 在安装的chatglm目录下。安装 pytorch。
清华大学chatGLM6B模型本地化部署教程
愚者不惑的博客
05-19 744
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
手把手教你部署并使用清华智谱ChatGLM3-6B大模型
pythonhy的博客
11-12 1196
本文就来分享下我的安装部署经验，包括本地和租用云服务器的方式，以及如何通过API调用大模型开发自己的AI应用，希望能解决一些下不去手的问题。
Windows下部署清华大学ChatGLM-6B语言模型（部署教程）
本文档详细介绍了在Windows系统环境下部署和运行清华大学开发的开源对话语言模型ChatGLM-6B的过程。ChatGLM-6B是一款支持中英双语并具备图像理解能力的模型，基于General Language Model架构，拥有62亿参数，能够在...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值