学习实践ChatGLM-6B（部署+运行+微调）

已于 2024-04-08 15:51:19 修改
阅读量1.9w 收藏 131
点赞数 26
分类专栏： 算法实战 文章标签： 语言模型
于 2023-04-07 18:55:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/LZL2020LZL/article/details/130005551
版权
本文介绍了ChatGLM-6B模型的基础信息，它是一个62亿参数的对话机器人模型，支持多种应用场景。文章详细阐述了如何在Linux环境下部署模型，包括网页版和命令行Demo的运行，以及在显存有限的情况下如何通过量化技术降低需求。此外，还讲解了如何使用P-Tuning进行模型微调，并提供了微调的依赖安装和数据集准备步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

对视觉类论文详解（免费）感兴趣的同学，可以关注微信公众号 李卓璐随手记，将会不定期发布，注意查收哦~

1、ChatGLM-6B内容简单介绍

该模型基于 General Language Model (GLM) 架构，具有 62 亿参数。
注：结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。
ChatGLM-6B可以实现的能力这是一个对话机器人，所以基本的问答，系统都支持。
官方提供的使用实例：
自我认知
提纲写作
文案写作
邮件助手
信息抽取
角色扮演
评论比较
旅游向导

运行界面

在这里插入图片描述

2、ChatGLM-6B模型实战

GLM模型GitHub代码地址
部署步骤如下：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
ChatGLM-6B微调，P-Tuning，LoRA，Full parameter
liguandong
06-06 841
2个position，一个表征句子，一个表征mask区域的顺序，前缀decoder先对mask掉的句子进行双向attention，从query角度看，x1可以看到x1到M，从mask decoder角度讲，x1作为query肯定看不到x1后面的，满阵表示可以看到整个序列，所以这部分是双向attention，后面的两者掩码是单向的decoder，是gpt。【官方教程】ChatGLM-6B 微调：P-Tuning，LoRA，Full parameter_哔哩哔哩_bilibili。
【ChatGLM】基于 ChatGLM-6B + langchain 实现本地化知识库检索与智能答案生成: 中文 LangChain 项目的实现开源工作
热门推荐
AI天才研究院
05-21 6万+
陈光剑简介：著有《ClickHouse入门、实战与进阶》（即将上架）《Kotlin 极简教程》《Spring Boot开发实战》《Kotlin从入门到进阶实战》等技术书籍。资深程序员、大数据与后端技术专家、架构师，拥有超过10年的技术研发和管理经验。现就职于字节跳动，曾就职于阿里巴巴，主要从事企业智能数字化经营管理、电商智能数字化运营等系统架构设计和研发工作。在大数据和企业级系统架构领域有非常深厚的积累，擅长大数据系统架构和分布式系统架构设计开发。
ChatGLM-6B 模型训练 P-Tuning 微调实战
Gblfy_Blog
05-18 954
ChatGLM-6B 模型训练 P-Tuning 微调实战
大模型微调：聊聊ChatGLM-6B医疗数据微调（附教程）
最新发布
pythonhy的博客
03-26 926
大模型微调：聊聊ChatGLM-6B医疗数据微调（附教程）
ChatGLM-6B模型训练自己的数据集
weixin_44354947的博客
05-29 7190
上期我主要分享了一下ChatGLM-6B官方模型的部署、官方数据集的微调、推理以及测试过程，这期我将主要分享一下使用ChatGLM-6B微调自己数据集的过程。
ChatGLM2-6B、ChatGLM-6B 模型介绍及训练自己数据集实战
dream_home8407的博客
04-12 5万+
ChatGLM2-6B 模型介绍及训练实战
ChatGLM-6B代码微调实战训练 完整版
mqdlff_python的博客
01-23 1984
ChatGLM-6B代码微调实战训练 完整版
01 ChatGLM-6B部署与微调教程
qq_33169644的博客
03-07 1562
ChatGLM-6B部署与微调教程
ChatGLM-6B部署、实战与微调
m0_47867638的博客
06-29 1572
ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGLM 相同的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
ChatGLM2-6B（windows本地微调实践）
09-15
详细调试内容见文件内ReadMe文档 1、Chat GLM2模型下载 ...7、ChatGLM2-6B-main加载微调后模型验证 注：环境自己搭建，我的用anadconda创建的，先搭pytorch的GPU版，再添加相关模块，本地部署教程多自行部署
ChatGLM-6B详细学习实践记录与资料分享
Together_CZ的博客
06-30 2928
ChatGLM-6B详细学习实践记录与资料分享
【LLM大模型】ChatGLM-6B使用、微调、训练
huang9604的博客
08-20 1578
【LLM大模型】ChatGLM-6B使用、微调、训练
聊聊ChatGLM-6B医疗数据微调
2401_85327249的博客
08-05 886
参考了多个医疗大模型，如扁鹊、灵心等，重新思考了下微调的方案以及数据集的格式；基于ChatGLM/其它LLM整合多种微调方法的非官方实现的框架，审视其数据集格式，以及调试效果，进行微调。
ChatGLM学习
银晗的学习博客
09-07 3349
在传统的自注意力机制中，输入序列中的每个位置都会计算一个注意力权重，用于对其他位置的信息进行加权聚合。而在双流自注意力机制中，会引入两个注意力流，分别用于处理不同类型的信息。它是基于自注意力机制（self-attention）的扩展，通过引入两个独立的注意力流来处理不同类型的信息。，从其中采样文本span{s1，· · ·，sm}，其中每个si表示连续令牌的跨度，并用单个掩码替换si，要求模型对它们进行自回归恢复。：条件独立性假设，预测每个mask的时候是并行的，没有考虑mask之间的关系。
模型训练系列：1、用清华ChatGLM-6B模型部署自己的本地AI助手
liudun_cool的博客
05-12 3693
首先需要搞一台GPU较强的机器，推荐先租一台腾讯云、阿里云等AI训练的机器，T4显卡就行，一般价格是按量付费几毛钱一个小时。最近清华大学开源的ChatGLM-6B语言模型在国际上大出风头，仅仅62亿参数的小模型，能力却很强。#运行ChatGLM6B 的web版聊天程序，即可访问http://主机IP:8080进行聊天。本文来自知识星球：ConnectGPT ，一个致力于探索AI、语言模型的应用技术的小圈子。#克隆ChatGLM-6B的int4量化模型。#安装所需的python依赖库。
ChatGLM-6B模型微调实战（以 ADGEN (广告生成) 数据集为例，序列长度达 2048）
消极的人永远是对的，积极的人选择勇往直前
05-03 7782
ChatGLM-6B模型微调实战（以 ADGEN (广告生成) 数据集为例）
【LLM】chatglm-6B模型训练和推理
qq_41918762的博客
09-02 1485
本篇文章记录下 chatglm-6B 训练和推理过程环境：Ubuntu 20.04 + 1.13.0+cu116。
【官方教程】ChatGLM-6B 微调，最低只需 7GB 显存
AITIME_HY的博客
04-02 9138
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！内容来自：GLM大模型自3月14日开源以来，ChatGLM-6B 模型广受各位开发者关注。截止目前仅 Huggingface 平台已经有 32w+ 下载，Github Star 数量超过11k。为了促进 ChatGLM-6B 模型在各垂直领域的应用，我们现推出基于 P-Tuning v2 的微调方案。P-Tuning v2 将需要微调的参...
ChatGLM-6B 做 LoRA fine tuning训练模型在闻达中使用
qq_26689303的博客
05-25 804
把ChatGLM-6B 做 LoRA fine tuning训练的模型弄到闻达里面用
ChatGLM-6B 部署与 P-Tuning 微调后生成api.py接口
09-17
部署 ChatGLM-6B 并微调至特定应用场景，如P-Tuning（Prompt Tuning），通常需要经过以下步骤： 1. **下载模型库**：首先从官方或提供者的仓库下载包含 ChatGLM-6B 的模型库，比如 Hugging Face的transformers库。 ...
评论 19
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值