chatglm 130B：两个主要的稳定训练方法

已于 2023-07-13 11:43:04 修改
阅读量374 收藏
点赞数
分类专栏： python 自然语言处理 文章标签： chatglm
于 2023-07-13 10:58:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/stay_foolish12/article/details/131697235
版权

在这里插入图片描述
解决方案：Qk转置的时候先用单精度来算，softmax的时候再转成FP16
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
第二个：embeddding 层梯度存在
在这里插入图片描述
在这里插入图片描述
emdedding层的梯度跟其它层的梯度表示范围相差的非常大，然后会导致这个对损失函数的这个缩放有一定的影响，为了解决这个问题，是直接用一种手动调整的方式，把梯度的范围调整到不影响loss的这样的一个区间上
在这里插入图片描述
在这里插入图片描述

Chatglm-130b本地部署教程
lh1234567lh的博客
09-19 3453
记录chatglm-130b的部署过程本地服务器环境：A40 (48G) *4 Ubuntu 20.04.3 LTS。
【AI开源大模型】GLM-130B：开放的中英双语预训练模型
AI天才研究院
06-23 8756
GLM-130B 是一个开源开放的双语（中文和英文）双向稠密模型，拥有 1300 亿个参数，模型架构采用通用语言模型（GLM）。它旨在支持在一台 A100（40G * 8）或V100（32G * 8）服务器上对千亿规模的参数进行推理。双语：同时支持中文和英文。任务表现（英文）： 在 LAMBADA 上优于 GPT-3 175B（+4.0%）、OPT-175B（+5.5%）和 BLOOM-176B（+13.0%），在 MMLU 上略优于GPT-3 175B（+0.9%）。任务表现（中文）
教你10分钟部署chatglm130B大模型，无痛上手
xinwenh的博客
10-07 1378
chatglm大模型私有化部署
LLM：Vicuna 13B 环境配置(7B需要14G显存，13B需要28G显存）
qq_46078469的博客
12-22 1841
上传模型权重——使用阿里云盘上传到数据盘（自己提前。并保存到自己的阿里云盘）
《从GLM-130B到ChatGLM：大模型预训练与微调》笔记
yzy的博客
06-05 948
BF16牺牲了数据精度（表示由10位降到7位），但扩大了数据的表示范围（有研究表明数据表示范围比精度更重要）有个参数服务器，模型参数在参数服务器上进行更新，然后所有节点pull模型参数。alpha取0.1，手动降低embedding层的梯度。在code数据集上训练，增强大模型的逻辑推理能力。GLM和LLaMA中采用RoPE旋转式编码。100B参数的大模型开始出现智能涌现。LLaMA采用BF16训练的。大部分内存占用为激活函数。
ChatGLM：从 GLM-130B 到 GLM-4，一个不断进化的语言模型家族
步子哥的博客
06-20 807
ChatGPT 的横空出世，其强大的能力最初得益于 2022 年 11 月发布的 GPT-3.5 模型 [25]，并在 2023 年 3 月升级到 GPT-4 [27]。OpenAI 表示，GPT-3.5 系列在 GPT-3 的基础上，通过指令微调、监督微调 (SFT) 和/或来自人类反馈的强化学习 (RLHF) [28] 进行了改进。2020 年发布的 GPT-3 [3] 在参数规模上实现了巨大飞跃，从 GPT-1 的 1.17 亿个参数和 GPT-2 的 15 亿个参数，提升至 1750 亿个参数。
Chatglm系列：GLM GLM130B chatglmv1 chatglmv2
fjfdg666的博客
07-16 796
2. 预训练方式1：自编码使用blank infilling的方式训练，即提取spans，并替换成mask，使用自回归的方式预测mask，spans的双向可见性取决于spans的随机排列顺序。其通过mask spans来自回归的预测被mask的span，非span区域是互见的，span之间的可见性取决于span的随机排列顺序。5. 训练集的95%使用blank filling任务训练，分别占30%、70%，训练集的另外5%来自于各个NLP任务指令数据集，通过转化成prompt的方式构建。
各家LLM大模型写作能力大比拼【GPT4、ChatGPT、ChatGLM-6B、ChatGLM-130B、文心一言、讯飞星火、Claude+】《人工智能之神经网络的前世今生和未来发展趋势》为标题
热门推荐
AI天才研究院
06-10 1万+
神经网络是一种类比于人类神经系统的计算模型，由多个神经元按照特定的结构和连接方式组成。神经网络的核心思想是通过模拟人类神经系统的学习和适应能力，从而实现对复杂问题的预测和处理。在神经网络中，通常会使用激活函数来计算神经元的输出值。常用的激活函数包括sigmoid函数、ReLU函数和tanh函数等。此外，神经网络还需要进行反向传播算法来优化权重和偏置值，从而提高预测的准确性。本文主要介绍了神经网络的前世今生和未来发展趋势，深入阐述了神经网络的核心原理和实现方法，并提供了实际操作的指南和示例。
LLMs之ChatGLM：查看AutoModelForCausalLM加载对应LLM模型结构方法—ChatGLM系列模型(ChatGLM-1/ChatGLM-2/ChatGLM-3/ChatGLM-4
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-20 1249
​ LLMs之ChatGLM：ChatGLM-1、ChatGLM-1、ChatGLM-1、ChatGLM-1等网络架构详解及其对比(伪代码的形式) 目录 模型架构比较 三大架构对比 模型架构比较 tokenizer=AutoTokenizer.from_pretrained(model_path,trust_remote_code=True) model=AutoModel.from_pretrained(model_path,trust_remote_code=True).flo
＜论文＞双语预训练模型GLM-130B
学习与分享人工智能技术
01-01 804
本文简要介绍了​论文《GLM-130B: An Open Bilingual Pre-trained Model》及其提出的模型GLM-130B核心要点。
LLM大语言模型-ChatGPT、LLaMA、ChatGLM、文心一言、通义千问
cjnn0710的博客
07-25 2176
LLM大语言模型-ChatGPT、LLaMA、ChatGLM、文心一言、通义千问。
ChatGLM3在windows10上部署与调试
11-24 2356
ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。一、ChatGLM3介绍。二、ChatGLM3下载。
LLMs之GLM-130B/ChatGLM-1：《GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-10 3649
​ LLMs之GLM-130B/ChatGLM：《GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL》翻译与解读 目录 相关文章 《GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL》翻译与解读 ABSTRACT摘要 1、INTRODUCTION引言 2、THE DESIGN CHOICES OF GLM-130B的设计选择 3、THE TRAINING STABILITY OF
机械工程中圆锥滚子轴承载荷分布曲线程序及其动力学模型验证 v1.5
05-30
内容概要：本文介绍了一款用于计算圆锥滚子轴承载荷分布曲线的程序。该程序旨在与圆锥滚子轴承的动力学模型（如有限元模型和自建代码动力学模型）进行对比，以验证模型的有效性和准确性。作者基于《滚动轴承设计原理》一书编写了这一程序，并在代码中加入了详尽的注释，便于读者对照书籍进行学习和推导。此外，文中还提供了部分代码片段，展示了如何计算载荷分布并绘制相应的曲线图。最后，作者分享了编写程序的学习心得，强调了这一工具在轴承设计和优化中的重要性。 适合人群：机械工程领域的研究人员和技术人员，尤其是那些对圆锥滚子轴承的载荷分布和动力学模型感兴趣的从业者。 使用场景及目标：① 验证圆锥滚子轴承动力学模型的有效性；② 提供一个实用的工具，帮助理解和优化圆锥滚子轴承的性能；③ 作为教学资源，辅助学生和初学者学习相关理论和编程技巧。 其他说明：本文不仅提供了具体的编程实现方法，还分享了宝贵的学习经验和心得，鼓励读者在实践中不断探索和创新。
基于OpenCV与QT开发的卡尺工具：工具跟随、自动纠偏、图像处理与形状匹配集成应用
05-30
内容概要：本文介绍了基于OpenCV与Qt开发的智能卡尺工具，该工具集成了图像采集、图像处理和自动纠偏功能，旨在提升工业制造中的测量精度和效率。文中详细阐述了系统的架构与功能，包括工具跟随、找线、找圆、颜色检测、形状匹配等高级功能。此外，还讨论了技术实现细节，如形状匹配与找线找圆算法的封装、Qt界面开发以及海康工业相机的集成。最后，强调了该系统作为学习资料的价值，涵盖计算机视觉、图像处理和Qt开发等方面。 适合人群：从事工业自动化、计算机视觉、图像处理和Qt开发的技术人员，尤其是希望深入了解图像处理技术和实际应用场景的研发人员。 使用场景及目标：适用于需要精确测量和图像处理的工业环境，如制造业生产线的质量检测环节。目标是提高测量精度和效率，减少人为误差。 其他说明：该系统不仅是一个实用的测量工具，也是一个宝贵的学习资源，提供了完整的源码和技术文档，有助于开发者深入理解和掌握相关技术。
MATLAB Simulink中两相交错并联双向DC-DC变换器的双闭环控制仿真及性能分析 · 仿真分析
最新发布
05-30
内容概要：本文详细探讨了两相交错并联双向DC-DC变换器在MATLAB/Simulink环境下的电压电流双闭环控制仿真模型。文中介绍了基于4mos结构的变换器模型，并对其三种控制方式——单电压环开环控制、单电流环闭环控制和电压电流双闭环控制进行了详细的仿真和性能对比。研究表明，双闭环控制在电感电流均流、输出波形平滑度和电压纹波抑制等方面表现最优，显著提高了系统的稳定性和效率。 适合人群：从事电力电子领域的研究人员和技术人员，尤其是对DC-DC变换器及其控制策略感兴趣的读者。 使用场景及目标：适用于需要深入了解DC-DC变换器控制策略的研究人员和技术人员，帮助他们选择最合适的控制方式以提升系统性能。 其他说明：本文提供了丰富的仿真数据和图表，有助于读者直观地理解不同控制方式的效果。此外，附有参考文献，方便读者进一步查阅相关资料。
实训商业源码-PHP项目管理软件源码-毕业设计.zip
05-30
实训商业源码-PHP项目管理软件源码-毕业设计.zip
金融领域基于DeepSeek的股票交易自动化系统：人工智能深度学习量化交易策略与风险管理
05-30
内容概要：本文介绍了DeepSeek这款基于人工智能的量化交易软件实现股票交易自动化的成功案例。DeepSeek通过深度学习算法分析市场数据，预测股票价格走势并自动执行交易。使用前需要注册登录平台、连接交易账户、了解基本操作。接着，用户可以根据个人需求定制交易策略，包括数据分析、策略设计（如移动平均线策略）、回测等步骤。文中还强调了风险管理的重要性，如设置止损止盈点、仓位控制等措施。最后，在完成策略设计和风险管理后，可开启自动化交易，并定期监控交易结果，根据市场变化调整策略。; 适合人群：对股票交易自动化感兴趣的投资者，尤其是希望利用人工智能和深度学习技术优化交易策略的人士。; 使用场景及目标：①帮助用户理解DeepSeek软件的操作流程；②指导用户如何根据个人需求定制交易策略；③强调风险管理在自动化交易中的重要性；④介绍自动化交易的启动及监控方法。; 阅读建议：阅读时应重点关注DeepSeek的工作原理、策略定制的具体步骤以及风险管理的方法，同时结合示例代码进行实践操作，以便更好地掌握股票交易自动化的技巧。
PFC砂样二维直剪实验：代码解析与曲线分析助力岩土工程仿真 - 颗粒流仿真 宝典
05-30
内容概要：本文详细介绍了PFC（Particle Flow Code）案例7关于砂样二维直剪实验的内容。首先展示了代码源文件的关键部分，包括模型初始化、砂样创建、直剪力施加、模拟运行和结果输出。接着，通过对应力-应变曲线的分析，揭示了砂样在不同应变阶段的力学特性及其破坏模式。最后，总结了PFC在岩土工程仿真的应用价值，并对其未来发展进行了展望。 适合人群：从事岩土工程研究和技术开发的专业人士，尤其是对颗粒流仿真感兴趣的科研人员和工程师。 使用场景及目标：适用于需要理解和掌握PFC软件操作及砂样二维直剪实验原理的人群。目标是帮助读者深入了解砂样的力学行为，为实际工程项目提供理论支持和技术指导。 其他说明：本文不仅提供了详细的代码解析，还结合了具体的曲线分析，使读者能够全面理解整个实验过程。同时，文中提到的应力-应变曲线对于评估材料性能至关重要，有助于预测和防止工程事故的发生。
chatglm 130b本地部署
10-24
chatglm 130b是一个开源项目，可能需要一些特定的工具和库才能成功部署。例如，你可能需要安装Python开发环境、TensorFlow和其他机器学习相关的库。 2. 下载chatglm 130b的源代码。你可以从其官方网站或GitHub存储...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值