论文阅读笔记 GLM: General Language Model Pretrainingwith Autoregressive Blank Infilling

最新推荐文章于 2024-10-15 08:00:00 发布
最新推荐文章于 2024-10-15 08:00:00 发布
阅读量261 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 论文阅读 笔记 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_68990480/article/details/131220002
GLM是一个通用语言模型，采用自回归填空架构，表现出优于BERT、XLNet、T5和UniLM的效果。其创新点在于结合注意力mask和2D位置编码。实验表明，GLM在理解和生成任务中效果出色，并能有效跨任务共享参数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

2022-Du-GLM General Language Model Pretraining with Autoregressive Blank Infilling

Abstract

GLM基于自回归填空的通用语言模型，可比预训练自编码模型BERT、自回归模型GPT、编码-解码模型T5效果好。

自回归填空架构

微调GLM

讨论与分析

比较GLM与其他预训练模型的差异

与BERT比较

与XLNet比较

与T5比较

与UniLM比较

实验

预训练

多任务预训练

序列到序列

结论

GLM是通用的预训练架构以供NLunderstanding和generation生成，可由自回归模型解决，填空混合了注意力masks和novel 2D位置编码，实验上GLM的表现更加出色，并且可以有效地在不同任务下共享参数。

附

设置

超参数

SunnyG9818
关注
[论文笔记]GLM
日积月累，天道酬勤
10-02 579
⭐GLM通过将不同类型的下游任务的预训练目标统一为自回归填空目标，得到了一个可以同时用于自然语言理解和自然语言生成的通用框架，还取得了较好的性能。
LLM-202210：GLM【开源双语预训练语言模型】
u013250861的博客
05-08 1034
在本文中，我们介绍了100B规模模型GLM-130B的预训练，包括工程上的努力、模型设计选择、为了效率和稳定性的训练策略、用于降低推理成本的量化。因为人们已经普遍意识到，枚举训练100B规模LLM的所有可能设计在计算资源上无法负担，因此我们不仅程序训练GLM-130B成功的部分，也介绍许多失败的选择来吸取经验。在我们尝试的过程中，我们逐渐意识到相比于训练10B的模型，训练一个100B以上的稠密LLM面临着许多意想不到的技术和工程的挑战，例如预训练效率、稳定性和收敛等。
大语言模型论文阅读—Title: GLM: General Language Model Pretraining with Autoregressive Blank Infilling
qjzcy的博客
05-31 457
b. 创新，性能和工作负载：GLM与BERT、T5和GPT等现有的预训练框架相比，使用相同的模型尺寸和数据，在各种自然语言理解、条件和无条件生成任务中表现出卓越的性能。b. 历史发展：传统的语言模型使用从左到右的解码方式，而GLM的预训练目标则是训练模型预测句子中缺失的单词，从而能更好地预测未来输入的单词序列。a. 研究的理论基础：GLM使用自回归空格填充目标来预训练语言模型，通过变化不同长度和数量的缺失跨度，可以完成有条件或无条件的文本生成预训练。c. 过去的方法：传统的语言模型使用从左到右的解码方式。
GLM General Language Model Pretraining with Autoregressive Blank Infilling
be_humble的博客
05-29 2040
ACL2022 统一预训练模型
GLM: General Language Model Pretraining with Autoregressive Blank Infilling
m0_48923489的博客
05-01 1879
已经有各种类型的预训练架构，包括自编码模型（例如BERT），自回归模型（例如GPT）和编码器-解码器模型（例如T5）。然而，没有一个预训练框架对三个主要类别的所有任务（自然语言理解（NLU），无条件生成和有条件生成）都表现最佳。我们提出了一种基于自回归空白填充的通用语言模型（GLM）来应对这一挑战。GLM通过添加2D位置编码并允许任意顺序预测跨度来改进空白填充预训练，从而在NLU任务上比BERT和T5获得了性能提升。同时，通过变化空白数量和长度，可以针对不同类型的任务对GLM进行预训练。
简读 General Language Model Pretraining with Autoregressive Blank Infilling
weixin_46133588的博客
04-05 657
GLM模型
【课程总结】day23：大模型训练策略（BERT模型与GLM模型）
Deadwalk的专栏
08-15 1100
在前两章的学习中，我们了解到大模型的训练过程，其中Base model(底座大模型)的训练采用了挖空填空的策略。本章我们将结合BERT和GLM两个模型的论文，深入了解在预训练时两者的具体训练策略。
安装Paddle-ChatDocuments大模型
2301_81887304的博客
01-02 2007
利用LangChain和ChatGLM-6B系列模型制作的Webui, 提供基于本地知识的大模型应用.
ChatGLM基座 |《GLM: General Language Model Pretraining with Autoregressive Blank Infilling》
weixin_43646592的博客
05-30 2237
ChatGLM基座 |《GLM: General Language Model Pretraining with Autoregressive Blank Infilling》
速通GLM：《GLM: General Language Model Pretraining with Autoregressive Blank Infilling》全文解读
最新发布
逐梦苍穹的博客
10-15 1230
速通GLM：《GLM: General Language Model Pretraining with Autoregressive Blank Infilling》全文解读
论文研究 - 基于GLM的大鹏湾渔业资源季节性变化分析
06-01
大鹏湾是南中国海（SCS）的典型近海渔业区。 为了了解渔业资源，根据Spring（3月）和3月（1月）的拖网调查数据，分析了中国大鹏湾的种类组成，优势种类组成，标准捕捞量（SCPUE）和渔业资源群落多样性的季节性变化。 2013年夏季（5月），2012年秋季（8月）和冬季（12月）。结果表明，共有113种渔业种类，属于78个类别，50个科目，14个类别，3个类别。 夏季物种最多（61种），其他季节大约56种。 在所有四个季节中，鱼类和甲壳纲动物是优势物种，头足纲动物最少。 SCPUE的高值发生在Spring和秋季，分别达到5.65和5.33。 夏季，SCPUE通常较低，介于0.52-0.96之间。 鱼类生物多样性在夏季最高，而在冬季最低。 在生物多样性中，Shannon-Wiener多样性指数，Margalef多样性指数和Pielou均匀度指数变化趋势相同。 从夏季，Spring，秋季到冬季，它们依次减少。 因此，大鹏湾渔业资源的种类组成，数量和结构存在剧烈的季节性变化。 夏季群落结构和功能高度稳定，而秋季和冬季则较差。 该研究可为南海典型海域渔业中保护和可持续利用渔业资源提供科学依据
GLM 论文阅读
qq_38335659的博客
03-18 1001
已经存在各种类型的预训练体系结构，包括自编码模型（例如BERT）、自回归模型（例如GPT）和编码器-解码器模型（例如T5）。然而，没有一个预训练框架在自然语言理解（NLU）、无条件生成和条件生成这三个主要类别的所有任务中表现最好。论文提出了一种基于自回归空白填充的通用语言模型（GLM，General Language Model）来应对这一挑战。GLM通过添加2D位置编码和允许任意顺序预测跨度来改进空白填充预训练，这导致在NLU任务上的性能优于BERT和T5。
GLM论文阅读
DeerEyre的博客
05-24 463
GLM 是一个用于自然语言理解和生成的通用预训练框架，NLU任务可以公式化为条件生成任务，因此可以通过自回归求解。GLM将不同任务预训练统一为自回归空白填充，使用混合注意力掩码和2D位置编码，优于以前的方法，同时可以有效的共享不同任务的参数。
论文阅读_GLM
谢彦的技术博客
04-09 711
通过在结构上的调整，结合了GPT和BERT类模型的优点，且模型规模和复杂度没有提升。将NLU任务转换成生成任务训练模型，使上下游任务训练方式保持一致。
GLM论文研读
XD的博客
04-02 2137
目前已经发展出多种预训练模型，包括自编码模型（如BERT）、自回归模型（如GPT）和编码器-解码器模型（如T5）。然而，这些模型并未在自然语言理解（NLU）、无条件生成和条件生成这三类任务中都达到最佳表现。为此，我们提出了一个基于自回归式空格填充的通用模型（GLM）以应对这一挑战。GLM通过加入二维位置编码，并允许以任意顺序预测片段，优化了空格填充预训练，这使得其在NLU任务上的性能优于BERT和T5。同时，GLM可以通过调整空白数量和长度，针对不同类型的任务进行预训练。
GLM(一) -- 论文翻译：《GLM: General Language Model Pretraining with Autoregressive Blank Infilling》
12-11 1127
总之，我们得出结论，GLM能够有效地在自然语言理解和生成任务中共享模型参数，并且比独立的BERT、编码-解码器或GPT模型获得更好的性能。
GLM论文精读-自回归填空的通用语言模型
wangwangstone的博客
05-09 5510
本文是对类ChatGPT模型ChatGLM的奠基模型GLM原理的解析，针对GLM： General Language Model Pretraining with Autoregressive Blank Infilling ACL2022进行精读，参考了较多文章进行汇总和带着自己的部分求证与理解。GLM是一个针对自然语言理解和生成的通用的预训练框架。GLM将针对不同类型下游任务的预训练目标统一为了自回归填空，结合了混合的注意力机制和新的二维位置编码。
ChatGLM论文解读
eight_Jessen的博客
01-25 1657
chatGLM论文解读
【LLM系列之GLM】GLM: General Language Model Pretraining with Autoregressive Blank Infilling
yanqianglifei的专栏
05-14 1535
目前，已经有各种类型的预训练架构，包括自编码模型（例如BERT），自回归模型（例如GPT）和编码器-解码器模型（例如T5）。然而，没有一个预训练框架对三个主要类别的所有任务（自然语言理解（NLU），无条件生成和有条件生成）都表现最佳。提出了一种基于自回归空白填充的通用语言模型（GLM）来应对上述三种任务。GLM通过添加2D位置编码并允许任意顺序预测跨度来改进空白填充预训练，从而在NLU任务上比BERT和T5获得了性能提升。通过变化空白数量和长度，可以针对不同类型的任务对GLM进行预训练。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值