GPT1解读：Improving Language Understanding by Generative Pre-Training

原创 已于 2023-05-19 22:56:03 修改 · 995 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #机器学习 #python

于 2023-05-19 22:54:35 首次发布

自然语言处理NLP是当代人工智能的关键领域，包含文本识别、智能问答等多个方向任务，通过监督学习方式一般需要大量带标签数据，而对某些特定任务，获取带标签数据成本非常高。GPT通过大量的未标记文本数据来学习一个通用预训练（generative pre-training）的语言模型，并通过语言模型可以学习到内在语义信息，之后针对特定任务只需要用少量的标签数据进行fine-tuning，而不需要对模型结构进行较大改变。其通过一系列实验表明，通用预训练（generative pre-training）的语言模型确实可以学习到潜在语义信息，并在多个不同NLP任务中都取得非常好的效果。

半监督的学习方法在NLP领域并不少见，早期通过无监督word2vec学习词的embedding向量，然后输入给特定任务的模型进行监督训练，但都必须要求足够的标签数据。GPT想要通过通用预训练（generative pre-training）的语言模型来学习到更为深层次的语义信息，为达成目标，这里包含了两个问题：如何去学习更为深层次的语义信息表达？所学习的语义信息能否有效的帮助目标任务？

GPT采用了两阶段的训练方式：通过大量未标记的文本数据进行非监督学习，再用结合特定任务用少量标记数据进行fine-tuning。

1. 训练目标

A. 非监督的预训练

通用预训练（generative pre-training）语言模型的目标是预测下一文本的概率，假设存在一段训练文本{u1,u2,...,un}，其中u表示文本序列中的词元，预训练的损失函数为：

L_1 = \sum_i log(P(u_i|u_{i-1},u_{i-2},...,u_{i-k}; \Theta))

B. 监督

最低0.47元/天 解锁文章
tostq
关注
【算法详解】GPT-1模型架构与训练方法详解
weixin_60734652的博客
08-24 6611
今天给大家解读一下Improving Language Understanding byGenerative Pre-Training这篇文章，也就是俗称的GPT-1，是GPT语言模型公诸于世的最初版本。谈谈我的个人理解，如有疏漏，欢迎指正！GPT这个名字，是后人给这个模型起的，原论文中并没有将他们的模型成为GPT。对于这个名字，我看网上主要有两种说法，一说取自Generative Pre-Training，即生成式预训练的首字母缩写，代表这个模型的主要特点，一说取自Generative Pre-
GPT|《Improving language understanding by generative pre-training 》论文阅读笔记
Lys6142021的博客
06-16 1059
GPT通过在各种未标注文本语料库上对语言模型进行，然后在每个特定任务上进行，可以在使用大量数据集进行训练下，迁移到大多数NLP任务之上。GPT是基于Transformer模型建立起来的，因为相比于LSTM其具有更好的并行存储计算能力，并能记忆更长的上下文相关信息，并采用纯解码器的结构构造。
Chatgpt论文笔记——GPT1详细解读与可运行的代码
qq_37668436的博客
03-24 5689
GPT1: 提出了大规模数据上无监督预训练然后在目标任务上有监督finetune的范式。
【论文精读】GPT1
weixin_44934783的博客
02-10 1829
GPT1
论文精读--GPT1
m0_73202283的博客
02-23 2566
自然语言理解包括各种各样的任务，如文本蕴涵、问题回答、语义相似性评估和文档分类。尽管大量未标记的文本语料库丰富，但用于学习这些特定任务的标记数据很少，这使得判别训练模型难以充分执行。我们证明，通过在不同的未标记文本语料库上对语言模型进行生成式预训练，然后对每个特定任务进行判别性微调，可以实现这些任务的巨大收益。与以前的方法相反，我们在微调期间利用任务感知输入转换来实现有效的传输，同时需要对模型体系结构进行最小的更改。我们在自然语言理解的广泛基准上证明了我们的方法的有效性。
[GPT-1]论文实现：Improving Language Understanding by Generative Pre-Training
bigcrab的博客
12-03 1511
模型结构很简单，但是在实现过程中出现了和Bert一样的问题；
GPT论文阅读：Improving Language Understanding by Generative Pre-Training
mistydou的博客
09-24 507
abstract在未标记文本语料库上对语言模型进行生成式预训练，然后对每个特定任务进行区分性微调。method训练过程包括两个阶段。第一阶段是在大型文本语料库上进行自监督训练。第二阶段在带标签数据进行微调。
大模型论文：Improving Language Understanding by Generative Pre-Training
apple_50860766的博客
04-07 769
自然语言理解包括各种各样的任务，如文本蕴涵、问题回答、语义相似性评估和文档分类。尽管大量未标记的文本语料库丰富，但用于学习这些特定任务的标记数据很少，这使得判别训练模型难以充分执行。我们证明，通过在不同的未标记文本语料库上对语言模型进行生成式预训练，然后对每个特定任务进行判别性微调，可以实现这些任务的巨大收益。与以前的方法相反，我们在微调期间利用任务感知输入转换来实现有效的传输，同时需要对模型体系结构进行最小的更改。我们在自然语言理解的广泛基准上证明了我们的方法的有效性。
GPT1(Improving Language Understanding by Generative Pre-Training)论文阅读
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
06-18 687
在GPT(Generative pre-trained transformer)大火的今天回去重读了GPT在18年的开山之作【[Improving Language Understanding by Generative Pre-Training]】
GPT1理论详解
m0_64148253的博客
07-28 915
GPT1是OpenAI公司在2018年6月发表的一篇论文，在Transformer论文发表的一年后。GPT1论文的全称为《Improving Language Understanding byGenerativePre-Training》，通过使用生成式的预训练提高语言的理解能力。接下来对GPT1进行详细介绍。GPT1作为OpenAI推出的第一代生成式预训练模型，在NLP领域取得了显著的成果，但是其在预训练时所使用的数据集规模不是很大，数据存在局限性，导致其泛化性有限。
GPT-1 论文阅读笔记
beingstrong的博客
04-02 956
GPT1论文阅读记录
GPT-1、GPT-2和GPT-3模型详解及其进化之路
皮皮blog
09-22 6381
原文[OpenAI gpt模型基于Transformer的语言模型，其利用Transformer的decoder结构来进行单向语言模型的训练。GPT的核心思想是先通过无标签的文本去训练生成语言模型，再根据具体的NLP任务（如文本蕴涵、QA、文本分类等），来通过有标签的数据对模型进行fine-tuning。文中所用的网络结构如下：​。
【大模型】GPT-1
Dong_ZH的博客
06-21 4135
在自然语言处理任务中，存在大量无标签的语料数据，而有标签的语料数据相对较少，因此基于有监督训练的模型性能的提升大大受限于数据集。为了解决这个问题，GPT-1的作者们提出先在大量的无标签数据上训练一个语言模型，然后再在下游具体任务的有标签数据集上进行Fine-Turn。GPT-1：使用通用的预训练提升自然语言的理解能力，使用没有标号的文本来预训练模型，最后在子任务上微调模型。
GPT 1-2 理解
bbbeoy的专栏
09-17 238
https://blog.youkuaiyun.com/linchuhai/article/details/97274228 https://www.cnblogs.com/yifanrensheng/p/13167796.html https://baijiahao.baidu.com/s?id=1652093322137148754&wfr=spider&for=pc https://baijiahao.baidu.com/s?id=1652045261459975418&wfr=sp
深度学习：GPT1、GPT2、GPT-3
Hanze的博客
03-22 3758
保存之前阶段训练的参数，在上述结构的基础上，去掉softmax层，然后加上一层全连接层与特定任务的softmax，然后用有标签的数据集训练，在这期间，半监督学习的参数可以选择处于冻结状态，然后只更新新的全连接层参数。GPT-1主要针对的是生成型NLP任务，如文本生成、机器翻译、对话系统等。GPT-2在初代的模型架构上变得更大了，参数量达到了1.5B，数据集改为百万级别的WebText，Bert当时最大的参数数量为0.34B，但是作者发现模型架构与数据集都扩大的情况下，与同时期的Bert的优势并不大。
GPT系列解读--GPT1
qq_52353238的博客
03-21 3807
GPT-1采用了Transformer架构，并使用了大规模的无监督预训练方法，能够生成连贯的自然语言文本。具体来说，GPT-1使用了一个基于Transformer解码器的自回归语言模型（auto-regressive language model），通过最大化文本序列的概率，预测下一个单词。其中，GPT-1在单个英文句子的语言模型任务上表现最好，达到了0.99的困惑度（perplexity），超过了之前的SOTA模型。GPT-1的成功为基于预训练的自然语言处理模型的发展提供了新的思路和方法。
GPT语言模型
m0_67084346的博客
12-01 2998
GPT语言模型
大语言模型架构设计
liguandong
05-21 1863
对大模型进行改造，比如T5的预训练目标是MLM，不是一个很好的生成模型，把目标改成PLM或FLM，继续训练，和微调不同，再次训练用的数据不是下游数据，而是额外的无监督文本数据。masked language modeling，MLM，训练bert时的完形填空，遮盖住文本中一部分token，让模型通过上下文猜测遮盖部分的token，可以像T5一样将任务改造成text2text形式，input和target都是一段文本，可以适配ND和ED，如果将input和target拼接起来，就可以适配CD。
自然语言处理基础知识入门(六) GPT模型详解
WANGYANG的博客
06-01 1351
在之前的章节中，深入探究了预训练ELMo模型的架构与实现原理。通过采用双向LSTM架构在大规模文本数据上进行预训练，ELMo模型成功地为预训练模型时代的开启奠定了基础。继ELMo之后，OpenAI基于transformer架构发布了GPT（Generative Pre-training Transformer）模型，该模型同样采用预训练策略，进一步推动了自然语言处理领域的语言模型发展。在本章节，以GPT模型为起点，初步的学习ChatGPT等基于对话的AI模型背后的原理与技术演化。
Improving Language Understanding by Generative Pre-Training
最新发布
10-09
在自然语言处理（NLP）中，从原始文本中有效学习的能力对于减轻对监督学习的依赖至关重要。大多数深度学习方法需要大量手动标记数据，这限制了它们在许多缺乏注释资源领域的适用性。在这种情况下，能够利用未标记数据中语言信息的模型，为收集更多注释提供了有价值的替代方案，因为收集注释既耗时又昂贵。此外，即便有大量监督的情况，以无监督方式学习良好的表示也能显著提高性能，预训练的单词嵌入被广泛使用以提高一系列 NLP 任务的性能就是例证 [^2]。 然而，利用未标记文本中的单词级信息面临挑战。一方面，目前不清楚哪种优化目标在学习对迁移有用的文本表示方面最有效，近期研究涉及语言建模、机器翻译和话语连贯性等多种目标，每种方法在不同任务上表现各异；另一方面，对于将学习到的表征转移到目标任务的最有效方法也未达成共识，现有技术包括对模型架构进行特定任务更改、使用复杂学习方案和添加辅助学习目标的组合。这些不确定性给开发有效的语言处理半监督学习方法带来困难 [^2]。 其他方法使用预训练的语言或机器翻译模型的表征信息作为特定任务有监督学习训练模型的辅助特征，其侧重点仍在特定任务的从 0 开始的有监督式训练，涉及每个单独目标任务大量新参数的处理。而 GPT - 1 只需要对模型体系结构进行最小的更改 [^3]。 ```python # 这里简单示意一个可能与语言理解训练相关的伪代码思路 # 假设我们有一个语言模型类 class LanguageModel: def __init__(self): # 初始化模型参数 self.params = {} def pretrain(self, unlabeled_data): # 进行生成式预训练 # 这里只是简单示意，实际要根据具体算法实现 for data in unlabeled_data: # 进行一些训练操作 pass def finetune(self, labeled_data): # 针对特定任务进行微调 for data in labeled_data: # 进行微调操作 pass # 创建模型实例 model = LanguageModel() # 假设我们有未标记数据和标记数据 unlabeled_data = [] labeled_data = [] # 进行预训练 model.pretrain(unlabeled_data) # 进行微调 model.finetune(labeled_data) ```
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值