PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization

最新推荐文章于 2025-03-20 14:36:59 发布
原创 最新推荐文章于 2025-03-20 14:36:59 发布 · 2.3k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

谷歌推出的PEGASUS模型，采用新型预训练目标GSG，针对文本摘要任务，实现在多个数据集上达到最佳效果，尤其在低资源情况下表现突出。

就在这几天微软发布了一款参数量多达170亿的史上最大的自然语言生成模型 Turing-NLG，在多种语言模型基准上均实现了SOTA。


在这里插入图片描述

值得关注的是Turing-NLG在文本摘要上的表现，由于它已经非常善于理解文本了，因此不需要太多的配对数据就可以实现比已有模型更好的效果。


在这里插入图片描述

从Facebook的BART、Google的PEGASUS到今天Microsoft的Truing-NLG，越来越大的预训练数据集和越来越大的Transformer模型容量，以及新的预训练方法对于预训练模型在各项自然语言处理任务上效果的提升十分明显，同时也更加证明了有钱真好呀~

source: Turing-NLG: A 17-billion-parameter language model by Microsoft

PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization


在这里插入图片描述

PEGASUS（Pre-training with Extracted Gap-sentences for
Abstractive Summarization）是Google Brain和帝国理工提出的一种新的自动文本摘要模型。PEGASUS同样基于Transformer进行模型构建，并针对于文本摘要任务本身的特定提出了新的自监督式的预训练目标GSG（Gap Sentences Generation），最后通过实验证明了在12个文本摘要数据集上均实现了当时的SOTA，而且作者指出在低资源的情形

最低0.47元/天 解锁文章
PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization论文笔记
weixin_46830886的博客
11-17 564
阅读动机：dst和gsg有极大的关联性 pegasus预训练模型任务：将input的document内重要的句子mask掉，output是由留下的句子生成的新句子，有点类似于extractive summary extractive summary：仅仅从input里面复制信息 abstractive summary：会生成新的词语（好的abstractive summary不仅包含了基本的input信息 而且语句流畅度好） 早前的工作基本都集中在如何做出高质量的数据集，几乎没有对模型的系统评估工作。
PEGASUS模型介绍
xiaziqiqi的博客
12-30 2003
主要是用于介绍PEGASUS模型，而且参考了部分知乎以及原论文
【论文阅读】PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization
weixin_38506372的博客
03-14 481
谷歌 ICML 2020论文地址：https://arxiv.org/abs/1912.08777PEGASUS是谷歌提出的一个专门针对摘要生成的预训练模型，在多种领域的摘要数据集上相比于其他通用预训练模型，都取得了最优的效果。
PEGASUS
Facico的博客
10-05 639
PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization 针对文本摘要任务本身提出了新的监督式的预训练目标GSG 在12个文本摘要数据集实现了SOTA(state-of-the-art) 在低资源的情形下能取得不错的效果 GSG(Gap Sentence Generation) GSG做和Bert类似的处理，将mask信息的层级提高到句子（就是每次mask掉几个句子），为了更接近生成式摘要，对于ma
PEGASUS模型：序列抽象汇总的预训练突破
论文标题为“PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization”，作者包括Jingqing Zhang、Yao Zhao、Mohammad Saleh和Peter J. Liu。 使用Python编程语言是该项目的一大特点。...
T5 PEGASUS：开源一个中文生成式预训练模型
Paper weekly
03-15 3817
©PaperWeekly 原创 ·作者｜苏剑林单位｜追一科技研究方向｜NLP、神经网络去年在文章那个屠榜的T5模型，现在可以在中文上玩玩了中我们介绍了 Google 的多国语言版 T5 ...
【NLP】PEGASUS：抽象文本摘要模型
sikh_0529的博客
05-25 4442
中文Pegasus模型是一种基于Transformer的预训练模型，用于文本生成任务，如摘要生成和文章重写。Pegasus模型最初由Google开发，是一种通用文本生成模型，但目前也有一些研究团队在中文NLP领域上对其进行了改进和调整。中文Pegasus模型的主要结构与英文Pegasus相似，包括一个编码器和一个解码器，其中编码器将输入的文本编码成向量表示，解码器则将编码后的信息解码为所需的输出文本。
小米 pegasus_使用Google的Pegasus库生成摘要
weixin_26752765的博客
09-04 765
小米 pegasusPEGASUS stands for Pre-training with Extracted Gap-sentences for Abstractive SUmmarization Sequence-to-sequence models. It uses self-supervised objective Gap Sentences Generation (GSG) to tr...
飞马（PEGASUS）：Google最新的摘要汇总模型
iqifenxia的博客
12-03 1877
　　Google AI如何生成人为水平的摘要 　　 　　> Photo by Sudan Ouyang on Unsplash 　　摘要能力可以评估一个人对给定的一段文字或某种语言的理解。 　　也许一个人智力的最好考验是他做总结的能力 　　— Lytton Strachey 　　因此，总结是NLP中一个相当重要的概念。 在本文中，我已经介绍了整个摘要和抽象摘要以及使用Transformers的实现。 如果您有兴趣了解此任务的简要背景，请考虑阅读该文档。 PEGASUS模型是在Tra..
自然语言处理｜深入解析 PEGASUS：从原理到实践
最新发布
紫雾凌寒
03-20 1805
在信息爆炸的时代，互联网上的文本数据以极快的速度增长。无论是新闻资讯、学术论文、社交媒体动态，还是各类报告文档，我们每天接触到的文字信息量巨大。如何快速、准确地提取关键内容成为一项重要任务。文本摘要技术通过将长篇文本浓缩为简短的核心信息摘要，大幅提升了信息处理效率。
Google天马（PEGASUS）模型
Airstudy的博客
07-26 4374
前言：谷歌研究人员提出了PEGASUS模型，用于提取文章摘要。今天就对PEGASUS模型做简单介绍。 论文 源码 预训练目标 研究人员假设，预训练目标越接近下游任务，那么就能更快更好的微调效果。为此，他们设定下游语言任务为“提取文本摘要”，而预训练目标为“生成间隙句子”（Gap Sentences Generation）。 Gap Sentences Generation（GSG） 研究人员提出了一个自监督的预训练来生成文本摘要, 重点在于预训练的时候的目标是把生成间隙句子（GSG）， 所以在提取文本摘要的
ICML 2020论文笔记：地表最强文本摘要生成模型PEGASUS(天马)
ljp1919的专栏
07-12 7057
这里写自定义目录标题背景摘要介绍模型预训练目标GSG预训练语料和下游任务实验结果消融研究Larger模型效果处理低资源数据集人工评测总结： Google发布天马-地表最强文本摘要生成模型,打败人类，我只要1000个样本) 背景 机构：Google Research 作者：Jingqing Zhang, Yao Zhao, Mohammad Saleh, Peter J. Liu 论文地址：https://arxiv.org/abs/1912.08777 收录会议：ICML 2020 论文代码：https:/
2020.9.12论文笔记
weixin_43793544的博客
09-13 391
2020.9.12论文笔记PEGASUS:Pre-training with Extracted Gap-sentences for Abstractive SummarizationDiscriminative Adversarial Search for Abstractive Summarization 两篇来自ICML 2020的关于Abstractive Summarization的论文 PEGASUS:Pre-training with Extracted Gap-sentences for A
微软发布史上最大语言模型Turing-NLG：170亿参数量
机器学习算法与Python学习
02-15 1997
本文转自"雷锋网"英伟达的“威震天”现在只能屈居第二了。 文 | 周蕾微软AI＆Research今天分享了有史以来最大的基于Transformer架构的语言生成模型T...
ICML 2020 | Google提出最强生成式摘要预训练模型——天马
Paper weekly
06-21 1737
©PaperWeekly 原创 ·作者｜蔡杰学校｜北京大学硕士生研究方向｜QA论文标题：PEGASUS: Pre-training with Extracted Gap-sentenc...
T5 PEGASUS：开源一个中文生成式预训练模型-摘要生成
张伟的专栏
02-03 4841
T5 PEGASUS：开源一个中文生成式预训练模型
No.44-VulnHub-Pegasus: 1-Walkthrough渗透学习
qq_34801745的博客
02-06 926
** VulnHub-Pegasus: 1-Walkthrough ** 靶机地址：https://www.vulnhub.com/entry/pegasus-1,109/ 靶机难度：中级（CTF） 靶机发布日期：2014年12月16日 靶机描述： 欢迎使用我的第一个boot2root VM！受到各种CTF活动的启发，以及我在过去几个月中学到的一些很棒的概念。 交战规则很简单-找到一条路，将您的特...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值