Generating wikipedia by summarizing long sequences笔记

最新推荐文章于 2025-02-20 17:54:02 发布
原创 最新推荐文章于 2025-02-20 17:54:02 发布 · 922 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

Generating wikipedia by summarizing long sequences

we introduce a decoder-only architecture that can scalably attend to very long sequences

一、任务定义

我们将英文维基百科视为一个多文档摘要的监督机器学习任务

  • input :维基百科主题(文章标题)、非维基百科参考文档集合组成
  • output：维基百科文章文本

二、相关工作

input output

作者的最大，说明作者可以输入很多句子，生成很多的句子

所以输入长的短的语料都行， 说明适应性最好？

ROUGE-1 recall score

评价的是重复性？？

有的摘要是wiki-clone,即从输入里面直接复制句子。

作者的不是这样，是有转述的。

三、语料库

来源有2：

  • 维基百科文章引用的那些链接。
  • 使用文章部分标题作为查询，从谷歌搜索引擎抓取搜索结果。对于每个查询，我们收集10个结果页面。

四、方法与模型

第一阶段 EXTRACTIVE STAGE

我们首先使用提取摘要粗选输入的一个子集

第二阶段 ABSTRACTIVE STAGE

包括训练一个生成维基百科文本的抽象模型，同时对这种提取进行条件设置。

这个过程是受人类写摘要时的动作的启发

因为人类的总结方式就是:先把重点内容划线，再根据自己的规则总结

模型

LSTM+Attention

Decoder:Transformer+多层attention机制(LMLML)

五、实验结果

在生成维基百科引语的实验中，我们主要从四个方面进行改变:

1.提取方法:SumBasic, TextRank, tf-idf, identity, cheating extractor

2.输入语料库:引文、搜索结果、组合

3.抽象模型输入长度，L:我们尝试100到11000之间的值

4.抽象模型架构:seq2seq-att, T-ED, T-D, T-DMCA

结果：

  • 一般用tf-idf提取
  • 组合的语料最好
  • seq2seq-attention作为基准在这个任务上比Transformer架构做得很差
  • L增大，T-ED结构的性能一直在提高，直到L = 500 - 1000的最佳值，而在L = 2000时无法学习。
  • 会出现自动翻译现象

比较：模板的方式

ROUGE-1应该模板会表现的更好，因为模板不会在input里面出现，摘要的话，只需要从input里面选一些词填入模板形成output，所以output不会与input重合很多，而本文的方法会从input里面挑成段的文本来摘，所以会重复。

疑惑

EXTRACTIVE STAGE的cheating方案是什么

作者是如何与2009年的那篇论文比较的，感觉有点含糊

输入的特殊字符是如何处理的(Figure 4 举的例子里有&符号)

答：embedding

为啥作者16GB的 GPU设备可以训练L = 11000这么大的模型

答：这个设备淘宝4w，应该还挺厉害的

Transformer以及几种attention机制

答：有说法是,Transformer是可以完全替代RNN的

『NLP学习笔记』图解GPT3(How GPT3 Works-Visualizations and Animations)
AI新视界
02-28 464
在科技界我们可以看到很多关于GPT-3的新闻。大型语言模型（比如GPT-3）已经展示出让我们惊讶的性能。虽然对于大多数企业来说，这些模型还不能完全可靠地面向客户，但它们展现出的聪明才智无疑将加速自动化的进程以及智能计算机系统的可能性。让我们揭开GPT-3的神秘面纱，了解它的训练方式和工作原理。
DL之Transformer：《The Illustrated Transformer—图解Transformer》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
08-16 1万+
​ Paper：《The Illustrated Transformer—图解Transformer》翻译与解读 目录 Paper：《The Illustrated Transformer》翻译与解读 1、The Illustrated Transformer 2、A High-Level Look 3、Bringing The Tensors Into The Picture将张量引入图像 4、Now We’re Encoding! 5、The Deco
论文笔记：Generating Wikipedia by Summarizing Long Sequences
xff1994的博客
11-24 2026
简介 问题： multi-document abstractive summarization，where the input is a collection of related documents from which a summary is distilled。 abstractive 与 extractive extractive summarization：抽取文本句子作为 summa...
WikiWrite: Generating Wikipedia Articles Automatically笔记
Tuka2000的博客
07-08 294
1.document embeddings → 获得单词和段落的矢量表示 → 向量算相似度 →判别不同的文章(分类器) 2.两步的整数线性规划(ILP)模型 → summarize & rewrite 一、导论 假设1：类别信息是已知的，文章通常属于多个类别，而这些类别往往不是同等重要的。 文章从多个类别总结 → 问题： 文章不够精练，某些情况下，分类不能提供太多信息 侵犯版权，意味着实体上的内容不能直接复制到维基百科 连贯性问题 我们使用段落向量模型(Le and Mikolov,
主题论文总结3：维基百科生成任务（持续更新ing...）
诸神缄默不语的博客
05-17 761
本文总结了维基百科生成任务（多文档摘要）的文献。
Google综述：细数Transformer模型的17大高效变种
机器学习算法那些事
03-26 1275
作者| 黄浴来源 | 知乎在NLP领域transformer已经是成功地取代了RNN（LSTM/GRU），在CV领域也出现了应用，比如目标检测和图像加注，还有RL领域。这是一篇谷歌202...
一文搞懂！Transformer架构的三大变体
老皮的博客
02-20 1369
Transformer架构自2017年诞生以来，彻底改变了自然语言处理（NLP）领域。其独特的架构设计衍生出了三大类模型：仅编码器架构、仅解码器架构和编码器-解码器架构。每种架构都有其独特的优势和应用场景，本文将详细解析这三大类架构的特点，并介绍每类架构中的经典模型，带你深入了解Transformer架构的强大之处。Transformer模型自2017年提出以来，已经成为自然语言处理（NLP）领域的核心技术之一。
Transformer模型技术长文
吴建明wujianming_110117
04-21 2135
Transformer模型技术长文 可高效处理长文本的模型Longformer、和堪称“升级版”Transformer的BigBird模型，到底有什么区别？ Transformer的其他各种变体（X-former）到底都长什么样、又有哪些新应用？ 由于Transformer模型的发展速度日新月异，一天一个样，哪怕是隔段时间回来研究，模型可能也已经多了不少。 Transformer模型，是谷歌在2017年推出的NLP经典模型（Bert就是用的Transformer）。 本文参考链接 https://mp.w
datawhale 8月学习——NLP之Transformers：BERT和GPT
qq_40990057的博客
08-20 2212
前情回顾 1.attention和transformers 结论速递 由于没有很多的NLP知识背景，跳开NLP框架来学习BERT和GPT的时候，有许多不解和迷惑的地方。在本次学习中，我参考了一些相关的NLP博客文章，试图为自己构建一个NLP的知识体系。对于本次学习，其实核心的需要理解NLP中的预训练+微调模式，以及一类重要的任务——语言建模。 对于BERT模型，教程里面的逻辑并非层层展开的，这边简单小结一下BERT的主要关注点： 首先BERT应用是预训练+微调模式，这也是NLP常用的模式； BERT模型本
NLP 的巨人肩膀（下）：从 CoVe 到 BERT
Paper weekly
12-17 1849
我们都知道，牛顿说过一句名言"If I have seen further, it is by standing on the shoulders of giants"....
图解Transformer
热门推荐
夏目的博客
12-12 7万+
原文标题：The Illustrated Transformer 原文链接：https://jalammar.github.io/illustrated-transformer/ 论文地址：https://arxiv.org/abs/1706.03762 前言 Transformer在Goole的一篇论文Attention is All You Need被提出，为了方便实现调...
春节囤货清单 | 15篇近期值得读的AI论文
Paper weekly
02-08 1381
在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。点击本文底部的「阅读原文」即刻加入社区，查看更多最新论文推荐。这是 PaperDaily 的第 42 篇文章[ 自然语言处理 ]Deep Learning for Sentiment Analysis : A Survey@xwzhong 推
code2seq: Generating Sequences from Structured Representations of Code笔记
想写就写咯
12-29 3075
文章目录前言OverviewModel ArchitectureREPRESENTING CODE AS AST PATHSEncoderABLATION STUDY 前言 这篇文章源码还未公布，方法有点编译原理的味道，这种结合语法结构的思想很好，能用编译原理的知识我觉得确实会有帮助，就是具体方法或许可以优化。 论文地址：https://arxiv.org/abs/1808.01400 作者地址，...
transformer论文_Transformer相关论文阅读笔记
weixin_29428137的博客
02-02 3833
最近在使用Transformer模型跑任务，正好加入了同学组织的一个暑期文献打卡群，于是决定假期每天读一篇文献，主要关于近两年对于Transformer模型应用的论文。阅读论文的笔记分享给大家～7月18日R-transformer : Recurrent neural network enhanced transformerR-Transformer: Recurrent Neural Netwo...
完全图解GPT-2：看完这篇就够了（一）
03-28 4522
在过去的一年中，BERT、Transformer XL、XLNet 等大型自然语言处理模型轮番在各大自然语言处理任务排行榜上刷新最佳纪录，可谓你方唱罢我登场。其中，GPT-2 由于其稳定、优异的性能吸引了业界的关注 https://zhuanlan.zhihu.com/p/79714797 https://jalammar.github.io/illustrated-gpt2/ 选自http...
「自然语言处理(NLP)」自然语言生成(NLG)论文整理(一)
yinizhilianlove的博客
03-01 3457
来源: AINLPer 微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2020-02-27 引言： 下面是作者整理的关于自然语言生成（NLG）相关的论文文章，能找到源码的作者也直接贴出来了，如果你对NLG感兴趣或者也在找一些相关的文章，希望能够帮助你~~ 如果你一篇篇的论文下载不方便，你也可以关注 AINLPer 回复：NLG001 进行打包下载。 ...
Big Bird: Transformers for Longer Sequences论文详解
习惯与规则决定命运
09-20 4031
文章目录Big Bird大鸟模型论文要解决问题解决方法随机注意力固定窗口注意力全局注意力复杂度分析实验三种注意力的消融实验。语言模型对比roberta、longformerQA问题中对比longformer长文本分类任务文章摘要任务基因语言模型实验 Big Bird大鸟模型 论文要解决问题 如下图，Transformer模型中，注意力中Q、K点乘的内存、速度是序列长度的平方复杂度。长文本时，这个复杂度是不可接受的。一般做法是切成512的块，这种做法损失了块与块之间的信息，例如QA问题中Q必须看到所有A才行
Big Bird: Transformers for Longer Sequences（2020-7-28）
weixin_49346755的博客
10-11 514
基于Transformers 的模型，例如BERT，在各种自然语言处理(NLP)任务中都取得了巨大的成功，因此成为现代NLP研究的主体。它们的多功能性和鲁棒性是被广泛的主要原因。transformer的关键创新是引入了一种self-attention机制，该机制可以针对输入序列的每个token进行并行评估，从而消除了循环神经网络(如LSTM)中的顺序依赖性。这种并行性使Transformers能够充分利用现代SIMD硬件加速器(如GPU/TPU)的全部功能，从而有助于在规模空前的数据集上训练NLP模型。
[Big Bird]论文解读：Big Bird: Transformers for Longer Sequences
bigcrab的博客
12-17 1819
结合的模型毫无疑问是NLP领域最热的模型，但是普通的注意力机制收到了平方次计算量的限制，为了解决这个问题，这里论文推出了BigBird，去结合把平方次计算变为线性计算；Big Bird保留了完全注意力机制的特性，同时论文还解释了全局token的用处，例如bert中的CLS，在中可以对整体序列进行交互，利用这个模型可以在保持硬件不发生改变的情况下处理比原来高8x的序列长度，像QA任务和任务这些长序列任务可以在Big Bird中得到显著的改善；并不能够记忆sequence。
Generating Smooth Pose Sequences for Diverse Human Motion Prediction
最新发布
02-27
### 生成平滑姿态序列的方法 为了实现多样的人类动作预测，生成平滑的姿态序列是一个重要的研究方向。通过对抗学习方法可以有效地从单幅图像中的2D姿态估计出3D姿态[^1]。然而，在实际应用中，连续的动作预测不仅依赖于静态姿态的准确性，还需要考虑时间上的连贯性和自然流畅度。 #### 使用循环神经网络（RNN） 一种常用的技术是采用循环神经网络（Recurrent Neural Networks, RNN），特别是长短期记忆网络（LSTM）或门控循环单元（GRU）。这些模型能够捕捉时间序列数据中的长期依赖关系，从而有助于生成更加真实和平滑的人类运动轨迹。对于每一个时刻t的状态ht，LSTM会基于前一状态h(t−1)以及当前输入xt来更新自身的隐藏层激活值： ```python import torch.nn as nn class LSTMModel(nn.Module): def __init__(input_size, hidden_size, num_layers, output_size): super(LSTMModel, self).__init__() self.lstm = nn.LSTM(input_size=input_size, hidden_size=hidden_size, num_layers=num_layers, batch_first=True) self.fc = nn.Linear(hidden_size, output_size) def forward(x): out, _ = lstm(x) out = fc(out[:, -1, :]) return out ``` 这种方法允许系统理解过去的信息并据此做出合理的未来预测，进而提高整个动作序列的一致性与合理性[^2]。 #### 结合变分自编码器(VAEs) 另一种有效的方式是在框架内引入变分自编码器（Variational Autoencoders,Vaes)，它可以在低维潜在空间里表示复杂的高维观测分布，并且通过对这个紧凑表征施加正则化约束使得重建后的样本具有更高的质量。VAEs还可以帮助解决由于训练集中某些特定模式过度拟合而导致泛化能力下降的问题。 当我们将Vae应用于人体姿态估计任务时，可以通过优化目标函数最小化重构误差的同时最大化证据下界(ELBO),即: \[ \text{minimize}~\mathbb{E}_{q(z|x)}[\log p_\theta(x|z)]-\beta KL[q(z|x)||p(z)] \] 其中\( q(z | x)\) 是近似后验概率； \(p_{\theta}(x | z)\) 表示解码过程;而最后一项则是用来控制先验分布\( p(z)\) 和近似后验之间的差异程度。\(\beta\) 参数用于调整两者之间的重要性权衡. 这种策略不仅可以促进更丰富的多样性表达而且还能确保所得到的结果具备良好的视觉效果和物理可行性. #### 应用混合专家(MoE)机制 最后值得一提的是利用Mixture-of-Experts (MoE)结构也可以显著改善最终输出的质量.MOE是一种集成学习技术,其核心思想在于根据不同情境下的需求动态选择最适合处理该情况子模块来进行计算.具体到本场景中就是说我们可以设计多个专门针对不同类型活动特征的小型网络作为expert成员,并通过gating function决定何时调用哪一个experts组合起来完成整体的任务执行流程. 这样做既保留了各个领域专精的优势又克服单一架构难以兼顾全面性的局限,因此非常适合用来构建高质量且多样化的视频级或多帧级别上的人体行为模拟平台.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值