[ACL2018]Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting

最新推荐文章于 2022-04-10 16:57:26 发布
原创 最新推荐文章于 2022-04-10 16:57:26 发布 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#summarization #RL

本文深入探讨了Policy Gradient算法及Coverage Mechanism、Beam Search等技术在Diverse Decoding Algorithm中的应用，旨在帮助读者理解这些核心概念，并通过源码分析加深印象。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这篇文章很有意思，尽管我现在还不是理解的很透彻，先把里面涉及到的概念理解清楚，再看一遍源码再做笔记。
policy gradient:
coverage mechanism
beam search
tri-gram avoidance
diverse decoding algorithm

（八十四）：A Hierarchical Network for Abstractive Meeting Summarization with Cross-Domain Pretraining
Wangzx的博客
03-31 1068
（八十四）：A Hierarchical Network for Abstractive Meeting Summarization with Cross-Domain PretrainingAbstract1. Introduction2. Problem Formulation3. Method3.1 Encoder3.1.1 Role Vector3.1.2 Hierarchical Transformer3.2 Decoder3.3 Pretraining4. Experiment5. Evalua
A Deep Reinforced Model for Abstractive Summarization
youngair的博客
10-21 7273
自动文本摘要主要分成抽取式和生成式，抽取式主要是从原文中找到和主题相关的句子或短语，然后组合成摘要，有点类似“复制粘贴”的模式；而生成式主要是在理解了原文的基础上，对原文进行抽象，然后用语义相近的词或者不同表述方法进行文本摘要，更符合人类的形式。但是长文本生成摘要过程中，经常出现不连贯不相关内容、重复语句等问题，基于这些问题，论文中使用了很多trick，包括融合了改进的attention机制和强化学习的训练方法，结果
2018-ACL-Fast Abstractive Summ with RL Selected sentence Rewriting
易火九天的博客
07-26 985
Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting 文章目录Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting1 概述2 模型2.1 句子抽取2.1.1 生成句子语义表述2.1.2 选择句子2.2 对句子进行...
Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting
Forlogenの解忧杂货铺
11-20 1593
ACL 2018 Fast Abstractive SUmmarization with Reinforce-Selected Sentence Rewriting github 背景 对于文档摘要任务来说，整体上可以将任务解耦为两部分： 选出显著性较高的K个句子（抽取式到此结束） 对于选择出的句子进行重写（抽象式） 因此对于抽象式方法来说，以上的两步中每一步的效果优劣都对于整体的效果有着显著...
Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting论文阅读笔记
sdauguanweihong的博客
01-17 788
论文链接 https://arxiv.org/pdf/1805.11080.pdf Idea: 这篇文章的主要想法是把抽取式摘要和生成式摘要结合起来，首先训练一个抽取模型选择出重要句子，然后训练一个生成模型，在抽取出的句子的基础上重写得到最终的摘要，由于总的训练不可微分，所以这里利用强化学习，策略梯度来进行训练。相比其他的baseline，这个模型的速度很快。 method extractor 抽取模型如上所示，首先用CNN对每个句子编码得到rjr_jrj​,然后再用一个双向LSTM编码，用来捕获全局的上
Abstractive Document Summarization with a Graph-Based Attentional Neural Model
FrankYu
12-19 1075
这篇文章的阅读笔记，很详细
[转]深度学习论文推荐
09-27 925
Startups 机器学习、深度学习、计算机视觉、大数据创业公司 - Startups in AI Deep Reinforcement Learning David Silver. "Tutorial: Deep Reinforcement Learning." ICML 2016. David Silver’s course. "Reinforcement Learning"....
Abstractive Dialogue Summarization With Sentence-Gated Modeling Optimized by Dialogue Acts
m0_64165343的博客
04-10 3127
中文标题：基于对话行为优化的句子门控生成式摘要模型 论文链接：​​​​​​https://arxiv.org/pdf/1809.05715.pdf 发表：2018 IEEE 组织
Self-Attention Guided Copy Mechanism for Abstractive Summarization---ACL 2020
github_37228709的博客
08-29 1192
仅仅是记录一下最近阅读的论文，前段时间也没怎么记录，有些论文看过也忘记了！ 这篇论文是文本摘要CNN/DM数据集上达到了SOTA的效果，发表于ACL 2020. 按照文章整体脉络整理信息，细节内容后面看有时间在仔细阅读整理一下吧。 论文链接：Self-Attention Guided Copy Mechanism for Abstractive Summarization 1. 论文提出背景 复制模块是最近抽象式摘要模型里面广泛使用的模块，这个模块使得decoder可以从源文档中提取单词作为摘要。
Abstractive Text Summarization using Sequence-to-sequence RNNs and Beyond
真的是个瘦子
03-11 1227
模型介绍 Encoder-Decoder RNN with Attention and Large Vocabulary Trick Encoder:双向GRU Decoder: 单向GRU+attention+softmax层在目标词表中生成单词 Trick:每一个epoch 得到decoder的词汇表仅限于该批次的源文档中的单词，目标词典中最常用的单词也会被添加，直到词汇表达到一个固定的大小...
Video-Summarization-with-LSTM-matlab
03-13
资源名：Video-Summarization-with-LSTM-matlab 资源类型：matlab项目全套源码 源码说明： 全部项目源码都是经过测试校正后百分百成功运行的，如果您下载后不能运行可联系我进行指导或者更换。 适合人群：新手及有...
200+篇Graph4NLP文献集：图深度学习在NLP任务的应用
Kaiyuan_sjtu的博客
06-11 4408
大家好，我是kaiyuan刷gayhub发现的好东西，当然第一时间分享给朋友们啦！一份图深度学习自然语言处理文献集，详细梳理了NLP十二项任务中，图神经网络的具体应用。来看看具体的内容吧...
强化学习《A DEEP REINFORCED MODEL FOR ABSTRACTIVE SUMMARIZATION》论文阅读笔记
彭伟的博客
02-23 1503
《A DEEP REINFORCED MODEL FOR ABSTRACTIVE SUMMARIZATION》 引言 最近接触到了一个新的概念policy gradient。在强化学习当中，基本思想是根据当前的状态，计算采取每个动作的价值，然后根据价值去贪心选择动作。如果省略中间步骤，直接根据状态，输出动作，也就是强化学习当中另外一种重要的方法。具体的大家可以参考这一篇博客 这一篇文章，主要是在a...
Abstractive Summarization
weixin_30561177的博客
07-25 1403
Sequence-to-sequence Framework A Neural Attention Model for Abstractive Sentence Summarization Alexander M. Rush et al., Facebook AI Research/Harvard EMNLP2015 sentence level seq2seq模型在2014年提出，这篇论文是...
入坑Abstractive Summarization：文本摘要CNN/DM数据集
热门推荐
木尧大兄弟
03-18 1万+
几个CNN/DM数据集的地址： 【万x之源】最初版本的CNN/DM：https://cs.nyu.edu/~kcho/DMQA/ 下图大兄弟用来创造非匿名数据集的代码：https://github.com/abisee/cnn-dailymail（为啥不直接给出处理完的数据集呢？作者说“出于法律原因”，毕竟不是自己的数据嘛，可以理解~） 这位兄弟迎♂而上！提供了分词完事儿的数据：https...
seq2seq中的beam search算法过程
m0_38046027的博客
02-21 450
转载知乎:https://zhuanlan.zhihu.com/p/28048246
Abstractive Text Summarization using Seq2Seq RNNs and Beyond
weixin_34199405的博客
08-01 425
引 再坚持一下，就会等到黎明破晓，重见光明。 今天继续分享一篇sentence level abstractive summarization相关的paper，出自于IBM Watson，Abstractive Text Summarization using Sequence-to-sequence RNNs and Beyond. (点“阅...
ACL 2017 录用论文整理（长文）
Q_S_Y_Q的博客
06-06 4487
ACL 2017 录用论文整理（长文） https://chairs-blog.acl2017.org/2017/04/05/accepted-papers-and-demonstrations/ 论文集现在还不能直接下载到（好像在 这里 是能下载的），本文将会陆续搜集录用论文的下载地址。同时部分文章会精读、写一些笔记。下面的短评都是纯粹基于abstract部分加上笔者的脑补形成的。很多领域我...
Salient Information Prompting to Steer Content in Prompt-based Abstractive Summarization
最新发布
03-09
### 提示性信息引导技术在基于提示的抽象概括方法中的作用 在处理基于提示的抽象概括时，提示性信息引导技术扮演着至关重要的角色。这些技术旨在通过精心设计的输入提示来指导模型生成更精确、更有意义的内容摘要。 #### 设计有效的提示词 为了提高抽象概括的质量，可以采用特定类型的提示词[^1]。例如，在构建提示时加入显式的指示语句，告诉模型应该关注哪些方面或者希望得到怎样的输出形式。这有助于聚焦于文档的关键部分并忽略无关紧要的信息。 #### 利用上下文增强提示效果 除了简单的关键词外，还可以利用上下文信息进一步优化提示的效果。这意味着不仅提供待总结的文字材料本身作为输入，还可能附加额外的相关背景资料或先前讨论过的主题线索给到AI智能体的大脑模块。这样做可以让智能体更好地理解整个对话的历史以及当前任务的具体需求，从而产出更加贴合实际场景的结果。 #### 结合多模态数据提升表现力 当涉及到多媒体资源（如图像、视频等）时，则可以通过引入视觉模态的作用来进行跨媒体的理解与表达。这种情况下，智能体会借助其内置的记忆机制——即短期记忆加上长期记忆功能——去关联不同种类的数据源之间的联系，并据此调整最终产生的文字描述风格和重点。 ```python def generate_summary(prompt, context=None, media_data=None): """ Generate a summary based on the given prompt and optional contextual information. :param prompt: The main text to be summarized or question asked by user :param context: Additional background info that helps understand the topic better :param media_data: Any relevant multimedia files (images/videos) associated with the subject matter :return: A concise yet informative abstract of the input material """ # Implementation details here... ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值