自动摘要生成(一):最大边界相关算法(MMR)

本文介绍了自动摘要的生成方法,重点探讨了最大边际相关算法(MMR)。MMR强调摘要内容的多样性和准确性,通过调节参数控制摘要的多样性。文中详细解释了MMR的原理和实现,并展示了在新闻摘要中的应用效果。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

分享一下前一段时间公司需要做的文章自动摘要。

一.摘要方法

目前来说,文章摘要自动生成主要分为两种方法:生成式和抽取式。

生成式采用sequence2sequence+Attention的模型,采用Encoder-Decoder的结构,具体方法可以阅读这篇论文:https://arxiv.org/pdf/1509.00685.pdf

抽取式则是通过关键词筛选等方法,从原文中截取句子组成摘要,目前的方法有MMR,TextRank,LDA等。

 

起初尝试了生成式摘要,使用文章的标题作为样本标签,对模型进行训练,但是效果不是很好,生成的摘要中包含了标题中的关键字,但是无法组成正确的语序。所以最终决定采用抽取式来生成新闻摘要。

后续两种方法在这里:

自动摘要生成(二):由PageRank转变而来的TextRank算法

自动摘要生成(三):词向量相似度与有效词含量

二.具体算法

经过测试后,决定采用MMR,TextRank,文章标题相似度,TextRank+Embedding,全文词向量叠加Embedding相似度,这几种方法的加权组合,筛选出新闻的摘要。

本篇重点讲解MMR算法的理论和实现。

MMR

1.MMR原理

MMR是Maximal Marginal Releuance的缩写,中文为最大边界相关算法或最大边缘相关算法。

设计之初是用来计算Query语句与被搜索文档之间的相似度,从而对文档进行rank排序的算法。

公式在这:

评论 17
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值