（六）PositionRank: An Unsupervised Approach to Keyphrase Extractionfrom Scholarly Documents解读二

PositionRank模型解析
最新推荐文章于 2022-03-16 16:53:34 发布
原创 最新推荐文章于 2022-03-16 16:53:34 发布 · 242 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #nlp

本文探讨了PositionRank模型在学术文献关键词提取中的应用。研究显示，引入位置信息能显著提高PageRank算法的效果。此外，扫描窗大小及PageRank的阻尼系数对模型性能有一定影响。

PositionRank: An Unsupervised Approach to Keyphrase Extractionfrom Scholarly Documents解读二

2021SC@SDUSC

相关问题

影响模型性能的参数

扫描窗大小w会影响模型结果。因为w决定会决定哪些边加入图，以及边的权重大小。作者对不同的w在不同数据集上进行测试，发现当w的取值为2-10时，差别并不显著。

在这里插入图片描述

补充：MRR，对所有查询的相关结果的位置取倒数累加并平均，也就是说当相关结果出现的越早时MRR得分越高。

进行PageRank计算时的阻尼系数α也会可能会影响模型的表现，经测试，取值对结果没有显著影响。
补充：PageRank（前两天信息检索课上老师告诉我们这个算法之所以这样命名是因为是由谷歌的副总裁Page提出来的）
在这里插入图片描述

PageRank认为，一个节点对系统施加影响的结果，就是与它相连的节点也具有一定的影响力。假如图1-1是一个财富分发网络：Node1向其他节点传递财富，node1接收不能搞传播从node0得到的财富;等等**。Node0的影响力，可以用与之相连的node1的影响力来度量**。这个套路有点类似“通过看一个人的朋友来分析这个人”。

我们用符号来描述一下PageRank的想法。假设一个节点的影响力值是PR，Node0节点的影响力就是
在这里插入图片描述

,类似的，node1的影响力就是
在这里插入图片描述

这是PageRank的第一个模块。

之后，我们利用该模块的结果不断迭代，直到达到收敛条件或提前确定的迭代次数。

对所有位置信息求和vs只考虑关键词第一次出现的位置

经实验，使用所有位置信息的性能表现要优于仅仅考虑单词的第一次的出现的位置。

在这里插入图片描述

位置信息在关键词的提取中起到了多大的作用

作者将PositionRank模型与其他两种未使用位置信息的Pagerank模型进行对比，经实验，使用位置信息的PageRank算法性能有极大的提升。

在这里插入图片描述

PositionRank与当今主流方法对比

strong baseline： TF-IDF, ExpandRank, and TopicalPageRank (TPR)

在这里插入图片描述

作者提到本模型的性能表现要全面优于使用了更多参数并且拥有更为复杂结构的TPR。同时要注意ExpandRank使用了额外的语义数据集。（2021.12.1补充：额外的语义数据集指的是借助nltk进行词性标记）

PositionRank论文解读
qq_45041871的博客
09-13 629
PositionRank论文解读
[文献阅读] (VaDE)Variational Deep Embedding: An Unsupervised and Generative Approach to Clustering
最新发布
weixin_53834244的博客
02-22 1310
得益于VAE（变分自编码器）的研究，这一成果很快被用于聚类任务的研究上，人们希望在聚类上这会比传统的自编码器效果更好。在该论文中，提出了一个聚类框架，VaDE(Variational Deep Embedding)，它结合了VAE和用于聚类任务的高斯混合模型GMM。与传统的VAE不同，关键的区别在于，VaDE使用混合的高斯先验来代替VAE的单一高斯先验，这种先验本质上适用于聚类任务。实验结果表明，VaDE在不同模式的5个基准上显著优于最先进的聚类方法。
（二）PositionRank: An Unsupervised Approach to Keyphrase Extractionfrom Scholarly Documents解读一
Simonsdu的博客
10-10 442
2021SC@SDUSC
position-rank：PositionRank：从学术文献中提取关键词的无监督方法
02-03
PositionRank PositionRank是ACL 2017论文关键字方法中描述的关键字提取方法。 该方法通过基于图的算法来搜索关键词，并通过共生词的位置信息对PageRank进行偏置。 如果为其他语言创建令牌生成器，则不仅可以使用英语学术文档，还可以使用任何其他语言的文档。 >> > from position_rank import position_rank >> > from tokenizer import StanfordCoreNlpTokenizer >> > title = "PositionRank: An Unsupervised Approach to Ke
PositionRank An Unsupervised Approach to Keyphrase Extraction from Scholarly Documents阅读笔记
Fitz的博客
02-17 656
PositionRank: An Unsupervised Approach to Keyphrase Extraction from Scholarly Documents阅读笔记 动机 通过观察发现，在此示例中，在文档中很早出现的关键短语“马尔可夫链”的高频出现（甚至从其标题开始）。 所以作者联合利用单词的位置信息及其在文档中的频率来设计一种有效的无监督方法来提取关键短语 贡献点 我们提出了一种无监督的基于图的模型，称为 PositionRank，它将来自单词出现的所有位置的信息合并到有偏差的 Pa
Domain Adaptation for Object Recognition: An Unsupervised Approach
gdtop的个人笔记
04-17 1703
本篇是迁移学习专栏介绍的第十五篇论文，由马里兰大学帕克分校完成发表在ICCV2011上，引用量超600+的论文，算是domain adaptation发表较早的论文。 Abstract 将训练在源域上的分类器用于识别来自新目标域的实例是最近受到关注的一个重要问题。在本文中，我们提出了在对象识别上下文中关于无监督域适应的首批研究之一，其中我们只标记了来自源域的数据(因此没有跨域的对象类别之间的对...
论文阅读：EmbedRank: Unsupervised Keyphrase Extraction using Sentence Embeddings
u014435314的专栏
07-26 3187
问题： 现有的关键词抽取系统普遍存在的问题包括：1）complex and slow 2）over-generation (i.e. extracting redundant keyphrases) 资源： 1. 代码 https://github.com/swisscom/ai-research-keyphrase-extraction 相关工作： 1. Unsupervised...
TripleRank An unsupervised keyphrase extraction algorithm 阅读笔记
Fitz的博客
03-16 1204
TripleRank: An unsupervised keyphrase extraction algorithm 阅读笔记 论文简单介绍 题目 TripleRank: An unsupervised keyphrase extraction algorithm 作者 Tuohang Li , Liang Hu, Hongtu Li , Chengyu Sun, Shuai Li , Ling Chi 单位 吉林大学 时间 2021 期刊 Knowledge-Based Systems
《ProWord An Unsupervised Approach to Protocol FeatureWord Extraction》论文阅读报告
liyihao17的博客
12-11 1257
论文介绍 我阅读的论文的题目是《ProWord: An Unsupervised Approach to Protocol Feature Word Extraction》中文译名为：《ProWord：一种提取协议特证词的自动化方式》，故名思议，该论文介绍了一种能够自动化提取协议特证词的方式，并将其取名为ProWord，研究的领域是协议逆向工程领域。 论文正文内容 摘要 ...
机器学习-21-Unsupervised Learning-05-Word Embedding(无监督学习之词嵌入)
迷雾总会解
12-19 1450
本文介绍NLP中词嵌入(Word Embedding)相关的基本知识，基于降维思想提供了count-based和prediction-based两种方法，并介绍了该思想在机器问答、机器翻译、图像分类、文档嵌入等方面的应用
ProWord An Unsupervised Approach to Protocol FeatureWord Extraction
11-28
该论文提供一种自动化提取协议特征词的方法，并且给出了相应的评估体系。
（七）PositionRank代码分析（二）
Simonsdu的博客
11-13 1078
2021SC@SDUSC 简介 本文主要分析核心模块PositionRank.py的使用. 初始化 # 生成图 self.graph = nx.Graph() """ The word graph. """ # window用于边的生成 self.window = window build_graph方法 该方法用于使用window窗口为graph添加边，代码分析如下： def build_graph(self, window, pos=None): """ 该方法
（三）Position Rank代码解读（一）
Simonsdu的博客
10-17 579
2021SC@SDUSC
（十三）将PositionRank模型运行到给定数据集上（四）
Simonsdu的博客
12-13 334
2021SC@SDUSC 文章目录简介词列表过滤算法算法修改去除对于单个词长度的限制正则表达式加入对中文的匹配指标计算算法 简介 在上一篇博客中提到，程序正常运行后得到的评分矩阵元素均为0，为了对中文打分需要对原程序的打分模块进行修改。 由于程序可以正常运行，因此可以对程序进行debug分析处理流程。 这里将可以得到评分矩阵的原程序（PositionRank）和针对中文修改算法后的新程序（PositionRank2）进行逐步debug对比： 当二者都执行完词列表过滤算法后结果如下： PositionRan
（十）将PositionRank模型运行到给定数据集上（二）
Simonsdu的博客
11-22 1372
2021SC@SDUSC 难点二：中文文本处理 文章目录难点二：中文文本处理任务分解关于nltk尝试使用jieba库进行中文处理使用StanfordNLP简介安装测试小结 任务分解 在positionrank中对于输入text的处理主要包括分句、分词、词干还原、词性确定，在迁移到中文中时，需要去除词干还原模块同时将其他模块的使用迁移到中文。 关于nltk 在源码分析时注意到nltk的很多方法都开源指定语言，然而在指定语言为chinese后发现提示找不到相关文件。 [外链图片转存失败,源站可能有防盗链机制,建
【NLP】关键词提取之PositionRank详解
zkq_1986的博客
10-11 1925
PositionRank提取关键词与TextRank相似，都是基于PageRank的图关系计算词的得分。用S(V_i)表示词的重要性得分，其公式如下：                                                                                      （1） 其中，表示词的初始得分归一化后的值。              ...
（十二）PositionRank代码解读（四）
Simonsdu的博客
12-12 962
2021SC@SDUSC 文章目录使用StandfordNlp替换nltk的相关方法存在的问题1解决方案存在的问题2 使用StandfordNlp替换nltk的相关方法 将nltk中的相关方法替换为nlp的相关方法，运行程序。 # 初始化standfordNlp from stanfordcorenlp import StanfordCoreNLP nlp = StanfordCoreNLP('http://localhost', port=9000,lang='zh') # 修改分句、词性标记的相关方法
（八）PositionRank代码解读（三）
Simonsdu的博客
11-14 1394
2021SC@SDUSC 简介 本文将分析process_data数据处理模块。 read_input_file方法 该方法用于文件的读取，除了路径判断是否存在以外还需注意decode方法的第二个参数“ignore”，标识忽略无法解析的二进制编码，如果不忽略，遇到错误二进制编码时会报错。 def read_input_file(this_file): if os.path.exists(this_file): with codecs.open(this_file, "rb") as
论文阅读：Keyphrase Extraction for N-best Reranking in Multi-Sentence Compression
u014435314的专栏
07-25 1511
作者： Florian Boudin and Emmanuel Morin 来源： 2013 NAACL-HLT 概述: 这篇文章扩展了Filippova (2010)’s word graph-based MSC方法，添加了一个re-reranking步骤，使得包含最多相关关键词的compression被选择出来。 资源： 1. 代码：https://github.com/boudi...
PositionRank：一种高效的无监督关键词提取算法
title = "PositionRank: An Unsupervised Approach to Ke" # 其他代码和函数调用省略... ``` 这段代码暗示了PositionRank模块和一个令牌生成器（例如StanfordCoreNlpTokenizer）可以集成到Python项目中，以便在实际...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值