Fitz的博客

这是北京交通大学今年的关键词抽取新作，跳转了思路，通过将向量映射到双曲空间来获得隐含的关键词-文档之间的结构信息。 论文简单介绍 题目 Hyperbolic Relevance Matching for Neural Keyphrase Extraction 作者 Mingyang Song, Yi Feng and Liping Jing 单位 北京交通大虚 时间 2022 会议 NAACL 动机 识别重要的关键短语是关键短语提取任务的核心组成部分，其主要挑战是如何全面表示信息并准确区分重要性 .

MDERank: A Masked Document Embedding Rank Approach for Unsupervised Keyphrase Extraction阅读笔记 这两年对比学习很火，尤其是在CV领域，所以有人尝试将对比学习的思想引入到关键词抽取任务中，虽然最后的结果并没有大的提升，但是这篇论文还是值得看一下的。这篇文章中了2022年ACL Findings。 论文简单介绍 题目 MDERank: A Masked Document Embedding Rank Approach

Importance Estimation from Multiple Perspectives for Keyphrase Extraction 阅读笔记 论文简单介绍 题目 Importance Estimation from Multiple Perspectives for Keyphrase Extraction 作者 Mingyang Song, Liping Jing and Lin Xiao 单位 北京交通大学 时间 2021 会议 EMNLP21 动机 关键词抽取

Unsupervised Keyphrase Extraction via Interpretable Neural Networks 阅读笔记 论文简单介绍 题目 Unsupervised Keyphrase Extraction via Interpretable Neural Networks 作者 Rishabh Joshi Vidhisha Balachandran Emily Saldanha 单位 Language Technologies Institute, Carnegie Mello

simcse实战再思考 最近使用simcse在自己的关键词抽取任务上实战，得到一些新的感悟和问题，暂时记录如下 前言 众所周知，直接用BERT句向量做无监督语义相似度计算效果会很差，任意两个句子的BERT句向量的相似度都相当高，其中一个原因是向量分布的非线性和奇异性，前不久的BERT-flow通过normalizing flow将向量分布映射到规整的高斯分布上，更近一点的BERT-whitening对向量分布做了PCA降维消除冗余信息，但是标准化流的表达能力太差，而白化操作又没法解决非线性的问题，有更好

Unsupervised Keyphrase Extraction by Jointly Modeling Local and Global Context 阅读笔记 论文简单介绍 题目 Unsupervised Keyphrase Extraction by Jointly Modeling Local and Global Context 作者 Xinnian Liang , Shuangzhi Wu , Mu Li and Zhoujun Li 单位 北航 时间 2021 会议

TripleRank: An unsupervised keyphrase extraction algorithm 阅读笔记 论文简单介绍 题目 TripleRank: An unsupervised keyphrase extraction algorithm 作者 Tuohang Li , Liang Hu, Hongtu Li , Chengyu Sun, Shuai Li , Ling Chi 单位 吉林大学 时间 2021 期刊 Knowledge-Based Systems

PositionRank: An Unsupervised Approach to Keyphrase Extraction from Scholarly Documents阅读笔记 动机 通过观察发现，在此示例中，在文档中很早出现的关键短语“马尔可夫链”的高频出现（甚至从其标题开始）。 所以作者联合利用单词的位置信息及其在文档中的频率来设计一种有效的无监督方法来提取关键短语 贡献点 我们提出了一种无监督的基于图的模型，称为 PositionRank，它将来自单词出现的所有位置的信息合并到有偏差的 Pa

复现别人模型时huggingface自动下载的模型和文件保存位置 有些时候我们复现别人的实验。直接对代码进行运行，会下载bert等模型文件，经过查找。发现他们的位置是在C:\Users\用户名\.cache\torch\transformers ...

FRAKE: Fusional Real-time Automatic Keyword Extraction 这是最近在paperwithcode网站上刷到的关键词栏目的文章，它是做关键词的自动抽取工作。效果看起来还不错 提出的方法 如下图所示，他们提出的模型由两个模型组成组成：同中心特征和结构特征 图中心性特征主要是优化组合图中心性，如度、介数、特征向量、接近中心性等 结构信息主要考虑的是词位置、词频归一化、词性 贡献点 在七个数据集上做了实验：Semeval2010、SemEval2