《自然语言处理实战入门》信息抽取 ---- 关键词抽取

---

章节目录

• 《自然语言处理实战入门》 文本检索---- 初探

---

常用的关键词抽取方法有：

基于规则、基于主题模型、基于图模型。

---

常用的检索算法有根据余弦相似度进行检索，Jaccard系数，海灵格-巴塔恰亚距离和BM25相关性评分。

（1）余弦(cosine)相似度，用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小。相比距离度量，余弦相似度更加注重两个向量在方向上的差异，而非距离或长度上。适合word2vec模型向量化的数据。

（2）Jaccard（杰卡德）相似性系数，主要用于计算符号度量或布尔值度量的样本间的相似度。若样本间的特征属性由符号和布尔值标识，无法衡量差异具体值的大小，只能获得“是否相同”这样一种结果，而Jaccard系数关心的是样本间共同具有的特征。适合词集模型向量化的数据。

（3）海灵格-巴塔恰亚（Hellinger-Bhattacharya）距离（HB距离），也称为海灵格距离或巴塔恰亚距离。巴塔恰亚距离有巴塔恰亚（A. Bhattacharya）提取，用于测量两个离散或连续概率分布之间的相似度。海灵格（E. Hellinger）在 1909 年提出了海灵格积分，用于计算海灵格距离。总的来说，海灵格-巴塔恰亚距离是一个 f 散度（f-divergence），f 散度在概率论中定义为函数 Dƒ(P||D)，可用于测量 P 和 Q 概率分布之间的差异。有多种