文本相似度：WMD距离和余弦相似度

原创于 2023-01-29 18:34:50 发布 · 303 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #numpy #自然语言处理

自然语言处理专栏收录该内容

1 篇文章

订阅专栏

本文介绍了一种衡量文本相似度的方法——Cosine相似度，并提供了使用Python实现的具体代码示例。通过将文本表示为词向量，Cosine相似度能够计算出两篇文本之间的相似程度。

WMD距离

在这里插入图片描述

余弦相似度

设两个文本的词向量分别为A=[A1,A2,…,An],B=[B1,B2,…,Bn]，两个文本的cos相似度计算方式如下：
在这里插入图片描述
python代码：

import numpy as np
def similarity_cos(x,y):
    product = x.dot(y)
    denom = np.linalg.norm(x=x, ord=2) * np.linalg.norm(x=y, ord=2)
    return product/denom
A = np.array([1, 1, 1, 1, 0, 1, 0 ,0])
B = np.array([1, 1, 1, 0, 1, 1, 0 ,0])
print(similarity_cos(A,B))