文本相似度：WMD距离和余弦相似度

Daniel_26_

于 2023-01-29 18:34:50 发布

阅读量287

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/smile_lx/article/details/128792671

自然语言处理专栏收录该内容

1 篇文章

订阅专栏

本文介绍了一种衡量文本相似度的方法——Cosine相似度，并提供了使用Python实现的具体代码示例。通过将文本表示为词向量，Cosine相似度能够计算出两篇文本之间的相似程度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

WMD距离

在这里插入图片描述

余弦相似度

设两个文本的词向量分别为A=[A1,A2,…,An],B=[B1,B2,…,Bn]，两个文本的cos相似度计算方式如下：
在这里插入图片描述
python代码：

import numpy as np
def similarity_cos(x,y):
    product = x.dot(y)
    denom = np.linalg.norm(x=x, ord=2) * np.linalg.norm(x=y, ord=2)
    return product/denom
A = np.array([1, 1, 1, 1, 0, 1, 0 ,0])
B = np.array([1, 1, 1, 0, 1, 1, 0 ,0])
print(similarity_cos(A,B))