文本分析-相似文章匹配

最新推荐文章于 2024-04-17 03:20:34 发布

原创

最新推荐文章于 2024-04-17 03:20:34 发布 · 2.2k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#数据挖掘

本文介绍了数据挖掘中的推荐系统，包括相似推荐和协同过滤推荐。重点讲解了余弦相似度的概念，它是通过计算两个向量的夹角来评估它们的相似性，余弦值越大，相似度越高。并提到了在Python中使用sklearn库的pairswise_distances函数计算特征间的距离。

概念理解：
推荐：在数据挖掘中，推荐包括相似推荐及系统过滤推荐。
1，相似推荐：指当用户表现出对某人或某物的兴趣是，为他推荐与之相类似的人，或者物，他的核心是，人以群分，物以类聚
2，协同过滤推荐：指利用已有用户群过去的行为和意见，预测当前用户最有可能喜欢那些东西。
这里写图片描述
余弦相似度：
求两者之间的夹角，得出对应的余弦值，该值可以用来表示两个向量的相似性，夹角越小，余弦值越大，方向更吻合，则越相似。

python中sklearn计算特征之间的距离
sklearn.metrics库中的pairsise_distances。
pairsise_distances(textvector,metric=’consin’)

案例代码：

import pandas,bumpy,codecs,os,jieba
 from sklearn.metrics import pairwise_distances
 # 创建语料库
 corpos=pandas.DataFrame(columns=['filepath','content'])
 for root,dirs,