21、文本挖掘与推荐系统技术详解

文本挖掘与推荐系统技术详解

1. 文档余弦相似度计算

在文本分析中，计算文档之间的余弦相似度是一项重要任务。以下是计算文档余弦相似度的示例代码：

from sklearn.metrics.pairwise import cosine_similarity
print "Similarity b/w doc 1 & 2: ", cosine_similarity([df['Doc_1.txt']], 
[df['Doc_2.txt']])
print "Similarity b/w doc 1 & 3: ", cosine_similarity([df['Doc_1.txt']], 
[df['Doc_3.txt']])
print "Similarity b/w doc 2 & 3: ", cosine_similarity([df['Doc_2.txt']], 
[df['Doc_3.txt']])

运行上述代码后，可能得到如下输出：

Similarity b/w doc 1 & 2:  [[ 0.76980036]]
Similarity b/w doc 1 & 3:  [[ 0.12909944]]
Similarity b/w doc 2 & 3:  [[ 0.1490712]]

2. 文本聚类

2.1 数据集加载

以 20 newsgroups 数据集为例，该数据集包含 18000 多篇关于 20 个主题的新闻组帖子。以下是加