gensim计算文档相似度

最新推荐文章于 2024-01-24 17:14:17 发布

coolboygym

最新推荐文章于 2024-01-24 17:14:17 发布

阅读量2.5k

点赞数 3

分类专栏：机器学习文章标签： gensim 文档相似度 jupyter jieba notebook

本文链接：https://blog.youkuaiyun.com/MiMicoa/article/details/80058565

版权

gensim是一个处理向量空间模型和话题模型的Python工具。本文介绍如何利用gensim，结合jieba分词，计算两篇中文文档的相似度。通过预处理文档，建立词典，并将词语转换为索引，再应用TF-IDF计算权重，最后使用余弦相似度计算文档间的相似度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

gensim是一个基于Python语言的开源工具集，用于处理向量空间模型(vector space modeling)和话题模型(topic modeling)的相关问题。本文分享如何使用gensim工具来计算两篇中文文档的相似度。

首先我们要生成一些中文文档。下面的代码生成一个名为documents的文档列表，由于是演示，这里的每个文档中只有几个词语。关于如何对原始的字符串做分词操作，可以参考jieba

from gensim import corpora
from pprint import pprint
documents = ["你好 好的 不错 笨蛋",
             "笨蛋 傻瓜 傻子 哈哈",
             "好的 不错 你好 哈哈",
             "有趣 可以 好的 不错 还行",
             "傻瓜 傻子 二货 还行",
             "可以 好的 不错 哈哈",
             "有趣 有趣 哈哈 哈哈"]
texts = [[word for word in document.split()] for document in documents]
pprint(texts)