python 文本相似度分析doc2bow

最新推荐文章于 2022-11-21 10:45:34 发布

原创

最新推荐文章于 2022-11-21 10:45:34 发布 · 3.1k 阅读

13 ·

CC 4.0 BY-SA版权

本文档详细介绍了使用Python进行文本相似度分析的步骤，包括读取文档、分词、过滤词语、建立词典、doc2bow转换、T-IDF模型应用以及计算稀疏矩阵相似度，以获取最终的文本相似度结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

步骤:
1、读取文档
2、对要计算的多篇文档进行分词
3、对文档进行整理成指定的格式,方便后续进行计算
4、计算出词语进行过滤
5、可选，对频率低的词语进行过滤
6、通过语料库建立词典
7、加载要对比的文档
8、将要对比的文档通过doc2bow转换为稀疏向量
9、对稀疏向量进行进一步处理，得到新语料库
10、通过T-IDFmodel将新语料库进行处理,得到TF-IDF值
11、通过token2id得到特征数
12、稀疏矩阵的相似度，从而建立索引，得到最终相似度结果

from gensim import corpora,similarities,models
import jieba
from collections import defaultdict
'''
1、读取文档
2、对要计算的多篇文档进行分词
3、对文档进行整理成指定的格式,方便后续进行计算
4、计算出词语进行过滤
5、可选，对频率低的词语进行过滤
6、通过语料库建立词典
7、加载要对比的文档
8、将要对比的文档通过doc2bow转换为稀疏向量
9、对稀疏向量进行进一步处理，得到新语料库
10、通过T-IDFmodel将新语料库进行处理,得到TF-IDF值
11、通过token2id得到特征数
12、稀疏矩阵的相似度，从而建立索引，得到最终相似度结果
'''
#读取文档
dic1=open('/root/python_test/mining/text1.txt').read()
#分词
cut1=jieba.cut(dic1)
#组合成相应的格式
documents=''
for cut_line in cut1:
    documents+=cut_line+' '
cur1=[[line for line in document.split()] for document in documents]
frequent=defaultdict(int)
for index in cur1:
    for token in index:
        frequent[token]+=1
#对频率低的分词过滤
curp1=[[word for word i