Python自然语言处理：文档相似度计算（gensim.models）

本文对Python的第三方库gensim中的文档相似度计算方法进行探索。
官方文档见：
https://github.com/RaRe-Technologies/gensim/tree/develop/gensim/models

1. tf-idf（每个文档形成一个tfidf向量）

# 引入第三方库
import jieba
import os
import jieba.posseg as pseg
from gensim import corpora, models, similarities
import math
import pandas as pd
import matplotlib.pyplot as plt#约定俗成的写法plt
import numpy as np
from tqdm import tqdm
import datetime
import seaborn as sns
sns.set(font='SimSun',font_scale=1.5, palette="muted", color_codes=True, style = 'white')#字体  Times New Roman   SimHei
#解决中文显示问题
plt.rcParams['font.sans-serif']=['SimSun']
plt.rcParams['axes.unicode_minus'] = False
plt.rcParams['mathtext.fontset'] = 'cm'
# %matplotlib inline
from scipy import sparse

整个流程：

# 1. 引入数据
df = pd.read_csv('noun_index.csv')
text = df[['text_need']].to_list()
texts = [eval(i) for i in texts]
# 2、基于文件集建立【词典】，并提取词典特征数
dictionary = corpora.Dictionary(texts)
# 可以查看每个词对应的index
# dictionary.token2id
feature_cnt = len(dictionary.token2id.keys())
# 3、基于词典，将【分词列表集】转换为【稀疏向量集】，也就是【语料库】
corpus = [dictionary.doc2bow(text) for text in texts]# corpus#列表的列表，每个元素代表位置+频率
# 4. 训练tf-idf模型
tfidf_model = models.TfidfModel(corpus)
# 5. 用训练好的tf-idf模型，计算每个文档的tfidf值向量
corpus_tfidf = tfidf_model[corpus]
# 6. 计算给定tf-idf模型下的相似度模型（index）
index = similarities.SparseMatrixSimilarity(corpus_tfidf, num_features=len(dictionary.keys()))

① 计算corpus中的一个文档与corpus中每个文档的相似度：

i = 0 # 看第一篇文档跟corpus中所有文档的相似度
doc_text_vec = corpus[i]
sim = index[tfidf_model[doc_text_vec]]# 一个向量，长度是corpus所有文档的数量，0号文档与0号文档的相似度为1

计算的结果sim是：

array([9.9999988e-01, 2.3108754e-08, 1.1747384e-02, ..., 1.2266420e-01,
       1.4046666e-02, 9.9481754e-02], dtype=float32)

② 计算任意一个字符串与corpus中每个文档的相似度：

#测试字符串分词并获取词袋函数
test_string