Kang_TJU的博客

本文总结我写实验时文本相似度计算的代码。任务是：给定语料库，计算任意两篇语聊的相似度。输入是语料库，输出是整个语料库的相似度矩阵。基于LDA模型的文本相似度计算主要的过程如下： 文本预处理过程 训练LDA模型 相似度计算 结果保存 下面分别去说。 文本预处理过程(pre_process.py)#-*- coding:utf-8'''preprocess.py 这个文件的作用是做文档预处理， 讲每篇文

参照博客[我爱自然语言处理]里面的如何计算两个文本的相似度系列，把代码自己实现了一遍，对整个流程有了了解。纯属个人记录，新手想学习可直接去上面的博客学习，讲的非常好。代码#-*- coding:utf-8 import gensim from gensim import corpora, models, similarities import traceback documents = [ "Shi