文本似性检测论文总结----面向科技项目申报文本相似性检测算法的研究与应用

本文将针对科技项目申报这一领域的文本相似性检测算法作为研究对象，分别对中文词语、句子和文本相似度计算方法进行了深入研究，进而将本文的研究成果应用于科技项目申报系统中。

本文对传统的词语、句子和文本相似度计算方法进行了剖析，如基于向量空间模型、基于本体、汉明距离等方法，一方面需要构建一定规模的语料库和和训练集，且存在高维矩阵稀疏问题；另一方面，在抽取文本特征向量时，并没有将上下文语义结构和语义关系考虑其中。所以计算精确度并不是非常高。为了进一步提高计算精确度，本文提出了两种新的计算方法，一种是基于《知网》改进的词语相似度计算方法，另一种是针对本计算方法，提出了结合文本主题网络构建和语义分析的计算方法。尽管这两种方法都在计算复杂度上有了一定的提高，但相对其更高的精确度而言，消耗一定的硬件代价来弥补计算速率上的不足，这还是值得的。

相关算法的改进：

1.针对词语相似度计算，基于《知网》中的概念描述，分别对概念义原集合、义原关系、义原关系符号三个方面的描述进行改进，提出一种基于《知网》改进的词语相似度计算方法。

2.针对文本相似度计算，结合文本主题网络构建和语义分析这两个理论研究，提出一种结合文本主题网络构建和语义分析的文本相似度计算方法。

3.针对科技项目文档的特征结构，利用文本的词袋表示方法，对传统的文本表示方法加以改进，使其适应大文本在相似度检测中文本表示要求，融合文本结构和词袋文本表示方法对科技项目文档进行文本表示，该方法能够进一步降低文本表示的维度，减小检测