Johline的博客

提出一种新的的计算方法，该方法在计算量和内存消耗上会有所增大，但就其文本相似度计算精确度上来说，可以提高一个层次。传统的基于语义分析的文本相似度计算方法，一般首先是根据某一语义词典，基于词语间的相似度来计算句子间的相似度，然后把句子组合成文本，综合计算文本之间的相似度。这里面涉及到预处理操作非常庞大，对于大规模的长文本之间的相似性计算，运算量将非常之大，运算速度将受到很大的影响。基于以上原

本文将针对科技项目申报这一领域的文本相似性检测算法作为研究对象，分别对中文词语、句子和文本相似度计算方法进行了深入研究，进而将本文的研究成果应用于科技项目申报系统中。本文对传统的词语、句子和文本相似度计算方法进行了剖析，如基于向量空间模型、基于本体、汉明距离等方法，一方面需要构建一定规模的语料库和和训练集，且存在高维矩阵稀疏问题；另一方面，在抽取文本特征向量时，并没有将上下文语义结构和语义关系

本文讨论如何计算词（有时候称特征向量）权重和向量空间模型及其应用。本文的“文档”是指查询对象，它们可以使一条条单独的记录或者是一本书的各章，还可以是一个网页，或者xml文件等。1 归一化    在讨论词权重和向量空间模型前需要先了解下归一化的概念。归一化（normailization）方法有两种形式。第一种形式是把数变为（0，1）之间的小数,方便计算。第二种是把有量纲（量纲是指单位）表

文本相似性检测----中文分词技术一、       为什么要进行中文分词？中文分词(Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。我们知道，在英文的行文中，单词之间是以空格作为自然分界符的，而中文只是字、句和段能通过明显的分界符来简单划界，唯独词没有一个形式上的分界符

hash函数     Hash，一般翻译做"散列"，也有直接音译为"哈希"的，就是把任意长度的输入（又叫做预映射， pre-image），通过散列算法，变换成固定长度的输出，该输出就是散列值。这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，而不可能从散列值来唯一的确定输入值。简单的说就是一种将任意长度的消息压缩到某一固定长度的消息摘要

文本相似度计算在信息检索、数据挖掘、机器翻译、文档复制检测等领域有着广泛的应用。比如舆论控制，我们假设你开发了一个微博网站，并且已经把世界上骂人的句子都已经收录进了数据库，那么当一个用户发微博时会先跟骂人句子的数据库进行比较，如果符合里面的句子就不让用户发出。通常情况下，很多工程师就会想到用like或者where的sql语法去查找。可是当情况更为复杂呢？数据库存放了“你是个坏人”，用户