文档相似度算法 Simhash

这篇文档简单介绍一下Simhash算法

 一. Simhash  计算文档相似度的算法， 比如用在搜索引擎的爬虫系统中，收录重复的网页是毫无意义的，只会造成存储和计算资源的浪费。有时候我们需要处理类似的文档，比如新闻，很多不同新闻网的新闻内容十分相近，标题略有相似。如此问题，便可以应用Simhash 文档相似度算法，查看两篇文档相似程度，删去相似度高的web文档。

二.  传统比较两个文本相似性的方法，大多是将文本分词之后，转化为特征向量距离的度量，比如常见的欧氏距离、海明距离或者余弦角度等等。两两比较固然能很好地适应，但这种方法的一个最大的缺点就是，无法将其扩展到海量数据。

simhash是locality sensitive hash（局部敏感哈希）的一种，最早由Moses Charikar在《similarity estimation techniques from rounding algorithms》一文中提出。Google就是基于此算法实现网页文件查重的。我们假设有以下三段文本： 

the cat sat on the mat   

the cat sat on a mat    

we all scream for ice cream    

Simhash 算法实现：

1、选择simhash的位数，请综合考虑存储成本以及数据集的大小，比如说32位 
2、将simhash的各位初始化为0 
3、提取原始文本中的特征，一般采用各种分词的方式。比如对于"the cat sat on the mat"，采用两两分词的方式得到如下结果：{"th", "he", "e ", " c", "ca", "at", "t ", " s", "sa", " o", "on", "n ", " t", " m", "ma"} 
4、使用传统的32位hash函数计算各个word的hashcode，比如："th".hash = -502157718 
，"he".hash = -369049682，…… 
5、对各word的hashcode的每一位，如果该位为1，则simhash相应位的值加1；否则减1 
6、对最后得到的32位的simhash，如果该位大于1，则设为1；否则设为0

海明距离的定义，为两个二进制串中不同位的数量。

按照Charikar在论文中阐述的，64位simhash，海明距离在3以内的文本都可以认为是近重复文本。当然，具体数值需要结合具体业务以及经验值来确定。

但是，使用上述方法产生的simhash用来比较两个文本之间的相似度，将其扩展到海量数据的近重复检测中去，时间复杂度和空间复杂度都太大。譬如说对于64位的待查询文本的simhash code来说，在海量的样本库（>1M）中查询与其海明距离在3以内的记录 有两种常规的思路。第一种是方案是查找待查询文本的64位simhash code的所有3位以内变化的组合，大约需要四万多次的查询 

假设对64 位的 SimHash ，我们要找海明距离在 3 以内的所有签名。我们可以把 64 位的二进制签名均分成 4块，每块 16 位。根据鸽巢原理（也成抽屉原理，见组合数学），如果两个签名的海明距离在 3 以内，它们必有一块完全相同。

我们把上面分成的4 块中的每一个块分别作为前 16 位来进行查找。 建立倒排索引。

、

如果库中有2^34 个（大概 10 亿）签名，那么匹配上每个块的结果最多有 2^(34-16)=262144 个候选结果 (假设数据是均匀分布， 16 位的数据，产生的像限为 2^16 个，则平均每个像限分布的文档数则 2^34/2^16 = 2^(34-16)) ，四个块返回的总结果数为 4* 262144 （大概 100 万）。原本需要比较 10 亿次，经过索引，大概就只需要处理 100 万次了。由此可见，确实大大减少了计算量。 

Java 代码实现：</