哈希函数有关知识

1.现在的问题是有各种类型的数据，有一些是高度随机的，有一些有包含高纬度的图形结构，这些都使得找到一个通用的哈希函数变得十分困难，即使是某一特定类型的数据，找到一个比较好的哈希函数也不是意见容易的事。我们所能做的就是通过试错方法来找到满足我们要求的哈希函数。可以从下面两个角度来选择哈希函数：

1.数据分布

 一个衡量的措施是考虑一个哈希函数是否能将一组数据的哈希值进行很好的分布。要进行这种分析，需要知道碰撞的哈希值的个数，如果用链表来处理碰撞，则可以分析链表的平均长度，也可以分析散列值的分组数目。

2.哈希函数的效率

另个一个衡量的标准是哈希函数得到哈希值的效率。通常，包含哈希函数的算法的算法复杂度都假设为O(1)，这就是为什么在哈希表中搜索数据的时间复杂度会被认为是"平均为O(1)的复杂度"，而在另外一些常用的数据结构，比如图(通常被实现为红黑树)，则被认为是O(logn)的复杂度。

一个好的哈希函数必修在理论上非常的快、稳定并且是可确定的。通常哈希函数不可能达到O(1)的复杂度，但是哈希函数在字符串哈希的线性的搜索中确实是非常快的，并且通常哈希函数的对象是较小的主键标识符，这样整个过程应该是非常快的，并且在某种程度上是稳定的。（来自 http://blog.youkuaiyun.com/eaglex/article/details/6310727#下载）

2.哈希函数的构造方法

 1.直接定址法

  取关键字或关键字的某个线性函数值为哈希地址，H（key）=a.key+b

 2.数字分析法

  选关键字的若干位组成哈希地址

3.平方取中法

4.折叠法

5.除留余数法

   H（key）=key MOD p，p是素数、

3.处理冲突的方法

1.开放定址法

（1）线性探测再散列，（2）二次探测再散列，（3）伪随机数探测再散列

2.再哈希法

3.链地址法

4.针对字符串哈希函数的构造方法

有两种主要的方法：

1.基于加法和乘法的散列

这种方式是通过遍历数据中的元素然后每次对某个初始值进行加操作，其中加的值和这个数据的一个元素相关。通常这对某个元素值的计算要乘以一个素数。

 

2.基于移位的散列

和加法散列类似，基于移位的散列也要利用字符串数据中的每个元素，但是和加法不同的是，后者更多的而是进行位的移位操作。通常是结合了左移和右移，移的位数的也是一个素数。每个移位过程的结果只是增加了一些积累计算，最后移位的结果作为最终结果。

 

 6.常用的哈希函数

通用的哈希函数库有下面这些混合了加法和一位操作的字符串哈希算法。下面的这些算法在用法和功能方面各有不同，但是都可以作为学习哈希算法的实现的例子。(其他版本代码实现见下载）

1.RS 

从Robert  Sedgwicks的  Algorithms in C一书中得到了。 我(原文作者)已经 添加了一些 简单的优化 的 算法，以 加快 其 散列 过程。

[java]  view plain copy print ?

1. public long RSHash(String str)  
2.    {  
3.       int b     = 378551;  
4.       int a     = 63689;  
5.       long hash = 0;  
6.       for(int i = 0; i < str.length(); i++)  
7.       {  
8.          hash = hash * a + str.charAt(i);  
9.          a    = a * b;  
10.       }  
11.       return hash;  
12.    }  

 

2.JS

Justin Sobel写的一个位操作的哈希函数。

[c-sharp]  view plain copy print ?

1. public long JSHash(String str)  
2.    {  
3.       long hash = 1315423911;  
4.       for(int i = 0; i < str.length(); i++)  
5.       {  
6.          hash ^= ((hash << 5) + str.charAt(i) + (hash >> 2));  
7.       }  
8.       return hash;  
9.    }  

 

3.PJW 

该散列 算法是基于贝尔实验室的 彼得J 温伯格 的的研究 。在Compilers一书中 （原则， 技术 和工具） ， 建议 采用这个算法的 散列 函数 的哈希 方法。

[java]  view plain copy print ?

1. public long PJWHash(String str)  
2.    {  
3.       long BitsInUnsignedInt = (long)(4 * 8);  
4.       long ThreeQuarters     = (long)((BitsInUnsignedInt  * 3) / 4);  
5.       long OneEighth         = (long)(BitsInUnsignedInt / 8);  
6.       long HighBits          = (long)(0xFFFFFFFF) << (BitsInUnsignedInt - OneEighth);  
7.       long hash              = 0;  
8.       long test              = 0;  
9.       for(int i = 0; i < str.length(); i++)  
10.       {  
11.          hash = (hash << OneEighth) + str.charAt(i);  
12.          if((test = hash & HighBits)  != 0)  
13.          {  
14.             hash = (( hash ^ (test >> ThreeQuarters)) & (~HighBits));  
15.          }  
16.       }  
17.       return hash;  
18.    }  

 

4.ELF 

和PJW很相似，在Unix系统中使用的较多。

[java]  view plain copy print ?

1. public long ELFHash(String str)  
2.    {  
3.       long hash = 0;  
4.       long x    = 0;  
5.       for(int i = 0; i < str.length(); i++)  
6.       {  
7.          hash = (hash << 4) + str.charAt(i);  
8.          if((x = hash & 0xF0000000L) != 0)  
9.          {  
10.             hash ^= (x >> 24);  
11.          }  
12.          hash &= ~x;  
13.       }  
14.       return hash;  
15.    }  

 

5.BKDR

这个算法来自Brian Kernighan 和 Dennis Ritchie的 The C Programming Language。这是一个很简单的哈希算法,使用了一系列奇怪的数字,形式如31,3131,31...31,看上去和DJB算法很相似。(参照我之前一篇博客，这个就是Java的字符串哈希函数)

[java]  view plain copy print ?

1. public long BKDRHash(String str)  
2.    {  
3.       long seed = 131; // 31 131 1313 13131 131313 etc..  
4.       long hash = 0;  
5.       for(int i = 0; i < str.length(); i++)  
6.       {  
7.          hash = (hash * seed) + str.charAt(i);  
8.       }  
9.       return hash;  
10.    }  

 

6.SDBM

这个算法在开源的SDBM中使用，似乎对很多不同类型的数据都能得到不错的分布。

[java]  view plain copy print ?

1. public long SDBMHash(String str)  
2.    {  
3.       long hash = 0;  
4.       for(int i = 0; i < str.length(); i++)  
5.       {  
6.          hash = str.charAt(i) + (hash << 6) + (hash << 16) - hash;  
7.       }  
8.       return hash;  
9.    }  

 

7.DJB

这个算法是Daniel J.Bernstein 教授发明的，是目前公布的最有效的哈希函数。

[java]  view plain copy print ?

1. public long DJBHash(String str)  
2.    {  
3.       long hash = 5381;  
4.       for(int i = 0; i < str.length(); i++)  
5.       {  
6.          hash = ((hash << 5) + hash) + str.charAt(i);  
7.       }  
8.       return hash;  
9.    }  

 

8.DEK

由伟大的Knuth在《编程的艺术 第三卷》的第六章排序和搜索中给出。

[java]  view plain copy print ?

1. public long DEKHash(String str)  
2.    {  
3.       long hash = str.length();  
4.       for(int i = 0; i < str.length(); i++)  
5.       {  
6.          hash = ((hash << 5) ^ (hash >> 27)) ^ str.charAt(i);  
7.       }  
8.       return hash;  
9.    }  

 

9.AP

这是本文作者Arash Partow贡献的一个哈希函数，继承了上面以旋转以为和加操作。代数描述：

[java]  view plain copy print ?

1. public long APHash(String str)  
2.    {  
3.       long hash = 0xAAAAAAAA;  
4.       for(int i = 0; i < str.length(); i++)  
5.       {  
6.          if ((i & 1) == 0)  
7.          {  
8.             hash ^= ((hash << 7) ^ str.charAt(i) * (hash >> 3));  
9.          }  
10.          else  
11.          {  
12.             hash ^= (~((hash << 11) + str.charAt(i) ^ (hash >> 5)));  
13.          }  
14.       }  
15.       return hash;  
16.    }  

 

7.MD5和SHA-1

 1.MD5算法

• MD5即Message-Digest Algorithm 5（信息-摘要算法 5），用于确保信息传输完整一致。是计算机广泛使用的散列算法之一（又译摘要算法、哈希算法），主流编程语言普遍已有MD5实现。 将数据（如汉字）运算为另一固定长度值，是散列算法的基础原理，MD5的前身有MD2、MD3和MD4。

• MD5一度被广泛应用于安全领域。但是由于MD5的弱点被不断发现以及计算机能力不断的提升，现在已经可以构造两个具有相同MD5的信息[2]，使本算法不再适合当前的安全环境。目前，MD5计算广泛应用于错误检查。例如在一些BitTorrent下载中，软件通过计算MD5和检验下载到的碎片的完整性。

• MD5是输入不定长度信息，输出固定长度128-bits的算法。经过程序流程，生成四个32位数据，最后联合起来成为一个128-bits散列。基本方式为，求余、取余、调整长度、与链接变量进行循环运算。得出结果。

原理

对MD5算法简要的叙述可以为：MD5以512位分组来处理输入的信息，且每一分组又被划分为16个32位子分组，经过了一系列的处理后，算法的输出由四个32位分组组成，将这四个32位分组级联后将生成一个128位散列值。

2.SHA-1算法

安 全 哈希算法 （Secure Hash Algorithm）主要适用于 数字签名 标准 （Digital Signature Standard DSS）里面定义的数字签名算法（Digital Signature Algorithm DSA）。对于长度小于2^64位的消息，SHA1会产生一个160位的 消息摘要 。当接收到消息的时候，这个消息摘要可以用来验证数据的完整性。在传输的过程中，数据很可能会发生变化，那么这时候就会产生不同的 消息摘要 。 SHA1有如下特性：不可以从 消息摘要 中复原信息；两个不同的消息不会产生同样的消息摘要。

该算法输入 报文的长度不限，产生的输出是一个160位的 报文摘要。输入是按512 位的分组进行处理的。SHA-1是不可逆的、防冲突，并具有良好的雪崩效应。

SHA-1与MD5的比较

因为二者均由MD4导出，SHA-1和MD5彼此很相似。相应的，他们的强度和其他特性也是相似，但还有以下几点不同：

l 对强行攻击的安全性：最显著和最重要的区别是SHA-1摘要比MD5摘要长32 位。使用强行技术，产生任何一个 报文使其摘要等于给定报摘要的难度对MD5是2^128数量级的操作，而对SHA-1则是2^160数量级的操作。这样，SHA-1对强行攻击有更大的强度。

l 对密码分析的安全性：由于MD5的设计，易受密码分析的攻击，SHA-1显得不易受这样的攻击。

l 速度：在相同的硬件上，SHA-1的运行速度比MD5慢。