若干经典的字符串哈希函数

最新推荐文章于 2023-03-20 16:52:47 发布
原创 最新推荐文章于 2023-03-20 16:52:47 发布 · 129 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#软件测试 #算法 #MySQL #C #C#

本文对比测试了多种经典字符串Hash函数，包括BKDRHash、APHash等，通过具体指标评估了它们的性能，并提供了每种函数的C语言实现。

文章转摘自http://www.cmykrgb123.cn/blog/string-hash-compare/

 

常用的字符串Hash函数还有ELFHash，APHash等等，都是十分简单有效的方法。这些函数使用

位运算使得每一个字符都对最后的函数值产生影响。另外还有以MD5和SHA1为代表的杂凑函数，

这些函数几乎不可能找到碰撞。

常用字符串哈希函数有BKDRHash，APHash，DJBHash，JSHash，RSHash，SDBMHash，

PJWHash，ELFHash等等。对于以上几种哈希函数，我对其进行了一个小小的评测。

 

Hash函数 数据1 数据2 数据3 数据4 数据1得分 数据2得分 数据3得分 数据4得分 平均分 BKDRHash 2 0 4774 481 96.55 100 90.95 82.05 92.64 APHash 2 3 4754 493 96.55 88.46 100 51.28 86.28 DJBHash 2 2 4975 474 96.55 92.31 0 100 83.43 JSHash 1 4 4761 506 100 84.62 96.83 17.95 81.94 RSHash 1 0 4861 505 100 100 51.58 20.51 75.96 SDBMHash 3 2 4849 504 93.1 92.31 57.01 23.08 72.41 PJWHash 30 26 4878 513 0 0 43.89 0 21.95 ELFHash 30 26 4878 513 0 0 43.89 0 21.95

其中数据1为100000个字母和数字组成的随机串哈希冲突个数。数据2为100000个有意义的英文句

子哈希冲突个数。数据3为数据1的哈希值与1000003(大素数)求模后存储到线性表中冲突的个数。

数据4为数据1的哈希值与10000019(更大素数)求模后存储到线性表中冲突的个数。

经过比较，得出以上平均得分。平均数为平方平均数。可以发现，BKDRHash无论是在实际效果还是

编码实现中，效果都是最突出的。APHash也是较为优秀的算法。DJBHash,JSHash,RSHash与

SDBMHash各有千秋。PJWHash与ELFHash效果最差，但得分相似，其算法本质是相似的。

在信息修竞赛中，要本着易于编码调试的原则，个人认为BKDRHash是最适合记忆和使用的。

CmYkRgB123原创，欢迎建议、交流、批评和指正。

 

附：各种哈希函数的C语言程序代码

{ unsigned int hash = 0 ;   while ( *str ) { // equivalent to: hash = 65599*hash + (*str++); hash = ( *str ++ ) + (hash << 6 ) + (hash << 16 ) - hash ; }   return (hash & 0x7FFFFFFF ) ; }   // RS Hash unsigned int RSHash ( char *str ) { unsigned int b = 378551 ; unsigned int a = 63689 ; unsigned int hash = 0 ;   while ( *str ) { hash = hash * a + ( *str ++ ) ; a * = b ; }   return (hash & 0x7FFFFFFF ) ; }   // JS Hash unsigned int JSHash ( char *str ) { unsigned int hash = 1315423911 ;   while ( *str ) { hash ^ = ( (hash << 5 ) + ( *str ++ ) + (hash >> 2 ) ) ; }   return (hash & 0x7FFFFFFF ) ; }   // P. J. Weinberger Hash unsigned int PJWHash ( char *str ) { unsigned int BitsInUnignedInt = ( unsigned int ) ( sizeof ( unsigned int ) * 8 ) ; unsigned int ThreeQuarters = ( unsigned int ) ( (BitsInUnignedInt * 3 ) / 4 ) ; unsigned int OneEighth = ( unsigned int ) (BitsInUnignedInt / 8 ) ; unsigned int HighBits = ( unsigned int ) ( 0xFFFFFFFF ) << (BitsInUnignedInt unsigned int SDBMHash ( char *str ) 
                                               - OneEighth);
	unsigned int hash	= 0;
	unsigned int test	= 0;
 
	while (*str)
	{
		hash = (hash << OneEighth) + (*str++);
		if ((test = hash & HighBits) != 0)
		{
			hash = ((hash ^ (test >> ThreeQuarters)) & (~HighBits));
		}
	}
 
	return (hash & 0x7FFFFFFF);
}
 
// ELF Hash 
unsigned int ELFHash(char *str)
{
	unsigned int hash = 0;
	unsigned int x	= 0;
 
	while (*str)
	{
		hash = (hash << 4) + (*str++);
		if ((x = hash & 0xF0000000L) != 0)
		{
			hash ^= (x >> 24);
			hash &= ~x;
		}
	}
 
	return (hash & 0x7FFFFFFF);
}
 
// BKDR Hash 
unsigned int BKDRHash(char *str)
{
	unsigned int seed = 131; // 31 131 1313 13131 131313 etc..
	unsigned int hash = 0;
 
	while (*str)
	{
		hash = hash * seed + (*str++);
	}
 
	return (hash & 0x7FFFFFFF);
}
 
// DJB Hash 
unsigned int DJBHash(char *str)
{
	unsigned int hash = 5381;
 
	while (*str)
	{
		hash += (hash << 5) + (*str++);
	}
 
	return (hash & 0x7FFFFFFF);
}
 
// AP Hash 
unsigned int APHash(char *str)
{
	unsigned int hash = 0;
	int i;
 
	for (i=0; *str; i++)
	{
		if ((i & 1) == 0)
		{
			hash ^= ((hash << 7) ^ (*str++) ^ (hash >> 3));
		}
		else
		{
			hash ^= (~((hash << 11) ^ (*str++) ^ (hash >> 5)));
		}
	}
 
	return (hash & 0x7FFFFFFF);
}
字符串的算法一般大公司都会考到，我们首先要想到高效的hash。如百度查找一组字符串是否出现在某个文本中，这个不是考什么kmp，他们想听到的是hash。趋势科技考的是从某个文本中删除一组字符串，我想也是要hash吧。


1 概述

链表查找的时间效率为O(N)，二分法为log2N，B+ Tree为log2N，但Hash链表查找的时间效率为O(1)。
设计高效算法往往需要使用 Hash链表，常数级的 查找速度是任何别的算法无法比拟的， Hash链表的构造和冲突的不同实现方法对效率当然有一定的影响，然 而 Hash函数是 Hash链表最核心的部分，本文尝试分析一些经典软件中使用到的字符串 Hash函数在执行效率、离散性、空间利用率等
方面的性能问题。
 
2 经典字符串Hash函数介绍
作者阅读过大量经典软件原代码，下面分别介绍几个经典软件中出现的字符串Hash函数。
2.1 PHP中出现的字符串Hash函数
static unsigned long hashpjw(char *arKey, unsigned int nKeyLength)
{
unsigned long h = 0, g;
char *arEnd=arKey+nKeyLength;
 
while (arKey < arEnd) {
h = (h << 4) + *arKey++;
if ((g = (h & 0xF0000000))) {
h = h ^ (g >> 24);
h = h ^ g;
}
}
return h;
}
2.2 OpenSSL中出现的字符串Hash函数
unsigned long lh_strhash(char *str)
{
int i,l;
unsigned long ret=0;
unsigned short *s;
 
if (str == NULL) return(0);
l=(strlen(str)+1)/2;
s=(unsigned short *)str;
for (i=0; i
ret^=(s[i]<<(i&0x0f));
return(ret);
} */
 
/* The following hash seems to work very well on normal text strings
* no collisions on /usr/dict/words and it distributes on %2^n quite
* well, not as good as MD5, but still good.
*/
unsigned long lh_strhash(const char *c)
{
unsigned long ret=0;
long n;
unsigned long v;
int r;
 
if ((c == NULL) || (*c == '\0'))
return(ret);
/*
unsigned char b[16];
MD5(c,strlen(c),b);
return(b[0]|(b[1]<<8)|(b[2]<<16)|(b[3]<<24));
*/
 
n=0x100;
while (*c)
{
v=n|(*c);
n+=0x100;
r= (int)((v>>2)^v)&0x0f;
ret=(ret(32-r));
ret&=0xFFFFFFFFL;
ret^=v*v;
c++;
}
return((ret>>16)^ret);
}
在下面的测量过程中我们分别将上面的两个函数标记为OpenSSL_Hash1和OpenSSL_Hash2，至于上面的实现中使用MD5算法的实现函数我们不作测试。
2.3 MySql中出现的字符串Hash函数
#ifndef NEW_HASH_
 
/* Calc hash for a key */
 
static uint calc_hashnr(const byte *key,uint length)
{
register uint nr=1, nr2=4;
while (length--)
{
nr^= (((nr & 63)+nr2)*((uint) (uchar) *key++))+ (nr << 8);
nr2+=3;
}
return((uint) nr);
}
 
/* Calc hash for a key, case indepenently */
 
static uint calc_hashnr_caseup(const byte *key,uint length)
{
register uint nr=1, nr2=4;
while (length--)
{
nr^= (((nr & 63)+nr2)*((uint) (uchar) toupper(*key++)))+ (nr << 8);
nr2+=3;
}
return((uint) nr);
}
 
#else
 
/*
* Fowler/Noll/Vo hash
*
* The basis of the hash algorithm was taken from an idea sent by email to the
* IEEE Posix P1003.2 mailing list from Phong Vo (kpv@research.att.com) and
* Glenn Fowler (gsf@research.att.com). Landon Curt Noll (chongo@toad.com)
* later improved on their algorithm.
*
* The magic is in the interesting relationship between the special prime
* 16777619 (2^24 + 403) and 2^32 and 2^8.
*
* This hash produces the fewest collisions of any that we've seen so
* far, and works well on both numbers and strings.
*/
 
uint calc_hashnr(const byte *key, uint len)
{
const byte *end=key+len;
uint hash;
for (hash = 0; key < end; key++)
{
hash *= 16777619;
hash ^= (uint) *(uchar*) key;
}
return (hash);
}
 
uint calc_hashnr_caseup(const byte *key, uint len)
{
const byte *end=key+len;
uint hash;
for (hash = 0; key < end; key++)
{
hash *= 16777619;
hash ^= (uint) (uchar) toupper(*key);
}
return (hash);
}
 
#endif
Mysql中对字符串Hash函数还区分了大小写，我们的测试中使用不区分大小写的字符串Hash函数，另外我们将上面的两个函数分别记为MYSQL_Hash1和MYSQL_Hash2。
2.4 另一个经验字符串Hash函数
unsigned int hash(char *str)
{
register unsigned int h;
register unsigned char *p;
 
for(h=0, p = (unsigned char *)str; *p ; p++)
h = 31 * h + *p;
 
return h;
}
3 测试及结果
3.1 测试说明
从上面给出的经典字符串Hash函 数中可以看出，有的涉及到字符串大小敏感问题，我们的测试中只考虑字符串大小写敏感的函数，另外在上面的函数中有的函数 需要长度参数，有的不需要长度参数，这对函数本身的效率有一定的影响，我们的测试中将对函数稍微作一点修改，全部使用长度参数，并将函数内部出现的计算长 度代码删除。
我们用来作测试用的Hash链表采用经典的拉链法解决冲突，另外我们采用静态分配桶（Hash链表长度）的方法来构造Hash链表，这主要是为了简化我们的实现，并不影响我们的测试结果。
测试文本采用单词表，测试过程中从一个输入文件中读取全部不重复单词构造一个Hash表，测试内容分别是函数总调用次数、函数总调用时间、最大拉链长度、 平均拉链长度、桶利用率（使用过的桶所占的比率），其中函数总调用次数是指Hash函数被调用的总次数，为了测试出函数执行时间，该值在测试过程中作了一 定的放大，函数总调用时间是指Hash函数总的执行时间，最大拉链长度是指使用拉链法构造链表过程中出现的最大拉链长度，平均拉链长度指拉链的平均长度。
测试过程中使用的机器配置如下：
PIII600笔记本，128M内存，windows 2000 server操作系统。
3.2 测试结果
以下分别是对两个不同文本文件中的全部不重复单词构造Hash链表的测试结果，测试结果中函数调用次数放大了100倍，相应的函数调用时间也放大了100倍。

从上表可以看出，这些经典软件虽然构造字符串Hash函数的方法不同，但是它们的效率都是不错的，相互之间差距很小，读者可以参考实际情况从其中借鉴使用。
Hash(哈希（字符串哈希）)模板和做题总结（详细易懂）
m0_64183293的博客
01-22 1514
文章目录 系列文章目 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 一 拉链法处理hash冲突模板 开放寻址法指的是当你发现这个位置已经被占用后，就按照一定的喜好去寻找没有被占用的位置。寻找 新的位置的方法 #include <cstring> #include <iostream> using namespace std; const int N = 1e5 + 3; // 取大于1e...
1457：Power Strings——字符串哈希
与其邻渊羡渔，不如退而结网
09-28 977
【题目描述】原题来自：POJ 2406给定若干个长度 ≤106 的字符串，询问每个字符串最多是由多少个相同的子字符串重复连接而成的。如：ababab 则最多有 3 个 ab 连接而成。【输入】输入若干行，每行有一个字符串，字符串仅含英语字母。特别的，字符串可能为 . 即一个半角句号，此时输入结束。【输出】【输入样例】abcdaaaaababab.【输出样例】143。
字符串hash算法比较 AND 经典HASH函数
未语愁眸
06-23 1880
字符串的算法一般大公司都会考到，我们首先要想到高效的hash。如百度查找一组字符串是否出现在某个文本中，这个不是考什么kmp，他们想听到的是hash。趋势科技考的是从某个文本中删除一组字符串，我想也是要hash吧。 1 概述 链表查找的时间效率为O(N)，二分法为log2N，B+ Tree为log2N，但Hash链表查找的时
字符串的哈希Key算法
08-08
字符串哈希算法和内存监控类，暂时放一下，还在开发中
经典hash算法
08-17
几种经典的hash算法，几种经典的hash算法
字符串的经典hash算法
横云断岭的专栏
09-29 1万+
字符串 hash 算法
主流字符串哈希算法简明介绍及实例代码
08-26
主流字符串哈希算法简明介绍及实例代码 哈希算法是计算机科学中的一种基础算法，广泛应用于数据存储、检索、加密等领域。字符串哈希算法是哈希算法中的一种特殊类型，专门用于处理字符串类型的数据。在本文中，我们...
字符串哈希技术详解与实际应用示例
字符串哈希是一种在算法设计与程序实现中广泛使用的高效技术，其核心思想是将一个字符串通过特定的数学函数映射为一个整数（即哈希值），从而实现对字符串的快速比较和查找。本文标题“字符串哈希应用[可运行源码]”...
散列表（一）：散列表概念、 散列函数构造方法、 常见字符串哈希函数（测试冲突）
Meditation
07-30 5387
一、散列表基本概念 1、散列表(hash table) ，也叫哈希表，是根据关键码而直接进行访问的数据结构。也就是说，它通过把关键码映射到表中一个位置 来访问记录，以加快查找的速度。这个映射函数叫做散列函数，存放记录的数组叫做散列表。 2、若结构中存在关键码为x的记录，则必定在hash(x)的存储位置上。由此，不需比较便可直接取得所查记录。称这个对应关系hash 为散列函数
字符串hash函数比较
邪恶牛犊的博客
12-04 372
/// @brief BKDR Hash Function /// @detail 本 算法由于在Brian Kernighan与Dennis Ritchie的《The C Programming Language》一书被展示而得 名，是一种简单快捷的hash算法，也是Java目前采用的字符串的Hash算法（累乘因子为31）。 template<class T>
字符串hash算法比较
一盅两件
06-15 2341
字符串hash算法比较 1 概述 链表查找的时间效率为O(N)，二分法为log2N，B+ Tree为log2N，但Hash链表查找的时间效率为O(1)。 设计高效算法往往需要使用Hash链表，常数级的查找速度是任何别的算法无法比拟的，Hash链表的构造和冲突的不同实现方法对效率当然有一
字符串hash算法
Tomorrow Never Knows
01-14 1371
本篇博客主要记录了 字符串hash 的相关算法，包括： 1. 字符串hash初步 2. 字符串hash进阶（还不一定什么时候写，初步的内容在大部分情况下是够用的） 概述 散列（hash）是一种常用的算法思想，是一种典型的以空间换时间的做法。 对于整数型的散列算法在一般的数据结构课程或书籍中都会教授，这两个名词不知道是否会激起您的一些记忆：散列函数、冲突。 这篇博客不讨论散列函数的构
字符串哈希算法
a921893396的博客
02-02 5648
哈希算法 字符串的哈希算法，通俗的理解，就是将一个字符串，转化成整数 原来我们进行字符串匹配的时候，就是一个个去匹配，那么时间复杂度是o（n），如果转化成数字，去匹配那么时间复杂度会变成o（1）。 哈希算法的引入 首先联想一下二进制数，对于任意一个二进制数，我们将它化为10进制的数的方法如下（以二进制数1101101为例）： 1101101=1 * 2 ^ 6+1 * 2 ^ 5+0 * 2 ^ ...
字符串Hash 字符比较(O1)
zhanghengyyds的博客
03-20 420
区间Hash值计算 prea[l~r]=prea[r]-prea[l-1]*pre[r-l+1]. prea代表区间累成加a[i]的结果pre[r-l+1]代表还要乘多少才能让prea[r]和prea[l]同位数；base类似于进制131就可以,用mod来余除或者unsigned long long 自动余除.选择一段区间翻转后是否能让这个字符串变成回文串。
字符串HASH算法入门
Apollo的博客
08-11 540
放个链接好了：字符串哈希入门
【算法学习】字符串哈希（Hash）
热门推荐
Mikchy的博客
01-15 4万+
什么是字符串Hash 构造字符串Hash 1）自然溢出方法 2）单Hash方法 3）双Hash方法 4）三种不同的构造方法的对比 获取子串的Hash O(1) 1）例子 2）公式 具体的题目例子 1）题目链接 2）题意 3）解题分析 4）AC代码（自然溢出 C++） 5）AC代码（单Hash C++） 6）AC代码（双Hash C++） 什么是字符串Hash ...
哈希表实现：复制关键字字符串的方法
对于字符串类型的关键字，哈希函数需要能够将任意长度的字符串转换为一个较小范围内的整数。 在本例中，哈希函数的定义为`int replicate(char key[], unsigned int len, unsigned int len_table);`，参数说明如下：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值