python的fnv哈希扩展

最新推荐文章于 2021-12-10 19:42:00 发布

jakieyoung

最新推荐文章于 2021-12-10 19:42:00 发布

阅读量2.6k

点赞数

CC 4.0 BY-SA版权

分类专栏： python 文章标签： python methods null 扩展 import google

本文链接：https://blog.youkuaiyun.com/jakieyoung/article/details/6320420

python 专栏收录该内容

9 篇文章

订阅专栏

本文介绍了如何在Python中自定义一个FNV哈希扩展，通过C语言编写fnv_module.c并编译为动态链接库。文章展示了C模块的实现过程，包括哈希函数的定义和Python接口的封装。作者还对比了C扩展和纯Python实现的性能差异，C扩展在50万次哈希计算中仅需1.589秒，而纯Python版本则需要32秒，效率提高了近5倍。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

自己写一个python的fnv哈希的扩展，文件名fnv_module.c

#include <Python.h> #include <sys/types.h> /* typedef unsigned long fnv_t; */ typedef u_int32_t fnv_t; static fnv_t FNVHash(char* data, size_t n) { unsigned char *s = (unsigned char*)data; fnv_t hash = 2166136261UL; while(*s) { hash *= 16777619; hash %= 0xFFFFFFFF; hash ^= (fnv_t)*s++; } return hash; } PyObject* fnvhash(PyObject *self, PyObject *args) { int hash; char *s; PyObject* pInt; if(!PyArg_ParseTuple(args, "s", &s)) return NULL; hash = FNVHash(s, strlen(s)); /* pInt = Py_BuildValue("i", hash); */ pInt = PyLong_FromUnsignedLong(hash); return pInt; } static PyMethodDef fnv_hash_methods[] = { {"fnvhash", fnvhash, METH_VARARGS, "Caculate FNV-32 hash!"}, {NULL, NULL} }; void initfnv() { PyObject* m; m = Py_InitModule("fnv", fnv_hash_methods); }

编译

gcc -o fnv.so -I /usr/include/python2.6 -shared -fpic fnv_module.c

调用方法

i = 0 import fnv while i < 500000 : fnv.fnvhash('http://s.goso.cn/s?keyword=%d' % i) i += 1

测试了一下速度，50万次hash计算

time python ./fnv_test.py real 0m1.589s user 0m1.500s sys 0m0.036s

平均3微秒一次，速度还算可以。

在fnv_module.c中PyLong_FromUnsignedLong(hash)那行，我原先用的是Py_BuildValue("i", hash)返回的数值老出现负值。

在google上搜一下，找到PyLong_FromUnsignedLong函数，它可以接受一个unsigned类型的整数，返回也是一个unsigned类型整数。

替换之后，完全正确。

附：fnv哈希的纯Python实现，只是效率太低，50万次计算hash需要32秒。

是c模块实现的效率的5%不到

#!/usr/bin/env python fnv_prime = 16777619 offset_basis = 2166136261 mask = pow(2, 32) def fnvhash(buff) : hval = offset_basis for s in buff : hval *= fnv_prime hval %= mask hval ^= ord(s) return hval