哈希表的Python实现

最新推荐文章于 2023-11-24 18:50:12 发布

恋蛩音

最新推荐文章于 2023-11-24 18:50:12 发布

阅读量2.6k

点赞数 3

CC 4.0 BY-SA版权

分类专栏： Python数据结构与算法文章标签： Python数据结构与算法 Python数据结构与算法

本文链接：https://blog.youkuaiyun.com/qq_17846375/article/details/97511017

Python数据结构与算法专栏收录该内容

14 篇文章

订阅专栏

哈希表代码实现

首先，要明白，一个哈希表有好多个槽（Slot）组成,一个槽里面放两个值，一个key，和一个value。

先定义个插槽(Slot)，一个槽有三种状态：存放数据，未存放数据，存放数据被删除后。

class Slot(object):
    def __init__(self, key, value):
        self.key, self.value = key, value

下面定义一个HashTable类，用来实现哈希的操作：

   UNUSED = None  # 没被使用过
    EMPTY = Slot(None, None)  # 使用却被删除过

    def __init__(self):
        self._table = Array(8, init=HashTable.UNUSED)   # 保持 2*i 次方
        self.length = 0

    @property
    def _load_factor(self):
        # load_factor 超过 0.8 重新分配
        return self.length / float(len(self._table))

    def __len__(self):
        return self.length

    def _hash(self, key):
        return abs(hash(key)) % len(self._table)

其中，两个标志位UNUSED、EMPTY分别表示：Slot表的某槽位置是未被使用的和使用后被删除的两种状态。接着，先用数组初始化，设置重载因子（_load_factor），返回长度函数（__len__），和哈希计算（_hash），这里的计算方式是采用的cpython 解释器版本的计算哈希位置的方法，不做过多的解释了就。

查找

完成以上的前定义，下面来实现一个可以查找哈希表中值的函数：

    def _find_key(self, key):
        index = self._hash(key)
        _len = len(self._table)
        while self._table[index] is not HashTable.UNUSED:#如果槽就没有被使用过，就跳过
            if self._table[index] is HashTable.EMPTY:    #针对该槽没有值，但有被使用过
                index = (index*5 + 1) % _len             #cpython解决哈希冲突的一种方式
                continue
            elif self._table[index].key == key:        #针对该槽有值，而且，该值正是我们要找的
                return index
            else:                                        #针对该槽有值，但值不是我们要找的
                index = (index*5 + 1) % _len            
        return None

先获取要探查的值在哈希表中的初始位置（self._hash(key)），接着开始进入到一个while循环里面，当所探查的位置的标志位表示该位置并非是未使用过的前提下进行探查，再分为该位置是存放数值还是存放数值后已经被删除了，两种状态，如果该位置是已经存放过数值并已经被删除了，那么将索引按找cpython解释器计算位置的方式计算探查的值在哈希表中可能出现的下一个位置，接着查找；如果是该位置所存放的值正好等于要找的，那么直接返回该值。

查找可插入位置

接下来，设置一个寻找一个槽用来插入的函数_find_slot_for_insert,函数_slot_can_insert为它的辅助函数，来帮助它判断能不能进行插入一个新值。

所以，函数_slot_can_insert就是判断，该位置的标识符如果是空的（EMPTY）或者没被使用过（UNUSED），都是可以插入新值的。

回来再说函数_find_slot_for_insert，如果判断好了这个位置可以插入新值，那就把这个位置返回出来，算作可以插入新值的位置。如果判断这个位置不可以插入新值，那接着找下一个。

PS: while not x 的意思是:x为假（为0）时，进入循环。

    def _find_slot_for_insert(self, key):
        index = self._hash(key)
        _len = len(self._table)
        while not self._slot_can_insert(index): #没有找到的话，找下一个位置
            index = (index*5 + 1) % _len
        return index


    def _slot_can_insert(self, index):
        return (self._table[index] is HashTable.EMPTY or self._table[index] is HashTable.UNUSED)

是否存在

类似in操作符，判断所想查找的key，是否在所查的哈希表里面，利用上面实现的_find_key来查找：

    def __contains__(self, key):  # in operator
        index = self._find_key(key)
        return index is not None

下面实现几个哈希表最常用的几个方法：

插入

表示插入一个key，value值：

输入key，value,分两类讨论，如果这个key值在哈希表里面，那就把这个key值所在的位置给找出来，并把对应的value值更新成输入的value值。如果不在，那么就麻烦了，就需要先找到一个可以使其key插入的位置，然后在这个位置里面新建一个slot并把值给插进去，再把整个哈希表的长度进行递增更新，最后，记得用重载因子判断，哈希表的长度够不够长了，如果满了，就要将哈希表扩大了（rehash）。

    def add(self, key, value):
        if key in self:
            index = self._find_key(key)
            self._table[index].value = value
            return False
        else:
            index = self._find_slot_for_insert(key)
            self._table[index] = Slot(key, value)
            self.length += 1
            if self._load_factor >= 0.8:
                self._rehash()
            return True

重更新

下面介绍函数reshahs，当重载因子达到一定程度后，需要重新开辟一个新的数组，然后把之前的值重新移到新的数组里面，防止不停的插入的时候，原来的空间不够用。先将原来的哈希数组保存到一个old_table里面，接下来开辟一个新长度（原来长度的2倍）的新数组，再把旧的插到新数组里面。插入的过程要注意，只将有值的给插进去，没值的就不插进去了。

    def _rehash(self):
        old_table = self._table
        newsize = len(self._table) * 2
        self._table = Array(newsize, HashTable.UNUSED)

        self.length = 0

        for slot in old_table:
            if slot is not HashTable.UNUSED and slot is not HashTable.EMPTY:
                index = self._find_slot_for_insert(slot.key)
                self._table[index] = slot
                self.length += 1

取值

再定义一个取值操作，如果所查找的key在里面，返回对应的位置，并把对应位置的value给返回出来。

    def get(self, key, default=None):
        index = self._find_key(key)
        if index is None:
            return default
        else:
            return self._table[index].value

删除

下面进行删除操作：还跟以前一样，输入Key,找到对应的位置，然后，将该位置置为EMPTY的标志位，表示将之删除。

    def remove(self, key):
        index = self._find_key(key)
        if index is None:
            raise KeyError()
        value = self._table[index].value
        self.length -= 1
        self._table[index] = HashTable.EMPTY
        return value

遍历

最后，定义一个遍历操作：遍历哈希表每个槽，如果非空，就将对应的key值用生成器的方式显示出来。

    def __iter__(self):
        for slot in self._table:
            if slot not in (HashTable.EMPTY, HashTable.UNUSED):
                yield slot.key

附带的单测程序在完整代码里，也很重要，但就不讲了吧。

完整代码

# -*- coding: utf-8 -*-

class Array(object):

    def __init__(self, size=32, init=None):
        self._size = size
        self._items = [init] * size

    def __getitem__(self, index):
        return self._items[index]

    def __setitem__(self, index, value):
        self._items[index] = value

    def __len__(self):
        return self._size

    def clear(self, value=None):
        for i in range(len(self._items)):
            self._items[i] = value

    def __iter__(self):
        for item in self._items:
            yield item


class Slot(object):
    """定义一个 hash 表 数组的槽
    注意，一个槽有三种状态，看你能否想明白。相比链接法解决冲突，二次探查法删除一个 key 的操作稍微复杂。
    1.从未使用 HashMap.UNUSED。此槽没有被使用和冲突过，查找时只要找到 UNUSED 就不用再继续探查了
    2.使用过但是 remove 了，此时是 HashMap.EMPTY，该探查点后边的元素扔可能是有key
    3.槽正在使用 Slot 节点
    """

    def __init__(self, key, value):
        self.key, self.value = key, value


class HashTable(object):

    UNUSED = None  # 没被使用过
    EMPTY = Slot(None, None)  # 使用却被删除过

    def __init__(self):
        self._table = Array(8, init=HashTable.UNUSED)   # 保持 2*i 次方
        self.length = 0

    @property
    def _load_factor(self):
        # load_factor 超过 0.8 重新分配
        return self.length / float(len(self._table))

    def __len__(self):
        return self.length

    def _hash(self, key):
        return abs(hash(key)) % len(self._table)


    def _find_key(self, key):
        index = self._hash(key)
        _len = len(self._table)
        while self._table[index] is not HashTable.UNUSED:
            if self._table[index] is HashTable.EMPTY:
                index = (index*5 + 1) % _len
                continue
            elif self._table[index].key == key:
                return index
            else:
                index = (index*5 + 1) % _len
        return None

    def _find_slot_for_insert(self, key):
        index = self._hash(key)
        _len = len(self._table)
        while not self._slot_can_insert(index):
            index = (index*5 + 1) % _len
        return index

    def _slot_can_insert(self, index):
        return (self._table[index] is HashTable.EMPTY or self._table[index] is HashTable.UNUSED)

    def __contains__(self, key):  # in operator
        index = self._find_key(key)
        return index is not None

    def add(self, key, value):
        if key in self:
            index = self._find_key(key)
            self._table[index].value = value
            return False
        else:
            index = self._find_slot_for_insert(key)
            self._table[index] = Slot(key, value)
            self.length += 1
            if self._load_factor >= 0.8:
                self._rehash()
            return True

    def _rehash(self):
        old_table = self._table
        newsize = len(self._table) * 2
        self._table = Array(newsize, HashTable.UNUSED)

        self.length = 0

        for slot in old_table:
            if slot is not HashTable.UNUSED and slot is not HashTable.EMPTY:
                index = self._find_slot_for_insert(slot.key)
                self._table[index] = slot
                self.length += 1

    def get(self, key, default=None):
        index = self._find_key(key)
        if index is None:
            return default
        else:
            return self._table[index].value

    def remove(self, key):
        index = self._find_key(key)
        if index is None:
            raise KeyError()
        value = self._table[index].value
        self.length -= 1
        self._table[index] = HashTable.EMPTY
        return value

    def __iter__(self):
        for slot in self._table:
            if slot not in (HashTable.EMPTY, HashTable.UNUSED):
                yield slot.key


def test_hash_table():
    h = HashTable()
    h.add('a', 0)
    h.add('b', 1)
    h.add('c', 2)
    assert len(h) == 3
    assert h.get('a') == 0
    assert h.get('b') == 1
    assert h.get('hehe') is None

    h.remove('a')
    assert h.get('a') is None
    assert sorted(list(h)) == ['b', 'c']

    n = 50
    for i in range(n):
        h.add(i, i)

    for i in range(n):
        assert h.get(i) == i


if __name__ == '__main__':
    print(
        'beg',
        test_hash_table(),
        'end',
    )