hash原理总结

转自:https://blog.youkuaiyun.com/csdnliuxin123524/article/details/88580993

 

自我总结:

如上图是一个map元素在集合中的完整结构,

1,它是由一个Entry对象,一个next指针和index下标组成,Entry对象有两key,value两个字段。

2,hashmap创建默认创建的size是16,当put放入元素时计算hashcode码,放到指定的位置,get时也是计算hashcode码瞬间找到值的存储位置。

简单来说,HashMap由数组+链表组成的,数组是HashMap的主体,链表则是主要为了解决哈希冲突而存在的,如果定位到的数组位置不含链表(当前entry的next指向null),那么对于查找,添加等操作很快,仅需一次寻址即可;如果定位到的数组包含链表,对于添加操作,其时间复杂度为O(n),首先遍历链表,存在即覆盖,否则新增;对于查找操作来讲,仍需遍历链表,然后通过key对象的equals方法逐一比对查找。所以,性能考虑,HashMap中的链表出现越少,性能才会越好。

3,所以map的特性就是key/value存储,和hashcode寻址,查询速度很快。

1. HashMap的数据结构

数据结构中有数组和链表来实现对数据的存储,但这两者基本上是两个极端。

数组

数组存储区间是连续的,占用内存严重,故空间复杂的很大。但数组的二分查找时间复杂度小,为O(1);数组的特点是:寻址容易,插入和删除困难;

链表

链表存储区间离散,占用内存比较宽松,故空间复杂度很小,但时间复杂度很大,达O(N)。链表的特点是:寻址困难,插入和删除容易。

哈希表

那么我们能不能综合两者的特性,做出一种寻址容易,插入删除也容易的数据结构?答案是肯定的,这就是我们要提起的哈希表。哈希表((Hash table)既满足了数据的查找方便,同时不占用太多的内容空间,使用也十分方便。

  哈希表有多种不同的实现方法,我接下来解释的是最常用的一种方法—— 拉链法,我们可以理解为“链表的数组” ,如图:

 

 

  从上图我们可以发现哈希表是由数组+链表组成的,一个长度为16的数组中,每个元素存储的是一个链表的头结点。那么这些元素是按照什么样的规则存储到数组中呢。一般情况是通过hash(key)%len获得,也就是元素的key的哈希值对数组长度取模得到。比如上述哈希表中,12%16=12,28%16=12,108%16=12,140%16=12。所以12、28、108以及140都存储在数组下标为12的位置。

  HashMap其实也是一个线性的数组实现的,所以可以理解为其存储数据的容器就是一个线性数组。这可能让我们很不解,一个线性的数组怎么实现按键值对来存取数据呢?这里HashMap有做一些处理。

  首先HashMap里面实现一个静态内部类Entry,其重要的属性有 key , value, next,从属性key,value我们就能很明显的看出来Entry就是HashMap键值对实现的一个基础bean,我们上面说到HashMap的基础就是一个线性数组,这个数组就是Entry[],Map里面的内容都保存在Entry[]里面。

    /**

     * The table, resized as necessary. Length MUST Always be a power of two.

     */

    transient Entry[] table;

2. HashMap的存取实现

     既然是线性数组,为什么能随机存取?这里HashMap用了一个小算法,大致是这样实现:

// 存储时:
int hash = key.hashCode(); // 这个hashCode方法这里不详述,只要理解每个key的hash是一个固定的int值
int index = hash % Entry[].length;
Entry[index] = value;

// 取值时:
int hash = key.hashCode();
int index = hash % Entry[].length;
return Entry[index];

 

1)put

 

疑问:如果两个key通过hash%Entry[].length得到的index相同,会不会有覆盖的危险?

  这里HashMap里面用到链式数据结构的一个概念。上面我们提到过Entry类里面有一个next属性,作用是指向下一个Entry。打个比方, 第一个键值对A进来,通过计算其key的hash得到的index=0,记做:Entry[0] = A。一会后又进来一个键值对B,通过计算其index也等于0,现在怎么办?HashMap会这样做:B.next = A,Entry[0] = B,如果又进来C,index也等于0,那么C.next = B,Entry[0] = C;这样我们发现index=0的地方其实存取了A,B,C三个键值对,他们通过next这个属性链接在一起。所以疑问不用担心。也就是说数组中存储的是最后插入的元素。到这里为止,HashMap的大致实现,我们应该已经清楚了。

 public V put(K key, V value) {

        if (key == null)

            return putForNullKey(value); //null总是放在数组的第一个链表中

        int hash = hash(key.hashCode());

        int i = indexFor(hash, table.length);

        //遍历链表

        for (Entry<K,V> e = table[i]; e != null; e = e.next) {

            Object k;

            //如果key在链表中已存在,则替换为新value

            if (e.hash == hash && ((k = e.key) == key || key.equals(k))) {

                V oldValue = e.value;

                e.value = value;

                e.recordAccess(this);

                return oldValue;

            }

        }

 

        modCount++;

        addEntry(hash, key, value, i);

        return null;

    }

 

void addEntry(int hash, K key, V value, int bucketIndex) {

    Entry<K,V> e = table[bucketIndex];

    table[bucketIndex] = new Entry<K,V>(hash, key, value, e); //参数e, 是Entry.next

    //如果size超过threshold,则扩充table大小。再散列

    if (size++ >= threshold)

            resize(2 * table.length);

}

  当然HashMap里面也包含一些优化方面的实现,这里也说一下。比如:Entry[]的长度一定后,随着map里面数据的越来越长,这样同一个index的链就会很长,会不会影响性能?HashMap里面设置一个因子,随着map的size越来越大,Entry[]会以一定的规则加长长度。

2)get

 public V get(Object key) {

        if (key == null)

            return getForNullKey();

        int hash = hash(key.hashCode());

        //先定位到数组元素,再遍历该元素处的链表

        for (Entry<K,V> e = table[indexFor(hash, table.length)];

             e != null;

             e = e.next) {

            Object k;

            if (e.hash == hash && ((k = e.key) == key || key.equals(k)))

                return e.value;

        }

        return null;

}

 

3)null key的存取

null key总是存放在Entry[]数组的第一个元素。

   private V putForNullKey(V value) {

        for (Entry<K,V> e = table[0]; e != null; e = e.next) {

            if (e.key == null) {

                V oldValue = e.value;

                e.value = value;

                e.recordAccess(this);

                return oldValue;

            }

        }

        modCount++;

        addEntry(0, null, value, 0);

        return null;

    }

 

    private V getForNullKey() {

        for (Entry<K,V> e = table[0]; e != null; e = e.next) {

            if (e.key == null)

                return e.value;

        }

        return null;

    }

 

 

 

 

4)确定数组index:hashcode % table.length取模

HashMap存取时,都需要计算当前key应该对应Entry[]数组哪个元素,即计算数组下标;算法如下:

   /**

     * Returns index for hash code h.

     */

    static int indexFor(int h, int length) {

        return h & (length-1);

    }

 

按位取并,作用上相当于取模mod或者取余%。

这意味着数组下标相同,并不表示hashCode相同。

 

5)table初始大小

 

  public HashMap(int initialCapacity, float loadFactor) {

        .....

 

        // Find a power of 2 >= initialCapacity

        int capacity = 1;

        while (capacity < initialCapacity)

            capacity <<= 1;

 

        this.loadFactor = loadFactor;

        threshold = (int)(capacity * loadFactor);

        table = new Entry[capacity];

        init();

    }

 

注意table初始大小并不是构造函数中的initialCapacity!!

而是 >= initialCapacity的2的n次幂!!!!

————为什么这么设计呢?——

3. 解决hash冲突的办法

  1. 开放定址法(线性探测再散列,二次探测再散列,伪随机探测再散列)
  2. 再哈希法
  3. 链地址法
  4. 建立一个公共溢出区

Java中hashmap的解决办法就是采用的链地址法。

 

4. 再散列rehash过程

当哈希表的容量超过默认容量时,必须调整table的大小。当容量已经达到最大可能值时,那么该方法就将容量调整到Integer.MAX_VALUE返回,这时,需要创建一张新表,将原表的映射到新表中。

   /**

     * Rehashes the contents of this map into a new array with a

     * larger capacity.  This method is called automatically when the

     * number of keys in this map reaches its threshold.

     *

     * If current capacity is MAXIMUM_CAPACITY, this method does not

     * resize the map, but sets threshold to Integer.MAX_VALUE.

     * This has the effect of preventing future calls.

     *

     * @param newCapacity the new capacity, MUST be a power of two;

     *        must be greater than current capacity unless current

     *        capacity is MAXIMUM_CAPACITY (in which case value

     *        is irrelevant).

     */

    void resize(int newCapacity) {

        Entry[] oldTable = table;

        int oldCapacity = oldTable.length;

        if (oldCapacity == MAXIMUM_CAPACITY) {

            threshold = Integer.MAX_VALUE;

            return;

        }

 

        Entry[] newTable = new Entry[newCapacity];

        transfer(newTable);

        table = newTable;

        threshold = (int)(newCapacity * loadFactor);

    }

 

    /**

     * Transfers all entries from current table to newTable.

     */

    void transfer(Entry[] newTable) {

        Entry[] src = table;

        int newCapacity = newTable.length;

        for (int j = 0; j < src.length; j++) {

            Entry<K,V> e = src[j];

            if (e != null) {

                src[j] = null;

                do {

                    Entry<K,V> next = e.next;

                    //重新计算index

                    int i = indexFor(e.hash, newCapacity);

                    e.next = newTable[i];

                    newTable[i] = e;

                    e = next;

                } while (e != null);

            }

        }

    }

 

<think>嗯,用户问的是哈希数据结构的底层实现原理。我需要先回顾一下Redis中Hash的底层结构。根据之前的引用,Hash在Redis中使用了两种结构:压缩列表(ziplist)和哈希表(hashtable)。当元素个数小于128且每个数据都小于64字节时,使用ziplist,否则转成hashtable。 首先,得解释ziplist。压缩列表是为了节省内存而设计的,连续内存空间,每个entry保存键值对。记得引用5提到,ziplist通过特定编码规则来节省内存,而不是压缩算法。需要说明ziplist的结构,比如内存布局、entry的组成,以及插入和查询的时间复杂度。 然后是哈希表,也就是dict的结构。这里应该提到哈希表的基本原理,比如使用数组和表解决冲突,渐进式rehash的过程。引用3里提到,哈希的时间复杂度是O(1),所以需要解释为什么能达到这个效率,以及rehash时如何保持操作不受影响。 还要比较两种结构的转换条件,为什么会有这样的设计?可能是因为小数据时ziplist更节省内存,但数据量大时哈希表更高效。需要结合引用3里的条件,元素个数和大小超过阈值时会转换。 用户可能还想知道不同场景下的性能表现,比如插入、查询、删除操作在两种结构下的区别。比如ziplist插入可能需要内存重分配,而哈希表则分摊O(1)的时间。同时,渐进式rehash如何避免阻塞服务,这也是关键点。 另外,可能需要补充一下哈希表的具体实现细节,比如哈希函数、负载因子、扩容缩容的条件。不过根据现有的引用,可能信息有限,但引用3提到了dict和skiplist在有序集合中的应用,不过这里Hash用的是dict结构,所以重点在dict的实现。 需要确保回答结构清晰,先总述两种结构,再分别详细说明,最后总结转换机制和设计目的。同时,注意引用对应的来源,比如引用3、5提到ziplist和哈希表的相关内容,要正确标注引用位置。 最后,生成相关问题时要围绕底层实现、转换条件、优缺点比较、应用场景等方面提问,帮助用户深入理解。</think>### Hash数据结构底层实现原理 在Redis中,**Hash数据结构的底层实现**主要依赖两种结构:**压缩列表(ziplist)** 和 **哈希表(hashtable)**,根据存储数据的规模动态切换[^3][^5]。 --- #### 1. **压缩列表(ziplist)** - **适用条件**:当Hash中字段数量 ≤ 128且每个字段值 ≤ 64字节时使用[^3]。 - **实现特点**: - 内存连续分配,通过编码规则节省空间(例如将整数存储为更短的二进制形式)。 - 每个键值对依次存储为两个相邻的节点,结构为`<key><value>`,例如存储`name: "Alice"`时,会编码为`["name", "Alice"]`。 - 插入、查询时间复杂度为$O(n)$(需遍历整个列表)。 - **示例存储结构**: ``` [ziplist头部][键1长度][键1数据][值1长度][值1数据][键2长度][键2数据]... ``` --- #### 2. **哈希表(hashtable)** - **触发条件**:当字段数量或字段值大小超过阈值时,自动转换为哈希表。 - **实现特点**: - 基于字典(`dict`)实现,使用地址法解决哈希冲突。 - 哈希表由两个子表组成(`ht[0]`和`ht[1]`),支持渐进式rehash(扩容/缩容时逐步迁移数据,避免阻塞服务)[^3]。 - 插入、查询、删除的时间复杂度为$O(1)$(理想情况下)。 - **渐进式rehash流程**: 1. 分配新哈希表`ht[1]`,大小是`ht[0]`的2倍。 2. 每次操作(如插入、查询)时迁移少量数据。 3. 迁移完成后,用`ht[1]`替换`ht[0]`。 --- #### 3. **设计目标** - **内存优化**:小规模数据优先使用压缩列表,减少内存碎片。 - **性能平衡**:哈希表牺牲部分内存换取高效操作,适合大规模数据。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值