java HashMap到ConcurrentHashMap(1.8版本为主)

本文详细分析了HashMap和ConcurrentHashMap的内部实现,包括put过程、扩容机制等,并提供了相关源码解析。通过学习这两款数据结构,有助于提升在多线程环境下的编程能力,为面试做好准备。同时,文章推荐了相关优质博客资源,帮助读者深入理解。

又是一年加薪季,大佬们互相交换资源,小菜鸡们互相换坑。回首自己四年多的职业生涯,搭配社会发展、996、内卷、程序员发展、人生目标等各种话题,秃然想好好努力卷一下,好歹多挣点钱回家转型啊。于是网上整理了一些面试大纲,配合一些博客,整理出了一个复习计划,同时整理成博客,方便自己后续复习。
整个计划分为十个部分(集合、多线程、网络、Spring和Mybatis、MySQL、JVM、Kafka、Redis、Zookeeper、分布式),有缺漏或不正确的地方,欢迎指正。

 

先看看集合的接口实现框架图

 


HashMap

简述:

键值对、无序、线程不安全
底层实现是数组+链表+红黑树


put过程:

public V put(K key, V value) {
    return putVal(hash(key), key, value, false, true);
}
static final int hash(Object key) {
    int h;
    return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16);
}

final V putVal(int hash, K key, V value, boolean onlyIfAbsent,
               boolean evict) {
    Node<K,V>[] tab; Node<K,V> p; int n, i;
    if ((tab = table) == null || (n = tab.length) == 0)
        n = (tab = resize()).length;
    if ((p = tab[i = (n - 1) & hash]) == null)
        tab[i] = newNode(hash, key, value, null);
    else {
        Node<K,V> e; K k;
        if (p.hash == hash &&
            ((k = p.key) == key || (key != null && key.equals(k))))
            e = p;
        else if (p instanceof TreeNode)
            e = ((TreeNode<K,V>)p).putTreeVal(this, tab, hash, key, value);
        else {
            for (int binCount = 0; ; ++binCount) {
                if ((e = p.next) == null) {
                    p.next = newNode(hash, key, value, null);
                    if (binCount >= TREEIFY_THRESHOLD - 1) // -1 for 1st
                        treeifyBin(tab, hash);
                    break;
                }
                if (e.hash == hash &&
                    ((k = e.key) == key || (key != null && key.equals(k))))
                    break;
                p = e;
            }
        }
        if (e != null) { // existing mapping for key
            V oldValue = e.value;
            if (!onlyIfAbsent || oldValue == null)
                e.value = value;
            afterNodeAccess(e);
            return oldValue;
        }
    }
    ++modCount;
    if (++size > threshold)
        resize();
    afterNodeInsertion(evict);
    return null;
}

put流程图:

 

resize扩容过程:

final Node<K,V>[] resize() {
        Node<K,V>[] oldTab = table;
        int oldCap = (oldTab == null) ? 0 : oldTab.length;
        int oldThr = threshold;
        int newCap, newThr = 0;
        if (oldCap > 0) {
            if (oldCap >= MAXIMUM_CAPACITY) {
                threshold = Integer.MAX_VALUE;
                return oldTab;
            }
            else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY &&
                     oldCap >= DEFAULT_INITIAL_CAPACITY)
                newThr = oldThr << 1; // double threshold
        }
        else if (oldThr > 0) // initial capacity was placed in threshold
            newCap = oldThr;
        else {               // zero initial threshold signifies using defaults
            newCap = DEFAULT_INITIAL_CAPACITY;
            newThr = (int)(DEFAULT_LOAD_FACTOR * DEFAULT_INITIAL_CAPACITY);
        }
        if (newThr == 0) {
            float ft = (float)newCap * loadFactor;
            newThr = (newCap < MAXIMUM_CAPACITY && ft < (float)MAXIMUM_CAPACITY ?
                      (int)ft : Integer.MAX_VALUE);
        }
        threshold = newThr;
        @SuppressWarnings({"rawtypes","unchecked"})
        Node<K,V>[] newTab = (Node<K,V>[])new Node[newCap];
        table = newTab;
        if (oldTab != null) {
            for (int j = 0; j < oldCap; ++j) {
                Node<K,V> e;
                if ((e = oldTab[j]) != null) {
                    oldTab[j] = null;
                    if (e.next == null)
                        newTab[e.hash & (newCap - 1)] = e;
                    else if (e instanceof TreeNode)
                        ((TreeNode<K,V>)e).split(this, newTab, j, oldCap);
                    else { // preserve order
                        Node<K,V> loHead = null, loTail = null;
                        Node<K,V> hiHead = null, hiTail = null;
                        Node<K,V> next;
                        do {
                            next = e.next;
                            if ((e.hash & oldCap) == 0) {
                                if (loTail == null)
                                    loHead = e;
                                else
                                    loTail.next = e;
                                loTail = e;
                            }
                            else {
                                if (hiTail == null)
                                    hiHead = e;
                                else
                                    hiTail.next = e;
                                hiTail = e;
                            }
                        } while ((e = next) != null);
                        if (loTail != null) {
                            loTail.next = null;
                            newTab[j] = loHead;
                        }
                        if (hiTail != null) {
                            hiTail.next = null;
                            newTab[j + oldCap] = hiHead;
                        }
                    }
                }
            }
        }
        return newTab;
    }

扩容流程图:

 

简单的描述两个点:

  1. hash方法中(h = key.hashCode()) ^ (h >>> 16)是指高16位参与运算。前面是key转为hash变成总长32位的二进制数然后赋值给h,后面是h这个32位的哈希值整体右移16位。两个结果做异或运算,得出一个高位和低位都参与的哈希值。
  2. 索引位置(n-1) & hash,说这个之前,要先说下HashMap的初始化容器的时候计算容量的方法。
 /**
     * Returns a power of two size for the given target capacity.
     */
    static final int tableSizeFor(int cap) {
        int n = cap - 1;
        n |= n >>> 1;
        n |= n >>> 2;
        n |= n >>> 4;
        n |= n >>> 8;
        n |= n >>> 16;
        return (n < 0) ? 1 : (n >= MAXIMUM_CAPACITY) ? MAXIMUM_CAPACITY : n + 1;
    }


    传入cap以后,先减一(防止cap等于2的幂次方的情况),然后无符号右移1位,然后无符号右移2位....五次操作,覆盖32位哈希值,最后+1得到最终的容器大小,也就是2的幂次方。
    回到计算索引位置,通过n-1的哈希,有效数字都是1,区别只是多少个1,比如64-1 = 63 = 11 1111,hash值和11 1111 与运算 以后,得到索引就是在n-1区间内的平均分布值了,类似于取余。

有点忘记的可以看下面的hash模拟

hash模拟:


    

 

 

ConcurrentHashMap

简述:

java1.5版本,hashMap开发者之一的道格利提交了同时进行的包(concurrent)包,里面包含了线程和并发的一些工具类。其中加瓦.工具.同时进行的.同时进行的HashMap(java.util.concurrent.ConcurrentHashMap)实现了线程安全,成为了多线程并发中可以安全使用的HashMap。
键值对、无序、线程安全
是目前多线程常用的线程安全的集合。

 

put过程:


    public V put(K key, V value) {
        return putVal(key, value, false);
    }

    final V putVal(K key, V value, boolean onlyIfAbsent) {
        if (key == null || value == null) throw new NullPointerException();
        int hash = spread(key.hashCode());
        int binCount = 0;
        for (Node<K,V>[] tab = table;;) {
            Node<K,V> f; int n, i, fh;
            if (tab == null || (n = tab.length) == 0)
                tab = initTable();
            else if ((f = tabAt(tab, i = (n - 1) & hash)) == null) {
                if (casTabAt(tab, i, null,
                             new Node<K,V>(hash, key, value, null)))
                    break;                   // no lock when adding to empty bin
            }
            else if ((fh = f.hash) == MOVED)
                tab = helpTransfer(tab, f);
            else {
                V oldVal = null;
                synchronized (f) {
                    if (tabAt(tab, i) == f) {
                        if (fh >= 0) {
                            binCount = 1;
                            for (Node<K,V> e = f;; ++binCount) {
                                K ek;
                                if (e.hash == hash &&
                                    ((ek = e.key) == key ||
                                     (ek != null && key.equals(ek)))) {
                                    oldVal = e.val;
                                    if (!onlyIfAbsent)
                                        e.val = value;
                                    break;
                                }
                                Node<K,V> pred = e;
                                if ((e = e.next) == null) {
                                    pred.next = new Node<K,V>(hash, key,
                                                              value, null);
                                    break;
                                }
                            }
                        }
                        else if (f instanceof TreeBin) {
                            Node<K,V> p;
                            binCount = 2;
                            if ((p = ((TreeBin<K,V>)f).putTreeVal(hash, key,
                                                           value)) != null) {
                                oldVal = p.val;
                                if (!onlyIfAbsent)
                                    p.val = value;
                            }
                        }
                    }
                }
                if (binCount != 0) {
                    if (binCount >= TREEIFY_THRESHOLD)
                        treeifyBin(tab, i);
                    if (oldVal != null)
                        return oldVal;
                    break;
                }
            }
        }
        addCount(1L, binCount);
        return null;
    }

put流程图:

 

扩容流程:


    private final void transfer(Node<K,V>[] tab, Node<K,V>[] nextTab) {
        int n = tab.length, stride;
        if ((stride = (NCPU > 1) ? (n >>> 3) / NCPU : n) < MIN_TRANSFER_STRIDE)
            stride = MIN_TRANSFER_STRIDE; // subdivide range
        if (nextTab == null) {            // initiating
            try {
                @SuppressWarnings("unchecked")
                Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n << 1];
                nextTab = nt;
            } catch (Throwable ex) {      // try to cope with OOME
                sizeCtl = Integer.MAX_VALUE;
                return;
            }
            nextTable = nextTab;
            transferIndex = n;
        }
        int nextn = nextTab.length;
        ForwardingNode<K,V> fwd = new ForwardingNode<K,V>(nextTab);
        boolean advance = true;
        boolean finishing = false; // to ensure sweep before committing nextTab
        for (int i = 0, bound = 0;;) {
            Node<K,V> f; int fh;
            while (advance) {
                int nextIndex, nextBound;
                if (--i >= bound || finishing)
                    advance = false;
                else if ((nextIndex = transferIndex) <= 0) {
                    i = -1;
                    advance = false;
                }
                else if (U.compareAndSwapInt
                         (this, TRANSFERINDEX, nextIndex,
                          nextBound = (nextIndex > stride ?
                                       nextIndex - stride : 0))) {
                    bound = nextBound;
                    i = nextIndex - 1;
                    advance = false;
                }
            }
            if (i < 0 || i >= n || i + n >= nextn) {
                int sc;
                if (finishing) {
                    nextTable = null;
                    table = nextTab;
                    sizeCtl = (n << 1) - (n >>> 1);
                    return;
                }
                if (U.compareAndSwapInt(this, SIZECTL, sc = sizeCtl, sc - 1)) {
                    if ((sc - 2) != resizeStamp(n) << RESIZE_STAMP_SHIFT)
                        return;
                    finishing = advance = true;
                    i = n; // recheck before commit
                }
            }
            else if ((f = tabAt(tab, i)) == null)
                advance = casTabAt(tab, i, null, fwd);
            else if ((fh = f.hash) == MOVED)
                advance = true; // already processed
            else {
                synchronized (f) {
                    if (tabAt(tab, i) == f) {
                        Node<K,V> ln, hn;
                        if (fh >= 0) {
                            int runBit = fh & n;
                            Node<K,V> lastRun = f;
                            for (Node<K,V> p = f.next; p != null; p = p.next) {
                                int b = p.hash & n;
                                if (b != runBit) {
                                    runBit = b;
                                    lastRun = p;
                                }
                            }
                            if (runBit == 0) {
                                ln = lastRun;
                                hn = null;
                            }
                            else {
                                hn = lastRun;
                                ln = null;
                            }
                            for (Node<K,V> p = f; p != lastRun; p = p.next) {
                                int ph = p.hash; K pk = p.key; V pv = p.val;
                                if ((ph & n) == 0)
                                    ln = new Node<K,V>(ph, pk, pv, ln);
                                else
                                    hn = new Node<K,V>(ph, pk, pv, hn);
                            }
                            setTabAt(nextTab, i, ln);
                            setTabAt(nextTab, i + n, hn);
                            setTabAt(tab, i, fwd);
                            advance = true;
                        }
                        else if (f instanceof TreeBin) {
                            TreeBin<K,V> t = (TreeBin<K,V>)f;
                            TreeNode<K,V> lo = null, loTail = null;
                            TreeNode<K,V> hi = null, hiTail = null;
                            int lc = 0, hc = 0;
                            for (Node<K,V> e = t.first; e != null; e = e.next) {
                                int h = e.hash;
                                TreeNode<K,V> p = new TreeNode<K,V>
                                    (h, e.key, e.val, null, null);
                                if ((h & n) == 0) {
                                    if ((p.prev = loTail) == null)
                                        lo = p;
                                    else
                                        loTail.next = p;
                                    loTail = p;
                                    ++lc;
                                }
                                else {
                                    if ((p.prev = hiTail) == null)
                                        hi = p;
                                    else
                                        hiTail.next = p;
                                    hiTail = p;
                                    ++hc;
                                }
                            }
                            ln = (lc <= UNTREEIFY_THRESHOLD) ? untreeify(lo) :
                                (hc != 0) ? new TreeBin<K,V>(lo) : t;
                            hn = (hc <= UNTREEIFY_THRESHOLD) ? untreeify(hi) :
                                (lc != 0) ? new TreeBin<K,V>(hi) : t;
                            setTabAt(nextTab, i, ln);
                            setTabAt(nextTab, i + n, hn);
                            setTabAt(tab, i, fwd);
                            advance = true;
                        }
                    }
                }
            }
        }
    }

 

。。。。。

扩容流程太长,而且网上博客到处都有,不乏讲解清晰、简单明了的文章,所以我就偷懒了。

 

HashMap和concurrentHash 1.8的优化

 

TreeMap
LinkedHashMap
HashTable

List
ArrayList
LinkedList
Vector
CopyOnWriteArrayList

set
HashSet
TreeSet
LinkedHashSet

 

总结:

其他的集合不多赘叙了,建议先看HashMap源码,再看concurrentHashMap源码,过程为:先粗略看,然后细看,不懂就网上找解析对比着看,看完自己画个流程图或者自己写个巩固下。看完这两个集合的源码,其他集合的源码上手也就快了。

集合分为Map、List、Set三类,大三类又细分到hash、Linked、Tree,本质上就是各种底层集合的组合,了解数组、链表、二叉树,或者通过这些集合去了解,都是挺好的。


开头说的整理网上的大缸~下面几篇都是我看过比较好的文章,推荐给菜鸡朋友们,大佬请忽略。

hashMap 

源码解析https://blog.youkuaiyun.com/ywlmsm1224811/article/details/91388815讲的清晰详细,没看过的可以看看

面试问题https://blog.youkuaiyun.com/v123411739/article/details/106324537这个本人挺牛的,文笔还很逗比,其他文章也有值得看看的

concurrentHashMap

源码解析https://blog.youkuaiyun.com/xingxiupaioxue/article/details/88062163整体不错

扩容部分https://blog.youkuaiyun.com/ZOKEKAI/article/details/90051567扩容流程的图画的挺好,因为他的图,我自己都不想丢脸继续画了


PS:先粗糙结尾了,等有时间再补充细节吧~

我要我偷偷的学习,然后惊艳所有面试官!

 

 

Java 8 及之后版本中,`HashMap` 和 `ConcurrentHashMap` 是两种常用的哈希表实现,但它们的并发控制机制和设计目标有显著差异。以下是它们的详细对比,重点分析 `ConcurrentHashMap` 如何控制并发。 --- ## **1. HashMap 的核心特性(Java 8+)** ### **1.1 数据结构** - **数组 + 链表 + 红黑树**: - 哈希表的主结构是一个**节点数组**(`Node<K,V>[] table`)。 - 每个数组槽位(Bucket)是一个**单向链表**,当链表长度超过阈值(`TREEIFY_THRESHOLD = 8`)时,会换为**红黑树**(提升查询效率)。 - 红黑树节点为 `TreeNode`,继承自 `Node`。 ### **1.2 非线程安全** - `HashMap` 是**非线程安全**的,多线程并发操作可能导致: - **数据不一致**:如 `put` 和 `get` 同时操作时,可能读取到部分更新的数据。 - **死循环**:在扩容时(`resize()`),多线程可能形成链表环,导致 `get` 操作陷入死循环(Java 8 之前更常见)。 - **丢失更新**:两个线程同时 `put` 相同键,可能导致一个线程的写入被覆盖。 ### **1.3 Java 8 的优化** - **红黑树优化**:链表长度超过 8为红黑树,查询时间从 O(n) 降到 O(log n)。 - **扩容优化**:使用**异步扩容**(移数据时允许并发读写),减少锁竞争。 - **无锁读取**:`get()` 操作无需加锁,通过 `volatile` 变量保证可见性。 --- ## **2. ConcurrentHashMap 的核心特性(Java 8+)** ### **2.1 设计目标** - **线程安全**:支持高并发读写,避免全局锁。 - **高性能**:通过**分段锁(Java 7)**或**CAS + synchronized(Java 8)**减少锁粒度。 - **弱一致性**:迭代器反映的是创建时的状态,不保证实时性(避免强一致性带来的性能开销)。 ### **2.2 数据结构(Java 8+)** - **数组 + 链表 + 红黑树**: - 与 `HashMap` 类似,但每个槽位(Bucket)的锁粒度更细。 - 节点类型包括: - `Node`:普通链表节点。 - `TreeNode`:红黑树节点。 - `ForwardingNode`:扩容时使用的占位节点。 - `ReservedNode`:保留节点(用于未来扩展)。 ### **2.3 并发控制机制** #### **2.3.1 CAS + synchronized 锁** - **写操作(`put`、`remove`)**: 1. **定位槽位**:通过哈希计算确定数组索引。 2. **CAS 尝试插入**:如果槽位为空,尝试用 CAS 插入新节点。 3. **synchronized 锁槽位**:如果 CAS 失败(槽位非空),则对槽位的头节点加 `synchronized` 锁,再操作链表或树。 - **示例代码**: ```java final V putVal(K key, V value, boolean onlyIfAbsent) { if (key == null || value == null) throw new NullPointerException(); int hash = spread(key.hashCode()); // 扰动函数,减少哈希冲突 for (Node<K,V>[] tab = table;;) { Node<K,V> f; int n, i, fh; if (tab == null || (n = tab.length) == 0) tab = initTable(); // 初始化表 else if ((f = tabAt(tab, i = (n - 1) & hash)) == null) { if (casTabAt(tab, i, null, new Node<>(hash, key, value))) break; // CAS 插入新节点 } else if ((fh = f.hash) == MOVED) // 扩容中 tab = helpTransfer(tab, f); else { V oldVal = null; synchronized (f) { // 对槽位头节点加锁 if (tabAt(tab, i) == f) { // 链表或树的操作 if (fh >= 0) { // 链表 // 遍历链表,更新或插入 } else if (f instanceof TreeNode) { // 红黑树 // 树的操作 } } } if (oldVal != null) return oldVal; break; } } addCount(1L, binCount); // 更新元素计数 return null; } ``` #### **2.3.2 扩容优化** - **多线程协助扩容**: - 当某个线程发现表正在扩容(`ForwardingNode`),会通过 `helpTransfer()` 协助扩容。 - 扩容时,原表分成多个段(默认 16),每个线程负责一部分数据的移。 - **扩容过程**: 1. 创建新数组(大小为原数组的 2 倍)。 2. 将原数组的槽位标记为 `ForwardingNode`(包含新数组的引用)。 3. 线程在 `put` 或 `get` 时,如果遇到 `ForwardingNode`,会帮助移数据到新数组。 #### **2.3.3 读操作(`get`)** - **无锁读取**: - `get()` 操作无需加锁,直接通过哈希定位槽位。 - 如果槽位是 `ForwardingNode`,则从新数组中读取。 - 通过 `volatile` 变量保证节点的可见性。 #### **2.3.4 计数优化** - **LongAdder 机制**: - `size()` 操作通过维护多个 `CounterCell` 减少竞争。 - 更新时随机选择一个 `CounterCell` 进行 CAS 操作,统计时累加所有 `CounterCell` 的值。 --- ## **3. ConcurrentHashMap 的并发控制细节** ### **3.1 锁粒度** - **槽位锁(Bucket Lock)**: - Java 8 之前使用**分段锁(Segment)**,每个 Segment 是一个独立的哈希表,锁粒度为 Segment。 - Java 8 之后改为**槽位锁**,每个槽位的头节点加 `synchronized` 锁,锁粒度更细(通常 16-64 个槽位共享一个锁的时代已过去)。 ### **3.2 CAS 操作** - **无竞争优化**: - 如果槽位为空,直接通过 CAS 插入新节点,避免锁开销。 - 例如 `tabAt()` 和 `casTabAt()` 是基于 `Unsafe` 的原子操作。 ### **3.3 内存可见性** - **volatile 变量**: - 节点的 `val` 和 `next` 字段用 `volatile` 修饰,保证多线程下的可见性。 - 例如: ```java static class Node<K,V> implements Map.Entry<K,V> { final int hash; final K key; volatile V val; // volatile 保证可见性 volatile Node<K,V> next; // volatile 保证链表遍历的正确性 // ... } ``` ### **3.4 失败重试** - **自旋优化**: - 在 `put` 或 `remove` 时,如果 CAS 失败或锁竞争激烈,会通过自旋重试(`for (;;)` 循环)。 --- ## **4. ConcurrentHashMap 的性能对比** | **场景** | **HashMap** | **ConcurrentHashMap** | |------------------------|---------------------------|----------------------------------| | **单线程读** | O(1)(无锁) | O(1)(无锁) | | **单线程写** | O(1) | O(1)(CAS + 槽位锁) | | **多线程读** | 可能数据不一致 | 无锁,线程安全 | | **多线程写** | 可能死循环/丢失更新 | 槽位锁,高并发 | | **扩容** | 阻塞所有操作 | 多线程协助扩容,减少停顿时间 | | **内存占用** | 更低(无额外同步结构) | 更高(`volatile`、`CounterCell`)| --- ## **5. 实际应用场景** ### **5.1 ConcurrentHashMap 的适用场景** - **高并发读写**:如缓存、计数器、会话管理。 - **弱一致性要求**:如统计指标、日志聚合。 - **避免全局锁**:需要比 `Hashtable` 或 `Collections.synchronizedMap` 更高的并发性能。 ### **5.2 HashMap 的适用场景** - **单线程环境**:如局部变量、单线程应用。 - **读多写少**:且对线程安全无要求。 - **内存敏感**:需要最小化哈希表开销。 --- ## **6. 总结** | **关键点** | **HashMap** | **ConcurrentHashMap** | |----------------------|---------------------------------------|--------------------------------------| | **线程安全** | 非线程安全 | 线程安全 | | **并发控制** | 无 | CAS + 槽位锁 + 协助扩容 | | **数据结构** | 数组 + 链表 + 红黑树 | 数组 + 链表 + 红黑树 | | **读性能** | O(1)(无锁) | O(1)(无锁) | | **写性能** | O(1)(非线程安全) | O(1)(CAS + 槽位锁) | | **扩容** | 阻塞所有操作 | 多线程协助扩容 | | **内存开销** | 更低 | 更高(`volatile`、同步结构) | **最佳实践**: 1. **优先使用 `ConcurrentHashMap`**:除非明确知道是单线程环境,否则避免使用 `HashMap` 的多线程场景。 2. **避免频繁扩容**:预估数据量,初始化时指定合适容量(`new ConcurrentHashMap<>(1024)`)。 3. **合理选择并发级别**:Java 8 的 `ConcurrentHashMap` 已自动优化锁粒度,无需手动配置。 --- ### **
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值