Map集合源码分析
Map总览:https://blog.youkuaiyun.com/weixin_39579209/article/details/98857018
HashMap:https://blog.youkuaiyun.com/weixin_39579209/article/details/98857110
TreeMap:https://blog.youkuaiyun.com/weixin_39579209/article/details/98858223
ConcurrentHashMap:https://blog.youkuaiyun.com/weixin_39579209/article/details/98858602
Map集合–ConcurrentHashMap
这篇文章只是我一个菜鸡对ConcurrentHashMap的总结,可能有遗漏甚至有错误的地方,如果有什么理解的不对的地方还烦请各位指出,或者有什么想法,欢迎交流。
我在尝试学习并分析ConcurrentHashMap的时候,在网上搜索的一些资料,但这些资料的质量参差不齐,很多人文章名字赫然写着“一文搞懂ConcurrentHashMap”、“深入浅出…”等,很多这种文章要么停留在总结层面,要么就是简简单单把源码图片贴出来,总之就是看了跟没看没啥区别,还不如自己看呢。咱没那个水平就别出来误人子弟行不行。
在学习的时候,结合了两篇文章,这两篇文章的质量还是很高的,一篇是:
https://www.cnblogs.com/study-everyday/p/6430462.html
另一篇。。。由于时间有点久了,又找不着了,文章分析的很是到位,哪天我在历史记录中找到了,一定贴出来!
这应该是常用集合框架中最难的一个了。坐稳,发车!!!
众所周知HashMap是线程不安全的,多线程并发操作时可能出现get方法无限循环,从而导致CPU占满。
同时解决HashMap线程不安全的替代方案有三种:
1、使用Hashtable
2、使用Collections.synchronzedMap(Map<k,V> m)方法生成一个线程安全的HashMap
3、使用ConcurrentHashMap
第一种,使用Hashtable,属于再涉及到多线程操作的地方暴力地使用了synchronized将所有方法设置为同步方法,性能损耗过大。同时Hashtable本身就是一个过时的容器,不推荐使用。
第二种,将HashMap转换为一个同步的HashMap,和第一种方案一样,暴力加上synchronized后性能损耗过大。
第三种,下面详述。
一、ConcurrentHashMap简述
ConcurrentHashMap,在JDK1.7的时候使用的是采用Segment数组分段管理哈希表,每个Segment中存储的结构和HashMap相同。在JDK1.8中,已经摒弃了这种方式,而直接采用 Node数组(哈希表)+链表+红黑树的数据结构来实现,并发控制使用Synchronized和CAS来操作,整个类就是一个优化过的线程安全的HashMap,虽然在JDK1.8中还能看到Segment数据结构,但是纯粹是为了兼容旧版本。
先看一个ConcurrentHashMap的字段属性:
// node数组最大容量:2^30=1073741824
private static final int MAXIMUM_CAPACITY = 1 << 30;
// 默认初始值,必须是2的幕数
private static final int DEFAULT_CAPACITY = 16;
//数组可能最大值,需要与toArray()相关方法关联
static final int MAX_ARRAY_SIZE = Integer.MAX_VALUE - 8;
//并发级别,遗留下来的,为兼容以前的版本
private static final int DEFAULT_CONCURRENCY_LEVEL = 16;
// 负载因子
private static final float LOAD_FACTOR = 0.75f;
// 链表转红黑树阀值,> 8 链表转换为红黑树
static final int TREEIFY_THRESHOLD = 8;
//树转链表阀值,小于等于6(tranfer时,lc、hc=0两个计数器分别++记录原bin、新binTreeNode数量,<=UNTREEIFY_THRESHOLD 则untreeify(lo))
static final int UNTREEIFY_THRESHOLD = 6;
static final int MIN_TREEIFY_CAPACITY = 64;
private static final int MIN_TRANSFER_STRIDE = 16;
private static int RESIZE_STAMP_BITS = 16;
// 2^15-1,help resize的最大线程数
private static final int MAX_RESIZERS = (1 << (32 - RESIZE_STAMP_BITS)) - 1;
// 32-16=16,sizeCtl中记录size大小的偏移量
private static final int RESIZE_STAMP_SHIFT = 32 - RESIZE_STAMP_BITS;
// forwarding nodes的hash值
static final int MOVED = -1;
// 树根节点的hash值
static final int TREEBIN = -2;
// ReservationNode的hash值
static final int RESERVED = -3;
// 可用处理器数量
static final int NCPU = Runtime.getRuntime().availableProcessors();
//存放node的数组
transient volatile Node<K,V>[] table;
/*控制标识符,用来控制table的初始化和扩容的操作,不同的值有不同的含义
*当为负数时:-1代表正在初始化,-N代表有N-1个线程正在 进行扩容
*当为0时:代表当时的table还没有被初始化
*当为正数时:表示初始化或者下一次进行扩容的大小*/
private transient volatile int sizeCtl;
// 扩容时的线程调用控制,将整个table分为多个任务块,后面讲
private transient volatile int transferIndex;
// 扩容时候用的新数组,只有再扩容的时候不为空
private transient volatile Node<K,V>[] nextTable;
二、Node、TreeNode和TreeBin
Node没什么可说的,就是一个链表节点,值得一提的是,节点的值不允许修改。
TreeNode就是红黑树节点,
TreeBin是封装TreeNode的容器,它提供转换红黑树的一些条件和锁的控制。部分源码如下
static final class TreeBin<K,V> extends Node<K,V> {
// 红黑树根节点
TreeNode<K,V> root;
volatile TreeNode<K,V> first;
volatile Thread waiter;
volatile int lockState;
// 读写锁状态
static final int WRITER = 1; // 获取写锁的状态
static final int WAITER = 2; // 等待写锁的状态
static final int READER = 4; // 增加数据时读锁的状态
// ...
/**
* 初始化红黑树
*/
TreeBin(TreeNode<K,V> b) {
// 在进行初始化的时候,就将节点的哈希值设置为-2,重点就是这个-2,也是TreeBin这个类存在的最大意义。
super(TREEBIN, null, null, null);
this.first = b;
TreeNode<K,V> r = null;
for (TreeNode<K,V> x = b, next; x != null; x = next) {
next = (TreeNode<K,V>)x.next;
x.left = x.right = null;
if (r == null) {
x.parent = null;
x.red = false;
r = x;
}
else {
K k = x.key;
int h = x.hash;
Class<?> kc = null;
for (TreeNode<K,V> p = r;;) {
int dir, ph;
K pk = p.key;
if ((ph = p.hash) > h)
dir = -1;
else if (ph < h)
dir = 1;
else if ((kc == null &&
(kc = comparableClassFor(k)) == null) ||
(dir = compareComparables(kc, k, pk)) == 0)
dir = tieBreakOrder(k, pk);
TreeNode<K,V> xp = p;
if ((p = (dir <= 0) ? p.left : p.right) == null) {
x.parent = xp;
if (dir <= 0)
xp.left = x;
else
xp.right = x;
r = balanceInsertion(r, x);
break;
}
}
}
}
this.root = r;
assert checkInvariants(root);
}
// ...
}
三、put操作
public V put(K key, V value) {
return putVal(key, value, false);
}
/** Implementation for put and putIfAbsent */
final V putVal(K key, V value, boolean onlyIfAbsent) {
// key 和 value都不允许为空
if (key == null || value == null) throw new NullPointerException();
// 哈希值算法和HashMap几乎相同,两次hash,减少hash冲突,可以均匀分布
int hash = spread(key.hashCode());
// 用于记录相应链表的长度
int binCount = 0;
// 对哈希表进行迭代
for (Node<K,V>[] tab = table;;) {
Node<K,V> f; int n, i, fh;
// 如果tab为空,调用initTable进行初始化,属于懒汉模式
if (tab == null || (n = tab.length) == 0)
tab = initTable();
// 如果i位置没有数据,直接无锁插入
else if ((f = tabAt(tab, i = (n - 1) & hash)) == null) {
if (casTabAt(tab, i, null,
new Node<K,V>(hash, key, value, null)))
break; // no lock when adding to empty bin
}
// 如果进行扩容,则先进行扩容操作。当前线程发现这个桶的头节点是ForwardingNode,说明正在进行扩容
else if ((fh = f.hash) == MOVED)
// tab表示当前哈希表,f为当前插入节点hash在表中对应位置桶的头节点
tab = helpTransfer(tab, f);
// 以下认为产生hash冲突后的代码,也就是说f是该位置的头节点,且不为空
else {
V oldVal = null;
// 如果以上条件都不满足,那就要进行加锁操作,也就是hash冲突,锁住链表或者红黑树的头节点。这也是ConcurrentHashMap在1.8比1.7效率高的原因,锁的粒度更小了。
synchronized (f) {
if (tabAt(tab, i) == f) {
// 表示该节点是链表结构
if (fh >= 0) {
binCount = 1;
for (Node<K,V> e = f;; ++binCount) {
K ek;
// 判断,如果新的节点key与旧的相同,此时对值进行更近并跳出循环
if (e.hash == hash &&
((ek = e.key) == key ||
(ek != null && key.equals(ek)))) {
oldVal = e.val;
if (!onlyIfAbsent)
e.val = value;
break;
}
// 没有相同的key,将节点插入链表尾
Node<K,V> pred = e;
if ((e = e.next) == null) {
pred.next = new Node<K,V>(hash, key,
value, null);
break;
}
}
}
// 红黑树结构,哈希值为-2。因为红黑树结构是由链表转换而来,所以哈希值进行了单独设置。
else if (f instanceof TreeBin) {
Node<K,V> p;
binCount = 2;
// 红黑树旋转插入
if ((p = ((TreeBin<K,V>)f).putTreeVal(hash, key,
value)) != null) {
oldVal = p.val;
if (!onlyIfAbsent)
p.val = value;
}
}
}
}
// binCount != 0,说明前面有操作
if (binCount != 0) {
// 如果链表长度大于8,将链表转为红黑树,转换方法后面说。
if (binCount >= TREEIFY_THRESHOLD)
treeifyBin(tab, i);
if (oldVal != null)
return oldVal;
break;
}
}
}
// 调用addCount,统计size,并检查是否需要扩容。传入的binCount的值有三种情况:1、值为1,表示添加到table的空位置上,没有冲突,此时不需要进行扩容(根据后面addCount方法代码分析可知)
// 2、值为2,表示当前放到了红黑树上,这时调用addCount,计数完成后,还要进行扩容。(可见ConcruuentHashMap设计的初衷就是尽量一个萝卜一个坑,
不要哈希冲突,更不要出现红黑树)
// 3、值大于2,表示当前是插入到了链表的末尾,二话不说,扩容。
addCount(1L, binCount);
return null;
}
// 两次哈希
static final int spread(int h) {
return (h ^ (h >>> 16)) & HASH_BITS;
}
// 初始化函数
private final Node<K,V>[] initTable() {
Node<K,V>[] tab; int sc;
while ((tab = table) == null || tab.length == 0) {
// 已有其他线程进行了初始化操作
if ((sc = sizeCtl) < 0)
Thread.yield(); // lost initialization race; just spin
// sizeCtl设置为-1,表示拿到了锁
else if (U.compareAndSwapInt(this, SIZECTL, sc, -1)) {
try {
if ((tab = table) == null || tab.length == 0) {
int n = (sc > 0) ? sc : DEFAULT_CAPACITY;
@SuppressWarnings("unchecked")
Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n];
table = tab = nt;
// sc = 0.75n
sc = n - (n >>> 2);
}
} finally {
sizeCtl = sc;
}
break;
}
}
return tab;
}
put操作过程比较清晰,对当前的table进行无条件循环直到put成功,可以分为以下六个步骤:
1、如果没有初始化就先调用initTable方法进行初始化
2、如果没有hash冲突,就直接CAS插入
3、如果正在进行扩容操作,就先进行扩容操作
4、如果存在hash冲突,就加锁来保证线程安全,这里有两种情况,一种是链表:遍历到尾部插入;一种是红黑树插入
5、最后一个如果该链表长度超过阈值,转红黑树,break再一次进入循环
6、如果添加成功就调用addCount()方法统计size,并检查是否需要扩容
下面进行逐步分析:
第一步:初始化,看initTable方法源码:
private final Node<K,V>[] initTable() {
Node<K,V>[] tab; int sc;
while ((tab = table) == null || tab.length == 0) {
// sizeCtl<0表示其他线程已经在进行初始化或者扩容了,当前线程挂起
if ((sc = sizeCtl) < 0)
Thread.yield(); // lost initialization race; just spin
// CAS操作,将sizeCtl置为-1,表示正在进行初始化
else if (U.compareAndSwapInt(this, SIZECTL, sc, -1)) {
try {
if ((tab = table) == null || tab.length == 0) {
int n = (sc > 0) ? sc : DEFAULT_CAPACITY;
@SuppressWarnings("unchecked")
// 初始化
Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n];
table = tab = nt;
// 记录下次扩容大小,sc=0.75n,也就是12
sc = n - (n >>> 2);
}
} finally {
// sizeCtl 此时为 12
sizeCtl = sc;
}
break;
}
}
return tab;
}
第二步:没有hash冲突,直接调用Unsafe的方法CAS插入该元素。
第三步:如果容器正在扩容,则会调用helpTransfer方法帮助扩容,看源码:
// 帮助从旧的table将元素复制到新的table中
// tab表示当前哈希表,f为当前插入节点hash在表中对应位置桶的头节点
final Node<K,V>[] helpTransfer(Node<K,V>[] tab, Node<K,V> f) {
Node<K,V>[] nextTab; int sc; // sc的值为sizeCtl,使用局部变量,不会影响全局
if (tab != null && (f instanceof ForwardingNode) &&
(nextTab = ((ForwardingNode<K,V>)f).nextTable) != null) { // 新的table nextTab不为空,才能进行扩容
// 结果是:2^15次方与(与运算)n最高位1的前面0的个数,个人认为这个值的意义是用来判断当前是否扩容完成,具体怎么用,看后面。
int rs = resizeStamp(tab.length);
// 当前有线程正在进行扩容,进去帮忙
while (nextTab == nextTable && table == tab &&
(sc = sizeCtl) < 0) {
// 扩容已经完成,退出循环,结束扩容操作。退出循环的条件:
// 1、当sc的值,也就是sizeCtl的值,右移15位后不为rs,也就是说,当前sizeCtl已经发生了改变,不再是 一个大的负数 ,表示扩容已经完成,sizeCtl已经是一个正数,代表着下一次扩容的大小
// 2、sc == rs + 1,不明白咋来的。
// 3、sc == rs + MAX_RESIZERS(最大扩容线程数,值为2^15-1),也就是sc的值为2^16 + n(table长度)中第一个1前面的0的个数。不知道咋来的
// 4、transferIndex <= 0,扩容完成了
if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 ||
sc == rs + MAX_RESIZERS || transferIndex <= 0)
break;
// 当前线程帮忙扩容,sizeCtl加1,表示多一个线程正在扩容
if (U.compareAndSwapInt(this, SIZECTL, sc, sc + 1)) {
// 调用扩容方法
transfer(tab, nextTab);
break;
}
}
return nextTab;
}
return table;
}
// n传进来的是table的长度,结果是:2^15次方与n最高位1的前面0的个数,造一个16位的数
static final int resizeStamp(int n) {
return Integer.numberOfLeadingZeros(n) | (1 << (RESIZE_STAMP_BITS - 1));
}
// 返回一个指定的数的二进制补码表示最高位的1的前面有多少个0。如果指定的数没有1,也就是这个值为0,则返回32。
// 用二分搜索思想进行
public static int numberOfLeadingZeros(int i) {
// HD, Figure 5-6
if (i == 0)
return 32;
int n = 1;
if (i >>> 16 == 0) { n += 16; i <<= 16; }
if (i >>> 24 == 0) { n += 8; i <<= 8; }
if (i >>> 28 == 0) { n += 4; i <<= 4; }
if (i >>> 30 == 0) { n += 2; i <<= 2; }
n -= i >>> 31;
return n;
}
helpTransfer方法的目的就是调用多个线程一起工作进行扩容,提高效率,而不是只有一个线程在扩容,其他线程阻塞。
以下为transfer方法,强烈建议,看transfer方法前,先看第五步的treeifyBin和tryPresize方法分析。
这个扩容方法,有多处调用,putVal中可能会调用扩容,链表转红黑树也可能调用。外围调用此方法时,会保证第一个调用此方法的线程,nextTab参数为null(发生在尝试转红黑树的时候,而此时table大小小于64),之后再调用此方法的时候,nextTab不会为null。
阅读源码之前,先了解一下实现机制。原数组长度为n,所以有n个迁移任务,让每个线程每次负则一个小任务时最简单的,每做完一个任务再检查是否还有其他任务未完成,如果有,帮助进行迁移。Doug Lea使用了一个stride,简单理解就是步长,每个线程每次负则迁移其中的一部分,如每次迁移16个小任务。所以,这里需要一个全局的调度这来安排哪个线程执行哪几个任务,这就是属性 transferIndex的作用。
第一个发起数据迁移的线程会将transferIndex指向原数组最后的位置,从后往前的stride个任务属于一个线程,然后将transferIndex指向新的位置,再往前的stride个任务属于第二个线程,以此类推。这里所说的第二个线程,也不一定就是真的指代第二个线程,也有可能和上一个是同一个线程,并发嘛,随机性还是比较大的。移动transferIndex的代码是:U.compareAndSwapInt(this, TRANSFERINDEX, nextIndex,nextBound = (nextIndex > stride ?nextIndex - stride : 0))
private final void transfer(Node<K,V>[] tab, Node<K,V>[] nextTab) {
int n = tab.length, stride;
// stride再单核模式下直接等于n;多核模式下为(n>>>3)/NCPU(需要迁移的任务数除8然后再除cpu核心数量),最小值是16
// stride可以理解为步长,有n个位置是需要迁移的。
// 将这n个任务,分成多个包,每个包有stride个任务
if ((stride = (NCPU > 1) ? (n >>> 3) / NCPU : n) < MIN_TRANSFER_STRIDE)
stride = MIN_TRANSFER_STRIDE; // subdivide range
// 如果nextTab 为空,先进行一次nextTab初始化
// 前面提到,调用这个方法的地方,会保证第一此调用这个方法的线程,参数 nextTab为null
// 之后所有线程调用时,nextTab都不为null
if (nextTab == null) { // initiating
try {
@SuppressWarnings("unchecked")
// 容量翻倍
Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n << 1];
nextTab = nt;
} catch (Throwable ex) { // try to cope with OOME
sizeCtl = Integer.MAX_VALUE;
return;
}
// nextTable 是ConcurrentHashMap中的属性,只有在扩容的时候不为空
nextTable = nextTab;
// transferIndex 也是ConcurrentHashMap的属性,用于控制迁移的位置
transferIndex = n;
}
int nextn = nextTab.length;
// ForwardingNode 翻译过来就是正在被迁移的Node
// 这个构造方法会生成一个Node,key、value和next都为null,hash为MOVED
// 后面可以看到,原数组中位置i处的节点完成迁移工作后,
// 就会将位置i处设置为这个ForwardingNode,用来告诉其他线程该位置已经处理过了
// 它就相当于一个标志位
ForwardingNode<K,V> fwd = new ForwardingNode<K,V>(nextTab);
// advance指的是做完了一个位置的迁移工作,可以准备下一个位置的工作了
// 这里需要意识到的是,由于每个线程的advance是独立的,所以每个线程进来以后advance都是true。下面的while(advance)每个线程刚进来都会进入循环中。
boolean advance = true;
boolean finishing = false; // to ensure sweep before committing nextTab
// for循环比较难理解,最好先看后面,再看前面
// i是位置索引,bound是边界,注意是从后往前
for (int i = 0, bound = 0;;) {
// f指向哈希表存储的桶头节点,fh表示其哈希值
Node<K,V> f; int fh;
// advance为true,表示可以进行下一个位置的迁移。
// 简单理解就是:i指向了transferIndex,bound指向了transferIndex - stride
while (advance) {
int nextIndex, nextBound;
// 上一个桶迁移完成,--i,并将advance设置为false,开始下一段迁移任务(实际上就是迁移哈希表里刚才迁移完的那个桶的前一个桶)
if (--i >= bound || finishing)
advance = false;
// 进入这个分支,表示--i<bound,也就是说明上一个stride迁移任务已经完成
// transferIndex赋值给nextIndex
// 一旦transferIndex为0,说明所有任务都已经完成
// 所有迁移都完成以后,也就是扩容完成后,从这里开始退出循环
else if ((nextIndex = transferIndex) <= 0) {
i = -1;
advance = false;
}
// 这个分支的前提是,上一个stride迁移任务完成,但是所有的任务还没完成,下面执行下一个stride的迁移任务
// 用CAS计算得到的transferIndex,transferIndex = transferIndex - stride
else if (U.compareAndSwapInt
(this, TRANSFERINDEX, nextIndex,
nextBound = (nextIndex > stride ?
nextIndex - stride : 0))) {
// nextBound是这次迁移任务的边界,注意,是从后往前,advance设置为false,执行后面的迁移工作
bound = nextBound;
i = nextIndex - 1;
advance = false;
}
}
// 所有迁移都完成了,上面开始退出循环的地方将i设置为-1,进入这个if
if (i < 0 || i >= n || i + n >= nextn) {
int sc;
// 所有迁移都已经完成
// 刚完成的时候finishing为false
if (finishing) {
// nextTable置为null,这也就是为什么,第一个进行扩容的线程进入transfer方法,nextTab总是空的
nextTable = null;
// 将新的nextTab赋值给table,也就是赋值给ConcurrentHashMap的哈希表,完成扩容
table = nextTab;
// 重新计算sizeCtl,为原来长度的1.5倍,也就是新长度的0.75倍
sizeCtl = (n << 1) - (n >>> 1);
// 跳出死循环
return;
}
// sizeCtl在迁移之前会被设置为 (rs << RESIZE_STEMP_SHIFT + 2),rs=resizeStamp(n)
// 然后,每有一个线程参与迁移就会将sizeCtl加1
// 这里使用CAS操作对sizeCtl进行减1,说明这个线程已经完成任务
if (U.compareAndSwapInt(this, SIZECTL, sc = sizeCtl, sc - 1)) {
// 任务结束,方法退出
// 此时,sc的值为siceCtl更新前的值,它最开始是rs << RESIZE_STEMP_SHIFT(值为16) + 2。如果当前 (sc - 2) != resizeStamp(n) << RESIZE_STMP_SHIFT,代表当前还有线程正在进行迁移任务,此线程退出transfer方法
if ((sc - 2) != resizeStamp(n) << RESIZE_STAMP_SHIFT)
return;
// 执行到这儿,说明 (sc - 2) == resizeStamp(n) << RESIZE_STAMP_SHIFT,
// 也就是,所有的线程任务都做完了,也就会进入到上面的 if(finishing)分支了
finishing = advance = true;
i = n; // recheck before commit
}
}
// 如果位置i处是空的,没有节点,那么就放入刚才初始化的ForwardingNode“空节点”,advance设置为true,开始--i,表示开始下一段迁移工作
else if ((f = tabAt(tab, i)) == null)
advance = casTabAt(tab, i, null, fwd);
// 如果fh,也就是当前节点的hash为MOVED,也就是节点为ForwardingNode节点,代表已经迁移过,advance设置为true,开始--i,表示开始下一段迁移工作
else if ((fh = f.hash) == MOVED)
advance = true; // already processed
// 执行未迁移非空桶的迁移
else {
// 对数组该位置处的节点加锁,开始处理这个桶内的迁移操作
synchronized (f) {
if (tabAt(tab, i) == f) {
Node<K,V> ln, hn;
// 头节点hash值大于0,表示当前为链表结构
if (fh >= 0) {
// 进行链表迁移,迁移步骤和HashMap中resize时进行将链表拆分步骤差不多
int runBit = fh & n;
Node<K,V> lastRun = f;
for (Node<K,V> p = f.next; p != null; p = p.next) {
int b = p.hash & n;
if (b != runBit) {
runBit = b;
lastRun = p;
}
}
if (runBit == 0) {
ln = lastRun;
hn = null;
}
else {
hn = lastRun;
ln = null;
}
for (Node<K,V> p = f; p != lastRun; p = p.next) {
int ph = p.hash; K pk = p.key; V pv = p.val;
if ((ph & n) == 0)
ln = new Node<K,V>(ph, pk, pv, ln);
else
hn = new Node<K,V>(ph, pk, pv, hn);
}
// 其中一个放在新数组的i位置
setTabAt(nextTab, i, ln);
// 另一个放在i + n(原数组大小)位置
setTabAt(nextTab, i + n, hn);
// 将原数组i位置设置为ForwardingNode,表示已经完成迁移。
setTabAt(tab, i, fwd);
// advance设置为true,代表已经完成迁移,可以执行--i动作,遍历节点
advance = true;
}
// 红黑树结构迁移
else if (f instanceof TreeBin) {
TreeBin<K,V> t = (TreeBin<K,V>)f;
TreeNode<K,V> lo = null, loTail = null;
TreeNode<K,V> hi = null, hiTail = null;
int lc = 0, hc = 0;
for (Node<K,V> e = t.first; e != null; e = e.next) {
int h = e.hash;
TreeNode<K,V> p = new TreeNode<K,V>
(h, e.key, e.val, null, null);
if ((h & n) == 0) {
if ((p.prev = loTail) == null)
lo = p;
else
loTail.next = p;
loTail = p;
++lc;
}
else {
if ((p.prev = hiTail) == null)
hi = p;
else
hiTail.next = p;
hiTail = p;
++hc;
}
}
// 拆分后,节点数少于6,将红黑树转会链表
ln = (lc <= UNTREEIFY_THRESHOLD) ? untreeify(lo) :
(hc != 0) ? new TreeBin<K,V>(lo) : t;
hn = (hc <= UNTREEIFY_THRESHOLD) ? untreeify(hi) :
(lc != 0) ? new TreeBin<K,V>(hi) : t;
// 同理,i位置放一个树,i+n位置放一个树
setTabAt(nextTab, i, ln);
setTabAt(nextTab, i + n, hn);
// 原来tab的i位置置为fwd,表示迁移完成
setTabAt(tab, i, fwd);
// advance设置为true,表示迁移完成。
advance = true;
}
}
}
}
}
}
分析过后,transfer这个方法完成了传进来的tab的长度的迁移任务,每次调用这个方法只实现了transferIndes往前stride个位置的迁移工作,其他的由调用者控制。
第四步:往链表或者红黑树中添加节点
第五步:调用treeifyBin()方法将链表转红黑树
private final void treeifyBin(Node<K,V>[] tab, int index) {
Node<K,V> b; int n, sc;
if (tab != null) {
// 如果整个table的数量小于64,就扩容至原来的一倍,就不转红黑树了
// 因为这个阈值扩容可以减少hash冲突,不必转红黑树
if ((n = tab.length) < MIN_TREEIFY_CAPACITY)
tryPresize(n << 1);
else if ((b = tabAt(tab, index)) != null && b.hash >= 0) {
// 当前桶加锁
synchronized (b) {
if (tabAt(tab, index) == b) {
TreeNode<K,V> hd = null, tl = null;
for (Node<K,V> e = b; e != null; e = e.next) {
// 封装成TreeNode
TreeNode<K,V> p =
new TreeNode<K,V>(e.hash, e.key, e.val,
null, null);
if ((p.prev = tl) == null)
hd = p;
else
tl.next = p;
tl = p;
}
// 通过TreeBin对象对TreeNode转换成红黑树,头节点设置成TreeBin,hash值为-2
setTabAt(tab, index, new TreeBin<K,V>(hd));
}
}
}
}
}
这里调用了tryPresize方法,传入参数为长度的二倍,来看看代码:
// 传进来的参数是table大小的二倍
private final void tryPresize(int size) {
// C:取值为: 比 size的1.5倍 + 1 大的最小2的幂次数
int c = (size >= (MAXIMUM_CAPACITY >>> 1)) ? MAXIMUM_CAPACITY :
tableSizeFor(size + (size >>> 1) + 1);
int sc;
// 当前sizeCtl大于等于0,没有线程正在扩容
// 即,还没初始化,或者第一次要进行扩容,sizeCtl代表着扩容的大小
while ((sc = sizeCtl) >= 0) {
Node<K,V>[] tab = table; int n;
// 初始化,sizeCtl为0的时候
if (tab == null || (n = tab.length) == 0) {
n = (sc > c) ? sc : c;
if (U.compareAndSwapInt(this, SIZECTL, sc, -1)) {
try {
if (table == tab) {
@SuppressWarnings("unchecked")
Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n];
table = nt;
sc = n - (n >>> 2);
}
} finally {
sizeCtl = sc;
}
}
}
else if (c <= sc || n >= MAXIMUM_CAPACITY)
break;
// 乐观锁,当前tab并没有发生改变,也就是还没有其他线程对tab进行了扩容,此线程进行扩容
else if (tab == table) {
// 结果是:2^15次方与n最高位1的前面0的个数,这个数就是用来左移16位,造一个负数,然后加上个2赋值为sizeCtl,表示当前正在扩容,并且能够统计有多少个线程正在扩容。也用来判断所有线程是否都完成任务了(看上面的分析)。
int rs = resizeStamp(n);
// 线程进来,发现sc,也就是sizeCtl的值小于0,表明当前有线程正在进行扩容
if (sc < 0) {
Node<K,V>[] nt;
if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 ||
sc == rs + MAX_RESIZERS || (nt = nextTable) == null ||
transferIndex <= 0)
break;
// 2、用CAS将sizeCtl加1,然后执行transfer方法进行扩容,也就是帮忙进行扩容,加1操作也是为了标记当前多了一个线程进行扩容
// 此时nextTab不为null(上面逻辑已经排除了为null的的情况)
if (U.compareAndSwapInt(this, SIZECTL, sc, sc + 1))
transfer(tab, nt);
}
// 1、将sizeCtl设置为 (rs << RESIZE_STAMP_SHIFT) + 2)
// rs的值为 (2^15 + n高位0个数),左移16位,再加上2,得出来的结果是一个比较大的负数
// 调用transfer方法,此时nextTab参数为null
// 当前线程开始进行扩容
else if (U.compareAndSwapInt(this, SIZECTL, sc,
(rs << RESIZE_STAMP_SHIFT) + 2))
transfer(tab, null);
}
}
}
这个方法的核心在于sizeCtl的操作,当第一个进行扩容的线程进来的时候,发现还没有其他线程进行扩容,就将sizeCtl设置成一个负数,然后执行transfer(tab,null)方法;再下一个循环,另外一个线程进来(也可能是当前线程)将sizeCtl加1,并执行transfer(tab,nt),之后可能继续sizeCtl加1,并执行transfer(tab,nt)。
所以,可能的操作就是执行 1次transfer(tab,null) + 多次transfer(tab,nt)。那么如何结束循环,要回去看transfer才能明白。
第六步:数据已经添加,调用addCount方法计算ConcurrnetHashMap的大小,在原来的基础上加1,如果该扩容了,进行扩容。
前面分析了,添加完节点,传进来的check要么是1,要么大于等2。如果是1,不扩容(代表添加节点没有哈希冲突),如果大于等2,则进行扩容(代表有哈希冲突,添加到了链表或者红黑树上)
private final void addCount(long x, int check) {
CounterCell[] as; long b, s;
// 更新baseCount,table的数量,counterCells表示元素个数的变化
if ((as = counterCells) != null ||
!U.compareAndSwapLong(this, BASECOUNT, b = baseCount, s = b + x)) {
CounterCell a; long v; int m;
boolean uncontended = true;
// 如果多个线程都在执行,则CAS失败,执行fullAddCount方法,全部加入count
if (as == null || (m = as.length - 1) < 0 ||
(a = as[ThreadLocalRandom.getProbe() & m]) == null ||
!(uncontended =
U.compareAndSwapLong(a, CELLVALUE, v = a.value, v + x))) {
fullAddCount(x, uncontended);
return;
}
if (check <= 1)
return;
s = sumCount();
}
// check >= 0 表示需要进行扩容操作,后面的扩容操作逻辑和前面helpTransfer一样,就不再分析了。
if (check >= 0) {
Node<K,V>[] tab, nt; int n, sc;
while (s >= (long)(sc = sizeCtl) && (tab = table) != null &&
(n = tab.length) < MAXIMUM_CAPACITY) {
int rs = resizeStamp(n);
if (sc < 0) {
if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 ||
sc == rs + MAX_RESIZERS || (nt = nextTable) == null ||
transferIndex <= 0)
break;
if (U.compareAndSwapInt(this, SIZECTL, sc, sc + 1))
transfer(tab, nt);
}
else if (U.compareAndSwapInt(this, SIZECTL, sc,
(rs << RESIZE_STAMP_SHIFT) + 2))
transfer(tab, null);
s = sumCount();
}
}
}
到此,put方法分析完毕。好难啊。下面串一遍这个方法。
第一步:没初始化就初始化,sizeCtl = -1,阻止其他线程初始化。初始化完成后,sizeCtl = 12
第二步:添加节点,如果有哈希冲突,就扩容。(扩容放后面一块儿说),sizeCtl = (rs << RESIZE_STEMP_SHIFT + 2),rs=resizeStamp(n)
第三步:链表长度大于8,链表转红黑树。此时如果哈希表大小小于64,不转红黑树,而进行扩容,这时sizeCtl = (rs << RESIZE_STEMP_SHIFT + 2),rs=resizeStamp(n)。大于64,再转红黑树。
第四步:扩容:
1、第一个线程执行扩容操作的时候,nextTab是null,它要对nextTab进行初始化,大小为原来table的2倍。
2、这个线程开始进行扩容,完成分配给他的迁移任务。(迁移后面说)此时
3、其他线程执行添加元素等操作,发现插入位置对应的hash值为MOVED,也就是前面有线程把这个节点设置成了ForwardingNode,说明正在进行扩容,这个线程便开始帮忙进行扩容的迁移操作。
迁移:用一个transferIndex表示当前要执行迁移的table的索引,根据处理器核心数量算出一个stride,来给执行迁移操作的线程分配任务。
遍历旧table,进行迁移。
1、如果table中的这个节点是空,直接设置成ForwardingNode,结束这个桶的迁移。
2、如果当前桶的头节点哈希值为MOVED,也就是-1,说明当前桶头节点是ForwardingNode,当前桶已经迁移完成,此线程继续下一个桶。
3、如果发现当前这个桶还没被迁移过,这个线程就会执行这个桶的迁移操作(当然,同时只能有一个线程在进行这个桶的迁移操作)。
4、每个线程(不一定就是每个,也有可能有同一个线程操作好几个包,多线程理解就好)一个stride任务包,执行迁移操作。
5、当前线程完成任务,退出当前迁移循环,可能会进入下一个迁移循环,也就是有新的任务。
6、所有线程都执行完迁移了,transferIndex小于等于0了,扩容完成,退出循环。
四、get操作
public V get(Object key) {
Node<K,V>[] tab; Node<K,V> e, p; int n, eh; K ek;
// 计算哈希值
int h = spread(key.hashCode());
// 读取key对应位置的头节点
if ((tab = table) != null && (n = tab.length) > 0 &&
(e = tabAt(tab, (n - 1) & h)) != null) {
// 如果头节点是要找的节点,则返回
if ((eh = e.hash) == h) {
if ((ek = e.key) == key || (ek != null && key.equals(ek)))
return e.val;
}
// hash为负数,则说明正在扩容,这时使用ForwardingNode的find方法进行查找
else if (eh < 0)
return (p = e.find(h, key)) != null ? p.val : null;
// 既不是头节点,也不是ForwardingNode,就往后遍历查找
while ((e = e.next) != null) {
if (e.hash == h &&
((ek = e.key) == key || (ek != null && key.equals(ek))))
return e.val;
}
}
return null;
}
ConcurrentHashMap的get操作流程相对简单,可分为三步:
1、计算hash,找到对一个位置node节点,如果node是要找的节点,返回
2、如果当前正在扩容,则调用标志正在扩容的ForwardingNode的find方法,在新哈希表中查找该节点,匹配就返回
3、以上都不符合,则继续遍历节点进行查找。没找到返回null
五、size操作
public int size() {
long n = sumCount();
return ((n < 0L) ? 0 :
(n > (long)Integer.MAX_VALUE) ? Integer.MAX_VALUE :
(int)n);
}
final long sumCount() {
// ConterCell表示变化的数量
CounterCell[] as = counterCells; CounterCell a;
long sum = baseCount;
if (as != null) {
for (int i = 0; i < as.length; ++i) {
if ((a = as[i]) != null)
sum += a.value;
}
}
return sum;
}
最后,说句题外话,在学习这些源码的时候,深刻的感受到文字信息所能承载的知识量密度远大于图片和视频信息。有时间的话,还是多看书,多看代码。
还有,能自己看源码就看源码,整不明白了再找文章,嚼别人的只是残渣真的挺难受的。