JDK容器与并发—Queue—ConcurrentLinkedQueue

本文介绍了一种基于单链表实现的线程安全无界队列,支持FIFO原则,具备wait-free特性。该队列实现了迭代器弱一致性,并讨论了其数据结构、构造方法及基本操作如增删查等细节。

概述

      基于单链表的无界队列,线程安全。

1)FIFO;

2)wait-free;

3)迭代器弱一致性;

4)size()非固定时间,由于异步特新,若遍历过程有修改,则可能不正确;批量操作addAll、removeAll、retainAll、containsAll、equals、toArray不保证原子性;

5)遵守内存一致性原则;

数据结构

      基于单链表:

private static class Node<E> {
	volatile E item;
	volatile Node<E> next;

	/**
	 * Constructs a new node.  Uses relaxed write because item can
	 * only be seen after publication via casNext.
	 */
	Node(E item) {
		UNSAFE.putObject(this, itemOffset, item);
	}

	boolean casItem(E cmp, E val) {
		return UNSAFE.compareAndSwapObject(this, itemOffset, cmp, val);
	}

	void lazySetNext(Node<E> val) {
		UNSAFE.putOrderedObject(this, nextOffset, val);
	}

	boolean casNext(Node<E> cmp, Node<E> val) {
		return UNSAFE.compareAndSwapObject(this, nextOffset, cmp, val);
	}

	// Unsafe mechanics

	private static final sun.misc.Unsafe UNSAFE;
	private static final long itemOffset;
	private static final long nextOffset;

	static {
		try {
			UNSAFE = sun.misc.Unsafe.getUnsafe();
			Class k = Node.class;
			itemOffset = UNSAFE.objectFieldOffset
				(k.getDeclaredField("item"));
			nextOffset = UNSAFE.objectFieldOffset
				(k.getDeclaredField("next"));
		} catch (Exception e) {
			throw new Error(e);
		}
	}
}

/**
 * A node from which the first live (non-deleted) node (if any)
 * can be reached in O(1) time.
 * Invariants:
 * - all live nodes are reachable from head via succ()
 * - head != null
 * - (tmp = head).next != tmp || tmp != head
 * Non-invariants:
 * - head.item may or may not be null.
 * - it is permitted for tail to lag behind head, that is, for tail
 *   to not be reachable from head!
 */
private transient volatile Node<E> head;

/**
 * A node from which the last node on list (that is, the unique
 * node with node.next == null) can be reached in O(1) time.
 * Invariants:
 * - the last node is always reachable from tail via succ()
 * - tail != null
 * Non-invariants:
 * - tail.item may or may not be null.
 * - it is permitted for tail to lag behind head, that is, for tail
 *   to not be reachable from head!
 * - tail.next may or may not be self-pointing to tail.
 */
private transient volatile Node<E> tail;

构造器

// 无参构造
public ConcurrentLinkedQueue() {
	head = tail = new Node<E>(null);
}

// 带Collection参数构造
public ConcurrentLinkedQueue(Collection<? extends E> c) {
	Node<E> h = null, t = null;
	for (E e : c) {
		checkNotNull(e);
		Node<E> newNode = new Node<E>(e);
		if (h == null)
			h = t = newNode;
		else {
			t.lazySetNext(newNode); // volatile
			t = newNode;
		}
	}
	if (h == null)
		h = t = new Node<E>(null);
	head = h;
	tail = t;
}

增删查

// 将元素入队
public boolean offer(E e) {
	checkNotNull(e);
	final Node<E> newNode = new Node<E>(e);

	for (Node<E> t = tail, p = t;;) {
		Node<E> q = p.next;
		if (q == null) {
			// p是最后一个元素
			if (p.casNext(null, newNode)) {
				// newNode入队成功,从head可达
				if (p != t) // 入队两个节点维护一次tail
					casTail(t, newNode);  // 其他线程有维护tail
				return true;
			}
			// 有其他线程先入队成功,重读next
		}
		else if (p == q)
			// 遍历到的p节点已删除,
			// 如果实际tail为当前局部变量tail,说明tail已在head前,需要跳到head进入正常遍历;
			// 否则,有其他线程维护过tail,从tail开始
			p = (t != (t = tail)) ? t : head;
		else
			// 跟着tail,每隔两个节点更新局部变量t,向前推进
			p = (p != t && t != (t = tail)) ? t : q;
	}
}

public E poll() {
	restartFromHead:
	for (;;) {
		for (Node<E> h = head, p = h, q;;) {
			E item = p.item;

			if (item != null && p.casItem(item, null)) {
				// CAS null成功,则说明p已从队列中删除
				if (p != h) // 每删除两个节点维护一次head
					updateHead(h, ((q = p.next) != null) ? q : p);
				return item;
			}
			else if ((q = p.next) == null) { // 到达队尾
				updateHead(h, p);
				return null;
			}
			else if (p == q)	// p为已删除节点,且已经off-list,重新开始
				continue restartFromHead;
			else
				p = q;
		}
	}
}

    public E peek() {
        restartFromHead:
        for (;;) {
            for (Node<E> h = head, p = h, q;;) {
                E item = p.item;
                if (item != null || (q = p.next) == null) {
                    updateHead(h, p);
                    return item;
                }
                else if (p == q)
                    continue restartFromHead;
                else
                    p = q;
            }
        }
    }

迭代器

private class Itr implements Iterator<E> {
	/**
	 * Next node to return item for.
	 */
	private Node<E> nextNode;

	/**
	 * nextItem holds on to item fields because once we claim
	 * that an element exists in hasNext(), we must return it in
	 * the following next() call even if it was in the process of
	 * being removed when hasNext() was called.
	 */
	private E nextItem;

	/**
	 * Node of the last returned item, to support remove.
	 */
	private Node<E> lastRet;

	Itr() {
		advance();
	}

	/**
	 * Moves to next valid node and returns item to return for
	 * next(), or null if no such.
	 */
	private E advance() {
		lastRet = nextNode;
		E x = nextItem;

		Node<E> pred, p;
		if (nextNode == null) {
			p = first();
			pred = null;
		} else {
			pred = nextNode;
			p = succ(nextNode);
		}

		for (;;) {
			if (p == null) {
				nextNode = null;
				nextItem = null;
				return x;
			}
			E item = p.item;
			if (item != null) {
				nextNode = p;
				nextItem = item;
				return x;
			} else {
				// skip over nulls
				Node<E> next = succ(p);
				if (pred != null && next != null)
					pred.casNext(p, next);
				p = next;
			}
		}
	}

	public boolean hasNext() {
		return nextNode != null;
	}

	public E next() {
		if (nextNode == null) throw new NoSuchElementException();
		return advance();
	}

	public void remove() {
		Node<E> l = lastRet;
		if (l == null) throw new IllegalStateException();
		// rely on a future traversal to relink.
		l.item = null;
		lastRet = null;
	}
}

特性

      wait-free.

<think>我们正在讨论非并发容器并发容器的转换方法及其原理。首先,我们需要明确非并发容器(如ArrayList、HashMap等)和并发容器(如ConcurrentHashMap、CopyOnWriteArrayList等)的设计差异。 非并发容器并发环境下需要外部同步(例如使用synchronized或ReentrantLock)来保证线程安全。而并发容器内部已经实现了线程安全的机制,可以在多线程环境下直接使用。 转换方法: 1. **非并发容器并发容器**:通过包装器或直接使用并发容器实现。 - 对于List:可以使用`Collections.synchronizedList`方法将非并发List(如ArrayList)转换为同步List,但这并不是真正的并发容器(它使用同步块)。或者直接使用`CopyOnWriteArrayList`。 - 对于Map:可以使用`Collections.synchronizedMap`将HashMap转换为同步Map,或者直接使用`ConcurrentHashMap`。 2. **并发容器转非并发容器**:通常不推荐,因为并发容器内部机制复杂,直接转换为非并发容器可能失去线程安全特性。但可以通过复制数据的方式,例如将ConcurrentHashMap的所有元素复制到一个新的HashMap中(注意:在复制过程中需要保证没有并发修改,或者使用快照方式)。 原理分析: - **非并发容器转换为同步容器(使用Collections.synchronizedXXX)**: 原理:这些包装器在容器的方法上加上synchronized同步块,使用一个全局锁(mutex)来保证线程安全。例如: ```java // Collections.synchronizedList 源码片段 public E get(int index) { synchronized (mutex) {return list.get(index);} } ``` 缺点:全局锁导致并发性能较低。 - **使用并发容器**: - `CopyOnWriteArrayList`:写操作时复制整个底层数组,读操作无锁。适合读多写少的场景。 - `ConcurrentHashMap`:在JDK1.7中采用分段锁(Segment),在JDK1.8中采用CAS+synchronized(锁单个桶)。 下面我们详细讨论转换方法和原理。 ### 一、非并发容器转换为线程安全容器 #### 1. 使用`Collections.synchronizedXXX`方法 Java提供了一组静态方法,可以将非并发容器包装成同步容器。这些方法包括: - `synchronizedList(List<T> list)` - `synchronizedMap(Map<K,V> m)` - `synchronizedSet(Set<T> s)` **原理**: - 在返回的包装器对象中,每个方法都使用一个互斥锁(mutex)进行同步。默认情况下,互斥锁是包装器对象本身(this)。 - 例如,`synchronizedList`的实现: ```java static class SynchronizedList<E> extends SynchronizedCollection<E> implements List<E> { final List<E> list; SynchronizedList(List<E> list) { super(list); this.list = list; } public E get(int index) { synchronized (mutex) { return list.get(index); } } // 其他方法类似,都加上了synchronized块 } ``` **缺点**: - 性能瓶颈:所有操作都需要获取同一把锁,高并发下竞争激烈。 - 迭代器需要外部同步:在迭代时,必须手动对容器加锁,否则可能抛出`ConcurrentModificationException`。 #### 2. 使用并发容器替代 直接使用Java并发包(`java.util.concurrent`)中的容器类: - `List` → `CopyOnWriteArrayList` - `Map` → `ConcurrentHashMap` - `Set` → `CopyOnWriteArraySet` 或 `ConcurrentHashMap.newKeySet()` - `Queue` → `ConcurrentLinkedQueue`, `ArrayBlockingQueue`等 **原理**: - **`CopyOnWriteArrayList`**:写操作(add、set、remove等)通过复制整个数组来实现,写操作在一个锁的保护下进行(保证只有一个写线程),读操作无锁。适用于读多写少的场景[^4]。 ```java // 写操作示例(简化版) public boolean add(E e) { final ReentrantLock lock = this.lock; lock.lock(); try { Object[] elements = getArray(); int len = elements.length; Object[] newElements = Arrays.copyOf(elements, len + 1); newElements[len] = e; setArray(newElements); return true; } finally { lock.unlock(); } } ``` - **`ConcurrentHashMap`(JDK1.8)**:采用数组+链表/红黑树结构,使用CAS和synchronized(锁住单个桶)来实现线程安全。put操作流程如下[^3]: 1. 计算key的hash值。 2. 如果表未初始化,则初始化。 3. 如果定位到的桶为空,则通过CAS尝试插入。 4. 如果桶不为空(有节点),则使用synchronized锁住该桶的第一个节点,然后进行链表或红黑树的插入。 5. 如果链表长度超过8,则转换为红黑树。 6. 如果总元素数量超过阈值,则扩容。 ### 二、并发容器转换为非并发容器 通常没有直接的方法,因为并发容器内部结构复杂,且设计目标就是支持并发。但可以通过以下方式: 1. **复制数据**:在并发容器上获取一个快照,然后复制到一个非并发容器中。例如: ```java Map<K, V> map = new HashMap<>(); concurrentHashMap.forEach((k, v) -> map.put(k, v)); ``` 注意:在复制过程中,如果有并发修改,可能会丢失更新。因此,最好在无并发修改时进行(如暂停写操作)。 2. **使用序列化/反序列化**:将并发容器序列化为字节流,再反序列化为非并发容器(同样要注意数据一致性)。 ### 三、设计思想对比 | 容器类型 | 线程安全实现方式 | 适用场景 | |------------------|------------------------------|------------------------------| | 同步包装容器 | 方法级synchronized(全局锁) | 低并发,简单场景 | | `CopyOnWriteArrayList` | 写时复制(复制整个数组) | 读多写少,读操作要求快速响应 | | `ConcurrentHashMap` | CAS + 桶锁(synchronized) | 高并发读写 | > **转换建议**: > - 需要线程安全且性能要求高 → 直接使用并发容器(如`ConcurrentHashMap`) > - 兼容旧代码且并发压力小 → 使用`Collections.synchronizedXXX` > - 不需要线程安全 → 直接使用非并发容器(但需确保单线程环境) ### 总结 非并发容器并发容器的转换本质上是线程安全机制的转换。转换方法包括: 1. **升级为线程安全**: - 通过包装器(`Collections.synchronizedXXX`)添加全局锁。 - 替换为并发容器(如`ConcurrentHashMap`、`CopyOnWriteArrayList`)。 2. **降级为非线程安全**:通过复制数据创建非并发容器副本。 选择哪种方式取决于具体场景: - 并发性能要求高 → 并发容器。 - 需要简单同步 → 包装器。 - 单线程使用 → 非并发容器。 --- §§相关问题§§ 1. `Collections.synchronizedList` 和 `CopyOnWriteArrayList` 在性能上有何差异? 2. `ConcurrentHashMap` 在 JDK1.7 和 JDK1.8 中的实现原理有何不同? 3. 如何选择 `ConcurrentHashMap` 和 `Hashtable`? 4. `CopyOnWriteArrayList` 的写时复制机制在哪些场景下不适用?</think>### 非并发容器并发容器的转换方法及原理 Java 容器分为非并发容器(`java.util`)和并发容器(`java.util.concurrent`)。二者转换的核心是**通过同步机制实现线程安全**或**利用并发容器替代非并发容器**。以下是转换方法原理分析: --- #### 一、非并发容器并发安全的容器 ##### 1. **外部同步包装(显式加锁)** **方法**:使用 `synchronized` 或 `ReentrantLock` 包装非并发容器的操作。 **原理**: - 通过互斥锁保证同一时刻只有一个线程操作容器。 - 示例: ```java List<String> syncList = Collections.synchronizedList(new ArrayList<>()); // 包装为同步List[^1] Map<K,V> syncMap = Collections.synchronizedMap(new HashMap<>()); ``` **源码分析**(以 `Collections.synchronizedList` 为例): ```java public boolean add(E e) { synchronized (mutex) { // 全局锁(mutex = this) return list.add(e); // 委托给原始ArrayList } } ``` **缺点**: - 全局锁导致并发性能低(所有操作串行化)[^1]。 - 迭代器需手动同步,否则可能抛出 `ConcurrentModificationException`。 ##### 2. **写时复制(Copy-On-Write)** **方法**:将非并发容器替换为 `CopyOnWriteArrayList` 或 `CopyOnWriteArraySet`。 **原理**: - **读操作**:无锁访问原数组(快照)。 - **写操作**:复制新数组修改,替换旧引用(加锁保证原子性)[^4]。 **数据结构**: ```java // CopyOnWriteArrayList 核心字段 final transient ReentrantLock lock = new ReentrantLock(); private transient volatile Object[] array; // volatile保证可见性 ``` **操作流程**: ```java public boolean add(E e) { final ReentrantLock lock = this.lock; lock.lock(); // 加锁 try { Object[] elements = getArray(); Object[] newElements = Arrays.copyOf(elements, len + 1); // 复制新数组 newElements[len] = e; setArray(newElements); // volatile写替换引用 return true; } finally { lock.unlock(); } } ``` **适用场景**:读多写少(如监听器列表)。 --- #### 二、并发容器 → 非并发容器 ##### 1. **数据迁移(快照复制)** **方法**:将并发容器的数据复制到非并发容器。 **原理**: - 利用并发容器的原子快照(如 `ConcurrentHashMap.keySet()` 或 `CopyOnWriteArrayList` 的数组)。 - 示例: ```java ConcurrentHashMap<String, Integer> concurrentMap = ...; HashMap<String, Integer> hashMap = new HashMap<>(concurrentMap); // 复制构造 ``` **注意**: - 复制过程非原子,可能丢失实时更新。 - 适用于只读场景或低一致性要求。 ##### 2. **单线程环境降级** **方法**:在确认单线程访问时直接使用并发容器。 **原理**: - 并发容器(如 `ConcurrentHashMap`)在单线程下无锁竞争开销。 - 性能并发容器接近(JDK8 优化了 `ConcurrentHashMap` 的内存布局)。 --- #### 三、并发容器替代方案(推荐) 直接使用并发容器替代非并发容器,无需转换: | 非并发容器 | 并发容器替代品 | 实现原理 | |----------------|---------------------------|-----------------------------| | `ArrayList` | `CopyOnWriteArrayList` | 写时复制 + ReentrantLock | | `HashMap` | `ConcurrentHashMap` | CAS + synchronized 桶锁[^3] | | `HashSet` | `ConcurrentHashMap.KeySet` | 委托给ConcurrentHashMap | | `LinkedList` | `ConcurrentLinkedQueue` | CAS 无锁队列 | ##### `ConcurrentHashMap` 原理(JDK8)[^3] **数据结构**: - 数组 + 链表/红黑树(同 `HashMap`)。 **线程安全机制**: - **CAS**:初始化数组、插入空桶等。 - **synchronized**:锁定哈希冲突的桶(链表头节点)。 **put 流程**: 1. 计算哈希,定位桶位置。 2. 桶为空 → CAS 插入。 3. 桶非空 → `synchronized` 锁住头节点: - 链表 → 遍历插入/更新 - 红黑树 → 树节点插入 4. 链表长度 ≥ 8 → 树化。 --- ### 设计思想对比 | **方案** | **原理** | **性能** | **适用场景** | |--------------------|------------------------------|---------------|---------------------| | 外部同步包装 | 全局锁(synchronized) | 低并发 | 简单同步需求 | | 写时复制 | 读无锁 + 写复制数组 | 读极高,写极低 | 读多写少(如配置) | | `ConcurrentHashMap`| CAS + 桶级锁 | 高并发 | 高频读写键值对 | | 数据迁移 | 原子快照复制 | 一次性开销 | 只读数据导出 | --- ### 关键问题解答 #### 1. 为什么推荐直接使用并发容器? - **安全**:内置线程安全机制,避免手动同步错误。 - **性能**:并发容器优化了锁粒度(如 `ConcurrentHashMap` 的桶锁)。 - **功能**:提供原子方法(如 `ConcurrentHashMap.putIfAbsent()`)。 #### 2. 如何选择转换方案? - 需要兼容旧代码 → 外部同步包装。 - 高频读、低频写 → `CopyOnWriteArrayList`。 - 高频读写 → `ConcurrentHashMap`。 - 数据归档 → 快照复制到非并发容器。 > **最佳实践**: > - 新项目优先使用 `java.util.concurrent` 容器。 > - 转换时测试并发场景下的性能和数据一致性。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值