阻塞队列BlockingQueue

1 简介

阻塞队列支持阻塞的插入和移除方法：

（1）阻塞的插入：当队列满时，队列会阻塞插入元素的线程，直到队列不满。

（2）阻塞的移除：当队列为空的时候，获取元素的线程会被阻塞。

BlockingQueue<E>方法以四种形式出现，对于不能立即满足但可能在将来某一时刻可以满足的操作，这四种形式的处理方式不同：第一种是抛出一个异常，第二种是返回一个特殊值（null或false`，具体取决于操作），第三种是在操作可以成功前，无限期地阻塞当前线程，第四种是在放弃前只在给定的最大时间限制内阻塞。下表中总结了这些方法：

抛出异常	特殊值	阻塞	超时
插入	add(e)	offer(e)	put(e)
移除	remove()	poll()	take()
检查	element()	peek()	不可用

- offer(E e): 将给定的元素设置到队列中，如果设置成功返回true, 否则返回false. e的值不能为空，否则抛出空指针异常。
- offer(E e, long timeout, TimeUnit unit): 将给定元素在给定的时间内设置到队列中，如果设置成功返回true, 否则返回false.
- add(E e): 将给定元素设置到队列中，如果设置成功返回true, 否则抛出异常。如果是往限定了长度的队列中设置值，推荐使用offer()方法。
- put(E e): 将元素设置到队列中，如果队列中没有多余的空间，该方法会一直阻塞，直到队列中有多余的空间。
- take(): 从队列中获取值，如果队列中没有值，线程会一直阻塞，直到队列中有值，并且该方法取得了该值。
- poll(long timeout, TimeUnit unit): 在给定的时间里，从队列中获取值，如果没有取到会抛出异常。
- remainingCapacity()：获取队列中剩余的空间。
- remove(Object o): 从队列中移除指定的值。不建议使用。
- contains(Object o): 判断队列中是否拥有该值。
- drainTo(Collection c): 将队列中值，全部移除，并发设置到给定的集合中。

要点：

（1）BlockingQueue 实现是线程安全的。

（2）BlockingQueue 不接受 null 元素。

（3）BlockingQueue 可以是限定容量的。它在任意给定时间都可以有一个 remainingCapacity，超出此容量，便无法无阻塞地 put 附加元素。没有任何内部容量约束的 BlockingQueue 总是报告 Integer.MAX_VALUE 的剩余容量。

（4）BlockingQueue 实现主要用于生产者-使用者队列：

 class Producer implements Runnable {
   private final BlockingQueue queue;
   Producer(BlockingQueue q) { queue = q; }
   public void run() {
     try {
       while(true) { queue.put(produce()); }
     } catch (InterruptedException ex) { ... handle ...}
   }
   Object produce() { ... }
 }

 class Consumer implements Runnable {
   private final BlockingQueue queue;
   Consumer(BlockingQueue q) { queue = q; }
   public void run() {
     try {
       while(true) { consume(queue.take()); }
     } catch (InterruptedException ex) { ... handle ...}
   }
   void consume(Object x) { ... }
 }

 class Setup {
   void main() {
     BlockingQueue q = new SomeQueueImplementation();
     Producer p = new Producer(q);
     Consumer c1 = new Consumer(q);
     Consumer c2 = new Consumer(q);
     new Thread(p).start();
     new Thread(c1).start();
     new Thread(c2).start();
   }
 }

FIFO与非公平

注意，BlockingQueue<E> 支持的排序方式一般有两种，FIFO或者根据优先级排序，这里说的排序是指对元素E的排序，不要和线程的等待队列搞混淆了。队列中的元素是经过排序的，线程想要访问队列是需要竞争的，竞争是非公平的，竞争上岗后的线程进行的出队/入队操作又是符合排序要求的。

阻塞队列的实现中使用了一个ReentrantLock，每个线程想要访问队列先得获取这把锁，所以很多资料说阻塞队列默认是非公平的，本质是就是这个ReentrantLock在初始化的时候选择的是NonFairSync的实现，也就是非公平锁。造成的现象是，不保证先阻塞的线程先访问队列，当线程可用时，是所有的该Condition下的所有线程一起竞争的。

公平锁与非公平锁

公平和非公平锁的队列都基于锁内部维护的一个双向链表，表结点Node的值就是每一个请求当前锁的线程。

公平锁则在于每次都是依次从队首取值。

非公平锁则在等待锁的过程中， 如果有任意新的线程（不进入等待队列，直接CAS自旋）妄图获取锁，都是有很大的几率直接获取到锁的。

---

2 原理

BlockingQueue<E>的实现原理在上面已经提了一下，在阻塞的实现上使用的是 ReentrantLock + Condition 的方式，是典型的 生产者/消费者 模型。源码比较简单，如果只需要了解阻塞队列的原理，只需要看看属性列表以及offer/poll，put/take方法就可以了：

package java.util.concurrent;  
import java.util.concurrent.locks.Condition;  
import java.util.concurrent.locks.ReentrantLock;  
import java.util.AbstractQueue;  
import java.util.Collection;  
import java.util.Iterator;  
import java.util.NoSuchElementException;  
import java.lang.ref.WeakReference;  
import java.util.Spliterators;  
import java.util.Spliterator;  


public class ArrayBlockingQueue<E> extends AbstractQueue<E>  
        implements BlockingQueue<E>, java.io.Serializable {  

    private static final long serialVersionUID = -817911632652898426L;  

    /** 真正存入数据的数组*/  
    final Object[] items;  

    /** take, poll, peek or remove的下一个索引 */  
    int takeIndex;  

    /** put, offer, or add的下一个索引 */  
    int putIndex;  

    /**队列中元素个数*/  
    int count;  


    /**可重入锁 */  
    final ReentrantLock lock;  

    /** 队列不为空的条件 */  
    private final Condition notEmpty;  

    /** 队列未满的条件 */  
    private final Condition notFull;  

    transient Itrs itrs = null;  


    /** 
     *当前元素个数-1 
     */  
    final int dec(int i) {  
        return ((i == 0) ? items.length : i) - 1;  
    }  

    /** 
     * 返回对应索引上的元素 
     */  
    @SuppressWarnings("unchecked")  
    final E itemAt(int i) {  
        return (E) items[i];  
    }  

    /** 
     * 非空检查 
     * 
     * @param v the element 
     */  
    private static void checkNotNull(Object v) {  
        if (v == null)  
            throw new NullPointerException();  
    }  

    /** 
     * 元素放入队列，注意调用这个方法时都要先加锁 
     *  
     */  
    private void enqueue(E x) {  
        final Object[] items = this.items;  
        items[putIndex] = x;  
        if (++putIndex == items.length)  
            putIndex = 0;  
        count++;//当前拥有元素个数加1  
        notEmpty.signal();//有一个元素加入成功，那肯定队列不为空  
    }  

    /** 
     * 元素出队，注意调用这个方法时都要先加锁 
     *  
     */  
    private E dequeue() {  
        final Object[] items = this.items;  
        @SuppressWarnings("unchecked")  
        E x = (E) items[takeIndex];  
        items[takeIndex] = null;  
        if (++takeIndex == items.length)  
            takeIndex = 0;  
        count--;/当前拥有元素个数减1  
        if (itrs != null)  
            itrs.elementDequeued();  
        notFull.signal();//有一个元素取出成功，那肯定队列不满  
        return x;  
    }  

    /** 
     * 指定删除索引上的元素 
     *  
     */  
    void removeAt(final int removeIndex) {  
        final Object[] items = this.items;  
        if (removeIndex == takeIndex) {  
            items[takeIndex] = null;  
            if (++takeIndex == items.length)  
                takeIndex = 0;  
            count--;  
            if (itrs != null)  
                itrs.elementDequeued();  
        } else {  
            final int putIndex = this.putIndex;  
            for (int i = removeIndex;;) {  
                int next = i + 1;  
                if (next == items.length)  
                    next = 0;  
                if (next != putIndex) {  
                    items[i] = items[next];  
                    i = next;  
                } else {  
                    items[i] = null;  
                    this.putIndex = i;  
                    break;  
                }  
            }  
            count--;  
            if (itrs != null)  
                itrs.removedAt(removeIndex);  
        }  
        notFull.signal();//有一个元素删除成功，那肯定队列不满  
    }  

    /** 
     *  
     * 构造函数，设置队列的初始容量 
     */  
    public ArrayBlockingQueue(int capacity) {  
        this(capacity, false);  
    }  

    /** 
     * 构造函数。capacity设置数组大小 ，fair设置是否为公平锁 
     * capacity and the specified access policy. 
     */  
    public ArrayBlockingQueue(int capacity, boolean fair) {  
        if (capacity <= 0)  
            throw new IllegalArgumentException();  
        this.items = new Object[capacity];  
        lock = new ReentrantLock(fair);//是否为公平锁，如果是的话，那么先到的线程先获得锁对象。  
        //否则，由操作系统调度由哪个线程获得锁，一般为false，性能会比较高  
        notEmpty = lock.newCondition();  
        notFull =  lock.newCondition();  
    }  

    /** 
     *构造函数，带有初始内容的队列 
     */  
    public ArrayBlockingQueue(int capacity, boolean fair,  
                              Collection<? extends E> c) {  
        this(capacity, fair);  

        final ReentrantLock lock = this.lock;  
        lock.lock(); //要给数组设置内容，先上锁  
        try {  
            int i = 0;  
            try {  
                for (E e : c) {  
                    checkNotNull(e);  
                    items[i++] = e;//依次拷贝内容  
                }  
            } catch (ArrayIndexOutOfBoundsException ex) {  
                throw new IllegalArgumentException();  
            }  
            count = i;  
            putIndex = (i == capacity) ? 0 : i;//如果putIndex大于数组大小 ，那么从0重新开始  
        } finally {  
            lock.unlock();//最后一定要释放锁  
        }  
    }  

    /** 
     * 添加一个元素，其实super.add里面调用了offer方法 
     */  
    public boolean add(E e) {  
        return super.add(e);  
    }  

    /** 
     *加入成功返回true,否则返回false 
     *  
     */  
    public boolean offer(E e) {  
        checkNotNull(e);  
        final ReentrantLock lock = this.lock;  
        lock.lock();//上锁  
        try {  
            if (count == items.length) //超过数组的容量  
                return false;  
            else {  
                enqueue(e); //放入元素  
                return true;  
            }  
        } finally {  
            lock.unlock();  
        }  
    }  

    /** 
     * 如果队列已满的话，就会等待 
     */  
    public void put(E e) throws InterruptedException {  
        checkNotNull(e);  
        final ReentrantLock lock = this.lock;  
        lock.lockInterruptibly();//和lock()方法的区别是让它在阻塞时也可抛出异常跳出  
        try {  
            while (count == items.length)  
                notFull.await(); //这里就是阻塞了，要注意。如果运行到这里，那么它会释放上面的锁，一直等到notify  
            enqueue(e);  
        } finally {  
            lock.unlock();  
        }  
    }  

    /** 
     * 带有超时时间的插入方法，unit表示是按秒、分、时哪一种 
     */  
    public boolean offer(E e, long timeout, TimeUnit unit)  
        throws InterruptedException {  

        checkNotNull(e);  
        long nanos = unit.toNanos(timeout);  
        final ReentrantLock lock = this.lock;  
        lock.lockInterruptibly();  
        try {  
            while (count == items.length) {  
                if (nanos <= 0)  
                    return false;  
                nanos = notFull.awaitNanos(nanos);//带有超时等待的阻塞方法  
            }  
            enqueue(e);//入队  
            return true;  
        } finally {  
            lock.unlock();  
        }  
    }  

    //实现的方法，如果当前队列为空，返回null  
    public E poll() {  
        final ReentrantLock lock = this.lock;  
        lock.lock();  
        try {  
            return (count == 0) ? null : dequeue();  
        } finally {  
            lock.unlock();  
        }  
    }  
     //实现的方法，如果当前队列为空，一直阻塞  
    public E take() throws InterruptedException {  
        final ReentrantLock lock = this.lock;  
        lock.lockInterruptibly();  
        try {  
            while (count == 0)  
                notEmpty.await();//队列为空，阻塞方法  
            return dequeue();  
        } finally {  
            lock.unlock();  
        }  
    }  
    //带有超时时间的取元素方法，否则返回Null  
    public E poll(long timeout, TimeUnit unit) throws InterruptedException {  
        long nanos = unit.toNanos(timeout);  
        final ReentrantLock lock = this.lock;  
        lock.lockInterruptibly();  
        try {  
            while (count == 0) {  
                if (nanos <= 0)  
                    return null;  
                nanos = notEmpty.awaitNanos(nanos);//超时等待  
            }  
            return dequeue();//取得元素  
        } finally {  
            lock.unlock();  
        }  
    }  
    //只是看一个队列最前面的元素，取出是不删除队列中的原来元素。队列为空时返回null  
    public E peek() {  
        final ReentrantLock lock = this.lock;  
        lock.lock();  
        try {  
            return itemAt(takeIndex); // 队列为空时返回null  
        } finally {  
            lock.unlock();  
        }  
    }  

    /** 
     * 返回队列当前元素个数 
     * 
     */  
    public int size() {  
        final ReentrantLock lock = this.lock;  
        lock.lock();  
        try {  
            return count;  
        } finally {  
            lock.unlock();  
        }  
    }  

    /** 
     * 返回当前队列再放入多少个元素就满队 
     */  
    public int remainingCapacity() {  
        final ReentrantLock lock = this.lock;  
        lock.lock();  
        try {  
            return items.length - count;  
        } finally {  
            lock.unlock();  
        }  
    }  

    /** 
     *  从队列中删除一个元素的方法。删除成功返回true,否则返回false 
     */  
    public boolean remove(Object o) {  
        if (o == null) return false;  
        final Object[] items = this.items;  
        final ReentrantLock lock = this.lock;  
        lock.lock();  
        try {  
            if (count > 0) {  
                final int putIndex = this.putIndex;  
                int i = takeIndex;  
                do {  
                    if (o.equals(items[i])) {  
                        removeAt(i); //真正删除的方法  
                        return true;  
                    }  
                    if (++i == items.length)  
                        i = 0;  
                } while (i != putIndex);//一直不断的循环取出来做判断  
            }  
            return false;  
        } finally {  
            lock.unlock();  
        }  
    }  

    /** 
     * 是否包含一个元素 
     */  
    public boolean contains(Object o) {  
        if (o == null) return false;  
        final Object[] items = this.items;  
        final ReentrantLock lock = this.lock;  
        lock.lock();  
        try {  
            if (count > 0) {  
                final int putIndex = this.putIndex;  
                int i = takeIndex;  
                do {  
                    if (o.equals(items[i]))  
                        return true;  
                    if (++i == items.length)  
                        i = 0;  
                } while (i != putIndex);  
            }  
            return false;  
        } finally {  
            lock.unlock();  
        }  
    }  

    /** 
     * 清空队列 
     * 
     */  
    public void clear() {  
        final Object[] items = this.items;  
        final ReentrantLock lock = this.lock;  
        lock.lock();  
        try {  
            int k = count;  
            if (k > 0) {  
                final int putIndex = this.putIndex;  
                int i = takeIndex;  
                do {  
                    items[i] = null;  
                    if (++i == items.length)  
                        i = 0;  
                } while (i != putIndex);  
                takeIndex = putIndex;  
                count = 0;  
                if (itrs != null)  
                    itrs.queueIsEmpty();  
                for (; k > 0 && lock.hasWaiters(notFull); k--)  
                    notFull.signal();  
            }  
        } finally {  
            lock.unlock();  
        }  
    }  

    /** 
     * 取出所有元素到集合 
     */  
    public int drainTo(Collection<? super E> c) {  
        return drainTo(c, Integer.MAX_VALUE);  
    }  

    /** 
     * 取出所有元素到集合 
     */  
    public int drainTo(Collection<? super E> c, int maxElements) {  
        checkNotNull(c);  
        if (c == this)  
            throw new IllegalArgumentException();  
        if (maxElements <= 0)  
            return 0;  
        final Object[] items = this.items;  
        final ReentrantLock lock = this.lock;  
        lock.lock();  
        try {  
            int n = Math.min(maxElements, count);  
            int take = takeIndex;  
            int i = 0;  
            try {  
                while (i < n) {  
                    @SuppressWarnings("unchecked")  
                    E x = (E) items[take];  
                    c.add(x);  
                    items[take] = null;  
                    if (++take == items.length)  
                        take = 0;  
                    i++;  
                }  
                return n;  
            } finally {  
                // Restore invariants even if c.add() threw  
                if (i > 0) {  
                    count -= i;  
                    takeIndex = take;  
                    if (itrs != null) {  
                        if (count == 0)  
                            itrs.queueIsEmpty();  
                        else if (i > take)  
                            itrs.takeIndexWrapped();  
                    }  
                    for (; i > 0 && lock.hasWaiters(notFull); i--)  
                        notFull.signal();  
                }  
            }  
        } finally {  
            lock.unlock();  
        }  
    }  
}  

---

3 Java中的7种阻塞队列

3.1 ArrayBlockingQueue

一个由数组支持的有界阻塞队列。此队列按 FIFO（先进先出）原则对元素进行排序。队列的头部 是在队列中存在时间最长的元素。队列的尾部 是在队列中存在时间最短的元素。新元素插入到队列的尾部，队列获取操作则是从队列头部开始获得元素。这是一个典型的“有界缓存区”，固定大小的数组在其中保持生产者插入的元素和使用者提取的元素。一旦创建了这样的缓存区，就不能再增加其容量。试图向已满队列中放入元素会导致操作受阻塞；试图从空队列中提取元素将导致类似阻塞。

此类支持对等待的生产者线程和使用者线程进行排序的可选公平策略。默认情况下，不保证是这种排序。公平性是指在有阻塞的线程队列时候是采用ReentrantLock的FairSync(公平锁)还是NonFairSync(非公平锁)实现的。公平性通常会降低吞吐量，但也减少了可变性和避免了“不平衡性”。

---

3.2 LinkedBlockingQueue

一个基于链接节点的、范围任意的 blocking queue。此队列按 FIFO（先进先出）排序元素。队列的头部是在队列中时间最长的元素。队列的尾部 是在队列中时间最短的元素。新元素插入到队列的尾部，并且队列获取操作会获得位于队列头部的元素。链接队列的吞吐量通常要高于基于数组的队列，但是在大多数并发应用程序中，其可预知的性能要低。

可选的容量范围构造方法参数作为防止队列过度扩展的一种方法。如果未指定容量，则它等于 Integer.MAX_VALUE。除非插入节点会使队列超出容量，否则每次插入后会动态地创建链接节点。

---

3.3 PriorityBlockingQueue

一个无界阻塞队列，它使用与类 PriorityQueue 相同的顺序规则，并且提供了阻塞获取操作。虽然此队列逻辑上是无界的，但是资源被耗尽时试图执行 add 操作也将失败（导致 OutOfMemoryError）。此类不允许使用 null 元素。依赖自然顺序的优先级队列也不允许插入不可比较的对象（这样做会导致抛出 ClassCastException）。

此类及其迭代器可以实现 Collection 和 Iterator 接口的所有可选 方法。iterator() 方法中提供的迭代器并不保证以特定的顺序遍历 PriorityBlockingQueue 的元素。如果需要有序地进行遍历，则应考虑使用 Arrays.sort(pq.toArray())。此外，可以使用方法 drainTo 按优先级顺序移除全部或部分元素，并将它们放在另一个 collection 中。

默认情况下采用自然顺序升序排列，也可以自定义类实现compareTo()方法来指定元素排序规则，或者在初始化的时候指定构造参数Comparator来对元素进行排序。需要注意的是在此类上进行的操作不保证具有同等优先级的元素的顺序。

---

3.4 SynchronousQueue

一种阻塞队列，其中每个插入操作必须等待另一个线程的对应移除操作 ，反之亦然。同步队列没有任何内部容量，甚至连一个队列的容量都没有。不能在同步队列上进行 peek，因为仅在试图要移除元素时，该元素才存在；除非另一个线程试图移除某个元素，否则也不能（使用任何方法）插入元素；也不能迭代队列，因为其中没有元素可用于迭代。队列的头 是尝试添加到队列中的首个已排队插入线程的元素；如果没有这样的已排队线程，则没有可用于移除的元素并且 poll() 将会返回 null。对于其他 Collection 方法（例如 contains），SynchronousQueue 作为一个空 collection。此队列不允许 null 元素。

同步队列类似于 CSP 和 Ada 中使用的 rendezvous 信道。它非常适合于传递性设计，在这种设计中，在一个线程中运行的对象要将某些信息、事件或任务传递给在另一个线程中运行的对象，它就必须与该对象同步。

对于正在等待的生产者和使用者线程而言，此类支持可选的公平排序策略。默认情况下不保证这种排序。但是，使用公平设置为 true 所构造的队列可保证线程以 FIFO 的顺序进行访问。

---

3.5 LinkedBlockingDeque

由链表组成的双端阻塞队列，可以从队列的两端插入和移除元素。

---

3.6 LinkedTansferQueue

由链表组成的无界阻塞TransferQueue队列，相对于其他队列，它多了tansfer和tryTansfer方法：

tansfer方法

将元素给消费者，如果没有消费者就会将元素添加到队尾，然后等待消费者。

tryTransfer方法

将元素立刻给消费者。准确的说就是立刻给一个等待接收元素的线程，如果没有消费者就会返回false，而不将元素放入队列。

---

3.7 DelayQueue

支持延时获取元素的无界阻塞队列。队列使用PriorityQueue<Delayed>实现，元素必须实现Delayed接口：

public interface Delayed{
  long getDelay(TimeUnit unit)；
}

其中的对象只能在其到期时才能从队列中取走，这种队列是有序的，即队头对象的延迟到期时间最长。