阻塞队列

本文详细解析了阻塞队列的基本概念、多种类型及其实现原理,包括ArrayBlockingQueue、LinkedBlockingQueue、SynchronousQueue、PriorityBlockingQueue、DelayQueue、LinkedTransferQueue和LinkedBlockingDeque。介绍了它们在生产者-消费者模式中的应用,以及如何通过线程间的阻塞和唤醒机制实现资源的有效管理和分配。

基本概念

  阻塞队列首先是一个队列,当队列是空的时候,从队列获取元素的操作将会被阻塞,当队列是满的时候,从队列插入元素的操作将会被阻塞。消息中间件底层用的就是阻塞队列。
在这里插入图片描述

BlockingQueue是个接口,实际上用到的并发队列是BlockingQueue的各种实现。BlockingQueue继承自Queue,满足先进先出。

public interface BlockingQueue< E> extends Queue< E> {}

  BlockingQueue对插入操作、移除操作、获取元素操作提供了四种不同的方法用于不同的场景中使用:1、抛出异常;2、返回特殊值(null 或 true/false,取决于具体的操作);3、阻塞等待此操作,直到这个操作成功;4、阻塞等待此操作,直到成功或者超时指定时间
  BlockingQueue 不接受 null 值的插入。BlockingQueue 是设计用来实现生产者-消费者队列的。BlockingQueue 的实现都是线程安全的,但是批量的集合操作如 addAll, containsAll, retainAll 和 removeAll 不一定是原子操作。如 addAll有可能在添加了一些元素后中途抛出异常,此时 BlockingQueue 中已经添加了部分元素,这个是允许的,取决于具体的实现。

阻塞队列好处: 在多线程领域,所谓阻塞,在某些情况下会挂起线程(即阻塞),一旦条件满足,被挂起的线程又会自动被唤醒。

阻塞队列和生产者-消费者模式
  阻塞队列(Blocking queue)提供了可阻塞的put和take方法,它们与可定时的offer和poll是等价的。如果Queue已经满了,put方法会被阻塞直到有空间可用;如果Queue是空的,那么take方法会被阻塞,直到有元素可用。Queue的长度可以有限,也可以无限;无限的Queue永远不会充满,所以它的put方法永远不会阻塞。
  阻塞队列支持生产者-消费者设计模式。生产者-消费者模式将生产者和消费者之间相互解耦。生产者把数据放入队列,并使数据可用,当消费者为适当的行为做准备时会从队列中获取数据。生产者不需要知道消费者的身份或者数量甚至根本没有消费者。类似地,消费者也不需要知道生产者是谁,以及是谁给它们安排的工作。BlockingQueue可以使用任意数量的生产者和消费者,从而简化了生产者-消费者设计的实现。最常见的生产者-消费者设计是将线程池与工作队列相结合。

阻塞队列BlockingQueue种类

ArrayBlockingQueue

  由数组结构组成的有界阻塞队列。ArrayBlockingQueue中只有take和put是阻塞的,其他方法都是直接返回,同时可以看到ArrayBlockingQueue中的lock是一个粒度很大的全局锁,每个操作方法都需要先获得锁,类似于hashtable的synchronized,不过也因为此,这里的size统计很精准

// 用于存放元素的数组
final Object[] items;
// 下一次读取操作的位置
int takeIndex;
// 下一次写入操作的位置
int putIndex;
// 队列中元素数量
int count;
// 锁保证出入队原子性
final ReentrantLock lock;
// 出队同步,等待满足非空
private final Condition notEmpty;
// 入队同步,等待满足非满
private final Condition notFull;

主要通过上面的俩个条件Condition来实现生产者与消费者的协调,condition用来与lock共同实现线程的等待通知机制。
构造函数

public ArrayBlockingQueue(int capacity) {
        this(capacity, false);
    }
public ArrayBlockingQueue(int capacity, boolean fair) {
        if (capacity <= 0)
            throw new IllegalArgumentException();
        this.items = new Object[capacity];
        lock = new ReentrantLock(fair);//默认是使用ReentrantLock的非公平锁
        notEmpty = lock.newCondition();
        notFull =  lock.newCondition();
    }

offer

public boolean offer(E e) {
        checkNotNull(e);
        final ReentrantLock lock = this.lock;
        lock.lock();
        try {
            if (count == items.length)
                return false;
            else {
                enqueue(e);
                return true;
            }
        } finally {
            lock.unlock();
        }
}
private void enqueue(E x) {
        final Object[] items = this.items;
        // 元素入队
        items[putIndex] = x;
        // putIndex达到最大,调整
        if (++putIndex == items.length)
            // 队列前边的已被取走,所以putIndex达到最大可以再从0开始
            putIndex = 0;
        count++;
        // 此时满足非空,可以唤醒一个notEmpty等待队列上的元素
        notEmpty.signal();
}
1、保证元素非空
2、获得锁
3、如果队列满了,返回false,添加失败;否则,添加成功,返回true
4、释放锁,前边说过释放锁的语义,把修改的共享变量值刷回主内存 注意队列满是元素个数等于count,而非使用put/takeindex判断

put

public void put(E e) throws InterruptedException {
        checkNotNull(e);
        final ReentrantLock lock = this.lock;
        lock.lockInterruptibly();
        try {
            while (count == items.length)
                // 不满足非满,等待
                notFull.await();
            enqueue(e);
        } finally {
            lock.unlock();
        }
    }
    //如果队列满了就阻塞挂起在notFull条件队列上

以阻塞的put方法为例,首先获取锁,判断数组中元素是否已经满了,满了的话调用notFull的await方法,直到有消费者消费掉元素后调用notFull的signal方法后队列有剩余空间才能继续入队。数组有空闲容量的情况下调用enqueue方法,将元素放入数组后,调用notEmpty的signal方法,告诉消费者队列中已经有元素了,可以来消费了。

poll

public E poll() {
        final ReentrantLock lock = this.lock;
        lock.lock();
        try {
            return (count == 0) ? null : dequeue();
        } finally {
            lock.unlock();
        }
}
private E dequeue() {
        final Object[] items = this.items;
        @SuppressWarnings("unchecked")
        E x = (E) items[takeIndex];
        items[takeIndex] = null;
        if (++takeIndex == items.length)
            takeIndex = 0;
        count--;
        if (itrs != null)
            itrs.elementDequeued();
        // 此时取走一个元素,可以唤醒notFull上的一个线程    
        notFull.signal();
        return x;
}
//拿锁,然后取走元素,更新takeIndex,唤醒botFull,最后释放锁

take

public E take() throws InterruptedException {
        final ReentrantLock lock = this.lock;
        lock.lockInterruptibly();
        try {
            while (count == 0)
                notEmpty.await();
            return dequeue();
        } finally {
            lock.unlock();
        }
    }
//相比poll,take中队列是空时会阻塞挂起,poll则没有阻塞直接返回null

逻辑基本就是和put方法相反的,数组为空时,await等待,直到队列有元素时notEmpty.notify通知进行消费,消费之后通知生产者队列有空余位置。
peek

public E peek() {
        final ReentrantLock lock = this.lock;
        lock.lock();
        try {
            return itemAt(takeIndex); 
        } finally {
            lock.unlock();
        }
}
	final E itemAt(int i) {
        return (E) items[i];
    }
//同样peek也没有阻塞,直接返回队列头部元素;空的话返回null

LinkedBlockingQueue

  由链表结构组成的阻塞队列(默认大小Integer.MAX_VALUE)。LinkedBlockingQueue内部通过单链表实现,使用头尾节点进行入队和出队操作,分别采用两把锁,所以出队和入队可以同时进行的。

属性

	private final int capacity;
    // 队列中元素数量
    private final AtomicInteger count = new AtomicInteger();
    // 链表头
    private transient Node<E> head;
    // 链表尾
    private transient Node<E> last;
    //  take,poll, peek 等读操作的方法需要获取到这个锁
    private final ReentrantLock takeLock = new ReentrantLock();
    // 等非空条件满足的condition
    private final Condition notEmpty = takeLock.newCondition();
    // put, offer 等写操作的方法需要获取到这个锁
    private final ReentrantLock putLock = new ReentrantLock();
    // 等不满条件满足的condition
    private final Condition notFull = putLock.newCondition();

包括写锁和读锁,所以写操作之间和读操作之间是不会有并发问题的。
构造方法

public LinkedBlockingQueue() {
        this(Integer.MAX_VALUE);
}
public LinkedBlockingQueue(int capacity) {
    if (capacity <= 0) throw new IllegalArgumentException();
    this.capacity = capacity;
    last = head = new Node<E>(null);
}

构造函数中初始化了一个头节点,那么第一个元素入队的时候,队列中就会有两个元素。读取元素时,也总是获取头节点后面的一个节点。count 的计数值不包括这个头节点。
put

public void put(E e) throws InterruptedException {
        if (e == null) throw new NullPointerException();
        int c = -1;
        Node<E> node = new Node<E>(e);
        final ReentrantLock putLock = this.putLock;
        final AtomicInteger count = this.count;
        putLock.lockInterruptibly();
        try {
            // 如果队列满了,等待notFull条件满足
            while (count.get() == capacity) {
                notFull.await();
            }
            // 满足notFull,新增节点入队
            enqueue(node);
            c = count.getAndIncrement();
            if (c + 1 < capacity)
                // 如果此时仍然没满,唤醒等待在notFull上的一个线程
                notFull.signal();
        } finally {
            putLock.unlock();
        }
        if (c == 0)
            // c==0即元素入队前是空的,那么所有的读线程都在等待 notEmpty 这个条件,等待唤醒,这里做一次唤醒操作
            signalNotEmpty();
}
private void enqueue(Node<E> node) {
        // 让last指向新增元素,注意是在获取锁的情况下进行的,不存在并发问题
        last = last.next = node;
}
//如果队列满了需要等待不满,满足条件则入队。

take

public E take() throws InterruptedException {
        E x;
        int c = -1;
        final AtomicInteger count = this.count;
        final ReentrantLock takeLock = this.takeLock;
        takeLock.lockInterruptibly();
        try {
            while (count.get() == 0) {
                notEmpty.await();
            }
            x = dequeue();
            c = count.getAndDecrement();
            if (c > 1)
                notEmpty.signal();
        } finally {
            takeLock.unlock();
        }
        c==capacity的话,此时取走一个,就可以唤醒阻塞在notFull上的线程了
        if (c == capacity)
            signalNotFull();
        return x;
}
// 这里直接把头节点置null且指向自己,头节点的item值为null,变为新的头节点
private E dequeue() {
        Node<E> h = head;
        Node<E> first = h.next;
        h.next = h; // help GC
        head = first;
        E x = first.item;
        first.item = null;
        return x;
}
//如果队列空则等待非空,满足条件取出队列头

size

public int size() {
        return count.get();
}

其他方法大同小异,都是不再阻塞

SychronousQueue

  不存储元素的阻塞队列,即单个元素队列。同步队列指的是当一个线程往队列中写入一个元素时,写入操作不会立即返回,需要等待另一个线程来将这个元素拿走;同理,当一个读线程做读操作的时候,同样需要一个相匹配的写线程的写操作。Synchronous 指读线程和写线程需要同步,一个读线程匹配一个写线程。因此这个队列其实不存在,不提供任何空间来存储元素。数据必须从某个写线程交给某个读线程,而不是写到某个队列中等待被消费,使用上可以选择公平模式和非公平模式。

PriorityBlockingQueue

  支持优先级排序的无界阻塞队列,基于数组,数据结构为二叉堆,数组第一个也是树的根节点总是最小值。优先级队列,要实现优先级就涉及到比较大小,所以插入队列的对象必须是可以比较大小的。同样不可插入null。是无界队列,因为大小并不是固定,支持扩容操作,所以put方法不会阻塞。

DelayQueue

  无界延时队列,可以在指定时间后取出任务。使用PriorityQueue实现的延迟无界阻塞队列。延迟队列中每个元素都有过期时间,从队列获取元素时,只能获取过期元素。可以运用于以下场景:

  • 缓存系统的设计 使用此队列缓存元素有效期,开一个线程查询队列,一旦获取到,表示缓存有效期到了
  • 定时任务调度 使用此队列保存当天会执行的任务和时间,一旦获取到任务就执行,比如TimeQueue

该队列中的元素必须实现Delayed接口,同时必须实现compareTo方法指定元素顺序,比如让延时时间最长的元素在队列末尾。

public interface Delayed extends Comparable<Delayed> {
    long getDelay(TimeUnit unit);
}

该方法返回当前元素还需多长时间可用,去延迟队列中获取元素时,若元素没有到达延时时间就阻塞。
在这里插入图片描述
在这里插入图片描述
put的时候其实是调用了PriorityQueue的offer方法,PriorityQueue为优先级队列,底层由堆实现,DelayQueue将最先执行的任务放在队头。
在这里插入图片描述
取出方法首先取出队头元素判断delay时间是否小于等于0,若是则代表立即执行,若不是调用condition的awaitNanos等待相应时间后再执行。这里getDelay方法的实现是比较重要的
在这里插入图片描述

LinkedTransferQueue

由链表结构组成的无界阻塞队列。基于链表实现的无界Transfer队列。TransferQueue是一个生产者有可能等待消费者去接收的阻塞队列,它主要有俩个方法,transfer:如果当前有消费者正在等待接收元素(消费者使用take()方法或带时间限制的poll()方法时),transfer方法可以把生产者传入的元素立刻transfer给消费者。如果没有消费者在等待接收元素,transfer方法会将元素存放在队列的tail节点,并等到该元素被消费者消费了才返回;tryTransfer:用来试探生产者传入的元素是否能直接传给消费者。如果没有消费者等待接收元素,则返回false。和transfer方法的区别是tryTransfer方法无论消费者是否接收,方法立即返回。而transfer方法是必须等到消费者消费了才返回。对于带有时间限制的tryTransfer(E e, long timeout, TimeUnit unit)方法,则是试图把生产者传入的元素直接传给消费者,但是如果没有消费者消费该元素则等待指定的时间再返回,如果超时还没消费元素,则返回false,如果在超时时间内消费了元素,则返回true。

LinkedBlockingDeque

由链表结构组成的双端阻塞队列。

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值