读书笔记(三）:并发

Java并发容器和框架：

ConcurrentHashMap的实现原理和应用：

为什么要使用ConcurrentHashMap？

ConcurrentHashMap是线程安全且高效的HashMap，使用它的原因是：在并发编程中，使用HashMap是线程不安全的（在多线程环境下，使用HashMap进行put操作会引起死循环，多线程会导致HashMap的Entry链表形成环形数据结构，一旦形成环形数据结构，Entry的next节点就永远不为空，就会产生死循环获取Entry。）;效率低下的HashTable（ HashTable容器使用synchronized来保证线程安全，但是在线程竞争激烈的情况下HashTable的效率非常低下。因为当一个线程访问HashTable的同步方法，其他线程再访问时就会进入阻塞或者轮询状态）；   ConcurrentHashMap的锁分段技术可以有效的提升并发访问率（容器里有多把锁，每一把锁用于锁容器的其中一部分数据，那么当多线程访问容器里不同数据段的数据时，线程之间就不会存在锁竞争）。 

ConcurrentHashMap的结构：

ConcurrentHashMap是由segment数组结构和HashEntry数组结构所组成，segment是一种可重入锁，在ConcurrentHashMap里扮演锁的身份；HashEntry则用于存储键值对数据。一个ConcurrentHashMap里包含一个segment数组。segment的结构和HashMap类似，是一种数组和链表结构，一个segment里包含一个HashEntry数组，每个HashEntry是一个链表结构的元素，每个segment守护着一个HashEntry数组里的元素，当对一个HashEntry数组的数据进行修改时，必须首先获取与它对应的segment锁。

ConcurrentHashMap的操作：

初始化：

ConcurrentHashMap的初始化方法是通过initialCapacity，loadFactor和concurrencyLevel等几个参数来初始化segment数组，段偏移量segmentShift，段掩码segmentMask和每个segment里的HashEntry数组来实现的。

• segment数组的长度ssize是通过concurrencyLevel计算得出来的，为了能够按位与的散列算法来定位segment数组的索引，必须保证segment数组的长度是2的N次方，所有必须计算出一个大于或者等于concurrencyLevel的最小的2的N次方值来作为segment数组的长度。（concurrencyLevel的最大值是65535，这意味着segment数组的最大长度为65536）
• 初始化segmentShift和segmentMask：这两个全局变量需要在定位segment时的散列算法里使用，sshift等于ssize从1向左移位的次数，在默认情况下concurrencyLevel等于16，1需要向左移位移动4次，所有sshift等于4。segmentShift用于定位参与散列运算的位数，segmentShift等于32减去sshift，所以等于28，这里之所以是32是因为ConcurrentHashMap的hash()方法输出的最大数是32位的。segmentMask是散列运算的掩码，等于ssize-1，即15，掩码的二进制各个位的值都是1。
• 初始化每个segment：输入参数initialCapacity是ConcurrentHashMap的初始化容量，loadFactor是每个segment的负载因子，默认情况下initialCapacity为16，loadFactor为0.75。

定位segment：

既然ConcurrentHashMap使用分段锁segment来保护不同段的数据，那么在插入和获取元素的时候，必须先通过散列算法定位到segment。可以看到ConcurrentHashMap会首先使用Wang/Jenkins hash的变种算法对元素的散列码进行一次再散列。目的是减少散列冲突，使元素能够均匀的分布在不同的segment上，从而提高容器的存取效率。

get操作：

segment的get操作实现非常的简单和高效，先经过一次再散列，然后使用这个散列值通过散列运算定位到segment，再通过散列算法定位到元素。get操作的高效之处在于整个get过程不需要加锁，除非读到的值是空才会加锁重读。我们知道HashTable容器的get方法是需要加锁的，那么ConcurrentHashMap的get操作是如何做到不加锁的呢？原因是它的get方法里将要使用的共享变量都定义成volatile类型，如用于统计当前Segement大小的 count字段和用于存储值的HashEntry的value。定义成volatile的变量，能够在线程之间保持可见性，能够被多线程同时读，并且保证不会读到过期的值，但是只能被单线程写(有一种情况可以被多线程写，就是写入的值不依赖于原值，在get操作里只需要读不需要写共享变量count和value，所以可以不用加锁。之所以不会读到过期的值，是因为根据Java内存模型的happen before原则，对volatile字段的写入操作先于读操作，即使两个线程同时修改和获取volatile变量，get操作也能拿到最新的值，这是用volatile替换锁的经典应用场景。

put操作：

由于put方法里需要对共享变量进行写入操作，所以为了线程安全，在操作共享变量的时候必须加锁。put方法首先定位到segment，然后对segment里进行插入操作，插入操作需要经过两个步骤：第一步判断是否需要对segment里的HashEntry数组进行扩容，第二步定位添加元素的位置，然后将其放到HashEntry数组里。（segment的扩容比HashMap的更加恰当，因为HashMap插入元素后判断元素是否到达容量，如果到达了就进行扩容，但是有可能扩容之后没有新元素插入，那就是无效扩容，而segment是插入前会判断segment里的HashEntry数组是否超过容量。同时在扩容的时候，首先会创建一个容量是原来容量的两倍的数组，然后将原数组里的元素进行再散列后插入到新的数组里，为了高效，ConcurrentHashMap不会对一个容器扩容，而是某个segment扩容）

size操作：

如果要统计整个ConcurrentHashMap里元素的大小，就必须统计所有segment里元素的大小后再进行求和。ConcurrentHashMap的做法是先尝试两次不锁住segment的方式来统计每个segment的大小（直接锁住很低效且相加时之前累加的发生变化的情况可能性小），如果在统计的过程中容器的大小发生了变化，则再采用加锁的方式来统计所有的segment的大小（ConcurrentHashMap使用一个modcount变量统计操作元素变化的次数，如果在累加时它发生了变化就证明了容器大小发生了变化）。

ConcurrentLinkedQueue:

定义：

在并发编程中，有时候需要使用线程安全的队列。如果要实现一个线程安全的队列有两种方式：一种是使用阻塞算法，另一种是使用非阻塞算法。使用阻塞算法的队列可以用一个锁（入队和出队用同一把锁)或两个锁(入队和出队用不同的锁)等方式来实现。非阻塞的实现方式则可以使用循环CAS的方式来实现。ConcurrentLinkedQueue是一个基于链接节点的无界线程安全队列，它采用先进先出的规则对节点进行排序，当我们添加一个元素的时候，它会添加到队列的尾部，当我们获取一个元素时候，它会返回队列头部的元素。它采用了CAS算法来实现，该算法在Michael&Scott算法上进行了一些修改。

ConcurrentLinkedQueue的结构：

ConcurrentLinkedQueue是由head节点和tail节点组成的，每个节点由节点元素和指向下一个节点的引用组成，节点和节点之间就是通过这个next关联起来的，从而组成一个链表结构的队列，默认情况下head节点存储的元素为空，tail节点等于head节点。

ConcurrentLinkedQueue的操作：

入队列：

入队列就是将入队节点添加到队列的尾部。与普通的队列的入队列不同的是，ConcurrentLinkedQueue入队主要做两件事情：第一是将入队节点设置成当前队列尾节点的下一个节点；第二是更新tail 节点，如果 tail节点的next节点不为空，则将入队节点设置成tail节点，如果tail节点的next节点为空，则将入队节点设置成tail的next节点，所以tail节点不总是是尾节点。（刚开始因为tail指向head为空，那么第一个入队节点为tail的next节点，第二个入队节点，因为tail的next不为空指向了第一个入队节点，那么第二个入队节点为tail节点）

在多线程的情况下：如果有一个线程正在入队，那么它必须先获取尾节点，然后设置尾节点的下一个节点为入队节点，但这时可能有另外一个线程插队了，那么队列的尾节点就会发生变化，这时当前线程要暂停人队操作，然后重新获取尾节点。简单说就是：定位出尾节点；再使用CAS算法将入队节点设置为尾节点的next节点，如果不成功则重试。（那怎么定位尾节点呢，而tail节点也不一定总是尾节点，所以每次入队都必须通过tail节点来找到尾节点，尾节点有可能是tail节点或者tail节点的next节点。同样casnext方法用于将入队节点设置为当前尾节点的next节点，如果当前尾节点的next节点为null，则表示它是当前队列的尾节点，否则表示有其他线程更新了尾节点，则需要重新获取当前队列的尾节点。）

出队列：

出队列就是从队列中返回一个节点元素，并且清空该节点对元素的引用。并不是每次出队的时候都更新head节点，当head节点里有元素时，就直接弹出head节点里的元素，而不会更新head节点。只有当head节点里没有元素时，出队操作才会更新head节点。这种做法也是通过hops变量来减少使用CAS更新head节点的消耗，从而提高出队效率。（首先获取头节点的元素，然后判断头节点元素是否为空，如果为空，表示另外一个线程已经进行了一次出队操作将该节点的元素取走，更新头节点；如果不为空，则使用CAS的方式将头节点的引用设置为null，如果CAS成功，则直接返回头节点的元素，如果不成功，表示又有另外一个线程已经进行了一次出队操作，导致元素发生了变化，需要重新获取头节点。

Java的阻塞队列：

什么是阻塞队列：

阻塞队列(BlockingQueue)是一个支持两个附加操作的队列。这两个附加的操作支持阻塞的插入和移除方法。

1. 支持阻塞的插入方法：意思是当队列满时，队列会阻塞插入元素的线程，直到队列不满。
2. 支持阻塞的移除方法：意思是在队列为空时，获取元素的线程会等待队列变为非空。
3. 阻塞队列常用于生产者和消费者的场景，生产者是向队列里添加元素的线程，消费者是从队列里取元素的线程。阻塞队列就是生产者用来存放元素、消费者用来获取元素的容器。

在阻塞队列不可用时，这两个附加操作提供了4种处理方式：

• 抛出异常：当队列满时，如果再往队列里插入元素，会抛出IllegaStateException异常。当队列空时，从队列里获取元素会抛出NoSuchElementException异常。
• 返回特殊值：当往队列插入元素时，会返回元素是否插入成功，成功就返回true。如果是移除方法，则是从队列里取出一个元素，如果没有则返回null。
• 一直阻塞：当阻塞队列满时，如果生产者线程往队列里put元素，队列会一直阻塞生产者线程，直到队列可用或者响应中断退出。当队列空时，如果消费者线程从队列里take元素，队列会阻塞住消费者线程，直到队列不为空。
• 超时退出：当阻塞队列满时，如果生产者线程往队列里插入元素，队列会阻塞生产者线程一段时间，如果超过了指定的时间，生产者线程就会退出。

Java阻塞队列的种类:

先介绍一下有界和无界：有界队列容量有一个固定大小的上限，一旦队列中的数据对象总量达到容量上限时，队列就会对添加操作进行容错性处理。无界队列容量没有一个固定大小的上限，或者容量上限值是一个很大的理论上限值。

JDK7提供了7个阻塞队列，如下：
ArrayBlockingQueue:一个由数组结构组成的有界阻塞队列。
LinkedBlockingQueue：一个由链表结构组成的有界阻塞队列。
PriorityBlockingQueue:一个支持优先级排序的无界阻塞队列。
DelayQueue：一个使用优先级队列实现的无界阻塞队列。
SynchronousQucue:一个不存储元素的阻塞队列。
LinkedTransferQueue:一个由链表结构组成的无界阻塞队列。
LinkedBlockingDeque:一个由链表结构组成的双向阻塞队列。

1.ArrayBlockingQueue：

ArrayBlockingQueue是一个用数组实现的有界阻塞队列。此队列按照先进先出(FIFO)的原则对元素进行排序。
默认情况下不保证线程公平的访问队列，所谓公平访问队列是指阻塞的线程，可以按照阻塞的先后顺序访问队列，即先阻塞线程先访问队列。非公平性是对先等待的线程是非公平的，当队列可用时，阻塞的线程都可以争夺访问队列的资格，有可能先阻塞的线程最后才访问队列。为了保证公平性，通常会降低吞吐量。

2. LinkedBlockingQueue：

LinkedBlockingQueue是一个用链表实现的有界阻塞队列。此队列的默认和最大长度为Integer.MAX_VALUE。此队列按照先进先出的原则对元素进行排序。

3.PriorityBlockingQueue：

priorityBlockingQueue是一个支持优先级的无界阻塞队列，默认情况下元素采取自然顺序升序排列。也可以自定义类实现compareTo()方法来指定元素排序规则，或者初始化priortyBlockingQueue时，指定构造参数Comparator来对元素进行排序。需要注意的是不能保证同优先级元素的顺序。

4.DelayQueue：

DelayQueue是一个支持延时获取元素的无界阻塞队列。队列使用PriorityQueue来实现。队列中的元素必须实现Delayed接口，在创建元素时可以指定多久才能从队列中获取当前元素。只有在延迟期满时才能从队列中提取元素。

DelayQueue非常有用，可以将DelayQueue运用在以下应用场景：

• 缓存系统的设计：可以用DelayQueue保存缓存元素的有效期，使用一个线程循环查询DelayQueue，一旦能从DelayQueue中获取元素时，表示缓存有效期到了。
• 定时任务调度：使用DelayQueue保存当天将会执行的任务和执行时间，一旦从DelayQueue 中获取到任务就开始执行，比如TimerQueue就是使用DelayQueue实现的。

如何实现Delayed接口：

DelayQueue队列的元素必须实现Delayed接口。我们可以参考ScheduledThreadPoolExecutor里ScheduledFutureTask类的实现，一共有三步：

1. 在对象创建的时候，初始化基本数据。使用time记录当前对象延迟到什么时候可以使用，使用sequenceNumber来标识元素在队列中的先后顺序。
2. 实现getDelay方法。该方法返回当前元素还需要延长多长时间，单位是纳秒。
3. 实现compareTo方法来指定元素的顺序。

5. SynchronousQueue：

SynchronousQueue是一个不存储元素的阻塞队列。每一个put操作必须等待一个take操作，否则不能继续添加元素。它还支持公平访问队列，默认情况下线程采用非公平性策略访问队列。使用构造方法的变化可以创建公平性访问的SynchronousQueue，如果设置为true，则等待的线程会采用先进先出的顺序访问队列。

SynchronousQueue可以看成是一个传球手，负责把生产者线程处理的数据直接传递给消费者线程。队列本身并不存储任何元素，非常适合传递性场景。SynchronousQueue的吞吐量高于LinkedBlockingQueue和ArrayBlockingQueue。

6.LinkedTransferQueue：

LinkedTransferQueue是一个由链表结构组成的无界阻塞TransferQueue队列。相对于其他阻塞队列，LinkedTransferQueue多了tryTransfer和transfer方法。

1. transfer：如果当前有消费者正在等待接收元素(消费者使用take()方法或带时间限制的poll方法时),transfer方法可以把生产者传入的元素立刻transfer(传输)给消费者。如果没有消费者在等待接收元素，transfer方法会将元素存放在队列的tail节点，并等到该元素被消费者消费了才返回。
2. tryTransfer：tryTransfer方法是用来试探生产者传入的元素是否能够直接传给消费者。如果没有消费者等待接收元素，则返回false。和transfer方法的区别是tryTransfer方法无论消费者是否接收，方法立即返回，而transfer方法是必须等到消费者消费了才返回。（对于带有时间限制的tryTransfer(E e, long timeout, TimeUnit unit)方法，试图把生产者传入的元素直接传给消费者，但是如果没有消费者消费该元素则等待指定的时间再返回，如果超时还没消费元素，则返回false，如果在超时时间内消费了元素，则返回true。）

7.LinkedBlockingDeque：

LinkedBlockingDeque是一个由链表结构组成的双向阻塞队列。所谓双向队列指的是可以从队列的两端插入和移出元素。双向队列因为多了一个操作队列的入口，在多线程同时入队时，也就减少了一半的竞争。相比其他的阻塞队列，LinkedBlockingDeque多了addFirst.addLast. offerFirst、 offerLast、peekFirst 和peekLast等方法，以First单词结尾的方法，表示插入、获取(peek)或移除双端队列的第一个元素。以Last单词结尾的方法，表示插入、获取或移除双端队列的最后一个元素。另外，插入方法add等同于addLast，移除方法remove等效于removeFirst。但是take方法却等同于takeFirst，不知道是不是JDK的bug，使用时还是用带有First和Last后缀的方法更清楚。在初始化LinkedBlockingDeque时可以设置容量防止其过度膨胀。另外，双向阻塞队列可以运用在“工作窃取”模式中。

阻塞队列的实现原理：

使用通知模式实现。所谓通知模式就是当生产者往满的队列里添加元素时会阻塞住生产者，当消费者消费了一个队列的元素后，就会通知生产者当前队列可用。ArrayBlockingQueue使用了Condition来实现。

Fork/Join框架：

Fork/Join框架是Java7提供的一个用于并行执行任务的框架，是一个把大任务分割为若干个小任务，最终汇总每个小任务结果后得到大任务结果的框架。Fork就是分割，Join就是合并。

工作窃取算法：

工作窃取(work-stedling)算法是指某个线程从其他队列里窃取任务来执行。那么，为什么需要使用工作窃取算法呢？假如我们需要做一个比较大的任务，可以把这个任务分割为若干互不依赖的子任务，为了减少线程间的竞争，把这些子任务分别放到不同的队列里，并为每个队列创建一个单独的线程来执行队列里的任务，线程和队列一一对应。比如A线程负责处理A队列里的任务。但是，有的线程会先把自己队列里的任务干完，而其他线程对应的队列里还有任务等待处理。干完活的线程与其等着，不如去帮其他线程干活，于是它就去其他线程的队列里窃取一个任务来执行。而在这时它们会访问同一个队列，所以为了减少窃取任务线程和被窃取任务线程之间的竞争，通常会使用双端队列，被窃取任务线程永远从双端队列的头部拿任务执行，而窃取任务的线程永远从双端队列的尾部拿任务执行。

工作窃取算法的优缺点：

• 优点：充分利用线程进行并行计算，减少了线程之间的竞争。
• 缺点：在某些情况下还是存在竞争，比如双端队列里只有一个任务时；并且该算法会消耗更多的系统资源，比如：创建多个线程和多个双端队列。

Fork/join框架的设计：

1. 分割任务。首先我们需要有一个fork类来把大任务分割成子任务，有可能子任务还是很大，所以还需要不停地分割，直到分割出的子任务足够小。
2. 执行任务并合并结果。分割的子任务分别放在双端队列里，然后几个启动线程分别从双端队列里获取任务执行。子任务执行完的结果都统一放在一个队列里，启动一个线程从队列里拿数据 然后合并这些数据。

Fork/Join使用两个类来完成以上两件事情：

1. ForkJoinTask:我们要使用ForkJoin框架，必须首先创建一个ForkJoin任务。它提供在任务中执行fork和join操作的机制。通常情况下，我们不需要直接继承ForkJoinTask类，只需要继承它的子类，Fork/Join框架提供了以下两个子类：RecursiveAction:用于没有返回结果的任务。RecursiveTask：用于有返回结果的任务。
2. ForkJoinPool:ForkJoinTask需要通过ForkJoinPool来执行。
3. 任务分割出的子任务会添加到当一个工作线程的队列里暂时没有任务时，它会随机从其他工作线程的队列的尾部获取一个任务。
4. ForkJoinTask与一般任务的主要区别在于它需要实现compute方法，在这个方法里，首先需要判断任务是否足够小，如果足够小就直接执行住务。如果不足够小，就必须分割成两个子任务，每个子任务在调用fork方法时，又会进入compute方法，看看当前子任务是否需要继续分割成子任务，如果不需要继续分割，则执行当前子任务并返回结果。使用join方法会等待子任务执行完并得到其结果。

Fork/join框架的异常处理：

ForkJoinTask在执行的时候可能会抛出异常，但是我们没办法在主线程里直接捕获异常，所以ForkJoinTask提供了isCompletedAbnormally方法来检查任务是否已经抛出异常或已经被取消了，并且可以通过ForkJoinTask的getException方法获取异常。

Fork/join框架的实现原理：

ForkJoinPool由ForkJoinTask数组和ForkJoinWorkerThread数组组成，ForkJoinTask数组负责将存放程序提交给ForkJoinPool的任务，而ForkJoinWorkerThread数组负责执行这些任务。

• ForkJoinTask的fork方法实现原理：当我们调用ForkJoinTask的fork方法时，程序会调用ForkJoinWorkerThread的pushTask方法异步地执行这个任务，然后立即返回结果。pushTask方法把当前任务存放在ForkJoinTask数组队列里。然后再调用ForkJoinPool的signaiWork方法唤醒或创建一个工作线程来执行任务。
•  ForkJoinTask的join方法实现原理：Join方法的主要作用是阻塞当前线程并等待获取结果。首先，它调用了doJoin方法，在doJoin方法里，首先通过查看任务的状态，看任务是否已经执行完成，如果执行完成，则直接返回任务状态；如果没有执行完，则从任务数组里取出任务并行执行。如果任务顺利执行完成，则设置任务状态为NORMAL，如果出现异常，则记录异常，并将任务状态设置为EXCEPTIONAL。通过doJoin方法得到当前任务的状态来判断返回什么结果。任务状态有4种：已完成(NORMAL)，被取消(CANCELLED)、信号(SIGNAL)和出现异常(EXCEPTIONAL)。如果任务状态是已完成，则直接返回任务结果。如果任务状态是被取消，则直接抛出CancellationException。如果任务状态是抛出异常，则直接抛出对应的异常。如果执行完毕。则直接返回任务状态；如果没有执行完毕，则从任务数组里取出任务并且执行。