编写多线程的程序一直都是一件比较麻烦的事情,要考虑很多事情,处理不好还会出很多意想不到的麻烦。加上现在很多开发者接触到的项目都是打着企业级旗号的B/S项目,大多数人都很少涉及多线程,这又为本文的主角增加了一份神秘感。
讲到Java多线程,大多数人脑海中跳出来的是Thread、Runnable、synchronized……这些是最基本的东西,虽然已经足够强大,但想要用好还真不容易。从JDK 1.5开始,增加了java.util.concurrent包,它的引入大大简化了多线程程序的开发(要感谢一下大牛Doug Lee)。
java.util.concurrent包分成了三个部分,分别是java.util.concurrent、java.util.concurrent.atomic和java.util.concurrent.lock。内容涵盖了并发集合类、线程池机制、同步互斥机制、线程安全的变量更新工具类、锁等等常用工具。
为了便于理解,本文使用一个例子来做说明,交代一下它的场景:
假设要对一套10个节点组成的环境进行检查,这个环境有两个入口点,通过节点间的依赖关系可以遍历到整个环境。依赖关系可以构成一张有向图,可能存在环。为了提高检查的效率,考虑使用多线程。
1、Executors
通过这个类能够获得多种线程池的实例,例如可以调用newSingleThreadExecutor()获得单线程的ExecutorService,调用newFixedThreadPool()获得固定大小线程池的ExecutorService。拿到ExecutorService可以做的事情就比较多了,最简单的是用它来执行Runnable对象,也可以执行一些实现了Callable<T>的对象。用Thread的start()方法没有返回值,如果该线程执行的方法有返回值那用ExecutorService就再好不过了,可以选择submit()、invokeAll()或者invokeAny(),根据具体情况选择合适的方法即可。
- package service;
- import java.util.ArrayList;
- import java.util.List;
- import java.util.concurrent.ExecutionException;
- import java.util.concurrent.ExecutorService;
- import java.util.concurrent.Executors;
- import java.util.concurrent.Future;
- import java.util.concurrent.TimeUnit;
- /**
- * 线程池服务类
- *
- * @author DigitalSonic
- */
- public class ThreadPoolService {
- /**
- * 默认线程池大小
- */
- public static final int DEFAULT_POOL_SIZE = 5;
- /**
- * 默认一个任务的超时时间,单位为毫秒
- */
- public static final long DEFAULT_TASK_TIMEOUT = 1000;
- private int poolSize = DEFAULT_POOL_SIZE;
- private ExecutorService executorService;
- /**
- * 根据给定大小创建线程池
- */
- public ThreadPoolService(int poolSize) {
- setPoolSize(poolSize);
- }
- /**
- * 使用线程池中的线程来执行任务
- */
- public void execute(Runnable task) {
- executorService.execute(task);
- }
- /**
- * 在线程池中执行所有给定的任务并取回运行结果,使用默认超时时间
- *
- * @see #invokeAll(List, long)
- */
- public List<Node> invokeAll(List<ValidationTask> tasks) {
- return invokeAll(tasks, DEFAULT_TASK_TIMEOUT * tasks.size());
- }
- /**
- * 在线程池中执行所有给定的任务并取回运行结果
- *
- * @param timeout 以毫秒为单位的超时时间,小于0表示不设定超时
- * @see java.util.concurrent.ExecutorService#invokeAll(java.util.Collection)
- */
- public List<Node> invokeAll(List<ValidationTask> tasks, long timeout) {
- List<Node> nodes = new ArrayList<Node>(tasks.size());
- try {
- List<Future<Node>> futures = null;
- if (timeout < 0) {
- futures = executorService.invokeAll(tasks);
- } else {
- futures = executorService.invokeAll(tasks, timeout, TimeUnit.MILLISECONDS);
- }
- for (Future<Node> future : futures) {
- try {
- nodes.add(future.get());
- } catch (ExecutionException e) {
- e.printStackTrace();
- }
- }
- } catch (InterruptedException e) {
- e.printStackTrace();
- }
- return nodes;
- }
- /**
- * 关闭当前ExecutorService
- *
- * @param timeout 以毫秒为单位的超时时间
- */
- public void destoryExecutorService(long timeout) {
- if (executorService != null && !executorService.isShutdown()) {
- try {
- executorService.awaitTermination(timeout, TimeUnit.MILLISECONDS);
- } catch (InterruptedException e) {
- e.printStackTrace();
- }
- executorService.shutdown();
- }
- }
- /**
- * 关闭当前ExecutorService,随后根据poolSize创建新的ExecutorService
- */
- public void createExecutorService() {
- destoryExecutorService(1000);
- executorService = Executors.newFixedThreadPool(poolSize);
- }
- /**
- * 调整线程池大小
- * @see #createExecutorService()
- */
- public void setPoolSize(int poolSize) {
- this.poolSize = poolSize;
- createExecutorService();
- }
- }
package service;
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.Future;
import java.util.concurrent.TimeUnit;
/**
* 线程池服务类
*
* @author DigitalSonic
*/
public class ThreadPoolService {
/**
* 默认线程池大小
*/
public static final int DEFAULT_POOL_SIZE = 5;
/**
* 默认一个任务的超时时间,单位为毫秒
*/
public static final long DEFAULT_TASK_TIMEOUT = 1000;
private int poolSize = DEFAULT_POOL_SIZE;
private ExecutorService executorService;
/**
* 根据给定大小创建线程池
*/
public ThreadPoolService(int poolSize) {
setPoolSize(poolSize);
}
/**
* 使用线程池中的线程来执行任务
*/
public void execute(Runnable task) {
executorService.execute(task);
}
/**
* 在线程池中执行所有给定的任务并取回运行结果,使用默认超时时间
*
* @see #invokeAll(List, long)
*/
public List<Node> invokeAll(List<ValidationTask> tasks) {
return invokeAll(tasks, DEFAULT_TASK_TIMEOUT * tasks.size());
}
/**
* 在线程池中执行所有给定的任务并取回运行结果
*
* @param timeout 以毫秒为单位的超时时间,小于0表示不设定超时
* @see java.util.concurrent.ExecutorService#invokeAll(java.util.Collection)
*/
public List<Node> invokeAll(List<ValidationTask> tasks, long timeout) {
List<Node> nodes = new ArrayList<Node>(tasks.size());
try {
List<Future<Node>> futures = null;
if (timeout < 0) {
futures = executorService.invokeAll(tasks);
} else {
futures = executorService.invokeAll(tasks, timeout, TimeUnit.MILLISECONDS);
}
for (Future<Node> future : futures) {
try {
nodes.add(future.get());
} catch (ExecutionException e) {
e.printStackTrace();
}
}
} catch (InterruptedException e) {
e.printStackTrace();
}
return nodes;
}
/**
* 关闭当前ExecutorService
*
* @param timeout 以毫秒为单位的超时时间
*/
public void destoryExecutorService(long timeout) {
if (executorService != null && !executorService.isShutdown()) {
try {
executorService.awaitTermination(timeout, TimeUnit.MILLISECONDS);
} catch (InterruptedException e) {
e.printStackTrace();
}
executorService.shutdown();
}
}
/**
* 关闭当前ExecutorService,随后根据poolSize创建新的ExecutorService
*/
public void createExecutorService() {
destoryExecutorService(1000);
executorService = Executors.newFixedThreadPool(poolSize);
}
/**
* 调整线程池大小
* @see #createExecutorService()
*/
public void setPoolSize(int poolSize) {
this.poolSize = poolSize;
createExecutorService();
}
}
这里要额外说明一下invokeAll()和invokeAny()方法。前者会执行给定的所有Callable<T>对象,等所有任务完成后返回一个包含了执行结果的List<Future<T>>,每个Future.isDone()都是true,可以用Future.get()拿到结果;后者只要完成了列表中的任意一个任务就立刻返回,返回值就是执行结果。
造成这个问题的主要原因是两个版本中invokeAll和invokeAny的方法签名不同,1.6里是invokeAll(Collection<? extends Callable<T>> tasks),而1.5里是invokeAll(Collection<Callable<T>> tasks)。网上也有人遇到类似的问题( invokeAll() is not willing to acept a Collection<Callable<T>> )。
和其他资源一样,线程池在使用完毕后也需要释放,用shutdown()方法可以关闭线程池,如果当时池里还有没有被执行的任务,它会等待任务执行完毕,在等待期间试图进入线程池的任务将被拒绝。也可以用shutdownNow()来关闭线程池,它会立刻关闭线程池,没有执行的任务作为返回值返回。
2、Lock
多线程编程中常常要锁定某个对象,之前会用synchronized来实现,现在又多了另一种选择,那就是java.util.concurrent.locks。通过Lock能够实现更灵活的锁定机制,它还提供了很多synchronized所没有的功能,例如尝试获得锁(tryLock())。
使用Lock时需要自己获得锁并在使用后手动释放,这一点与synchronized有所不同,所以通常Lock的使用方式是这样的:
- Lock l = ...;
- l.lock();
- try {
- // 执行操作
- } finally {
- l.unlock();
- }
Lock l = ...;
l.lock();
try {
// 执行操作
} finally {
l.unlock();
}
java.util.concurrent.locks中提供了几个Lock接口的实现类,比较常用的应该是ReentrantLock。以下范例中使用了ReentrantLock进行节点锁定:
- package service;
- import java.util.concurrent.locks.Lock;
- import java.util.concurrent.locks.ReentrantLock;
- /**
- * 节点类
- *
- * @author DigitalSonic
- */
- public class Node {
- private String name;
- private String wsdl;
- private String result = "PASS";
- private String[] dependencies = new String[] {};
- private Lock lock = new ReentrantLock();
- /**
- * 默认构造方法
- */
- public Node() {
- }
- /**
- * 构造节点对象,设置名称及WSDL
- */
- public Node(String name, String wsdl) {
- this.name = name;
- this.wsdl = wsdl;
- }
- /**
- * 返回包含节点名称、WSDL以及验证结果的字符串
- */
- @Override
- public String toString() {
- String toString = "Node: " + name + " WSDL: " + wsdl + " Result: " + result;
- return toString;
- }
- // Getter & Setter
- public String getName() {
- return name;
- }
- public void setName(String name) {
- this.name = name;
- }
- public String getWsdl() {
- return wsdl;
- }
- public void setWsdl(String wsdl) {
- this.wsdl = wsdl;
- }
- public String getResult() {
- return result;
- }
- public void setResult(String result) {
- this.result = result;
- }
- public String[] getDependencies() {
- return dependencies;
- }
- public void setDependencies(String[] dependencies) {
- this.dependencies = dependencies;
- }
- public Lock getLock() {
- return lock;
- }
- }
package service;
import java.util.concurrent.locks.Lock;
import java.util.concurrent.locks.ReentrantLock;
/**
* 节点类
*
* @author DigitalSonic
*/
public class Node {
private String name;
private String wsdl;
private String result = "PASS";
private String[] dependencies = new String[] {};
private Lock lock = new ReentrantLock();
/**
* 默认构造方法
*/
public Node() {
}
/**
* 构造节点对象,设置名称及WSDL
*/
public Node(String name, String wsdl) {
this.name = name;
this.wsdl = wsdl;
}
/**
* 返回包含节点名称、WSDL以及验证结果的字符串
*/
@Override
public String toString() {
String toString = "Node: " + name + " WSDL: " + wsdl + " Result: " + result;
return toString;
}
// Getter & Setter
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
public String getWsdl() {
return wsdl;
}
public void setWsdl(String wsdl) {
this.wsdl = wsdl;
}
public String getResult() {
return result;
}
public void setResult(String result) {
this.result = result;
}
public String[] getDependencies() {
return dependencies;
}
public void setDependencies(String[] dependencies) {
this.dependencies = dependencies;
}
public Lock getLock() {
return lock;
}
}
- package service;
- import java.util.concurrent.Callable;
- import java.util.concurrent.locks.Lock;
- import java.util.logging.Logger;
- import service.mock.MockNodeValidator;
- /**
- * 执行验证的任务类
- *
- * @author DigitalSonic
- */
- public class ValidationTask implements Callable<Node> {
- private static Logger logger = Logger.getLogger("ValidationTask");
- private String wsdl;
- /**
- * 构造方法,传入节点的WSDL
- */
- public ValidationTask(String wsdl) {
- this.wsdl = wsdl;
- }
- /**
- * 执行针对某个节点的验证<br/>
- * 如果正有别的线程在执行同一节点的验证则等待其结果,不重复执行验证
- */
- @Override
- public Node call() throws Exception {
- Node node = ValidationService.NODE_MAP.get(wsdl);
- Lock lock = null;
- logger.info("开始验证节点:" + wsdl);
- if (node != null) {
- lock = node.getLock();
- if (lock.tryLock()) {
- // 当前没有其他线程验证该节点
- logger.info("当前没有其他线程验证节点" + node.getName() + "[" + wsdl + "]");
- try {
- Node result = MockNodeValidator.validateNode(wsdl);
- mergeNode(result, node);
- } finally {
- lock.unlock();
- }
- } else {
- // 当前有别的线程正在验证该节点,等待结果
- logger.info("当前有别的线程正在验证节点" + node.getName() + "[" + wsdl + "],等待结果");
- lock.lock();
- lock.unlock();
- }
- } else {
- // 从未进行过验证,这种情况应该只出现在系统启动初期
- // 这时是在做初始化,不应该有冲突发生
- logger.info("首次验证节点:" + wsdl);
- node = MockNodeValidator.validateNode(wsdl);
- ValidationService.NODE_MAP.put(wsdl, node);
- }
- logger.info("节点" + node.getName() + "[" + wsdl + "]验证结束,验证结果:" + node.getResult());
- return node;
- }
- /**
- * 将src的内容合并进dest节点中,不进行深度拷贝
- */
- private Node mergeNode(Node src, Node dest) {
- dest.setName(src.getName());
- dest.setWsdl(src.getWsdl());
- dest.setDependencies(src.getDependencies());
- dest.setResult(src.getResult());
- return dest;
- }
- }
package service;
import java.util.concurrent.Callable;
import java.util.concurrent.locks.Lock;
import java.util.logging.Logger;
import service.mock.MockNodeValidator;
/**
* 执行验证的任务类
*
* @author DigitalSonic
*/
public class ValidationTask implements Callable<Node> {
private static Logger logger = Logger.getLogger("ValidationTask");
private String wsdl;
/**
* 构造方法,传入节点的WSDL
*/
public ValidationTask(String wsdl) {
this.wsdl = wsdl;
}
/**
* 执行针对某个节点的验证<br/>
* 如果正有别的线程在执行同一节点的验证则等待其结果,不重复执行验证
*/
@Override
public Node call() throws Exception {
Node node = ValidationService.NODE_MAP.get(wsdl);
Lock lock = null;
logger.info("开始验证节点:" + wsdl);
if (node != null) {
lock = node.getLock();
if (lock.tryLock()) {
// 当前没有其他线程验证该节点
logger.info("当前没有其他线程验证节点" + node.getName() + "[" + wsdl + "]");
try {
Node result = MockNodeValidator.validateNode(wsdl);
mergeNode(result, node);
} finally {
lock.unlock();
}
} else {
// 当前有别的线程正在验证该节点,等待结果
logger.info("当前有别的线程正在验证节点" + node.getName() + "[" + wsdl + "],等待结果");
lock.lock();
lock.unlock();
}
} else {
// 从未进行过验证,这种情况应该只出现在系统启动初期
// 这时是在做初始化,不应该有冲突发生
logger.info("首次验证节点:" + wsdl);
node = MockNodeValidator.validateNode(wsdl);
ValidationService.NODE_MAP.put(wsdl, node);
}
logger.info("节点" + node.getName() + "[" + wsdl + "]验证结束,验证结果:" + node.getResult());
return node;
}
/**
* 将src的内容合并进dest节点中,不进行深度拷贝
*/
private Node mergeNode(Node src, Node dest) {
dest.setName(src.getName());
dest.setWsdl(src.getWsdl());
dest.setDependencies(src.getDependencies());
dest.setResult(src.getResult());
return dest;
}
}
请注意ValidationTask的call()方法,这里会先检查节点是否被锁定,如果被锁定则表示当前有另一个线程正在验证该节点,那就不用重复进行验证。第50行和第51行,那到锁后立即释放,这里只是为了等待验证结束。
讲到Lock,就不能不讲Conditon,前者代替了synchronized,而后者则代替了Object对象上的wait()、notify()和notifyAll()方法(Condition中提供了await()、signal()和signalAll()方法),当满足运行条件前挂起线程。Condition是与Lock结合使用的,通过Lock.newCondition()方法能够创建与Lock绑定的Condition实例。JDK的JavaDoc中有一个例子能够很好地说明Condition的用途及用法:
- class BoundedBuffer {
- final Lock lock = new ReentrantLock();
- final Condition notFull = lock.newCondition();
- final Condition notEmpty = lock.newCondition();
- final Object[] items = new Object[100];
- int putptr, takeptr, count;
- public void put(Object x) throws InterruptedException {
- lock.lock();
- try {
- while (count == items.length)
- notFull.await();
- items[putptr] = x;
- if (++putptr == items.length) putptr = 0;
- ++count;
- notEmpty.signal();
- } finally {
- lock.unlock();
- }
- }
- public Object take() throws InterruptedException {
- lock.lock();
- try {
- while (count == 0)
- notEmpty.await();
- Object x = items[takeptr];
- if (++takeptr == items.length) takeptr = 0;
- --count;
- notFull.signal();
- return x;
- } finally {
- lock.unlock();
- }
- }
- }
class BoundedBuffer {
final Lock lock = new ReentrantLock();
final Condition notFull = lock.newCondition();
final Condition notEmpty = lock.newCondition();
final Object[] items = new Object[100];
int putptr, takeptr, count;
public void put(Object x) throws InterruptedException {
lock.lock();
try {
while (count == items.length)
notFull.await();
items[putptr] = x;
if (++putptr == items.length) putptr = 0;
++count;
notEmpty.signal();
} finally {
lock.unlock();
}
}
public Object take() throws InterruptedException {
lock.lock();
try {
while (count == 0)
notEmpty.await();
Object x = items[takeptr];
if (++takeptr == items.length) takeptr = 0;
--count;
notFull.signal();
return x;
} finally {
lock.unlock();
}
}
}
说到这里,让我解释一下之前的例子里为什么没有选择Condition来等待验证结束。await()方法在调用时当前线程先要获得对应的锁,既然我都拿到锁了,那也就是说验证已经结束了。。。
3、并发集合类
集合类是大家编程时经常要使用的东西,ArrayList、HashMap什么的,java.util包中的集合类有的是线程安全的,有的则不是,在编写多线程的程序时使用线程安全的类能省去很多麻烦,但这些类的性能如何呢?java.util.concurrent包中提供了几个并发结合类,例如ConcurrentHashMap、ConcurrentLinkedQueue和CopyOnWriteArrayList等等,根据不同的使用场景,开发者可以用它们替换java.util包中的相应集合类。
CopyOnWriteArrayList是ArrayList的一个变体,比较适合用在读取比较频繁、修改较少的情况下,因为每次修改都要复制整个底层数组。ConcurrentHashMap中为Map接口增加了一些方法(例如putIfAbsenct()),同时做了些优化,总之灰常之好用,下面的代码中使用ConcurrentHashMap来作为全局节点表,完全无需考虑并发问题。ValidationService中只是声明(第17行),具体的使用是在上面的ValidationTask中。
- package service;
- import java.util.ArrayList;
- import java.util.List;
- import java.util.Map;
- import java.util.concurrent.ConcurrentHashMap;
- /**
- * 执行验证的服务类
- *
- * @author DigitalSonic
- */
- public class ValidationService {
- /**
- * 全局节点表
- */
- public static final Map<String, Node> NODE_MAP = new ConcurrentHashMap<String, Node>();
- private ThreadPoolService threadPoolService;
- public ValidationService(ThreadPoolService threadPoolService) {
- this.threadPoolService = threadPoolService;
- }
- /**
- * 给出一个入口节点的WSDL,通过广度遍历的方式验证与其相关的各个节点
- *
- * @param wsdl 入口节点WSDL
- */
- public void validate(List<String> wsdl) {
- List<String> visitedNodes = new ArrayList<String>();
- List<String> nextRoundNodes = new ArrayList<String>();
- nextRoundNodes.addAll(wsdl);
- while (nextRoundNodes.size() > 0) {
- List<ValidationTask> tasks = getTasks(nextRoundNodes);
- List<Node> nodes = threadPoolService.invokeAll(tasks);
- visitedNodes.addAll(nextRoundNodes);
- nextRoundNodes.clear();
- getNextRoundNodes(nodes, visitedNodes, nextRoundNodes);
- }
- }
- private List<String> getNextRoundNodes(List<Node> nodes,
- List<String> visitedNodes, List<String> nextRoundNodes) {
- for (Node node : nodes) {
- for (String wsdl : node.getDependencies()) {
- if (!visitedNodes.contains(wsdl)) {
- nextRoundNodes.add(wsdl);
- }
- }
- }
- return nextRoundNodes;
- }
- private List<ValidationTask> getTasks(List<String> nodes) {
- List<ValidationTask> tasks = new ArrayList<ValidationTask>(nodes.size());
- for (String wsdl : nodes) {
- tasks.add(new ValidationTask(wsdl));
- }
- return tasks;
- }
- }
package service;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;
import java.util.concurrent.ConcurrentHashMap;
/**
* 执行验证的服务类
*
* @author DigitalSonic
*/
public class ValidationService {
/**
* 全局节点表
*/
public static final Map<String, Node> NODE_MAP = new ConcurrentHashMap<String, Node>();
private ThreadPoolService threadPoolService;
public ValidationService(ThreadPoolService threadPoolService) {
this.threadPoolService = threadPoolService;
}
/**
* 给出一个入口节点的WSDL,通过广度遍历的方式验证与其相关的各个节点
*
* @param wsdl 入口节点WSDL
*/
public void validate(List<String> wsdl) {
List<String> visitedNodes = new ArrayList<String>();
List<String> nextRoundNodes = new ArrayList<String>();
nextRoundNodes.addAll(wsdl);
while (nextRoundNodes.size() > 0) {
List<ValidationTask> tasks = getTasks(nextRoundNodes);
List<Node> nodes = threadPoolService.invokeAll(tasks);
visitedNodes.addAll(nextRoundNodes);
nextRoundNodes.clear();
getNextRoundNodes(nodes, visitedNodes, nextRoundNodes);
}
}
private List<String> getNextRoundNodes(List<Node> nodes,
List<String> visitedNodes, List<String> nextRoundNodes) {
for (Node node : nodes) {
for (String wsdl : node.getDependencies()) {
if (!visitedNodes.contains(wsdl)) {
nextRoundNodes.add(wsdl);
}
}
}
return nextRoundNodes;
}
private List<ValidationTask> getTasks(List<String> nodes) {
List<ValidationTask> tasks = new ArrayList<ValidationTask>(nodes.size());
for (String wsdl : nodes) {
tasks.add(new ValidationTask(wsdl));
}
return tasks;
}
}