利用spring的线程池ThreadPoolTaskExecutor对多个库进行数据归档

最新推荐文章于 2025-06-12 20:48:29 发布

wangzuojia001

最新推荐文章于 2025-06-12 20:48:29 发布

阅读量2.6k

点赞数

CC 4.0 BY-SA版权

分类专栏：多线程文章标签： spring 线程池 ThreadPoolTaskExecut

本文链接：https://blog.youkuaiyun.com/wangzuojia001/article/details/54410610

多线程专栏收录该内容

5 篇文章

订阅专栏

本文介绍如何使用Spring框架中的ThreadPoolTaskExecutor配置线程池并应用于多数据库的数据归档任务。具体包括线程池参数配置、异常处理及任务执行等关键环节。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用ThreadPoolTaskExecutor对多个数据库中的数据进行数据归档，配置文件如下：

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:p="http://www.springframework.org/schema/p"
       xmlns:context="http://www.springframework.org/schema/context" xmlns:tx="http://www.springframework.org/schema/tx"
       xmlns:aop="http://www.springframework.org/schema/aop"
       xmlns:cache="http://www.springframework.org/schema/cache"
       xmlns:util="http://www.springframework.org/schema/util"
       xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-4.0.xsd
       http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd
       http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop-4.0.xsd
       http://www.springframework.org/schema/cache http://www.springframework.org/schema/cache/spring-cache-4.0.xsd
       http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx-4.0.xsd
       http://www.springframework.org/schema/util http://www.springframework.org/schema/util/spring-util-3.1.xsd">
	<!-- 		
	当一个任务通过execute(Runnable)方法欲添加到线程池时：
	  如果此时线程池中的数量小于corePoolSize，即使线程池中的线程都处于空闲状态，也要创建新的线程来处理被添加的任务。
	  如果此时线程池中的数量等于 corePoolSize，但是缓冲队列 workQueue未满，那么任务被放入缓冲队列。
	  如果此时线程池中的数量大于corePoolSize，缓冲队列workQueue满，并且线程池中的数量小于maximumPoolSize，建新的线程来处理被添加的任务。
	  如果此时线程池中的数量大于corePoolSize，缓冲队列workQueue满，并且线程池中的数量等于maximumPoolSize，那么通过 handler所指定的策略来处理此任务。也就是：处理任务的优先级为：核心线程corePoolSize、任务队列workQueue、最大线程 maximumPoolSize，如果三者都满了，使用handler处理被拒绝的任务。
	  当线程池中的线程数量大于 corePoolSize时，如果某线程空闲时间超过keepAliveTime，线程将被终止。这样，线程池可以动态的调整池中的线程数。
	 -->
 
	<!-- 通用的 TaskExecutor，适合执行一些小功能，并发低，效率高的任务-->
	<bean id="commonTaskExecutor"
		class="org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor">
		<!-- 线程名称前缀 -->
		<property name="threadNamePrefix" value="commonTaskExecutor" />
		<!-- 核心线程数，默认为1 -->
		<property name="corePoolSize" value="10" />
		<!-- 最大线程数，默认为Integer.MAX_VALUE -->
		<property name="maxPoolSize" value="200" />
		<!-- 队列最大长度，一般需要设置值>=notifyScheduledMainExecutor.maxNum；默认为Integer.MAX_VALUE -->
		<property name="queueCapacity" value="1000" />
		<!-- 线程池维护线程所允许的空闲时间，默认为60s -->
		<property name="keepAliveSeconds" value="300" />
		<!-- 容器停止时是否等待job执行完，默认为false -->
		<property name="waitForTasksToCompleteOnShutdown" value="true" />
		<!-- 容器停止时等待job执行的秒数，默认为0 -->
		<property name="awaitTerminationSeconds" value="30" />
		<!-- 线程池对拒绝任务（无线程可用）的处理策略，目前只支持AbortPolicy、CallerRunsPolicy；默认为后者 -->
		<property name="rejectedExecutionHandler">
			<!-- AbortPolicy:直接抛出java.util.concurrent.RejectedExecutionException异常 -->
			<!-- CallerRunsPolicy:主线程直接执行该任务，执行完之后尝试添加下一个任务到线程池中，可以有效降低向线程池内添加任务的速度 -->
			<!-- DiscardOldestPolicy:抛弃旧的任务、暂不支持；会导致被丢弃的任务无法再次被执行 -->
			<!-- DiscardPolicy:抛弃当前任务、暂不支持；会导致被丢弃的任务无法再次被执行 -->
			<bean class="java.util.concurrent.ThreadPoolExecutor$CallerRunsPolicy" />
		</property>
	</bean>
    
</beans>

此配置信息解释的很详细，下面注入taskExecutor，看java代码实现

//通过线程跑任务，线程池管理
public void bakupDbByThread(final Map<String,Object> param) {
	final String dbtype = (String) param.get(DB_TYPE);
	ThreadPoolTaskExecutor commonTaskExecutor = BeanManager.getBean("commonTaskExecutor", ThreadPoolTaskExecutor.class);
	Future<String> future = commonTaskExecutor.
		submit(new Callable<String>() {
			@Override
			public String call() throws Exception {
			long startime = System.currentTimeMillis();
			logger.info("归档 start---"+dbtype);
			try {
				WorkerFactory.work(WorkerFactory.WORKTYPE_BACKUP,param);
			} catch (Exception e) {
				logger.error("归档失败 error---"+dbtype , e);
			}
				logger.info("归档 end---" + dbtype + ",耗时="	+ (System.currentTimeMillis() - startime)+ "ms");
				return "result" + dbtype;
			}
		});	
}

BeanManager如下：

/**
 * 装入spring对象
 * @author wangzuojia
 *
 */
@Component
public class BeanManager implements ApplicationContextAware {
	private static ApplicationContext context;


	public static Object getBean(String name) {
		return context.getBean(name);
	}


	public static <O> O getBean(String name, Class<O> requiredType) {
		return context.getBean(name, requiredType);
	}


	public static <O> O getBean(Class<O> requiredType) {
		return context.getBean(requiredType);
	}


	@Override
	public void setApplicationContext(ApplicationContext applicationContext)
			throws BeansException {
		this.context = applicationContext;
	}
}

本文主要讲的是spring的线程池ThreadPoolTaskExecutor，各个线程对应的库是在执行bakupDbByThread方法前读取的配置文件（在配置文件中进行配置的），有人会问如果线程执行失败了怎么办？在WorkerFactory.work(WorkerFactory.WORKTYPE_BACKUP,param)方法中对可能出现的异常进行了判断。