（六）使用多线程批量数据库千万级别业务数据与mysql数据量大时使用limit分页

最新推荐文章于 2025-02-20 10:11:34 发布

mtsbv110

最新推荐文章于 2025-02-20 10:11:34 发布

阅读量1.1k

点赞数 1

分类专栏：多线程文章标签： java

本文链接：https://blog.youkuaiyun.com/mtsbv110/article/details/105855954

版权

在实际业务中，需要从数据库中（千万级别）的数据，批量进行处理，将数据同步到索引服务器中。

核心问题：

1、使用多线程查询数据库中的数据，例如我们有10个线程，每一个线程每次分页步长为10，数据一个10000条。代码如下：

public class Demo18Sequence {

	private static int nThreads = 10;
	private static int pageSize = 10;
	private static int totalNum = 10000;
	
	public static void main(String[] args) {
		try {
			CountDownLatch latch = new CountDownLatch(nThreads);
			ExecutorService newFixedThreadPool = Executors.newFixedThreadPool(nThreads);
			long startTime = System.currentTimeMillis();
			TaskRunnable.start = -pageSize;
			for (int i = 0; i < nThreads; i++) {
				TaskRunnable taski = new TaskRunnable(i+1,pageSize,totalNum,latch);
				newFixedThreadPool.execute(taski);
			}
			latch.await();
			System.out.println(String.format("任务执行成功,耗时{%s}毫秒", System.currentTimeMillis() - startTime));
			newFixedThreadPool.