38、Spring Batch 批处理的扩展与并行处理技术

Spring Batch 批处理的扩展与并行处理技术

1. 单机并行处理

在批处理任务中，为了提高性能，我们可以采用并行处理技术。首先是单机环境下的并行处理，这里有一种技术是将处理列的值设置为 true ，这种技术有助于管理状态，并使作业可重启。

要实现这一点，写入器需要扩展 Spring Batch 内置的写入器，如 JdbcBatchItemWriter ，在处理项目时指定处理并将处理列设置为 true 。为了更具非侵入性，还可以添加一个项目处理器来管理指示列。

如果输入是文件，实现自己的状态管理会更困难。常见的方法是将文件中的数据导入到专用的临时数据库表中，即使不使用多线程，这种导入也很快。然后作业基于这个临时数据库表进行数据处理，采用并行步骤和处理指示符模式。

Spring Batch 提供了一种方便的方式来组织步骤进行并行执行，Spring Batch XML 在配置层面直接支持此功能，这与作业流功能相关。我们可以利用作业流的能力来拆分步骤处理，这对于扩展批处理作业很有用，因为它允许并行执行多个步骤。

1.1 配置并行步骤

在 Spring Batch XML 中配置并行步骤很简单自然。在 split XML 元素中添加 flow 来定义要并行执行的内容，这些 flow 可以包含单个步骤或按特定顺序排列的多个步骤。 split 可以有一个标识符，并且可以是步骤中 next