21、Spring Batch 数据处理：过滤与验证

Spring Batch 数据处理：过滤与验证

在 Spring Batch 的数据处理流程中，数据的过滤和验证是非常重要的环节。本文将详细介绍如何在 Spring Batch 中实现数据的过滤和验证，以及相关的技术细节和操作步骤。

1. 数据过滤基础

在 Spring Batch 的块导向步骤（chunk-oriented step）中，数据处理阶段不仅可以修改读取的项目，还可以对其进行过滤。过滤的基本规则是，如果项目处理器（item processor）的 process 方法返回 null ，则该读取项不会被发送到项目写入器（item writer）。

过滤规则如下：
- 若 process 方法返回 null ，Spring Batch 会过滤掉该项，不会将其发送到项目写入器。
- 过滤与跳过（skipping）不同。过滤意味着 Spring Batch 不应写入给定记录，例如项目写入器无法处理该记录；而跳过意味着给定记录无效，例如电话号码格式无效。
- 若项目处理器抛出异常，且相应配置了跳过策略，则会导致跳过该记录。

需要注意的是，作业存储库会存储每个块导向步骤执行中过滤项的数量，可通过 Spring Batch Admin 等工具或相应数据库表轻松查询该信息。

2. 实现过滤项目处理器

以导入产品作业为例，该作业需读取包含产品记录的平面文件，并相应地创建或更新数据库。若在在线商店应用访问数据库时执行导入作业，可能会导致数据库行锁定，使在线商店响应变慢。为解决