21、数据提取方法与策略详解

数据提取方法与策略详解

1. 固定范围提取法

当无法提取整个表（例如表过大），且不能进行增量提取（如无时间戳列、时间戳列不可靠、无可靠的增量标识列，且无法在源系统安装触发器）时，可采用“固定范围”方法。

1.1 按时间范围提取

可根据特定条件提取一定数量的记录或特定时间段的数据。例如，基于交易日期提取最近六个月的数据。若前端应用有时间限制，可从源应用获取时间范围。如月末处理完成后行数据不再更改，那么每次 ETL 运行时可下载最近五周的数据，或者下载交易日期在月末日期之后的数据。

1.2 按行 ID 提取

若表中无交易日期列且表过大无法提取全量数据，可使用系统分配的行 ID 提取固定范围，如最后 100,000 行。行 ID 是每个表中包含系统分配的顺序值的隐藏列，但并非所有数据库系统都有行 ID，如 Oracle 和 Informix 有，而 SQL Server 和 DB/2 没有（在 DB/2 中，行 ID 是一种数据类型，并非隐藏列）。使用行 ID 时，需监控源系统以确定每次提取的数量。具体操作步骤如下：
1. 每天下载主键列。
2. 比较每天下载的数据以检测变化。

通过比较主键可轻松识别新增和删除的行。例如，以下表格展示了通过比较每日下载数据来检测新增和删除行的情况：
|日期|记录 1|记录 2|记录 3|记录 4|记录 5|
| ---- | ---- | ---- | ---- | ---- | ---- |
|10/1|5467|8765| | | |
|10/2|5467|8765| | | |
|10/3|5467| |342