21、数据提取方法与策略全解析

数据提取方法与策略全解析

在数据仓库的构建和维护过程中，数据提取是至关重要的一环。不同的数据源和数据特点需要采用不同的提取方法，以确保数据的准确性和及时性。本文将详细介绍多种数据提取方法，包括固定范围提取、相关表数据提取、数据泄漏测试，以及不同类型文件和其他数据源的提取策略。

1. 固定范围提取

当无法提取整个表（如表格过大），且不能进行增量提取（例如没有时间戳列、时间戳列不可靠、没有可靠的增量标识列，或无法在源系统安装触发器）时，可以使用“固定范围”方法。

• 按时间或记录数提取 ：可以提取特定数量的记录或特定时间段的数据。例如，基于交易日期提取最近六个月的数据。如果前端应用有限制，可从源应用获取时间段的持续时间。若月末处理完成后行数据不可更改，每次 ETL 进程运行时可下载最近五周的数据，或交易日期在月末日期之后的数据。
• 使用系统分配的行 ID 提取 ：若表中没有交易日期列且表过大无法提取全量数据，可使用系统分配的行 ID 提取固定范围，如最后 100,000 行。并非所有数据库系统都有行 ID，如 Oracle 和 Informix 有，而 SQL Server 和 DB/2 没有（在 DB/2 中，行 ID 是一种数据类型，而非隐藏列）。使用行 ID 时，需监控源系统以确定每次提取的数量。每天下载主键列，通过比较每日下载的数据来检测变化。

日期	数据 1	数据 2	数据 3