21、高级数据变更处理与多值维度建模技术

高级数据变更处理与多值维度建模技术

1. 高级缓慢变更技术

在数据处理过程中，源数据的变更处理是一个重要的环节。为了应对源数据的变化，有一些高级技术可供使用，下面为你详细介绍。

1.1 时间戳维度

• 补充类型 2 方法 ：类型 2 变更能保留事实的历史上下文，但无法在维度内进行时间点分析。时间戳维度通过添加有效日期和过期日期来解决这个问题，且无需额外的事实表。
• 具体操作 ：
  • 事实表可记录维度表的变更历史，将每个版本与有效日期范围关联，行数与维度表相同。
  • 时间戳维度通过管理有效和过期日期列，确保同一自然键的两行不重叠。
  • 可以使用 effective_date 列对交易历史进行排序，结合 effective_date 和 expiration_date 过滤特定时间点的有效记录。还可添加 most_recent_row 标志，方便从维度中选择当前记录。
• 优缺点 ：时间戳维度加载难度较大，但能简化关联事实表的加载。它可能包含在某些查询中作为维度、在其他查询中作为事实的属性。

1.2 类型 3 变更

• 适用场景 ：当用户希望将旧值或新值与所有事实关联，而不考虑变更发生的时间时