生命周期管理矩阵

chimchim66

已于 2023-04-27 11:03:40 修改

阅读量615

点赞数

文章标签：大数据数据挖掘数据仓库

于 2023-04-19 17:52:07 首次发布

本文链接：https://blog.youkuaiyun.com/chimchim66/article/details/130249713

版权

一、数据等级划分

将历史数据划分P0、Pl、P2、P3 四个等级，其具体定义如下：

事件型流水表（增量表）	事件型流水表（增量表）指数据无重复或者无主键数据，如日志。
事件型镜像表（增量表）	事件型镜像表（增量表）指业务过程性数据，有主键，但是对于同样主键的属性会发生缓慢变化，如交易、订单状态与时间会根据业务发生变更。
维表（全量表）	维表包括维度与维度属性数据，如用户表、商品表。
Merge全量表	Merge 全量表包括业务过程性数据或者维表数据。由于数据本身有新增的或者发生状态变更，对于同样主键的数据可能会保留多份，因此可以对这些数据根据主键进行 Merge 操作，主键对应的属性只会保留最新状态，历史状态保留在前一天分区中。例如，用户表、交易表等都可以进行 Merge 操作。
普通全量表	很多小业务数据或者产品数据，BI一般是直接全量拉取，这种方式效率快，对存储压力也不是很大，而且表保留很长时间，可以根据历史数据等级确定保留策略。
ETL临时表	ETL 临时表是指 ETL 处理过程中产生的临时表数据，一般不建议保留，最多7天。
TT 临时表	TT 拉取的数据和 DbSync 产生的临时数据最终会流转到 DS 层，ODS 层数据作为原始数据保留下来，从而使得 TT&DbSync 上游数据成为临时数据。这类数据不建议保留很长时间，生命周期默认设置为 93天，可以根据实际情况适当减少保留天数。