命名规范
- 表命名规范表命名规则:{层次}{源系统表名}{保留位/delta与否}。
- 增量数据:{project_name}.s{源系统表名}delta。
- 全量数据:{project_name}.s{源系统表名}。
- ODS ETL过程的临时表:{project_name}.tmp{临时表所在过程的输出表}{从0开始的序号}。
- 按小时同步的增量表:{project_name}.s{源系统表名}{delta}_{hh}。
- 按小时同步的全量表:{project_name}.s{源系统表名}{hh}。
- 当不同源系统同步到同一个Project下的表命名冲突时,您需要给同步较晚的表名加上源系统的dbname以解决冲突。
- 字段命名规范
- 字段默认使用源系统的字段名。
- 同步任务命名规范
- 任务名:{源系统表名}[delta]。
说明 同一Project下异库同名表的任务名为{源系统表名}{tddl的appname}[_delta]。
- 任务的输出名称,即输出表的名称,需要与数据存储及生命周期管理规范保持一致。
- 任务名:{源系统表名}[delta]。

本文详细阐述了数据存储的命名、字段、同步任务的规范,以及ODS表的生命周期管理策略。对于ODS表,全量表和增量表有不同的存储方式与保留策略,临时表和按小时同步的表也有特定的命名格式。数据质量方面,强调了唯一性字段、注释、分区监控等要求。此外,还提出了数据保留的策略,如全量表和增量表的保存期限。
最低0.47元/天 解锁文章
3423

被折叠的 条评论
为什么被折叠?



