简单搞定数仓搭建:ODS层设计规范

本文详细阐述了数据存储的命名、字段、同步任务的规范,以及ODS表的生命周期管理策略。对于ODS表,全量表和增量表有不同的存储方式与保留策略,临时表和按小时同步的表也有特定的命名格式。数据质量方面,强调了唯一性字段、注释、分区监控等要求。此外,还提出了数据保留的策略,如全量表和增量表的保存期限。

命名规范

  • 表命名规范表命名规则:{层次}{源系统表名}{保留位/delta与否}。
    • 增量数据:{project_name}.s{源系统表名}delta。
    • 全量数据:{project_name}.s{源系统表名}。
    • ODS ETL过程的临时表:{project_name}.tmp{临时表所在过程的输出表}{从0开始的序号}。
    • 按小时同步的增量表:{project_name}.s{源系统表名}{delta}_{hh}。
    • 按小时同步的全量表:{project_name}.s{源系统表名}{hh}。
    • 当不同源系统同步到同一个Project下的表命名冲突时,您需要给同步较晚的表名加上源系统的dbname以解决冲突。
  • 字段命名规范
    • 字段默认使用源系统的字段名。
  • 同步任务命名规范
    • 任务名:{源系统表名}[delta]。

      说明 同一Project下异库同名表的任务名为{源系统表名}{tddl的appname}[_delta]。

    • 任务的输出名称,即输出表的名称,需要与数据存储及生命周期管理规范保持一致。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值