数仓ODS层数据分类及同步形式

数据分类

分类	说明
业务型数据	有较强的业务型及事务性，例如：订单，合同信息等
日志型数据	数据量较大，一般不涉及修改，例如：IoT设备数据，埋点日志数据等
三方类数据	通过程序，接口，爬虫等获得的非结构化或半结构化数据

各种同步形式总结：

形式	说明
全量同步	每天删除所有历史数据，从源端拿最新的全部数据
全量历史快照	按天做分区，每天的全量数据都存一份。
增量一致同步	首次全量同步，增量直接更新。ods层数据和源数据保持一致。
增量变化	以type（变动类型）、ts（变动时间）、data（当前数据）、old（变动前数据）形式记录
链表	开链：当前数据的start_time为最新时间，end_time为9999-12-31，表示当前数据的状态为最新状态。 闭链：将被更新的数据end_time改为当前时间。