基于DataX完成数据导入-新增及更新导入,全量同步

新增及更新导入

以shop_order(商城订单表)

首次导入:

与 仅新增的首次导入流程方案一模一样

增量导入:

筛选条件

create_time between concat(date_sub(current_date,INTERVAL 1 DAY),' 00:00:00') and concat(date_sub(current_date,INTERVAL 1 DAY),' 23:59:59') OR last_update_time between concat(date_sub(current_date,INTERVAL 1 DAY),' 00:00:00') and concat(date_sub(current_date,INTERVAL 1 DAY),' 23:59:59')

或者:
date_format(create_time,'%Y-%m-%d') = DATE_FORMAT(date_sub(NOW(),INTERVAL 1 DAY),'%Y-%m-%d') OR date_format(last_update_time,'%Y-%m-%d') = DATE_FORMAT(date_sub(NOW(),INTERVAL 1 DAY),'%Y-%m-%d')

---

全量同步

以:门店商品库存天表为例

这里跟全量覆盖表的区别是：ods表是一个分区表，即每次同步全量数据到一个新的分区里，不在进行覆盖

全量覆盖每次都是增量采集模式, 但是where中不填写任何内容.

不要忘记分区修复

维度建模从需求出发，重点关注快速完成需求分析，围绕性能和易理解性构建模型，以事实表与维度表的形式重新组织数据。
在OLAP应用中主要有两大优势：
   1)前期建模成本较低，从业务需求出发，快速迭代；
   2)查询性能高，通过数据冗余降低查询的复杂度。

主要劣势: 数据冗余, 数据一致性维护增大

因此，从整体来说维度建模的开发和使用成本较低，但是维护成本较高，比较适合在接近业务分析的数据集市层、分析层来使用。