基于DataX完成数据导入-新增及更新导入,全量同步

新增及更新导入

以shop_order(商城订单表)

首次导入:

与 仅新增的首次导入流程方案一模一样

增量导入:

筛选条件

create_time between concat(date_sub(current_date,INTERVAL 1 DAY),' 00:00:00') and concat(date_sub(current_date,INTERVAL 1 DAY),' 23:59:59') OR last_update_time between concat(date_sub(current_date,INTERVAL 1 DAY),' 00:00:00') and concat(date_sub(current_date,INTERVAL 1 DAY),' 23:59:59')

或者:
date_format(create_time,'%Y-%m-%d') = DATE_FORMAT(date_sub(NOW(),INTERVAL 1 DAY),'%Y-%m-%d') OR date_format(last_update_time,'%Y-%m-%d') = DATE_FORMAT(date_sub(NOW(),INTERVAL 1 DAY),'%Y-%m-%d')

---

全量同步

以:门店商品库存天表为例

这里跟全量覆盖表的区别是：ods表是一个分区表，即每次同步全量数据到一个新的分区里，不在进行覆盖

全量覆盖每次都是增量采集模式, 但是where中不填写任何内容.