项目需要增量同步数据,实现如下逻辑:
现将表中的数据全部同步到目标表,然后再将全部数据的最新时间,更新到时间同步配置表中。
操作步骤如下:
1)主作业主要转换(获取最后更新时间、增量同步记录数据并更新同步时间到配置表)

2)同步数据并更新记录最新时间到同步表中
阻塞数据知道步骤都完成,是为了等待需要同步的数据全部同步完成后,在执行更新记录最新时间到同步表中。
PS:阻塞数据 组件需要有后续步骤连接,否则不能选择出需要阻塞的步骤。

本文介绍了一种项目中常用的增量数据同步方法,首先全量同步数据至目标表,然后更新时间同步配置表,确保数据同步的准确性和时效性。通过阻塞数据组件直到所有同步步骤完成,来保障数据的一致性。
项目需要增量同步数据,实现如下逻辑:
现将表中的数据全部同步到目标表,然后再将全部数据的最新时间,更新到时间同步配置表中。
操作步骤如下:
1)主作业主要转换(获取最后更新时间、增量同步记录数据并更新同步时间到配置表)

2)同步数据并更新记录最新时间到同步表中
阻塞数据知道步骤都完成,是为了等待需要同步的数据全部同步完成后,在执行更新记录最新时间到同步表中。
PS:阻塞数据 组件需要有后续步骤连接,否则不能选择出需要阻塞的步骤。

847
7209