跨域同步数据2.0方案思路分享

最新推荐文章于 2023-02-18 17:42:32 发布

置顶

mm_tiny

最新推荐文章于 2023-02-18 17:42:32 发布

阅读量644

点赞数

CC 4.0 BY-SA版权

分类专栏： kettle

本文链接：https://blog.youkuaiyun.com/jl_tiny/article/details/103329296

跨域同步数据2.0方案思路分享

背景：不同网段(比如源数据库在外网，目标数据库在内网)，不能直接通讯，但需要做到数据同步；

跨域增量同步数据方案2.0
1. 增量数据同步解决方案：(不同网段(内网和外网不能直接通讯))
2. 通过获取增量数据，并生成目标库写入表的insert语句；
3. 目标库需提前生成目标库写入表表信息；
4. 目标库通过sftp下载商城的insert语句，在目标库批量执行写入；
5. 注意：跨域增量同步数据方案2.0，采取的是通过子作业(子job)来控制的循环生成sql文件，而不是通过js来判断循环。通过js来控制循环没有通过子作业来控制循环效率高；

注意点：

    
    1. 如何获取增量的数据，我是采取的通过源数据里视图的写入方式，视图通过条件来判断只取增量的数据；
        注意：1. 如何确保获取的增量数据，定时获取增量的数据？
        CREATE ALGORITHM=UNDEFINED DEFINER=`root`@`localhost` SQL SECURITY DEFINER VIEW `demo1view` AS 
            select `phhdemo1`.`orderId` AS `orderId`,`phhdemo1`.`createOpeTime` AS `createOpeTime`,`phhdemo1`.`flag` AS `flag` from `phhdemo1` 
            where ((`phhdemo1`.`flag` = 1) 
             and (`phhdemo1`.`createOpeTime` > '2019-10-05 19:21:18'));

        select date_sub(SYSDATE(),interval 1 day);
        可以根据实际情况，让增量视图取前一天满足条件的数据；