EPS数据同步助手
说明
我在开发过程中经常遇到数据同步的问题,为此产生了一系列的开发任务费事耗力,所以我做了一个数据同步的程序,他可以 通过配置实现 表对表,SQL对表的全量同步数据,增量同步数据,数据对账。查看数据是否同步正常 ,是否有错误,以及记录错误原因。目前配置方式 支持 oracle 、 mysql pg、es、clickhouse之间的数据同步。
还可以通过,二次开发的方式实现更复杂的同步 比如数据同步过程中做数据分析 数据治理 数据合并 等等 都可以通过二次开发的方式 实现 同步助手提供的接口 然后打包以后上传到同步助手,就可以使用了。
本同步程序可以直接部署使用。不是很复杂的数据同步情况下无需二次开发直接使用。
后续文章我会详细介绍如何使用。本同步程序 是由一个自己搭建的springboot 开发框架,开发完成,这个开发框架集成了很多工具类 可以实现快速开发,减少开发后成本。 会在后续文章中介绍。并公布源码。
先发一些截图。
1.同步任务 可以选择时间段立即执行 或者定时自动执行 停止 关闭
2.同步配置页面 可以通过选择表 或者sql 然后选择要同步的字段 类型 默认值等 进行 全量 或者增量同步
3.同步任务监控页 可以查看 历史 或者正在执行的任务 进度 成功失败数量 已经错误数量 点击错误