纸上得来终觉浅，绝知此事要躬行

​DataX 是阿里云 DataWorks数据集成 的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。

SqlServer 在自增处理上跟MySQL这种处理有所区别，对于不通的数据处理场景需求需要区别对待。自增会导致ID来源和目标不一致 而非自增有需要对表进行处理。

在手上目前有个Sqlserver数据同步的项目终于接近尾声了，投入过程两个人，历时跨度3年（2022-2024）。最开始决策采用阿里Datax实现数据同步+触发器编程的方式来实现。由于库表结构有严格的主外键，所以ER关系网络相当复杂，需要将这些任务进行分组处理。期间几易方案，执行方案中途都会发现问题。任务拆分几乎为零，想起什么写什么，导致项目几近放弃。该项目大致经历了四个阶段。所以最终的结论是：数据同步一定要做好数据规范再行动，尽可能地发挥团队力量集思广益。