
数据迁移
文章平均质量分 74
日常数据同步、迁移、备份等相关处理
boonya
资深Java,热衷大数据,Python爬虫,持续探索副业中,有需要的可以加我微信联系:boonya221
展开
-
记录跨度3年的SqlServer数据同步项目分析-基于datax和触发器
在手上目前有个Sqlserver数据同步的项目终于接近尾声了,投入过程两个人,历时跨度3年(2022-2024)。最开始决策采用阿里Datax实现数据同步+触发器编程的方式来实现。由于库表结构有严格的主外键,所以ER关系网络相当复杂,需要将这些任务进行分组处理。期间几易方案,执行方案中途都会发现问题。任务拆分几乎为零,想起什么写什么,导致项目几近放弃。该项目大致经历了四个阶段。所以最终的结论是:数据同步一定要做好数据规范再行动,尽可能地发挥团队力量集思广益。原创 2024-06-27 13:26:38 · 988 阅读 · 0 评论 -
Datax数据同步支持SqlServer 主键自增与非自增
SqlServer 在自增处理上跟MySQL这种处理有所区别,对于不通的数据处理场景需求需要区别对待。自增会导致ID来源和目标不一致 而非自增有需要对表进行处理。原创 2023-10-09 12:40:02 · 1166 阅读 · 0 评论 -
SqlServer 提供的数据迁移方案
SqlServer 提供的数据迁移方案,如MySQL、Oracle以及云存储方案等。原创 2023-10-04 17:50:52 · 867 阅读 · 0 评论 -
Workbench 支持将SqlServer库表迁移到MySQL
MySQL Workbench 5.2.41引入了一个新的迁移向导模块。该模块允许您轻松快速地将数据库从各种RDBMS产品迁移到MySQL。在这个初始版本中,支持从Microsoft SQL Server迁移,但也应该可以使用它的通用RDBMS支持,从大多数支持ODBC的RDBMS迁移。此外,你可以使用它来执行MySQL到MySQL数据库的复制,这可以用于跨服务器复制数据库或跨不同版本的MySQL迁移数据等任务。原创 2023-10-04 17:21:39 · 1108 阅读 · 0 评论 -
阿里异构离线数据同步工具/平台DataX
DataX 是阿里云 DataWorks数据集成 的开源版本,在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。原创 2022-01-27 13:48:33 · 3508 阅读 · 0 评论 -
SQLines数据迁移工具
SQLines提供的工具可以帮助您在不同的数据库平台之间传输数据、转换数据库模式(DDL)、视图、存储过程、包、用户定义函数(udf)、触发器、SQL查询和SQL脚本。原创 2023-10-04 17:14:55 · 1907 阅读 · 0 评论