DBSwitch一键搞定表结构迁移!

🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。

✨杭州奥零数据科技官网:http://www.aolingdata.com
✨AllData开源项目:https://github.com/alldatacenter/alldata
✨Gitee组织:https://gitee.com/alldatacenter

摘要:AllData数据中台商业版集成开源项目DBSwitch后,可保障数据迁移与访问的高效稳定,降低企业多数据库汇聚入湖仓成本,提升系统兼容性与可扩展性。文章内容主要为以下三部分:

一、功能介绍
二、技术特性
三、访问数据库同步平台页面演示

💡Tips:关注「公众号」大数据商业驱动引擎

在这里插入图片描述
数据库同步平台基于开源项目DBSwitch建设 DBSwitch是款开源数据库迁移工具,支持多种主流及国产数据库间的全量与增量迁移,涵盖表结构同步与数据同步,采用模块化设计,具备高扩展性与灵活性,可保障数据迁移与访问的高效稳定,降低企业多数据库汇聚入湖仓成本,提升系统兼容性与可扩展性。

DBSwitch项目地址:https://gitee.com/inrgihc/dbswitch

在这里插入图片描述
在这里插入图片描述
DBSwitch工具提供源端数据库向目的端数据库的离线批量迁移同步功能,支持数据的全量/增量/变化量方式同步。

结构迁移
支持字段类型、主键信息、建表语句等的转换,并生成建表SQL语句;
支持基于正则表达式转换的表名与字段名映射转换。

数据同步
全量迁移:
基于JDBC的分批次离线读取源端数据库数据;
并基于insert/copy方式将数据分批次写入目的数据库。

增量同步:
支持指定增量标识字段的增量同步(适用于日志表等存在增量标识字段的同步场景);
支持有主键表的 变化量同步 (变化数据计算Change Data Calculate)功能(千万级以上数据量的性能尚需在生产环境验证)。

定时调度
内置 CronJob 定时任务引擎,支持手动触发或自动化调度,满足周期性数据同步场景。

技术特点
多数据库支持
覆盖RDBMS/Olap数据库:MySQL、Oracle、SQL Server、PostgreSql、DB2、Sybase、Hive、Sqlite3、ClickHouse、MongoDB、ElasticSearch、StarRocks、GreenPlum、Doris、TDEngine 等主流数据库。

支持国产数据库:达梦数据库,人大金仓数据库,神通数据库,南大通用数据库,瀚高数据库,Gauss数据库, OceanBase数据库。
在这里插入图片描述
高效数据写入
通过二进制协议与批量操作优化写入性能,减少网络与 I/O 开销。

灵活扩展性
模块化设计支持快速适配新数据库或定制功能,如新增方言实现或写入优化。

在这里插入图片描述
系统概览
可一键呈现多数据库连接状态、迁移任务进度及系统资源占用等关键信息。
在这里插入图片描述

数据源
支持多类型数据库接入,可便捷配置管理,保障数据稳定高效同步。
在这里插入图片描述

数据源-测试
在这里插入图片描述

数据源-编辑
在这里插入图片描述

数据源-编辑-更新
在这里插入图片描述

数据源-详情
在这里插入图片描述

数据源-详情测试成功
在这里插入图片描述

数据源-创建数据源
支持多类型数据库参数配置,一键快速接入,实现高效数据交互。
在这里插入图片描述

驱动配置
可灵活管理多数据库驱动,支持上传、加载与更新,保障连接稳定。
在这里插入图片描述

驱动配置-添加
在这里插入图片描述

数据导航-元数据-基本信息
可直观展示表结构、字段等核心信息,助力数据管理。
在这里插入图片描述

数据导航-元数据-字段信息
数据导航的元数据字段信息功能,能清晰呈现字段名称、类型、长度等详情,辅助精准掌握数据特征。
在这里插入图片描述

数据导航-元数据-索引信息
可快速检索不同数据源的索引详情,展示索引结构、关联字段等关键信息,助力高效管理数据索引,优化数据查询性能。
在这里插入图片描述

数据导航-元数据-取样信息
可按需抽取数据样本,展示字段值分布等关键信息,辅助用户快速了解数据特征与质量情况。
在这里插入图片描述

数据导航-SQL在线
SQL在线功能支持多数据源的SQL查询与执行,提供语法高亮、自动补全及结果可视化展示,助力用户高效完成数据探索与分析任务。
在这里插入图片描述

任务管理
支持多类型数据库同步任务的创建、配置与调度,提供任务状态监控、执行日志查看及异常告警,助力用户高效管理数据同步流程,保障数据迁移的稳定性和可靠性。
在这里插入图片描述

任务管理-日志
在这里插入图片描述

任务管理-启动
在这里插入图片描述

任务管理-执行成功
在这里插入图片描述

任务管理-详情
在这里插入图片描述

任务管理-创建任务-基本信息配置
在这里插入图片描述

任务管理-创建任务-同步源端配置
在这里插入图片描述

任务管理-创建任务-目标端配置
在这里插入图片描述

任务管理-创建任务-映射转换配置
在这里插入图片描述

任务管理-创建任务-配置确认提交
在这里插入图片描述

监控调度
可实时监控数据源连接状态与任务执行情况,支持定时调度与依赖调度,确保数据同步任务按计划稳定运行,并提供异常告警与日志记录,助力高效运维。
在这里插入图片描述

监控调度-查看日志详情
在这里插入图片描述

操作日志
操作日志功能可完整记录数据同步任务执行过程中的关键操作,包括任务启动、停止、异常等状态变更,助力用户实时监控任务进度,快速定位并解决潜在问题。
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

杭州奥零数据科技

AllData数据中台知识星球

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值