DM数据复制软件学习

一、概述

达梦数据实时同步软件（以下简称 DMDRS）是支持异构环境的高性能、高可靠、高可扩展数据库实时同步复制系统。该产品采用基于日志的结构化数据复制技术，不依赖主机上源数据库的触发器或者规则，对主机源数据库系统几乎无影响，能以极少的系统开销实现秒级数据实时同步复制。

DMHS 基于成熟的关系数据模型和标准接口，支持多种软硬件平台，能够灵活的配置出一对一、一对多、多对一、多对多以及级联等多种形式的复制拓扑结构，可以广泛应用于应急系统、容灾备份、负载均衡、数据移植、联机维护、订阅分发、多业务中心等业务领域。

二、产品特点 

高通用性

• 跨平台软硬件支持：面对日趋复杂的计算机环境具有极好的适应性。

灵活可配置

• 体系结构高可扩展：开放式的体系结构可以实现多种复制拓扑结构。
• 数据同步内容可定制：支持数据筛选、过滤、转换、压缩和加密。
• 轻量级设计实现快捷部署：能够在不中断业务的情况下，将主机数据库中的当前数据平滑地装载到备机数据库中。

性能良好

• 确保业务系统高可用：复制对主机源数据库系统几乎无影响，备机可实现业务系统快速切换和恢复。
• 高效的数据实时同步：采用并行处理技术实现大批量数据的实时复制。
• 可读写的备机系统：可以实现生产型业务与分析型业务相隔离的多业务中心。

传输可靠

• 高可靠的数据传输：严格按照主机业务系统事务顺序实施数据复制，保障备机数据库与主机数据库的事务级完整性和一致性。

 三、产品架构

 四、产品功能

4.1 数据迁移

数据迁移是指将源数据库的全量数据一次性迁移到目标数据库，适用于同构或异构数据库之间的数据迁移，一般用于源数据库在静态的情况下进行数据迁移的场景。数据迁移提供稳定、高效的数据库全量数据迁移，并且支持故障以后进行断点续传的功能。

4.2 数据同步

数据同步是指通过全量数据装载和增量数据同步的组合来实现数据复制功能，实现源数据库在动态的场景下和目标数据库数据的一致性，适用于同构或异构数据库之间的数据实时同步。

        √ 全量数据装载是指将源数据库的全量数据装载到目标数据库，使源数据库和目标数据库数据保持一致。

        √ 增量数据同步是指通过数据同步技术将源数据库的增量数据实时同步到目标数据库，保证源数据库和目标数据库增量数据的一致性。

在同构数据库的场景下，支持将源数据库的同步或异步备份还原到目标数据库后，再通过DMDRS的增量数据同步功能实现源数据库和目标数据库增量数据的实时同步。

4.3 数据分发

数据分发是指将源数据库的全量数据和增量数据先保存到流存储后再分发到目标端，一般适用于将一个数据库的数据复制到多个数据库的应用场景。一般用于大规模数据量的数据传输，可以有效降低源数据库服务器负载，减少对源数据库系统的影响。

4.4 数据订阅

数据订阅是指将源数据库的全量数据和增量数据进行整合后保存到流存储，第三方应用程序可以通过DMDRS提供的API接口按需订阅源数据库的增量变化数据。

4.5 数据转换

数据转换是指对数据库的全量数据和增量数据进行自定义转换，数据转换功能可用于数据迁移、数据同步、数据分发和数据订阅等场景，满足多样化的数据转化需求。

五、支持多种异构数据平台

1、 DMDRS 可以支持多种异构数据平台，可以根据用户需求采用非常灵活的方式配置出各种拓扑结构。

• 目前，源数据库可支持 DM 各系列、Oracle9i、Oracle10g、Oracle11g、Oracle12c、Oracle19c、ORACLE RAC 集群、DB2、ostgreSQL、MySQL 等。
• 目的数据库支持具有 ODBC 标准接口实现的各种主流关系数据库管理系统，目前适配过的数据库有 DM 各系列、DM 集群、Oracle9i、Oracle10g、Oracle11g、Oracle12c、Oracle19c、ORACLE RAC 集群、DB2、Sybase、SQLServer、PostgreSQL、MySQL 等。

2、 DMDRS支持多种计算机操作系统平台

• 支持 Windows 系列、Linux 系列、IBM AIX、HP-UNIX 系列、Solaris 系列、国产操作系统 Kylin、Rocky 等 32 位和 64 位操作系统。

3、 DMDRS 支持多种复制结构，支持不同厂商硬件（主机、存储）之间数据库的数据复制。

• DMDRS的开放式体系结构使其能够适应各种异构数据平台。 DMDRS支持一对一同步 、一对多广播型同步 、多对一聚合型同步 、双向同步、多对多同步、多级中转级联同步等多种数据同步形式，支持组合多种同步形式以搭建复杂的拓扑结构。
• DMDRS 支持主流厂商的硬件（主机、存储）之间数据库的数据复制，例如 IBM、HP、联想、华为、浪潮、曙光等硬件厂商，兼容多种硬件体系，可运行于于 X86、SPARC、POWER 等硬件平台之上，还支持龙芯、鲲鹏、飞腾、海光、兆芯、神威等国产 CPU 硬件平台，产品实现了平台无关性。
• DMDRS能够在目前流行的各种软硬件平台和数据库环境下传输数据，在同一解决方案架构下，实现企业不同平台上的多个信息系统的统一复制的支持。

六、高可靠的数据复制能力

DMDRS 对复制的数据内容做了 CRC 校验，保证收到的数据是可靠无误的， DMDRS 对复制数据先后顺序也做了严格的一致性验证，保证数据复制传递过程是有序的。

为保障数据传输的无丢失， DMDRS 使用检查点机制实现断点续传。断点包括两个部分，即 DMDRS 前置的变化数据捕捉模块数据抽取位置检查点和 DMDRS 主程序的数据装载模块的已装载位置检查点。 DMDRS 的前置模块与主程序模块采取完备的消息应答机制来保障数据传输的可靠性和数据完整性。前置模块只有在得到确认消息后才认为数据传输完成，否则将自动重新传输数据。

DMDRS 支持初次数据装载全同步功能，能够在不中断业务的情况下，将源数据库中的当前数据平滑的装载到目标数据库中。 DMDRS 提供快速装载方式可针对源数据库历史的大量数据做到高效快速的初始化装载到目标数据库中。 

DMDRS 的数据复制是通过分析源数据库的日志后以源端事务为单位发送给目标数据库的，源数据库日志中记录的事务是严格有序的，目标数据库严格按照源数据库上的事务顺序在目标数据库上实施数据复制同步，目标数据库上所执行的事务一定是源数据库已经提交完成的事务， DMDRS 可保障目标数据库与源数据库的事务级完整性和一致性，确保目标数据库数据复制事务的业务逻辑符合源数据库上事务的业务逻辑。

七、支持数据库的所有主流类型字段

DMDRS 是目前业内成熟的数据复制和数据实时同步软件，支持目前主流所有数据库的数据类型字段同步。

• 支持数值类型 (NUMBER、NUMERIC、DECIMAL、DEC、INTEGER、INT、SMALLINT、FLOAT、REAL、DOUBLE PRECISION、BINARY_FLOAT、BINARY_DOUBLE)
• 字符类型 (CHAR、VARCHAR、NCHAR、NVARCHAR2)
• 二进制数据类型 (BINARY、VARBINARY)
• 时间日期类型 (DATE、TIME、DATETIME、INTERVAL YEAR TO MONTH INTERVAL DAY TO SECOND)
• 大对象类型 (CLOB、BLOB、NCLOB、LONG、LONG RAW)