达梦DRS数据分发

最新推荐文章于 2025-04-11 13:54:26 发布
最新推荐文章于 2025-04-11 13:54:26 发布
阅读量685 收藏 8
点赞数 15
文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ljjswd/article/details/144978501
版权

目录

1 场景规划

2.开启源数据库的归档和逻辑日志

3.配置DMDRS服务

3.1配置DMDSS服务

3.2 配置源DMDRS服务

3.3 配置目标DMDRS A服务

3.4 配置目标DMDRS B服务

4 运行DMDRS服务

4.1 启动DMDSS服务

4.2 启动源DMDRS服务

4.3 启动源DMDRS服务中的CPT模块

4.4 启动目标DMDRS A服务

4.5 启动目标DMDRS A服务中的EXEC模块

4.6 启动目标DMDRS B服务

4.7 启动目标DMDRS B服务中的EXEC模块

4.8 验证同步结果

5.源端查看字典

使用DSS模块部署DMDRS同步链路，源端DM库同步A、B表到目的端DM库1，同步C、D表到目的端DM库2；

1 场景规划

业务规划

  • 源DMDRS：捕获源数据库的数据，将捕获到的数据发送到DMDSS。

  • DMDSS：缓存数据流并向目标DMDRS A和目标DMDRS B分发数据。

  • 目标DMDRS A：将接收的数据复制到目标数据库A。

  • 目标DMDRS B：将接收的数据复制到目标数据库B。

网络规划

DMDRS服务IP地址和端口站点号连接数据库说明
源DMDRS192.168.20.24:53451源数据库 DM8
192.168.20.24:5236		源DMDRS服务器需要安装DMDPI驱动与源数据库DM8连接。
DMDSS192.168.20.23:53452//
目标DMDRS A192.168.20.21:53453目标数据库A DM8
192.168.20.21:5236		目标DMDRS A服务器需要安装DMDPI驱动与目标数据库A DM8连接。
目标DMDRS B192.168.20.22:53454目标数据库B DM8
192.168.20.22:5236		目标DMDRS B服务器需要安装DMDPI驱动与目标数据库B DM8连接。

目录规划

源数据库、源DMDRS服务、DMDSS服务、目标DMDRS A服务和目标DMDRS B服务相关的目录规划如下表所示。

目录类型目录名目录示例
源数据库数据库归档文件目录/dm8data/arch
数据库DDL同步脚本目录/home/dmdrs/dmdrs5/bin/scripts
源DMDRS安装目录/home/dmdrs/dmdrs5
执行程序目录/home/dmdrs/dmdrs5/bin
配置文件路径/home/dmdrs/dmdrs5/bin/cpt.xml
服务脚本模板目录/home/dmdrs/dmdrs5/bin/service_template
服务脚本目录/home/dmdrs/dmdrs5/bin
console远程控制工具/home/dmdrs/dmdrs5/bin
DMDSS安装目录/home/dmdrs/dmdrs5
执行程序目录/home/dmdrs/dmdrs5/bin
配置文件路径/home/dmdrs/dmdrs5/bin/dssa.xml
服务脚本模板目录/home/dmdrs/dmdrs5/bin/service_template
服务脚本目录/home/dmdrs/dmdrs5/bin
日志流的存储路径/home/dmdrs/dmdrs5/bin/logfile
目标DMDRS A安装目录/home/dmdrs/dmdrs5
执行程序目录/home/dmdrs/dmdrs5/bin
配置文件路径/home/dmdrs/dmdrs5/bin/exec.xml
服务脚本模板目录/home/dmdrs/dmdrs5/bin/service_template
服务脚本目录/home/dmdrs/dmdrs5/bin
console远程控制工具/home/dmdrs/dmdrs5/bin/drcsl
目标DMDRS B安装目录/home/dmdrs/dmdrs5
执行程序目录/home/dmdrs/dmdrs5/bin
配置文件路径/home/dmdrs/dmdrs5/bin/exec.xml
服务脚本模板目录/home/dmdrs/dmdrs5/bin/service_template
服务脚本目录/home/dmdrs/dmdrs5/bin
console远程控制工具/home/dmdrs/dmdrs5/bin/drcsl

2.开启源数据库的归档和逻辑日志

以动态修改的方式开启源数据库的归档和逻辑日志。

  1. 挂载源数据库。

    SQL> alter database mount;

  2. 源数据库添加归档日志配置项。

    SQL> alter database add archivelog 'DEST=<归档文件路径>,TYPE=LOCAL,FILE_SIZE=512,SPACE_LIMIT=10240';

  3. 源数据库应用配置项修改。

    SQL> alter database archivelog;

  4. 开启源数据库。

    SQL> alter database open;

  5. 配置源数据库逻辑日志。

    SQL> call sp_set_para_value(1,'RLOG_APPEND_LOGIC',1);

在源数据库执行“ddl_sql_dm8.sql”脚本创建辅助表，脚本默认位置在DMDRS执行程序目录下的scripts子目录中。

SQL> start ddl_sql_dm8.sql

3.配置DMDRS服务

3.1配置DMDSS服务

在DMDSS服务的配置文件目录，打开并修改dss.xml配置文件，修改后配置文件如下所示。

<?xml version="1.0" encoding="GB18030"?>
<drs>
    <base>
        <mgr_port>5345</mgr_port>	
        <siteid>2</siteid>
    </base>
    <dss>
        <name>dss_dm8</name>
        <dir>/home/dmdrs/dmdrs5/bin/logfile</dir>
    </dss>
</drs>

3.2 配置源DMDRS服务

在源DMDRS服务的配置文件目录，打开并修改cpt.xml配置文件，修改后配置文件如下所示。

<?xml version="1.0" encoding="GB18030"?>
<drs>
    <base>
        <mgr_port>5345</mgr_port>     
        <siteid>1</siteid>
    </base>
    <cpt>
        <name>cpt_dm8</name>
        <login>
            <dbtype>dm8</dbtype>
            <server>192.168.20.24</server>
            <user>DMDRS</user>
            <pwd>DMDRS</pwd>
            <port>5236</port>
        </login>
        <send>
            <ip>192.168.20.23</ip>
            <port>5345</port>
            <target_name>dss_dm8</target_name>
            <map>
                <item>*.*==*.*</item>
            </map>
        </send>
    </cpt>
</drs>

3.3 配置目标DMDRS A服务

在目标DMDRS A服务的配置文件目录，打开并修改exec.xml配置文件，修改后配置文件如下所示。

<?xml version="1.0" encoding="GB18030"?>
<drs>
    <base>
        <mgr_port>5345</mgr_port>
        <siteid>3</siteid>
    </base>
    <exec>
        <name>exec_dm8</name>
        <dss>
        	<item>
            	<name>dss_dm8</name>
            	<ip>192.168.20.23</ip>
                <port>5345</port>
                <topic>cpt_dm8</topic>
                <map>
                    <item>DMDRS.A==DMDRS.A</item>
                    <item>DMDRS.B==DMDRS.B</item>
                </map>
        	</item>
        </dss>
        <login>
            <dbtype>dm8</dbtype>
            <server>192.168.20.21</server>
            <user>DMDRS</user>
            <pwd>DMDRS</pwd>
            <port>5236</port>    
        </login>
        <group>
            <item>
                <id>35</id>
                <exec_policy>0</exec_policy>                    
                <desc>
                    <table>*.*</table>
                </desc>
            </item>
        </group>
    </exec>
</drs>

3.4 配置目标DMDRS B服务

在目标DMDRS B服务的配置文件目录，打开并修改exec.xml配置文件，修改后配置文件如下所示。

<?xml version="1.0" encoding="GB18030"?>
<drs>
    <base>
        <mgr_port>5345</mgr_port>
        <siteid>4</siteid>
    </base>
    <exec>
        <name>exec_dm8</name>
        <dss>
        	<item>
            	<name>dss_dm8</name>
            	<ip>192.168.20.23</ip>
                <port>5345</port>
                <topic>cpt_dm8</topic>
                <map>
                    <item>DMDRS.C==DMDRS.C</item>
                    <item>DMDRS.D==DMDRS.D</item>
                </map>
        	</item>
        </dss>
        <login>
            <dbtype>dm8</dbtype>
            <server>192.168.20.22</server>
            <user>DMDRS</user>
            <pwd>DMDRS</pwd>
            <port>5236</port>    
        </login>
        <group>
            <item>
                <id>35</id>
                <exec_policy>0</exec_policy>                    
                <desc>
                    <table>*.*</table>
                </desc>
            </item>
        </group>
    </exec>
</drs>

4 运行DMDRS服务

按照服务的运行顺序，启动DMDSS服务、源DMDRS服务、目标DMDRS A服务和目标DMDRS B服务。

4.1 启动DMDSS服务

  1. 将服务脚本模板TemplateService拷贝到服务脚本目录并修改服务脚本的名称为DssService。

    $ cp TemplateService ../DssService

  2. 打开并修改DssService服务脚本中的相关配置参数。

    $ vi DssService

    INSTALL_HOME=/home/dmdrs/dmdrs5
PROG_DIR=/home/dmdrs/dmdrs5/bin
CONF_PATH=/home/dmdrs/dmdrs5/bin/dss.xml
EXEC_PROG_NAME=dsssvr
SERVICE_TYPE_NAME="dss server"

  3. 启动DMDSS服务。

    $ ./DssService start

4.2 启动源DMDRS服务

  1. 将服务脚本模板TemplateService拷贝到服务脚本目录并修改服务脚本的名称为DrsService。

    $ cp TemplateService ../DrsService

  2. 打开并修改DrsService服务脚本中的相关配置参数。

    $ vi DrsService

    INSTALL_HOME=/home/dmdrs/dmdrs5
PROG_DIR=/home/dmdrs/dmdrs5/bin
CONF_PATH=/home/dmdrs/dmdrs5/bin/cpt.xml
EXEC_PROG_NAME=drsvr
SERVICE_TYPE_NAME="drs server"

  3. 启动源DMDRS服务。

    $ ./DrsService start

4.3 启动源DMDRS服务中的CPT模块

使用服务脚本启动服务后，需要使用远程控制台对服务中的模块执行启动命令。

  1. 启动控制台。

    $ ./drcsl cpt.xml

  2. 连接源DMDRS服务。

    CSL> connect

  3. 设置数据库当前最新的日志LSN作为日志解析的起始位置。

    CSL> alter cpt_dm8 set lsn

  4. 启动源DMDRS服务中的CPT模块。

    CSL> start

  5. 将源数据库中”RESOURCES“模式下所有的表添加同步，并在同步之前把源端表的全量数据装载到目标数据库。

    CSL> alter cpt_dm8 add table "sch.name='RESOURCES'"

  6. 使用命令查看数据装载的监控信息

4.4 启动目标DMDRS A服务

  1. 将服务脚本模板TemplateService拷贝到服务脚本目录并修改服务脚本的名称为DrsService。

    $ cp TemplateService ../DrsService

  2. 打开并修改DrsService服务脚本中的相关配置参数。

    $ vi DrsService

    INSTALL_HOME=/home/dmdrs/dmdrs5
PROG_DIR=/home/dmdrs/dmdrs5/bin
CONF_PATH=/home/dmdrs/dmdrs5/bin/exec.xml
EXEC_PROG_NAME=drsvr
SERVICE_TYPE_NAME="drs server"

  3. 启动目标DMDRS A服务。

    $ ./DrsService start

4.5 启动目标DMDRS A服务中的EXEC模块

使用服务脚本启动服务后，需要使用远程控制台对服务中的模块执行启动命令。

  1. 启动控制台。

    $ ./drcsl exec.xml

  2. 连接目标DMDRS服务。

    CSL> connect

  3. 启动目标DMDRS A服务中的EXEC模块。

    CSL> start

4.6 启动目标DMDRS B服务

  1. 将服务脚本模板TemplateService拷贝到服务脚本目录并修改服务脚本的名称为DrsService。

    $ cp TemplateService ../DrsService

  2. 打开并修改DrsService服务脚本中的相关配置参数。

    $ vi DrsService

    INSTALL_HOME=/home/dmdrs/dmdrs5
PROG_DIR=/home/dmdrs/dmdrs5/bin
CONF_PATH=/home/dmdrs/dmdrs5/bin/exec.xml
EXEC_PROG_NAME=drsvr
SERVICE_TYPE_NAME="drs server"

  3. 启动目标DMDRS B服务。

    $ ./DrsService start

4.7 启动目标DMDRS B服务中的EXEC模块

使用服务脚本启动服务后，需要使用远程控制台对服务中的模块执行启动命令。

  1. 启动控制台。

    $ ./drcsl exec.xml

  2. 连接目标DMDRS服务。

    CSL> connect

  3. 启动目标DMDRS B服务中的EXEC模块。

    CSL> start

4.8 验证同步结果

在源数据库中”RESOURCES“模式下所有的表中分别插入数据，如果插入的数据能正确地同步到目标数据库A和目标数据库B，则表示数据同步成功。

5.源端查看字典

结果说明

参数说明
序号从装载线程启动开始，第几个装载命令产生的装载表。
模式名装载字典所属的模式名。
表名装载字典的表名。
表ID装载表的ID。
时间字典装载开始的时间。
状态
  • COMPLETE：已完成装载。
  • ERROR：装载错误。

DM8:达梦数据库读写分离集群搭建
qq_37358909的博客
11-14 2964
达梦数据库：读写分离集群搭建–> 介绍： 读写分离集群由一个主库以及一个或者多个配置了即时（Timely）归档或实时（Realtime）归档的备库组成，其主要目标是在保障数据库可用性基础上，实现读、写操作的自动分离，进一步提升数据库的业务支撑能力。读写分离集群通过配置事务一致模式保证主、备库数据一致性，并配合达梦数据库管理系统的各种接口（JDBC、DPI等），将只读操作自动分流到备库，有效降低主库的负载，提升系统吞吐量。.........
达梦数据库（七）DMDRS部署使用
k15260637027的博客
06-25 1478
数据同步工具dmdrs使用
达梦数据库DRS升级
qq_49758429的博客
12-05 302
设置数据库当前最新的日志LSN作为日志解析的起始位置。如需指定归档文件作为起始位置，需要指定固定某lsn。选择安装路径（自定义，和旧路径区分）---前台启动确定备份目录可以正常启动。启动源DMDRS服务中的CPT模块。连接源DMDRS服务。
达梦(DRS)套件配置流程
m0_49267280的博客
03-05 728
该文章主要为介绍达梦新一代数+套件工具使用方法
达梦drs工具实现mysql到dm8数据复制及注意点
qq_49758429的博客
11-17 1576
设置源DMDRS服务的运行用户对服务所在目录及子目录的读、写和执行权限，并设置运行用户同数据库归档文件所在目录属同一用户组，此用户组应对归档文件所在目录及子目录有读权限。在源DMDRS服务器的环境变量中添加MySQL C API驱动文件路径，目标DMDRS服务器的环境变量中添加DMDPI驱动文件路径。以下DMDRS服务的配置文件仅为示例，在实际应用场景中，请根据实际搭建环境修改配置文件中的参数配置。在源DMDRS服务的配置文件目录，打开并修改cpt.xml配置文件，修改后配置文件如下所示。
DFM搭建及部署DRS
苏桐
12-27 833
DFM搭建及部署DRS。
DRS部署(DM8-DM8)
qq_56594426的博客
09-17 1233
DRS数据同步（dm8 到 dm8)本文详细介绍了dm8 到 dm8 的数据同步安装部署过程。建议虚拟机内存30G。
学习软件_电脑学习_DRS数据回归免费下载.zip
07-16
为了让更多的电脑学习者能够轻松掌握这一技术，一款名为“学习软件_电脑学习_DRS数据回归”的软件应运而生，它不仅是学习工具，更是一扇通往数据世界的窗口。 这款软件的出现，无疑是为初学者打开了一扇大门。对于...
DRS数据恢复系统：多功能专业级数据恢复工具
资源摘要信息:"034：DRS.Data.Recovery.System.**.*.*.***一款专业级的多功能数据恢复工具.rar" DRS.Data.Recovery.System.**.*.*.***是一款面向计算机数据恢复需求的专业级软件工具。它的设计旨在解决个人用户及...
达梦数据库DMTDD部署测试记录
xufei_9527的博客
04-15 806
一、安装计划 DM透明分布式数据库（DM Transparent DistributedDatabase，简称DMTDD），由计算层、日志层、存储层和目录服务器构成。其中，日志层（DRS、DRAS）、存储层（DSS）和目录服务器（DCS）的各组件共同构成分布式文件系统DFS。本次以“DFS+DMDSC”架构为例进行部署测试。 通过本次实验，加深对主备守护集群（DCS日志服务器集群）和DMDSC（共享存储集群）的认识，了解DFS分布式文件系统架构。 说明：为节省系统资源，快速部署测试环境，使用Cent.
DRS.rar_drs_drs 分离_离散随机分离_随机分离DRS
09-23
离散随机分离（Discrete Random Separation，简称DRS）是一种在信号处理和数据分析领域广泛应用的技术，主要用于处理和分析复杂的多变量数据集。这个技术基于概率论和统计学原理，通过对数据进行离散化和随机化操作...
达梦DRS同步操作,源端Oracle19c,目标端DM8
ljjswd的博客
01-03 1094
网络规划DMDRS服务IP地址和端口站点号连接数据库说明源DMDRS1源数据库 Oracle网络服务名：orcl源DMDRS服务器需要安装OCI驱动与源数据库Oracle连接。目标DMDRS2目标数据库 DM8网络服务名：orcl目标DMDRS服务器需要安装OCI驱动与目标数据库Oracle连接。目录规划源数据库、源DMDRS服务和目标DMDRS服务相关的目录规划如下表所示。目录类型目录名目录示例源数据库数据库归档文件目录源DMDRS服务安装目录。
达梦高可用整理
夏洛的克
11-11 2918
DMDSC 集群是一个多实例、单数据库的系统。多个数据库实例可以同时访问、修改同 一个数据库的数据。用户可以登录集群中的任意一个数据库实例，获得完整的数据库服务。数据文件、控制文件在集群系统中只有一份，不论有几个节点，这些节点都平等地使用这些文件，这些文件保存在共享存储上。每个节点有自己独立的联机日志和归档日志，其中联机日志保存在共享存储上，归档日志可以保存在本地存储上也可以保存在共享存储上。DMCSS 是 DM 集群同步服务的简称，是 DMDSC 集群应用的基础，使用 DMDSC 集群或者DMASM 集群
达梦DBLINK(外部连接)的使用
aa0597的博客
07-31 2517
外部链接简介      达梦数据库的外部链接是一种数据库的实体对象，记录了远程数据库的连接信息，用于建立与远程数据的联系。用户可以通过数据库的外部链接对象透明地操作远程数据库的数据，对远程数据库的表进行查询和增删改操作，也可以调用远程的存储过程。数据库的外部链接对象可以是公用的（数据库中所有用户使用），也可以是私有的（特定用户使用）。 同构外部链接—DM 到DM      以下操作步骤用于创建 DM 到 D
达梦DTS工具迁移阿里云RDS MySQL8.0数据至DM7
weixin_39766655的博客
10-08 531
一、工具介绍 DM 数据迁移工具DTS ，提供了主流大型数据库迁移到 DM、DM 到 DM、文件迁移到 DM 以及 DM 迁移到文件等功能。 DM 数据库对目前主流大型关系型数据库系统有着业界领先的兼容性，在存储层面、语法层面、接口层面和它们保持高度兼容，借助于 DM 图形界面，采用向导方式引导各个迁移步骤的 DTS 工具，移植工作可以变得非常的简单。 二、创建迁移任务 DTS工具目录，位于DM数据库安装目录下的tool子目录里，该工具需要窗口桌面功能支持。 基于linux版本： cd $dir.
C++学习之ORACLE③
最新发布
qq_27302885的博客
04-11 616
C++学习之ORACLE③
MySQL UPDATE 更新数据
wangjinjin180的博客
04-08 790
UPDATE。
SQL基础教程：从入门到精通
2303_77248325的博客
04-11 184
SQL（Structured Query Language）是一种结构化查询语言，用于操作数据库。它被广泛应用于各种数据库管理系统中，如MySQL、PostgreSQL、Oracle等。SQL是一种强大的数据库查询语言，广泛应用于各种数据库管理系统中。通过本文的学习，您应该已经掌握了SQL的基本语法和常用命令，包括数据库和表的管理、数据的插入、查询、更新和删除等操作。此外，本文还介绍了索引、事务管理、存储过程等高级特性，以及SQL性能优化的相关内容。希望这些知识能帮助您在实际项目中更好地管理和操作数据库。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值