GBase RTSync 优化参数

最新推荐文章于 2024-02-19 15:44:02 发布
原创 最新推荐文章于 2024-02-19 15:44:02 发布 · 689 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#sql #数据库 #数据仓库 #分布式 #database

本文介绍如何通过调整GBaseRTSync同步工具的关键参数来提升数据同步性能，包括增大缓存最大数据量、设置大事务拆分阈值及优化事务分包大小。

为提高GBase RTSync同步工具的同步性能，建议对如下参数进行优化

参数名参数含义建议值

cacheMaxSize

事务缓存在内存中的最大数据量，单位为Byte，默认大小为100MB。

超过该大小的事务会落地到磁盘中。

在服务器性能允许的情况下，增加该值可以避免数据落地，从而提高同步性能。

2147463480

transMaxCount

大事务拆分功能，如果事务条数超过指定配置大小，将会按照该条数将事务分为多个小事务。

默认100000，目前仅oracle支持

1000000

packetMaxSize

事务分包读取的最大数据量，单位为Byte，默认大小为5MB。

如果单条数据超过该大小，则保证该条数据的完整。

100000
GBase RTSync同步工具应用
qq_39280087的博客
05-22 579
最近在项目中需要使用到该工具进行增量数据的同步。 部署环境 按照手册中的要求，使用了三台服务器，用于部署Zookeeper和Kafka，这三台服务器的ip为192.168.2.201,192.168.2.202,192.168.2.203。RTSync可以与Zookeeper和Kafka共用一台服务器，因此部署在201上。 环境及工具安装 安装Zookeeper，将Zookeeper安装到三台服务器上，可参考网上的教程； 安装Kafka，将Kafka安装的三台服务器上，可参考网上的教程； 将RT
Gbase 8a MPP Cluster维护过程中可能遇到的故障管理（五）
huixinhuiyismile的博客
05-07 1201
管理工具 1 在集群中使用 hint 优化，没有效果 问题现象 在集群中使用 hint 优化，没有效果。 解决方法 在登录数据库时，需要加入-c 参数才能使优化起作用， gccli–uroot–c即可。 2 gccli 采用重定向方式执行 sql 报语法错误 问题现象 gccli 采用重定向方式（gccli ......<*.sql）执行 sql 时，sql文件中某行被截断报语 法错误。 解决方法 使用 source 方式，gccli-e"source*.sql" ..
GBase RTSync 同步工具产品架构介绍
10-31 760
GBase RTSync 同步工具现在支持的同步数据库及中间包含：Oracle数据库，Mysql数据库，Infomix数据库，SQLServer数据库以及Kafka中间件等。同步工具总体采用分布式组件架构模式，将整个系统分为多个分布式组件，每个组件根据所处的部署位置，提供不同的服务，通过组件的交互实现完整的数据同步功能。从消息队列组件中获取协议数据，并根据目标库的类型，组织和优化数据，将数据写入目标数据库；启、停和监控数据捕获、投递组件，校验源和目标端数据同步相关配置信息。
GBASE南大通用同步工具 RTSync 使用简述（2）
最新发布
weixin_47390342的博客
02-19 1140
至此，一个RTSync同步环境就搭建完成了，在使用的过程中，很多小伙伴感觉同步工具使用复杂，其主要原因是因为RTSync的使用需要对关联模块具备相应的理解和理论知识，比如源端数据库日志开启，用户权限配置，kafka环境搭建即配置，8a consumer创建及配置，去除这些依赖模块，RTSync的配置及使用还是比较简单的，一般场景下就是把上面提到的两个配置文件配置好了，各位小伙伴还是要多操作，积累在不同场景下使用配置的经验，就可以很好的操作RTSync了。
GBase 数据同步工具RTSync
huixinhuiyismile的博客
08-12 740
南大通用实时同步系统，简称：GBase RTSync，它是一款自主研发的异构同构数据库增量数据实时同步产品，具备实时性、一致性、精准性、易扩展 性和可集成特性，适用亍 OLTP 数据库不 OLAP 数据库联劢向应用系统提供数据管理和数据分析功能的业务场景，可以实现将 OLTP 数据库的数据实时同步到 OLAP 数据库，从而使得 OLAP 数据库具备了实时数据分析的基础，解决数据增量同步问题，能够有效提升数据仓库系统、BI 系统和决策支持系统的数据分析效率和及时性。...
GBase 8s RTSync服务端口介绍（一）
qq_39280087的博客
06-23 685
RTSync涉及多个组件，组件间交互以及与外界通信时都涉及通信端口。一般企业用户为了安全性，对端口访问都是有严格限制的，故部署RTSync前一般需要提前规划给RTSync使用及需要访问的服务端口。本节主要介绍RTSync使用的各类服务端口。RTSync服务端口我们将其分为两类：1）RTSync服务自身使用的服务端口2）RTSync访问其他组件，比如不同的数据源包括kafka，数据库，文件系统等，这些组件对外提供的端口,RTSync需要有访问权限。本节主要介绍第一类服务端口。RTSync自身服务端口主要在如下
GBase RTSync工具部署指南：从8s到8a
"GBase RTSync工具的快速部署文档，主要描述了如何在GBase 8s和GBase 8a之间配置和使用RTSync工具进行数据同步，涉及配置CDC接口、安装部署以及配置同步工具的相关参数。" GBase RTSync工具是用于数据库间实时数据...
GBase8s RTSync: 数据库增量同步工具实战指南
GBase8s同步使用手册是一份详尽的文档，介绍了如何利用南大通用数据技术股份有限公司开发的RTSync工具实现数据库源（例如源GBase8s）到目标GBase8s数据库的增量DML数据同步。RTSync是一个功能丰富的数据同步软件，它...
精选资源
GBase8s 同步使用手册.docx
12-23
GBase8s 同步使用手册详细介绍了如何使用南大通用数据技术股份有限公司开发的准实时同步软件工具 RTSync，将 GBase8s 数据库源的数据增量同步至 GBase8s 数据库目标。RTSync 包含五个主要功能模块：读数据组件、消息...
GBase RTSync 产品平台和指标和关键技术
weixin_62941622的博客
12-02 2594
一. 产品架构： GBase RTSync 实时同步系统由四个子系统组件组成，分别是数据捕获组 件、消息队列组件、数据投递组件和管理组件 ：  数据捕获组件，从数据源获取并解析增量数据逻辑日志，按照特定的 协议标准封装后发送给消息队列；  消息队列组件，传输和缓冲数据捕获组件发送的数据。目前支持 Kafka 以及 Rabbit MQ，两者均可保证高可用；  数据投递组件，从消息队列组件中获取协议数据，并根据目标库的类 型，组织和优化数据，将数据写入目标数据库；  管理组件，启、停和监控数据捕获、投
GBase RTSync工具快速部署（一）
05-24
GBase RTSync工具快速部署（一）
GBase RTSync 专题--RTSync配置(完结)
Mr_dar的博客
02-22 499
今天到了RTSync配置专题的最后一章，同步的表配置，如果不配置该部分，那么就会自动进行库级别所有表的同步。 详细的配置样例如下： <tables isInclude="true"> <table topicname="topicname1" isContinueSyncWhileError="false" deleteMode="NORMAL" sourceTableName="t1" sourcePkColName="" targetTableName="t1" ta
南大通用GBase 8a 数据库数据同步工具RtSync介绍
老紫竹的专栏
09-27 1566
转自优快云论坛https://bbs.youkuaiyun.com/topics/397766110 南大通用实时同步系统，简称：GBaseRTSync，它是一款自主研发的异构同构数据库增量数据实时同步产品，具备实时性、一致性、精准性、易扩展性和可集成特性，适用亍OLTP数据库不OLAP数据库联劢向应用系统提供数据管理和数据分析功能的业务场景，可以实现将OLTP数据库的数据实时同步到OLAP数据库，从而使得OLAP数据库具备了实时数据分析的基础，解决数据增量同步问题，能够有效提升数据...
GBase RTSync 专题--RTSync配置(二)
Mr_dar的博客
02-22 491
本章继续教大家介绍第一个重要配置文件config_task.xml的中【manager】的配置方法。 【manager】代表的是同步工具管理组件的配置信息，其相关配置样例如下： <manager ip="192.168.4.179" port="9432" heartbeatPort="9000" httpPort="8080" isTableHotPatch="true" useErrorDataRecovery="true"/> 各项配置选项解释如下： 配置选项 选项说明
GBase 8s RTSync服务端口介绍（二）
qq_39280087的博客
06-23 390
上一节我们介绍到RTSync服务端口分为两类，其如下：1）RTSync服务自身使用的服务端口2）RTSync访问其他组件，比如不同的数据源包括kafka，数据库，文件系统等，这些组件对外提供的端口,RTSync需要有访问权限。RTSync自身使用的服务端口已经介绍完毕，本节我们将介绍RTSync使用的第二类服务端口。RTSync作为数据同步软件，其数据源支持多种事务型数据库，kafka，以及文件系统。本节主要介绍在使用这些数据源时涉及访问的端口。3）其他数据源：暂不需要配置端口服务。以上为不同数据源下需要可
GBase RTSync 关键技术
zgp_5715116的博客
06-15 262
GBase RTSync 关键技术
GBase 8a 主备双活同步工具
GNAIXGNAHZ的博客
06-08 322
GBase 8a 主备双活同步工具
走进GBase 8s之数据同步工具（1）
gbase_a_s_c_d的博客
03-30 967
事务型数据库之间增量数据同步 GBase 8s的RTSync组件基于数据库逻辑日志的实现同构数据库和异构数据库的增量准实时同步模块，能够实现GBase 8s 到 GBase 8s、GBase xdm、kafka、文件等数据的增量准实时同步。具备以下特性： 实时性：RTSync通过流模式实现源数据库到目标数据库的实时数据同步，确保上层业务系统能够通过目标数据库获取实时业务数据； 灵活性：既支持独立部署，完成从源数据库到目标数据库的数据同步；也支持部署部分组件，完成从源数据库捕获增量数据到消息..
GBase南大通用 rtsync同步mysql
wangfengqichen的博客
12-26 527
rtsync同步工具使用
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值