数据库-工具-otter部署

最新推荐文章于 2025-08-07 15:06:59 发布
原创 最新推荐文章于 2025-08-07 15:06:59 发布 · 1.9k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#mysql #运维

文章目录

之前对otter还是比较一知半解的，现在重新在虚拟机环境部署一套环境，并从搭建，配置上顺便描述下otter是怎么工作的。

otter环境部署&数据同步

先说下otter的部署包。

对于canal我们知道单机部署版本有2个部署包一个是canal-deployer，一个是canal-adapter（还有其他的如canal-admin）。canal-deployer实际即canal-server,工作时由canal-server创建canal-instance,由canal-instance连接一个数据源并模拟slave去dump日志binlog，canal-server会将binlog转换成内部数据结构Entry。canal-adapter是canal单机版本另一个部署包，其实也就是canal的消费端实现，canal-server可选择将Entry以tcp,mq等方式传递给canal-adapter，canal-adapter则负责应用到如数据库，es等等

otter是canal的消费端实现。同样有2个部署包，一个是manager-deployer（类似canal-admin）,一个是node-deployer。node-deployer才是canal的消费端，内部自带了一个canal-server，由canal-server拿到binlog转换成Entry，直接给到otter，otter转换自己的内部数据结构EventData后做后续的SETL。S(select)可以认为是转换EventData,这里其实还有封装Batch的操作（为了性能，打乱原有的事务，自己封装合并多条数据再向后传递）。E(extract)即对数据做一些自定义的转换，比如根据数据库数据发送文件，转换数据供T节点获取，视图转换等。我们目前没有比较特别的需求，基本就是做下数据转换供T节点获取，跨机器同步时会涉及ST节点间数据通过网络传输。T(transform)获取E节点的数据并向后传递。L(load)节点拿到数据后应用到数据库（没有实现其他的）。

otter和canal有个类似的问题，都会竞争得到运行，有可能导致压力集中在一台机器上。但相较来说，otter可以选择部分node，竞争只会发生在这些有权限的node中，而canal会在集群所有canal-server中竞争。

1. otter部署要求

  1. otter使用canal，一部分是canal的要求，如需要源数据库开启binlog，且提供有从库相应权限的用户供canal获取binlog。另外对于otter，必须配置为binlog_format必须配置为ROW
  2. otter使用zookeeper做分布式协调，对于双向同步需要跨机房的zookeeper集群来处理数据回环和一致性的问题
  3. 为了优化网络传输性能，ET节点之间数据传输对于HTTP模式需要安装aria2
  4. manager需要数据库来管理node
  5. 对于双A双向同步的数据库，还需要在双A的数据库各增加额外的表解决数据回环和一致性问题。
  6. otter是纯java语言开发，需要安装jdk，建议1.6.25以上
  7. otter使用4.2.18版本，内置canal 1.1.4

2. 部署步骤

2.1 环境

补充下，需要zk大集群环境，目前B机房测试的zk还给kafka使用，所以observer三个节点先去掉了。A,B机房的节点都注册到A机房集群上。

zookeeper:
	server.0=10.19.161.186:2888:3888
	server.1=10.19.161.187:2888:3888
	server.2=10.19.161.188:2888:3888
	# server.4=10.19.104.234:2888:3888:observer
	# server.5=10.19.104.235:2888:3888:observer
	# server.6=10.19.104.236:2888:3888:observer
	
manager:
	10.19.161.230			# http://10.19.161.230:8080 	admin/admin
	db: 10.19.161.232
node:
	10.19.161.230
	10.19.161.231
	10.19.104.237
	10.19.104.238

db:
	A: jdbc:mysql://10.19.161.232:3306/usercenter_0
	B: jdbc:mysql://10.19.104.240:3306/usercenter_0

2.2 部署manager

部署manager和node并启动

2.2.1 上传安装包

# 登录10.19.161.230
mkdir -p /u02/otter

# 上传node.deployer-4.2.18.tar.gz & manager.deployer-4.2.18.tar.gz 至/u02/otter

# 解压
mkdir -p /u02/otter/node
tar -zxvf /u02/otter/node.deployer-4.2.18.tar.gz -C /u02/otter/node/
mkdir -p /u02/otter/manager
tar -zxvf /u02/otter/manager.deployer-4.2.18.tar.gz -C /u02/otter/manager/

# 依次上传至10.19.161.231，10.19.104.237，10.19.104.238

依次上传至10.19.161.231，10.19.104.237，10.19.104.238

2.2.2 初始化manager数据库

manager-deployer压缩包没有初始化脚本，上git上拿一份 otter-manager-schema.sql。

# 连接10.19.161.232
# 执行otter-manager-schema.sql

2.2.3 启动manager

# 登录10.19.161.230
# 切换到manager目录
cd/u02/otter/manager

# 修改otter.properties
# vi conf/otter.properties
otter.domainName = 10.19.161.230
otter.database.driver.url = jdbc:mysql://10.19.161.232:3306/otter
otter.database.driver.username = otter
otter.database.driver.password = otter
otter.zookeeper.cluster.default = 10.19.161.186:2181,10.19.161.187:2181,10.19.161.188:2181

# 启动manager
 bin/startup.sh

2.2.4 设置node

补充下，需要zk大集群环境，目前B机房测试的zk还给kafka使用，所以observer三个节点先去掉了。A,B机房的节点都注册到A机房集群上。

# 登录http://10.19.161.230:8080
# 切换为管理员用户登录 admin/admin

# 添加AB机房zookeeper集群 
# 机器管理/Zookeeper管理
A:
	集群名称: A
	Zookeeper集群: 10.19.161.186:2181;10.19.161.187:2181;10.19.161.188:2181;	# 注意使用;分隔
	描述: A机房zk集群
B:
	集群名称: B
	Zookeeper集群: 10.19.104.234:2181;10.19.104.235:2181;10.19.104.236:2181;	# 注意使用;分隔， 
	描述: B机房zk集群
	
# 添加AB机房node机器（预先设置分配id，后面node启动需要） 
# 机器管理/Node管理
A-Node1:	# 添加完记录序号1，启动node需要这个序号
	机器名称: A-Node1
	机器IP: 10.19.161.230
	机器端口: 2088
	下载端口: 		# 默认
	Mbean端口:	  # 默认
	外部IP:		  # 外网需要
    启用外部IP: 否
    zookeeper集群: A
    描述: A机房Node节点1
A-Node2:	# 添加完记录序号2，启动node需要这个序号
	机器名称: A-Node2
	机器IP: 10.19.161.231
	机器端口: 2088
	下载端口: 		# 默认
	Mbean端口:	  # 默认
	外部IP:		  # 外网需要
    启用外部IP: 否
    zookeeper集群: A
    描述: A机房Node节点2
B-Node1:	# 添加完记录序号3，启动node需要这个序号
	机器名称: B-Node1
	机器IP: 10.19.104.237
	机器端口: 2088
	下载端口: 		# 默认
	Mbean端口:	  # 默认
	外部IP:		  # 外网需要
    启用外部IP: 否
    zookeeper集群: B		# 这里后面先换成A了
    描述: B机房Node节点1
B-Node2:	# 添加完记录序号4，启动node需要这个序号
	机器名称: B-Node2
	机器IP: 10.19.104.238
	机器端口: 2088
	下载端口: 		# 默认
	Mbean端口:	  # 默认
	外部IP:		  # 外网需要
    启用外部IP: 否
    zookeeper集群: B		# 这里后面先换成A了
    描述: B机房Node节点2

2.2.4 启动node

以A-Node1示例

# 登录10.19.161.230
# 切换node目录
cd /u02/otter/node

# 编辑otter.properties
# vi conf/otter.properties
otter.manager.address = 10.19.161.230:1099

# 创建nid
echo 1 > conf/nid	# 这里1 即上面manager配置node时分配的序号，node根据管理地址向manager注册时会根据序号校验ip等，而且程序中很多地方会需要根据序号取到对应的node

# 启动node
 bin/startup.sh

# 查看manager
# http://10.19.161.230:8080/node_list.htm
# A-Node1 已启动

依次再启动A-Node2,B-Node1,B-Node2

2.3 manager配置管理

设置同步的数据表和canal

2.3.1 数据源设置

设置AB机房待同步的数据源

# 登录manager http://10.19.161.230:8080/data_source_list.htm
# 配置管理/数据源配置
A-uc: 
	数据源名称: A-uc
	类型: MYSQL
	用户名: user		# 有select，connect权限就好了，用作反查数据库和应用数据库
	密码: passwd
	URL: jdbc:mysql://10.19.161.232:3306/usercenter_0	# 这里设置jdbc:mysql://10.19.161.232:3306好些，但是默认字符集是latin1，下面编码不支持，就指定数据库了
	编码: UTF8
	验证连接数据源: 恭喜，数据库通过验证！

B-uc: 
	数据源名称: B-uc
	类型: MYSQL
	用户名: user		
	密码: passwd
	URL: jdbc:mysql://10.19.104.240:3306/usercenter_0	# 注意，这里设置usercenter_0是需要已经先做一次数据全量备份恢复
	编码: UTF8
	验证连接数据源: 恭喜，数据库通过验证！

2.3.2 数据表配置

设置AB机房待同步的数据表

A:
	schema name: usercenter_0	# 也可以用 .* 全匹配
	table name: .*
	数据源: A-uc
	验证连接表: SELECT 未成功	# 配置单表的验证
	查询Schema&Table: 		# 列出usercenter_0下所有表

B:
	schema name: usercenter_0	# 也可以用 .* 全匹配
	table name: .*
	数据源: B-uc
	验证连接表: SELECT 未成功	# 配置单表的验证
	查询Schema&Table: 		# 列出usercenter_0下所有表

2.3.3 Canal配置

设置canal-instance，连接AB机房数据源。

# 连接对10.19.161.232，canal连接用户授权
# 比较尴尬，提供的ggs没有grant权限，需要root用户才行（虽然可以搞...但是算了吧...使用@汪松涛建的canal_sync用户）
# canal_sync/canal_sync

# 查询B机房binlog位点信息， 连接10.19.104.240
 show master status;	# File:mysql-bin.000001; Position:25363375

# canal配置
A-canal:
	canal名称: A-canal
	运行模式: 嵌入式
	zookeeper集群: A
	数据源类型: mysql
	数据库地址: 10.19.161.232:3306;
	数据库账号: canal		# 这里要用有从库权限可以dump日志的用户
	数据库密码: canal
	connectionCharset: UTF-8	# 获取binlog指定编码
	位点自定义设置: 是			 # 指定位置增量更新
		是否启用gtid位点: 是
		位点信息: {
   
   "journalName":"mysql-bin.000001","position":25363376};	# {"journalName":"","position":25363376,"timestamp":0};
	是否开启表结构TSDB: 否		  # 忘了是啥了，双A用？
	存储机制: memory			# memory即可，内嵌的canal，直接在内存转换
	内存存储batch获取模式: MEMSIZE	# 默认32M大小=记录数*记录大小，
	内存存储buffer记录数: 1024		# 默认32768，32M， 会需要aria2进行http传输，这里控制大小为1M(有用吗？)
	内存存储buffer记录单元大小: 1024
	HA机制: heartbeat
	是否开启心跳: 否
	其他参数设置:
		meta机制: mixed		# 订阅消费信息存储机制,otter只用了canal的memory，zookeeper & mix(PeriodMixedMetaManager:memory+zookeeper)
		索引机制: memory_meta_failback   # position存储机制，otter用了canal的memory,zookeeper,mix(PeriodMixedLogPositionManager:memory+zookeeper),meta,failback(FailbackLogPositionManager:memory+meta)
		服务端口: 11111
		默认连接超时: 30s
		sendBufferSize: 16384	# 16k
		receiveBufferSize: 16384 # 16k
		切换回退时间: 60			# 大概是切换canal要回退重推？
	过滤表达式: 					# 过滤binlog 
	描述信息: A机房canal

B-canal:
	canal名称: B-canal
	运行模式: 嵌入式
	zookeeper集群: B
	数据源类型: mysql
	数据库地址: 10.19.104.240:3306;
	数据库账号: canal		# 这里要用有从库权限可以dump日志的用户
	数据库密码: canal
	connectionCharset: UTF-8	# 获取binlog指定编码
	位点自定义设置: 否			 # 指定位置增量更新
		是否启用gtid位点: 否
		位点信息: 
	是否开启表结构TSDB: 否		  # canal管理源表结构信息存储，支持memory和database，开启会持久化在manager的数据库
	存储机制: memory			# memory即可，内嵌的canal，直接在内存转换
	内存存储batch获取模式: MEMSIZE	# 默认32M大小=记录数*记录大小，
	HA机制: heartbeat
	是否开启心跳: 否
	其他参数设置:
		meta机制: mixed		# 不知道是啥
		索引机制: memory_meta_failback   # 不知道是啥
		服务端口: 11111
		默认连接超时: 30s
		sendBufferSize: 16384	# 16k
		receiveBufferSize: 16384 # 16k
		切换回退时间: 60			# 大概是切换canal要回退重推？
	过滤表达式: 					# 过滤binlog 
	描述信息: B机房canal

2.3.4 主备设置

提供A机房主备数据库切换用，先不用这个

2.4 同步管理

设置开启AB机房数据同步

2.4.1 添加AB机房同步channel

参数说明见:Manager配置介绍

# 登录manager http://10.19.161.230:8080/channel_list.htm
# 同步管理/Channel管理

Channel:
	Channel Name: A<->B
	同步一致性: 基于当前日志变更
	同步模式: 列记录模式
	是否开启数据一致性: 是
		一致性算法:  单向回环补救
		一致性反查数据库延迟阀值(s): 60
	描述: AB机房同步Channel

2.4.2 设置AB同步管道

参数说明见:Manager配置介绍， Otter调度模型

# 登录manager http://10.19.161.230:8080/channel_list.htm
# 同步管理/Channel管理/Pipeline管理

A->B:
	Pipeline名字: A->B
	Select机器: A-Node1,A-Node2		# 看上去和 canal一样，不能指定优先node? 抢占式压力会抢在一台机器？
	Load机器: B-Node1,B-Node2
	并行度: 5						# 并行化调度参数，同时仅处理5个process，第一个process未Load，不会继续Select
	数据反查线程数: 10
	数据载入线程数: 15
	文件载入线程数: 15
	主站点: 是
	同步数据来源: Canal
	Canal名字: A-canal
	消费批次大小: 4000				# 使用otter文档推荐值
	获取批次数据超时时间(毫秒): 500		#
最低0.47元/天 解锁文章
Otter 安装流程
程序猿进阶
11-25 2511
随着公司的发展，订单库的数据目前已达到千万级别，需要进行分表分库，就需要对数据进行迁移，我们使用了。管理系统所需的各种表和索引的定义。这些表用于存储同步任务的配置信息、任务状态、日志等。，即可完成登录. 目前：匿名用户只有只读查看的权限，登录为管理员才可以有操作权限。，会列出所有历史的发布版本包下载方式，比如以。进行配置信息的存储，所以需要预先安装。的管理数据库表结构。的安装过程，希望对你有所帮助。以下是一个简化的示例，展示了。数据同步工具的管理数据库的。的页面，即代表启动成功。，不需要初始化节点，
服务器otter部署全流程
zll_1234的博客
05-18 1944
jdk安装包 链接:https://pan.baidu.com/s/16TaQgey-arlK6rw-nyz9rQ 密码:h7gp zookeeper安装包 链接:https://pan.baidu.com/s/1ahdf9YJIMj2LDYH_VaGtJA 密码:ccrh otter安装包 链接:https://pan.baidu.com/s/1eDl9nu6Jq_ZbW1KgLHw07g 密码:gk9z 一、安装jdk 1、查看是否存在 which java 2、卸载 mv /usr/bin/ja
otter安装部署
04-08
otter安装部署详细步骤，实现mysql复制同步，附带两个操作实例！
otter部署操作
11-07
里面有百度云连接,自行到连接下载需要的安装包,已经安装包有部修改,简化了一些安装步骤,和避免了一些容易犯的问题
otter部署【原创】
weixin_34092455的博客
05-09 402
环境IP：10.10.6.171 部署：mysql源库IP：10.10.6.172 部署：mysql目标库IP：10.10.6.173 部署：zookeeper，manager，node，canal （也都部署到源库服务器上） 由于otter进行数据库同步，目前仅支持row，所以需要把源库的binlog_format改为ROWlog-bin=mysql-binexpire_logs_day...
otter部署
u013471361的专栏
04-03 664
自定义处理Java类继承。
服务器otter部署-实现MySql数据同步
萧一旬
04-19 555
Otter数据库同步 资源下载 链接：https://pan.baidu.com/s/1P1nvfvkRSk_vZ4ulXbfTxg 提取码：rw55 Zookeeper 创建目录 新建data目录 解压并修改配置文件 进入zookeeper的conf目录，修改配置文件 将zoo_sample.cfg拷贝一份 cp zoo_sample.cfg zoo.cf...
数据库binlog同步工具--otter使用指南
黄河边上的牧马人
06-16 2732
一、 Otter简介 otter是一款基于Java且免费、开源基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库的解决方案。 官方描述： 阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，同时为了提升用户体验，整个机房的架构为双A，两边均可写，由此诞生了otter这样一个产品。 https://github.com/alibaba/otter 目前支持： 1. 单向同步， mysql/oracle互
otter部署文档说明
05-31
### Otter部署文档知识点 #### 一、Otter概述及工作原理 - **Otter**是一种用于实现跨数据中心或跨地域数据库同步的解决方案，主要基于阿里巴巴开源项目Canal来捕获MySQL实例的Binlog日志，并对这些日志进行解析...
Otter-4.2.13版本部署与数据库文件配置指南
文件“otter-manager-schema.sql”则是一个数据库脚本文件，通常用于创建或更新Otter管理器所需使用的数据库架构。 描述中还提到了两个优快云博客链接，这些链接中应当包含了关于如何配置Otter版本4.2.13的详细说明和...
Otter配置教程，otter从入门配置到高级配置
08-31
Otter配置教程，otter从入门配置到高级配置，适合入门学习以及配置参考
otter部署使用手册.zip
10-23
基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步管理系统
Otter 安装部署维护
fiendbaal的博客
12-24 2767
介绍 淘宝开源的产品，基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库，一个分布式数据库同步系统。 目前同步规模： 同步数据量6亿 文件同步1.5TB(2000w张图片) 涉及200+个数据库实例之间的同步 80+台机器的集群规模 工作原理 原理描述： 1.基于Canal开源产品，获取数据库增量日志数据。 2. 典型管理系统架构，manager(web管理)+node(工作节点) a. manager运行时推送同步配置到node节点 b. node节点将同步状态反馈
mysql 双向镜像_mysql双A同步搭建Otter一键部署教程
weixin_39955938的博客
02-01 317
Ottter是由阿里巴巴开源的一个数据同步产品,它的最初的目的是为了解决跨国异地机房双A架构,两边可写的场景，目前阿里巴巴B2B内部的本地/异地机房的同步需求基本全上了Otter。Otter基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统。Otter应用场景1、异构库同步Otter支持从Mysql同步到Mysql/oracle,我们可...
mysql otter安装部署
DBASpace的博客
03-02 1086
mysql环境已经都安装就绪otter用的mysql库的用户权限配置：grant all privileges on *.* to 'canal'@'%'identified by 'canal';grant all privileges on *.* to'canal'@'localhost' identified by 'canal';delete from user where user='...
Otter分布式数据库同步管理系统部署使用指南
最新发布
weixin_35950531的博客
08-07 481
Otter是一个开源的分布式数据库同步工具，主要用于解决数据库的主从复制和读写分离的问题。它支持MySQL、MongoDB、Redis等多种数据源，同时提供了丰富的API接口，方便用户扩展功能。在特定情况下，内置的同步功能可能无法满足所有需求，此时，Otter允许用户扩展自定义同步插件来实现特定的同步逻辑。插件开发流程：插件通常包含数据读取、处理和写入三个步骤，用户需要根据实际需求来编写这部分逻辑。插件接口规范。
Otter-安装配置
eagle89的专栏
03-10 4553
前言 工作原理 原理描述： 基于Canal开源产品，获取数据库增量日志数据。 什么是Canal, Canal是拉去源库binlog日志的，跟从库功能类似。 典型管理系统架构，manager(web管理)+node(工作节点) a. manager运行时推送同步配置到node节点 b. node节点将同步状态反馈到manager上 基于zookeeper，解决分布...
otter安装
u012689336的专栏
12-08 4476
译意： 水獭，数据搬运工 语言： 纯java开发 定位： 基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统 otter的环境需要：mysql，jdk，zookeeper，node，aria2，manager otter安装需要三台机器，我实现的是两台机器之间的Mysql数据库同步，即双写同步，zookeeper集群。
Otter容器化部署问题总结
super_scan的专栏
09-26 1283
1、docker部署时网页链接使用了docker 容器 ip，导致不通将 网页链接使用的域名和端口通过环境变量传入覆盖下，需要修改app.sh覆盖otter.properties文件中的o...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

theskyzero

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值