【otter】otter安装

最新推荐文章于 2026-01-08 15:41:03 发布

转载最新推荐文章于 2026-01-08 15:41:03 发布 · 131 阅读

文章标签：

#大数据 #数据库

本文详细介绍Otter数据同步系统的部署流程，包括Zookeeper集群、Manager及Node的安装配置，并解释了各组件的作用及配置要点。

基本架构

1.规划

因为主机有限只有三台机器，现在做出如下规划
ip以及安装的软件

7.111	7.112	7.113
Mysql 源库	mysql 目标库	zookeeper
node	node	manager + mysql（存otter配置信息）

2. 安装zookeeper

参考博文：http://blog.sina.com.cn/s/blog_6f6bc30e0101pb13.html
编译安装：
# 解压缩
tar zxvf zookeeper-3.4.5-cdh4.3.0.tar.gz && mv zookeeper-3.4.5-cdh4.3.0 /data/app/zookeeper
cd !$
mv conf/zoo_sample.cfg conf/zoo.cfg
修改conf/zoo.cfg配置文件：
dataDir=/data/app/zookeeper/data
autopurge.purgeInterval=1
修改bin/zkEnv.sh脚本：
将ZOO_LOG_DIR="."修改为ZOO_LOG_DIR="/data/app/zookeeper/data"
将ZOO_LOG4J_PROP=”INFO,CONSOLE”修改为ZOO_LOG4J_PROP="INFO,ROLLINGFILE"
修改bin/zkServer.sh脚本：
将ZOOBIN="${BASH_SOURCE-$0}"修改为ZOOBIN=`readlink -f "${BASH_SOURCE-$0}"`
增加一行环境变量SERVER_JVMFLAGS="-Xms4096m -Xmx4096m"，设定进程内存
修改bin/zkCli.sh脚本：
将ZOOBIN="${BASH_SOURCE-$0}"修改为ZOOBIN=`readlink -f "${BASH_SOURCE-$0}"`
建立软连接到PATH：
ln -s /data/app/zookeeper/bin/zkServer.sh /usr/local/bin/zk-server
ln -s /data/app/zookeeper/bin/zkCli.sh /usr/local/bin/zk-cli
mkdir data
echo 1 > data/myid 将本节点id设定到data/myid文件中
服务启动、重启及关闭：
启动：zk-server start
关闭：zk-server stop

3 安装manage

安装manager
manager的数据也存储在Mysql中，我直接单独装个新库。
创建目录：mkdir manager
进入目录：cd manager
下载：wget https://github.com/alibaba/otter/releases/download/otter-x.y.z/manager.deployer-x.y.z.tar.gz
解压缩：tar zxvf manager.deployer-$version.tar.gz
安装manager的数据库：
下载初始化sql:wget https://raw.github.com/alibaba/otter/master/manager /deployer/src/main/resources/sql/otter-manager-schema.sql
进入Mysql中执行：mysql> source /usr/local/otter-manager-schema.sql
修改manager的配置文件：vi conf/otter.properties
## otter manager domain name
otter.domainName =10.32.7.113 ##本地的域名
## otter manager http port
otter.port = 8080 ##对外访问的端口号，web
## jetty web config xml
otter.jetty = jetty.xml
## otter manager database config
otter.database.driver.class.name = com.mysql.jdbc.Driver
otter.database.driver.url = jdbc:mysql://10.32.7.113:3306/otter ##otter数据库的配置
otter.database.driver.username = canal ##otter数据的账号
otter.database.driver.password = canal ##otter数据的密码
## otter communication port
otter.communication.manager.port = 1099 ##对应Node中的配置
## otter communication pool size
otter.communication.pool.size = 10
## default zookeeper address
otter.zookeeper.cluster.default = 10.32.7.113:2181##zookeeper的地址,2181zk的端口

-----前三部做完后就可以去manage页面添加node了，添加node后每个node生成一个id 需要写入node的配置文件
参考：https://github.com/alibaba/otter/wiki/Node_Quickstart

4 安装node

node 需要aria2支持，我是在AB机房各安装了一套。
安装node:
创建目录：mkdir node
进入目录：cd node
下载node：
解压缩：tar zxvf node.deployer-$version.tar.gz
修改node的配置：
vi conf/otter.properties
otter.manager.address =10.32.7.113:1099
##对应manager中otter.properties的配置 otter.communication.manager.port
node的启动/停止：
cd bin
startup.sh/stop.sh
安装aria2:
下载aria2:
解压缩：tar zxvf aria2-$version.tar.gz
为了方便切换目录：mv aria2-$version aria2
进入目录： cd aria2
编译：
./configure
Make
Make install
把aria2安装后的bin目录下的执行文件添加到环境变量path中
( 我本地安装的目录是/usr/local/aria2,安装后 ,bin目录在/usr/local/bin/)

关于页面各部分的理解:

1.主备关系配置源库的主从，防止主库down了，数据源没了 2.canal 写上主从两个源，

每一个canal对应一个数据库信息，canal从配置的数据库中，拉取bin-log信息。

配置管理--canal配置

点击‘添加’配置如下图：

位点自定义配置方法如下：

{"journalName":"mysql-bin.000061","timestamp":1414748562000};

journalName为：bin_log日志，timestamp为同步起始时间的毫秒表示；

说明：第一次配置时不需要配置该项，如果在使用一段时候后要配置，

则过程如下：设置canal位点信息-停止所有Channel-删除所有映射关系列表中的同步进度中的position 状态-开启Channel

3 数据源配置：配置源库目标库 4 数据表配置：配置源表目标表 5 channel-》peipel（选择相应的canal）-》（选择源表同步到对应的目标表）

可以多配置几个node（最好都用单独的主机），抽数据时多选几个做负载均衡

后续：
在三台主机的规划上做了一些改动：
zookeeper集群的搭建
7.111 7.112 7.113 Mysql 源库 mysql 目标库 mysql（otter配置信息库） node+zookeeper node+zookeeper node+zookeeper+manager

工具附网盘连接：http://pan.baidu.com/s/1o7HBE8y
以上只是一个简单的安装步骤，详细可参考：
http://blog.sina.com.cn/s/articlelist_1869333262_0_1.html
https://github.com/alibaba/otter/wiki

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/29096438/viewspace-2142554/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/29096438/viewspace-2142554/