Oralce GoldenGate与Kafka集群集成

本文介绍如何配置Oracle GoldenGate 同步数据到Kafka，包括OGG源端安装配置，OGG for Big Data replication安装配置，以及如何与Kafka集群集成。

软件准备

1.     Oracle11.2.0.2

2. Oracle GoldenGate V12.2.0.1.1 for Oracleon Linux x86-64

部署在Oracle Server上。

3. Oracle GoldenGate for Big DataV12.2.0.1.1 on Linux x86-64

部署在Replication Server上

4. zookeeper 3.4.6

部署在kafka servers上，用于failover

5. kafka 2.11.0.9.1

kafka集群安装配置

三台节点信息如下：

192.168.2.105 kafka01

192.168.2.107 kafka02

192.168.2.108 kafka03

节点间免登设置

1.在三台机器上创建kafka用户：

useradd kafka

2.配置三台机器的相互信任关系(SSH)

 kafka01机器上，切换到kafka用户

键入命令ssh-keygen -t rsa，三次回车后，在.ssh文件夹下生成一个私钥和一个公钥

将公钥生成一个authorized_keys命令：catid_rsa.pub >authorized_keys

分别在kafka02和kafka03上执行ssh-keygen-t rsa命令，三台机器都生成了私钥和公钥

把在kafka01上生成的authorized_keys传到kafka02和skafka03上去

scp authorized_keys kafka02:~/.ssh

将kafka02的公钥添加到authorized_keys文件中

cat id_rsa.pub >>authorized_keys

从kaka02中把authorized_keys文件scp到kafka03上

 kafka03的.ssh目录，同样将公钥追加到authorized_keys文件

cat id_rsa.pub >>authorized_keys

将此文件分别传给kafka02和kafka01，使三台机器的authorized_keys文件一致

到此，三台节点已经建立好无密码登陆

Zookeeper安装配置

以下例子中是把zookeeper分布安装在3个节点上：

192.168.2.105 kafka01

192.168.2.107 kafka02

192.168.2.108 kafka03

• 下载zookeeper3.4.6
  

http://zookeeper.apache.org/releases.html

• 在kafka01上作如下操作
  

mkdir /home/kafka/zookeeper

释放zookeeper-3.4.6.tar.gz到/home/kafka/ zookeeper

• 配置zoo.cfg
  

cd /home/kafka/ zookeeper

cp zoo_sample.cfg zoo.cfg

vi zoo.cfg

设置如下参数：

dataDir=/home/kafka/zookeeper/data

server.1= kafka01:2888:3888

server.2= kafka02:2888:3888

server.3= kafka03:2888:3888

• 创建节点标识
  

cd /home/kafka/zookeeper

mkdir data

cd data

vi myid

输入＂1＂

复制安装包到kafka02,kafka03上并且修改myid内容分别为2和3

scp -r zookeeper-3.4.6 kafka02:~

scp -r zookeeper-3.4.6 kafka03:~

• 启动Zookeeper

在三个节点上分别启动