ogg12同步oracle11g数据至kafka，StreamSets3.21抽取kafka数据消费至kudu

ogg12同步oracle11g数据至kafka文章 链接：
https://blog.youkuaiyun.com/kkHMou/article/details/116451669

StreamSets如何建立管道流这里就不提了，直接看配置。

一、kafka数据

利用 kafka tool这个软件连接kafka查看数据

使用ogg传过来的数据是JSON格式

二、StreamSets配置

1、总体流程

2、Kafka Comsumer

如果你不清楚你的kafka版本，到kafka的安装目录，执行：

find ./libs/ -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*'

kafka_2.12-2.0.0-javadoc.jar
2.12表示scala版本，2.0.0表示kafka版本

解析的数据：
INSERT：

UPDATE：

DELETE：

3、Stream Selector

在ogg的配置中，可以选择整个库进行数据抽取，这里可以进行表数据的过滤

数据只有INSERT、DELETE、UPDATE3种类型。

4、kudu

这里我kudu DELETE和UPDATE报错是因为我kudu原表中是不存在被更新和删除的数据，所以会报错，但是不用管它