Oracle CDC Client 实施步骤 (二) 实时同步数据

一、添加ORACLE CDC CLIENT 

参数说明：

Tables ：需要实时后获取数据的表

Operations ：同步的操作

Dictionary Source：通过catlog同步（redolog 设置没有成功）

Buffer Location:数据缓存在内存中

DB Time Zone ：时区选择，与数据库同步 这个非常重要调试期间遇到很多问题， 这个时间还需要和服务器时区保持一致

二、添加Field Type 组件

参数说明

Conversion Method :通过名称

Fields to Convert ：具体字段

Convert to Type：将字段转换成什么类型

Date Format：日期格式化

Zoned DateTime Format：加入时区时间

CharSet ：编码方式

三、添加Expression Evaluator 组件将数据封装成指定数据格式

构建数据

/data ：将采集到的数据体封装到data中(就是查询的结果集合)

/table: 处理的是什么表

/operation：到三区执行什么操作，1新增，2删除，3跟新

/timestamp：数据补抽时间

/isPair：是否是补抽数据

四、添加Field Remover保留需要的数据

五、数据入库

Broker URI:kafka集群地址

Topic:将数据放入到指定topic

Partition Expression：根据table进行hash

数据格式：

总结： 如果ORACLE 没有开启归档日志的话 也可以将oracle cdc client 组件 替换为jdbc query 组件 也可以测试整个流程问题，整个流程中最容易如的问题就 就是ORACLE cdc 时区问题，需要和服务器的时区保持一致