OGG同步Oracle到Kafka(Kafka Connect Handler)

本文介绍如何配置GoldenGate (OGG) 进行Kafka集成,包括配置文件的详细说明、常见错误及解决方案。重点讲解了抽取端与复制端的配置与启动过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

javawriter
javawriter.stats.display=TRUE
javawriter.stats.full=TRUE
gg.log=log4j
gg.log.level=INFO
gg.report.time=30sec
gg.classpath=dirprm/:/oggbase/ogg108/OGG_KFK/kafkalib/*
javawriter.bootoptions=-Xmx2048m -Xms32m -Djava.class.path=ggjava/ggjava.jar

5.修改生产者配置文件$OGG_HOME/dirprm/custom_kafka_producer.properties
bootstrap.servers=kafka集群节点ip
acks=1

#JSON Converter Settings
key.converter=org.apache.kafka.connect.json.JsonConverter
key.converter.schemas.enable=false
value.converter=org.apache.kafka.connect.json.JsonConverter
value.converter.schemas.enable=false

buffer.memory=33554432
batch.size=16384

6.添加复制进程,并按示例进行配置
add replicat KFK_R01, exttrail /oggbase/ogg108/OGG_KFK/dirdat/ka, begin now

7.启动抽取端与复制端

搭建过程中遇到的问题:
1.OGG抽取端版本为12.3.0.1.0时,报错:ERROR OGG-00662 OCI Error OCI-22053: overflow error (status = 22053).一直没解决掉,换为12.2后问题不再出现
2.OGG抽取端部署在ACFS上时,启动抽取进程报错:ERROR OGG-02079 Extract failed to login to the database as user ogg specified in the MININGUSER parameter because of error ORA-12154: TNS:could not resolve the connect identifier specified.但监听是好的,OGG只要不部署在ACFS上就不会报这个错误。
3.OGG复制端启动报错:OGG-15051 Java or JNI exception:...nested exception is java.lang.NoSuchMethodError: oracle.goldengate.handler.kafkaconnect.GGConfig.originalsWithPrefix(Ljava/lang/String;)Ljava/util/Map... 
原因:kafka.props文件中gg.classpath变量设置不正确,或者kafka的jar包在gg.classpath变量指定的路径下不存在
4.ERROR OGG-02171 Error reading LCR from data source. Status 509, data source type 0. ERROR OGG-02191 Incompatible record 101 in /oggbase/ogg108/OGG_KFK/dirdat/ka000000000, rba -2 when getting trail header.
replicat中使用kafka handler时报此错误,改为kafka connect handler后就不再报错。此问题未解决
5.ERROR OGG-01816 Partial operations are not supported in this release.
原因:抽取端没有抽取完整的lob对象。当目标端为非Oracle数据库或者其他需要完整lob信息的情况时,抽取端应使用TRANLOGOPTIONS FETCHPARTIALLOB参数

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值