
实时数据处理
文章平均质量分 96
青山孤客
网易高级服务端开发工程师,浙江省评标专家,信息系统项目管理师,杭州市E类人才。杭州电子科技大学工学硕士,曾访学圣彼得堡国立信息技术机械与光学大学(ITMO),在国际计算机软件和应用会议(COMPSAC)发表1篇学术论文,目前已申请国家发明专利4项,2项软件著作权。兴趣是数据开发、后端开发、信息系统项目管理等。
展开
-
Oracle GoldenGate的使用——在安装了kafka的目标端进行配置并测试实现Oracle数据同步至kafka
之前我已经安装好了目标端的Oracle GoldenGate for Big Data。可以看这篇博客:Oracle Golden Gate(OGG)学习——目标端安装Big DataLinux系统中先进入到OGG安装的目录,使用 ggsci 打开控制程序:1、配置mgr进程GGSCI > edit params mgr目标端mgr进程配置信息:PORT 7809DYNAMICPORTLIST 7810-7860AUTORESTART ER *, RETRIES 3,原创 2020-07-07 19:40:14 · 1946 阅读 · 6 评论 -
Oracle Golden Gate(OGG)学习——目标端安装Big Data
项目需求:要监听Oracle10g的数据库更新操作,将日志信息传输到目标端中的kafka的topic中。这里在目标端之前就已经安装好了Zookeeper与Kafka。然后记录一下安装的目标端的Big Data步骤。1、下载Oracle GoldenGate for Big Data 12.3.2.1.0在 https://edelivery.oracle.com/osdc/faces/SoftwareDelivery 中下载目标端的应用,所以先查看kafka的版本:然后检索 Oracl.原创 2020-05-28 19:02:33 · 1594 阅读 · 2 评论 -
CDH中添加的Kafka消息不能同步[爬坑过程+总结解决]
首先通过这篇博客我们可以在CDH中安装好Kafka:CDH添加Kafka服务上面安装好Kafka已经可以创建Topic,并且Topic信息所搭建的集群均可以同步。后面因为还需要测试一下消息传输,发现开启了生产者与消费者后,在生产者发送消息到Topic时报超时,并且消费者也一直没有接受到数据。然后后面一直在解决这个问题到后面一直报异常输出 WARN clients.NetworkClient ,还...原创 2019-12-09 19:45:34 · 2933 阅读 · 0 评论 -
Kafka的配置文件详细描述
在kafka/config/目录下面有3个配置文件:producer.propertiesconsumer.propertiesserver.properties(1).producer.properties:生产端的配置文件#指定kafka节点列表,用于获取metadata,不必全部指定#需要kafka的服务器地址,来获取每一个topic的分片数等元数据信息。me...原创 2019-11-25 15:49:48 · 504 阅读 · 0 评论