
kafka
文章平均质量分 50
三劫散仙
唯有学习,可以解忧
展开
-
关于kafka连接的一个小问题
最近有一个项目中用到了java api连接kafka的代码,原来测试的时候:bootstrap.servers这个值一直写的是ip,然后生产和消费数据都没有问题,但在预发测试的时候配合运维的需求,把ip要改成域名来访问,结果就启动就出问题了,启动不起来,抛出的异常如下:DNS resolution failed for url in .......我们的kafka的版本是apache转载 2017-11-22 18:02:55 · 3493 阅读 · 0 评论 -
kafka版本不一致导致的一个小问题(二)
背景介绍:我们公司的实时流项目现在用的spark streaming比较多,这里在介绍下版本:spark streaming2.1.0kafka 0.9.0.0spark streaming如果想要集成kafka使用时,必须得使用spark官网提供的依赖包,目前有两种大的kafka分支依赖集成包,他们的一些信息如下:描述信息spark-strea原创 2017-12-04 21:39:04 · 9828 阅读 · 0 评论 -
Spark Streaming优雅的关闭策略优化
前面文章介绍了不少有关Spark Streaming的offset的管理以及如何优雅的关闭Spark Streaming的流程序。到目前为止还有几个问题:(1)有关spark streaming集成kafka时,如果kafka新增分区, 那么spark streaming程序能不能动态识别到而不用重启?(2)如果需要重启,那么在自己管理offset时,如何才能识别到新增的分原创 2017-12-07 18:37:40 · 2329 阅读 · 0 评论