问题:
因为CDH集群环境问题,我spark streaming程序的依赖就依照其版本来进行,但这就遇到一个问题,集群spark2支持的kafka版本是0.9.0,而我们程序操作zookeeper的ZkUtils类就不兼容了。
解决方案:
重新KafkaCluster类,兼容集群版本。
原程序单个topic的zk更新offset的方法:
val stream = createCustomDirectKafkaStream(ssc,kafkaParams,"advertidshadoop161v14taiji.cdn.ifengidc.com","/kafka", topics)
/*
* createDirectStream() method overloaded
*/
def createCustomDirectKafkaStream(ssc: StreamingContext, kafkaParams: Map[String, String], zkHosts: String
, zkPath: String,