SparkStreaming使用createDirectStream保存offset至Zookeeper

SparkStreaming使用createDirectStream保存offset至Zookeeper

一开始打算直接使用createDStream函数,但是createDStream只有在spark-streaming-kafka-0-8版本有,在spark-streaming-kafka-0-10版本createDStream函数不存在了,从网上copy了一段自身维护offset到zk的代码,而且我在使用createDStream函数的时候发现参数序列化有问题,
转载:https://www.jianshu.com/p/ce737d2fc8fc
代码写得很详细,自己改一改,但是spark-streaming-kafka-0-10_2.11每个版本都不一样,最后找到了一个适用的版本

<dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
      <version>2.1.1</version>
</dependency>

中途遇见的坑

我觉得最大的坑就是版本的问题,各种版本不一致导致的各种问题,各种版本各种缺包

Exception in thread "main" java.lang.AbstractMethodError
	at org.apache.spark.util.ListenerBus$class.$init$(ListenerBus.scala:34)
	at org.apache.spark.streaming.scheduler.StreamingListenerBus.<init>(StreamingListenerBus.scala:30)
	at org.apache.spark.streaming.scheduler.JobScheduler.<init>(JobScheduler.scala:57)
	at org.apache.spark.streaming.StreamingContext.<init>(StreamingContext.scala:184)
	at org.apache.spark.streaming.StreamingContext.<init>(StreamingContext.scala:76)

更改完

<dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-streaming_2.11</artifactId>
      <version>2.1.1</version>
</dependency>

将2.3.1版本更改为2.1.1版本搞定

使用createStream函数报错

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/streaming/kafka/KafkaUtils$
	at ZHT_Message.MessageAnalysis$.main(MessageAnalysis.scala:57)
	at ZHT_Message.MessageAnalysis.main(MessageAnalysis.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.streaming.kafka.KafkaUtils$
	at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
	... 2 more

这个报错应该也是版本问题导致的,暂时没有解决,哪位大佬知道解决办法请教教我,谢谢啦

总结:sparkstreaming版本真的是烦,2.3.X和2.1.X版本变动很大,更新了很多东西,2.1.X版本的ZkClient在2.3.X版本就没有了,需要自己去