
kafka
小飞鱼_bigdata
大数据、算法
展开
-
Spark Streaming通过直连的方式消费Kafka中的数据
本文实现了用Spark通过直连的方式去消费Kafka中的数据,并在消费完数据后对偏移量进行了更新,并且在创建stream时考虑了偏移量的修正,避免了直接使用API时出现的一些异常。原创 2017-10-26 23:51:44 · 9499 阅读 · 0 评论 -
spark程序消费kafka数据报错:java.lang.NoSuchMethodError: net.jpountz.util.Utils.checkRange([BII)V
spark版本:2.1.1,kafka API版本:0.8错误如下:[WARN ] 2018-01-25 14:54:01,332 org.apache.spark.scheduler.TaskSetManager - Lost task 3.0 in stage 0.0 (TID 3, ip-10-0-155-42.eu-west-1.compute.internal, executor 8):...原创 2018-02-27 19:46:33 · 2952 阅读 · 0 评论