Demon的博客

版本号：spark-streaming-kafka-0-10_2.11 version:2.4.0kafka-clients version:0.11.0.0问题：之前都是使用的0.8版本的来保存offset，但因为线上Kafka集群版本为0.11.0.0的，保存offset的方式发生了很大的变化。官网的方式：import org.apache.kafka.client...

Kafka_2.11-0.11.0.0sprak-streaming-kafka-0-10_2.11报错信息如下java.io.NotSerializableException: org.apache.kafka.clients.consumer.ConsumerRecordSerialization stack: - object not serializable (class...

工作中需要将从Kafka中的数据保存到HDFS中去，并且需要使用snappy压缩话不多说，直接上代码/** * 自定义多目录写与追加写,采用snappy压缩 * @author demon * @version 2019/05/05 */class AppendTextOutputFormat extends TextOutputFormat[Any, Any] { ...