SparkStreaming +Kafka ConsumerRecord无法序列化

本文探讨了在使用Apache Kafka时遇到的不可序列化ConsumerRecord问题,提供了如何通过设置Spark的序列化器为KryoSerializer来解决此问题,以及kafka-console-producer.sh命令示例。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

错误:had a not serializable result: org.apache.kafka.clients.consumer.ConsumerRecord

错误:had a not serializable result: org.apache.kafka.clients.consumer.ConsumerRecord

ConsumerRecord无法序列化

可注册使用Kyro序列化 org.apache.spark.serializer.KryoSerializer Spark没有默认使用Kryo作为序列化类库

set("spark.serializer", classOf[KryoSerializer].getName)

 kafka-console-producer.sh --broker-list hadoop01:9092 --topic test818

以下是使用Java编写的Spark消费Kafka的示例代码: ``` import java.util.Arrays; import java.util.Collection; import java.util.HashMap; import java.util.Map; import org.apache.kafka.clients.consumer.ConsumerConfig; import org.apache.kafka.common.serialization.StringDeserializer; import org.apache.spark.SparkConf; import org.apache.spark.api.java.function.Function; import org.apache.spark.streaming.Durations; import org.apache.spark.streaming.api.java.JavaInputDStream; import org.apache.spark.streaming.api.java.JavaStreamingContext; import org.apache.spark.streaming.kafka010.ConsumerStrategies; import org.apache.spark.streaming.kafka010.KafkaUtils; import org.apache.spark.streaming.kafka010.LocationStrategies; public class SparkKafkaConsumerDemo { public static void main(String[] args) throws InterruptedException { String brokers = "localhost:9092"; String groupId = "group1"; String topics = "test_topic"; SparkConf sparkConf = new SparkConf().setAppName("KafkaSparkStreamingDemo").setMaster("local[*]"); JavaStreamingContext streamingContext = new JavaStreamingContext(sparkConf, Durations.seconds(1)); Collection<String> topicSet = Arrays.asList(topics.split(",")); Map<String, Object> kafkaParams = new HashMap<>(); kafkaParams.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, brokers); kafkaParams.put(ConsumerConfig.GROUP_ID_CONFIG, groupId); kafkaParams.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class); kafkaParams.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class); JavaInputDStream<ConsumerRecord<String, String>> stream = KafkaUtils.createDirectStream( streamingContext, LocationStrategies.PreferConsistent(), ConsumerStrategies.<String, String>Subscribe(topicSet, kafkaParams) ); stream.map(new Function<ConsumerRecord<String, String>, String>() { @Override public String call(ConsumerRecord<String, String> record) throws Exception { return record.value(); } }).print(); streamingContext.start(); streamingContext.awaitTermination(); } } ``` 在此示例中,我们使用Spark Streaming来消费Kafka中的消息。我们设置了Kafka的相关参数,包括broker地址、消费者组ID、序列化和反序列化类等。然后我们创建一个直接流,订阅指定的主题,并使用预设的Kafka参数。最后,我们将每个记录的值提取出来,并将其打印到控制台。 请注意,这只是一个简单的示例代码,你需要根据你的实际情况进行修改。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值