Java实现 SparkStreaming读取Kafka数据，并且单词累加计数

最新推荐文章于 2025-05-09 14:38:38 发布

原创

最新推荐文章于 2025-05-09 14:38:38 发布 · 5k 阅读

8 ·

CC 4.0 BY-SA版权

本文详细介绍了如何使用Java实现SparkStreaming从Kafka读取数据，并实现单词累加计数功能。通过创建简单的Kafka生产者发送数据，然后利用SparkStreaming的updateStateByKey方法进行数据处理，区别于常见的ReduceByKey操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

网络上大部分文章都没有做到真正的单词累加计数，终于研究完以后成功实现

简单的Kafka生产者

package com.zwj.utils;

import kafka.javaapi.producer.Producer;
import kafka.producer.KeyedMessage;
import kafka.producer.ProducerConfig;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFunction;
import org.apache.spark.storage.StorageLevel;
import org.apache.spark.streaming.Durations;
import org.apache.spark.streaming.api.java.JavaDStream;
import org.apache.spark.streaming.api.java.JavaPairDStream;
import org.apache.spark.streaming.api.java.JavaPairReceiverInputDStream;
import org.apache.spark.streaming.api.java.JavaStreamingContext;
import org.apache.spark.streaming.kafka.KafkaUtils;
import scala.Tuple2;

import java.util.*;

public c