使用 Spark Streaming 处理有状态的数据，读取 TCP 6789 端口的数据，并进行词频统计。

白修修

于 2020-08-20 14:05:25 发布

阅读量356

点赞数

分类专栏：大数据编程文章标签： spark scala

本文链接：https://blog.youkuaiyun.com/weixin_41639302/article/details/108122206

版权

该博客介绍了如何使用 Spark Streaming 处理解析从 TCP 6789 端口接收的实时数据，并实现单词的全局词频统计。通过在虚拟机上运行 `nc -lk 6789` 发送数据，观察 IDEA 控制台输出每个单词的总出现次数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

对每个批次进行词频统计

import org.apache.spark.SparkConf
import org.apache.spark.streaming.dstream.{
   DStream, ReceiverInputDStream}
import org.apache.spark.streaming.{
   Seconds, StreamingContext}

object SpStreamingDemo1 extends App {
   
//todo 创建一个spark StrieamingContext对象
  private val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("StreamingDemo1")
  private val ssc = new StreamingContext(sparkConf,Seconds(5))

  private val inputDstream: ReceiverInputDStream

最低0.47元/天解锁文章