SparkStreaming 实现入门WordCount

最新推荐文章于 2024-06-04 18:36:36 发布

羲凡丞相

最新推荐文章于 2024-06-04 18:36:36 发布

阅读量405

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Spark 文章标签： SparkStreaming wordcount 入门

本文链接：https://blog.youkuaiyun.com/weixin_42003671/article/details/88023366

Spark 专栏收录该内容

15 篇文章

订阅专栏

本文介绍了使用 SparkStreaming 进行基本的 WordCount 实现，通过代码示例展示了如何设置 StreamingContext，读取网络流数据并进行单词计数，最后打印结果。实验在 deptest22 上运行，输入特定字符串验证了正确性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

@羲凡——只为了更好的活着

SparkStreaming 实现入门WordCount

这是SparkStreaming的基本入门，官网：http://spark.apache.org/docs/2.3.2/streaming-programming-guide.html#a-quick-example

代码如下，在执行前在 deptest22上输入命令 nc -lk 9999。

import org.apache.spark.SparkContext
import org.apache.spark.sql.SparkSession
import org.apache.spark.streaming.dstream.ReceiverInputDStream
import org.apache.spark.streaming.{Seconds, StreamingContext}

object TestStreamingWC {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName("TestStreamingWC")
      .master("local[*]")
      .getOrCreate()
    val sc: SparkContext = spark.sparkContext
    val ssc: StreamingContext = new StreamingContext(sc, Seconds(3))

    val lines = ssc.socketTextStream("deptest22", 9999)
    val wordCounts = lines.flatMap(_.split(" "))
    .map((_, 1)).reduceByKey(_ + _)
    wordCounts.print()
    ssc.start()
    ssc.awaitTermination()
  }
}

假如在deptest22输入 hadoop hadoop hadoop hadoop，得到如下结果，说明成功了

-------------------------------------------
Time: 1551329700000 ms
-------------------------------------------
(hadoop,4)

====================================================================

@羲凡——只为了更好的活着

若对博客中有任何问题，欢迎留言交流