sparksql获取网络输入流

最新推荐文章于 2025-04-28 22:28:35 发布

韩利鹏

最新推荐文章于 2025-04-28 22:28:35 发布

阅读量725

点赞数

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： sparksql 获取网络输入流

本文链接：https://blog.youkuaiyun.com/HANLIPENGHANLIPENG/article/details/53679807

spark 专栏收录该内容

21 篇文章

订阅专栏

本文介绍如何使用 Apache Spark 的 Structured Streaming 模块进行实时词频统计。通过读取来自 socket 的数据流，对数据进行切分、分组，并统计每个单词出现的频率。最终将统计结果输出到控制台。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

不解释—–

package org.apache.spark.examples.sql.streaming

import org.apache.spark.sql.functions._
import org.apache.spark.sql.SparkSession

object StructuredNetworkWordCount {
  def main(args: Array[String]) {
    if (args.length < 2) {
      System.err.println("Usage: StructuredNetworkWordCount <hostname> <port>")
      System.exit(1)
    }

    val host = args(0)
    val port = args(1).toInt
    //sparksql里面的
    val spark = SparkSession
      .builder
      .appName("StructuredNetworkWordCount")
      .getOrCreate()

    import spark.implicits._

    //创建DataFrame
    val lines = spark.readStream
      .format("socket")
      .option("host", host)
      .option("port", port)
      .load().as[String]

    // 切分字符串
    val words = lines.flatMap(_.split(" "))

    //分组
    val wordCounts = words.groupBy("value").count()

    // Start running the query that prints the running counts to the console
    val query = wordCounts.writeStream
      .outputMode("complete")
      .format("console")
      .start()

    query.awaitTermination()
  }
}