Spark Streaming 简单实例一统计hdfs文件单词

最新推荐文章于 2024-06-02 01:46:30 发布

原创最新推荐文章于 2024-06-02 01:46:30 发布 · 236 阅读

1 ·

CC 4.0 BY-SA版权

大数据专栏收录该内容

23 篇文章

订阅专栏

本文介绍如何使用SparkStreaming处理HDFS上的实时数据流，通过读取HDFS中的文本文件，实现单词频率的实时统计。代码展示了从配置Spark环境到创建流处理任务的全过程，包括读取数据流、单词分割、计数及结果展示。

使用Spark Streaming统计hdfs文件单词
代码

package test01

import org.apache.spark.SparkConf
import org.apache.spark.streaming.dstream.DStream
import org.apache.spark.streaming.{Seconds, StreamingContext}
import test01.Demo01.ssc

object HDFSInputStreamDemo extends App {

  private val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("hdfsdemo")
  private val ssc = new StreamingContext(sparkConf,Seconds(5))
  private val lines: DStream[String] = ssc.textFileStream("hdfs://hadoop07:9000/data/")

  val words = lines.flatMap(_.split(" "))
  val wordCounts = words.map(x => (x, 1)).reduceByKey(_ + _)
  wordCounts.print()
  ssc.start()
  ssc.awaitTermination()

}