SparkStreaming HDFS监控目录

蔡大远

于 2021-07-20 11:10:25 发布

阅读量785

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark

本文链接：https://blog.youkuaiyun.com/cai_and_luo/article/details/118930419

Spark 专栏收录该内容

31 篇文章

订阅专栏

SparkStreaming HDFS

以下代码一直读取不了hdfs文件，且没有报错。最后发现是linux时间与本地环境没有进行时间同步。

package org.example.sparkstreaming

import org.apache.log4j.{Level, Logger}
import org.apache.spark.sql.SparkSession
import org.apache.spark.streaming.dstream.DStream
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.{SparkConf, SparkContext}

object SparkStreaming_HDFS {
  def main(args: Array[String]): Unit = {
    Logger.getLogger("org.apache.spark").setLevel(Level.OFF)
    Logger.getLogger("org.eclipse.jetty.server").setLevel(Level.OFF)

    val conf=new SparkConf().setAppName("Streaming Word Count OnLine").setMaster("local[2]")
    val ssc=new StreamingContext(conf,Seconds(6))
    val lines=ssc.textFileStream("hdfs://192.168.172.131:9000/spark/")
    val words=lines.flatMap(_.split(" ")).map(word=>(word,1)).reduceByKey(_+_)
    words.print()
    ssc.start()
    ssc.awaitTermination()
  }
}