【Spark】Spark常用方法总结4-SparkStreaming（Scala版本）

最新推荐文章于 2022-05-03 15:56:42 发布

原创

最新推荐文章于 2022-05-03 15:56:42 发布 · 550 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #spark #hadoop

本文详细介绍了Spark Streaming的编程入口、接收器类型，特别是对DStream的各种转换操作，如map、flatMap、filter等，并讨论了output操作，如print、saveAs*Files及foreachRDD。此外，还提及了SparkStreaming与Kafka、Flume的整合。

编程入口

object Main4 {
   
   
  def main(args: Array[String]): Unit = {
   
   
    val spark: SparkSession = SparkSession.builder().master("local[*]").appName("test").getOrCreate()
    spark.sparkContext.setLogLevel("ERROR")
    val ss = new StreamingContext(spark.sparkContext, Seconds(10))

    // 注册监听方式
    val line: ReceiverInputDStream[String] = ss.socketTextStream("0.0.0.0", 10086