【Spark】Spark常用方法总结4-SparkStreaming(Scala版本)

本文详细介绍了Spark Streaming的编程入口、接收器类型,特别是对DStream的各种转换操作,如map、flatMap、filter等,并讨论了output操作,如print、saveAs*Files及foreachRDD。此外,还提及了SparkStreaming与Kafka、Flume的整合。

编程入口

object Main4 {
   
   
  def main(args: Array[String]): Unit = {
   
   
    val spark: SparkSession = SparkSession.builder().master("local[*]").appName("test").getOrCreate()
    spark.sparkContext.setLogLevel("ERROR")
    val ss = new StreamingContext(spark.sparkContext, Seconds(10))

    // 注册监听方式
    val line: ReceiverInputDStream[String] = ss.socketTextStream("0.0.0.0", 10086
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值