Spark Streaming（头歌）

小kamil

于 2022-06-21 13:57:29 发布

阅读量4.2k

点赞数 3

文章标签： spark 大数据 scala

本文链接：https://blog.youkuaiyun.com/m0_53510670/article/details/125389741

版权

本文介绍了使用Spark Streaming实现黑名单过滤的功能。通过设置一个包含特定名称的黑名单，从socket流中实时读取数据并过滤掉黑名单中的名字。代码示例展示了如何初始化SparkConf和StreamingContext，设置每五秒处理一批数据，将黑名单转换为RDD，并从localhost的5566端口读取文本数据进行过滤。最后，打印出过滤后的合法名称。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

第1关：套接字流实现黑名单过滤 watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5bCPa2FtaWw=,size_20,color_FFFFFF,t_70,g_se,x_16

代码：

import org.apache.spark.SparkConf
import org.apache.spark.streaming.StreamingContext
import org.apache.spark.streaming.Seconds

object TransformBlackList {
  def main(args: Array[String]): Unit = {
    /********** Begin **********/
//初始化
    val sparkConf = new SparkConf().setAppName("TransformBlackList").setMaster("local[2]")
    //创建StreamingContext，设置每五秒秒刷新一次
    val ssc = new StreamingContext(sparkConf, Seconds(5))
    ssc.sparkContext.setLogLevel("error")
    //设置需要过滤的黑名单(Abby、 Paige、 Carla、 Mary、 Ken)
    val BlackList = Array("Abby","Paige","

最低0.47元/天解锁文章