Spark Streaming--2 自定义数据源

最新推荐文章于 2024-01-01 16:34:18 发布

江南阁

最新推荐文章于 2024-01-01 16:34:18 发布

阅读量722

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark

本文链接：https://blog.youkuaiyun.com/qq_36235275/article/details/82501717

本文介绍了如何在Spark Streaming中自定义数据源。通过继承Receiver类并实现onStart和onStop方法，可以实现自己的数据采集逻辑，例如创建一个socket来接收和处理输入内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

通过继承Receiver，并实现onStart、onStop方法来自定义数据源采集。

需要自己开一个sockect,，然后输入内容。

nc -lk master 8888

package com.jiangnan.spark
import java.io.{BufferedReader, InputStreamReader}
import java.net.Socket
import org.apache.spark.SparkConf
import org.apache.spark.storage.StorageLevel
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.streaming.receiver.Receiver
class TestSparkStreamCustomReceiver(host:String,port:Int) extends Receiver[String](StorageLevel.DISK_ONLY){
  //启动的时候调用
  override def onStart(): Unit = {
    println("启动了")
    //创建一个socket
    val socket = new Socket(host,port)
    val reader = new BufferedReader(new InputStreamReader(socket.getInputStream))
    //创建一个变量去读取socket的输入流的数据
    var line = reader.readLine()
    while(!isStopped() && line != null){
      //如果接收到了数据，就是用父类中的store方法进行保存
      store(line)
      //继续读取下一行数据