Flink 自定义源算子

最新推荐文章于 2024-04-29 23:26:33 发布

BigData_001_Lz

最新推荐文章于 2024-04-29 23:26:33 发布

阅读量662

点赞数

分类专栏：笔记文章标签： flink 大数据 scala hadoop

本文链接：https://blog.youkuaiyun.com/GX_0824/article/details/127158274

版权

笔记专栏收录该内容

41 篇文章

订阅专栏

本文介绍如何使用Apache Flink创建自定义数据源算子，通过实现SourceFunction接口来模拟生成点击流数据，并演示了如何将自定义源算子集成到Flink流处理程序中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

自定义源算子

import org.apache.flink.streaming.api.functions.source.SourceFunction

import java.util.Calendar
import scala.util.Random

/**
* DATE:2022/10/4 0:03
* AUTHOR：GX
*/
case class Event(user:String,url:String,timestamp:Long)
//addSource
class ClickSource extends SourceFunction[Event]{
//ParallelSourceFunction[Event] 算子可以设置并行度
//SourceFunction[Event] 并行度必须是 1
//标志位
var running = true

override def run(sourceContext: SourceFunction.SourceContext[Event]): Unit = {
//随机数生成器
val random = new Random()
//定义随机数范围
val users = Array("Mary","Alice","Bob","Cary","Leborn")
val urls = Array("./home","./cart","./fav","./prod?id=1","./prod?id=2","./prod?id=3")

//用标志位作为循环判断条件，不停的发送数据
while (running) {
//随机生成一个event
val event = Event(users(random.nextInt(users.length)),
urls(random.nextInt(urls.length)),
Calendar.getInstance.getTimeInMillis)
//调用ctx的方法向下游发送数据
sourceContext.collect(event)
//每隔1秒发送一条数据
Thread.sleep(1000)
}
}

override def cancel(): Unit = running = false
}

Flink读取数据

import org.apache.flink.streaming.api.scala.{StreamExecutionEnvironment, createTypeInformation}

/**
* DATE:2022/10/4 0:21
* AUTHOR：GX
*/
object SourceCustomTest {
def main(args: Array[String]): Unit = {

val env = StreamExecutionEnvironment.getExecutionEnvironment
env.setParallelism(1)

//读取自定义数据源
val stream = env.addSource(new ClickSource)
//注意！！！对于一个非并行的算子而言，并行度必须是 1
//若想要并行处理，需要实现一个ParallelSourceFunction（自定义源算子继承ParallelSourceFunction），算子并行度才可以设置多个
stream.print()

env.execute()
}
}