【Flink流式计算框架】：Flink中的富函数

最新推荐文章于 2025-05-26 00:45:00 发布

原创

最新推荐文章于 2025-05-26 00:45:00 发布 · 1.9k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#flink

本文介绍了Apache Flink中两种重要的用户自定义函数（UDF）：基础函数类和富函数。基础函数类包括MapFunction和FilterFunction，通过示例展示了如何使用它们进行数据处理。富函数则提供了更多的生命周期方法，如open()和close()，允许在处理数据前进行初始化和处理后进行清理工作，同时能获取运行时上下文。通过RichFunction，开发者可以实现更复杂的功能，例如访问状态或进行并行度相关的操作。

1.基础函数类

Flink 暴露了所有udf 函数的接口(实现方式为接口或者抽象类)。例如MapFunction, FilterFunction等等。这里以FilterFunction为例：

无参的如下：

val dataStream = inputStream
  .map(data => {
	val arr = data.split(",")
	SensorReading(arr(0), arr(1).toLong, arr(2).toDouble)
  })
  .filter(new MyFilter)


class MyFilter extends FilterFunction[SensorReading] {
  override def filter(value: SensorReading): Boolean =
    value.id.startsWith("sensor_1")
}

有参的如下：

val dataStream = inputStream
  .map( data => {
	val arr = data.split(",")
	SensorReading(arr(0), arr(1).toLong, arr(2).toDouble)
  } ).filter(new MyFilter("sensor"))
  
class MyFilter(name:String) extends FilterFunction[SensorReading]{
  override def filter(value: SensorReading): Boolean =
    value.id.startsWith(name)
}

等价于