富函数(Rich Functions)

Flink的富函数(RichFunction)和简单滚动聚合算子 RichFunction 一般情况下我们使用一个算子,如果自己写类继承接口的话,只用重写一个算子逻辑方法即可;但是有时我们需要进行一些初始化工作,或者获得上下文信息时,只用普通的算子非常的不方便; 所以Flink提供了富函数这样的同算子一样的操作方法的算子; 它的使用方法同原算子类似,但是可以多重写两个方法,这里以map举例 map 的富函数为RichMapFunction,我们可以多重写两个方法, 在使用富函数的时候,我们可以对函数的生命周期实现两个额外的方法: open(): 是富函数的初始方法。它在每 阅读详情

“富函数”是DataStream API提供的一个函数类的接口,所有Flink函数类都有其Rich版本。它与常规函数的不同在于,可以获取运行环境的上下文,并拥有一些生命周期方法,所以可以实现更复杂的功能。
 RichMapFunction
 RichFlatMapFunction
 RichFilterFunction
Rich Function有一个生命周期的概念。典型的生命周期方法有:
 open()方法是rich function的初始化方法,当一个算子例如map或者filter被调用之前open()会被调用。
 close()方法是生命周期中的最后一个调用的方法,做一些清理工作。
 getRuntimeContext()方法提供了函数的RuntimeContext的一些信息,例如函数执行的并行度,任务的名字,以及state状态

package com.atguigu.apiTest

import org.apache.flink.api.common.functions.RichMapFunction
import org.apache.flink.configuration.Configuration

object RichFunction {
  def main(args: Array[String]): Unit = {



  }

}

class MyMapFunction extends RichMapFunction[Double, Int]{
  //ctr + O 查看重写方法
  override def map(value: Double): Int = {
    value.toInt - 1
  }

  override def open(parameters: Configuration): Unit = super.open(parameters)

  override def close(): Unit = super.close()
}
class MyFlatMap extends RichFlatMapFunction[Int, (Int, Int)] {
//子任务的index
var subTaskIndex = 0

override def open(configuration: Configuration): Unit = {
subTaskIndex = getRuntimeContext.getIndexOfThisSubtask
// 以下可以做一些初始化工作,例如建立一个和HDFS的连接
}

override def flatMap(in: Int, out: Collector[(Int, Int)]): Unit = {
if (in % 2 == subTaskIndex) {
out.collect((subTaskIndex, in))
}
}

override def close(): Unit = {
// 以下做一些清理工作,例如断开和HDFS的连接。
}
}


参考

大数据(9f)Flink富函数RichFunction 生命周期 运行时上下文 RichFunction RuntimeContext Flink1.14.6 阅读详情

相关推荐

Flink富函数(Rich Functions)

是 DataStream API 提供的一个函数类的接口,所有 Flink 函数类都有其 Rich 版本。它与常规函数的不同在于,,并拥有一些生命周期方法,所以可以实现更复杂的功能。2.匿名函数(Lambda Functions)1.函数类(Function Classes)还有一个生命周期的概念。3.富函数(Rich Functions)实现 FilterFunction 接口。还可以将字符串当作参数传进去。还可以将函数实现成匿名类。可以获取运行环境的上下文。

roi666的博客 926

Flink从入门到精通

本课程从0到1进行Flink的介绍,对当下最火的大数据技术Flink进行深入解析,并结合实际电商项目快速掌握Flink的开发技术。

Learn Flink:Data Pipelines & ETL

Data Pipelines & ETL

weixin_48813624的博客 546

Flink中自定义Rich函数实现

在Flink中,我们知道map ,flatMap,reduce算子都可以自定义函数实现,比如MapFunction: public class MyMapFunction implements MapFunction<String,Integer> { @Override public Integer map(String s) throws Exception { return Integer.parseInt(s); } } 同时,Flink中还提供

LeoHan 1849

Flink 流处理核心算子深度剖析

本文对比了Flink中MapFunction与ProcessFunction的核心功能与适用场景,并通过代码示例展示了它们的典型用法。MapFunction适用于简单的一对一数据转换,而ProcessFunction支持状态管理、定时器、侧输出流等高级功能,能够处理复杂业务逻辑。文章还详细介绍了侧输出流的应用场景和窗口函数的实战案例,包括事件时间处理、水位线机制等关键技术要点。通过订单监控、日志解析等实际案例,演示了如何利用这些算子实现数据过滤、格式转换、状态管理等常见需求。

tian_jiangnan的博客 314

Flink函数系列(1)-rich function

rich function,即“富”函数,即相比一般的function来说,他提供了更多的功能。它定义了函数生命周期的一些方法,并可以获取函数运行时的上下文。

chanyue123的博客 2791

Flink-富函数(Rich Functions)

4.富函数(Rich Functions) 4.1 函数类(Function Classes) Flink 暴露了所有 udf 函数的接口(实现方式为接口或者抽象类)。例如MapFunction, FilterFunction, ProcessFunction 等等。 下面例子实现了 FilterFunction 接口: class FilterFilter extends Filte...

qq_38304392的博客 847

flink自定义函数

flink自定义函数

congge_study的博客 1977

Flink——支持的数据类型及UDF函数

数据类型 基础数据类型 Flink 支持所有的 Java 和 Scala 基础数据类型,Int, Double, Long, String… Java 和 Scala 元组(Tuples) Scala样例类(case classes) Java简单对象(POJOs) 其它(Arrays, Lists, Maps, Enums, 等等) UDF函数 函数类 Flink 暴露了所有 udf 函数的接口(实现方式为接口或者抽象类)。例如MapFunction, FilterFunction, Process

qq_43477550的博客 1439

Flink DataStream 富函数 RichFunction

很多时候,我们需要在函数处理第一条记录之前进行一些初始化的工作或者获得函数执行上下文的一些信息,以及在处理完记录后做一些清理工作。而 DataStream API 中的富函数 RichFunction 就提供了这样的机制。DataStream API 提供了一类富函数,和普通函数相比可对外提供跟多的功能。

SmartSi 967

SIPVicious实战指南:从零开始掌握VoIP渗透测试(Kali Linux环境)

本文为SIPVicious实战指南,详细介绍了在Kali Linux环境下进行VoIP渗透测试的完整流程。从环境准备与工具安装开始,逐步讲解如何使用svmap扫描SIP服务器、svwar枚举PBX分机号,以及svcrack进行密码安全测试,并整合svreport生成报告。旨在帮助安全从业者从零开始,系统掌握这套经典开源工具,在授权范围内有效评估VoIP系统的安全性。

weixin_29327977的博客 541

flink的java api_Flink 流处理API之二

1、Transform1.1 mapval streamMap = stream.map { x => x * 2 }1.2 flatmapflatMap的函数签名:def flatMap[A,B](as: List[A])(f: A ⇒ List[B]): List[B]例如:flatMap(List(1,2,3))(i ⇒ List(i,i))结果是List(1,1,2,2,3,3)而...

weixin_42498909的博客 622

VGA系列之一:VGA显示网络图片

VGA系列之一:VGA显示网络图片VGA系列之一VGA显示网络图片 1 如何用FPGA实现VGA显示 2 网络图片和VGA显示有何区别 3VGA如何显示图片

善良の一休君的博客 1万+

Flink实现UDF函数之富函数

5.5.3 富函数(Rich Functions) “富函数”是DataStream API提供的一个函数类的接口,所有Flink函数类都有其Rich版本。 它与常规函数的不同在于,可以获取运行环境的上下文,并拥有一些生命周期方法,所以可以实现更复杂的功能。 RichMapFunction RichFlatMapFunction RichFilterFunction … Rich Function有一个生命周期的概念。典型的生命周期方法有: open()方法是rich function的初始化方法,当

chaohui2638457321的博客 428

告别拼音!用VSCode+Dosbox-X搞定汇编语言课程设计里的中文姓名显示

本文详细介绍了如何利用VSCode和Dosbox-X解决汇编语言课程设计中中文姓名显示的问题。通过配置开发环境、理解GB2312编码及正确使用汇编指令,学生可以告别拼音显示,实现中文字符的正确输出。文章还提供了完整的代码示例和常见问题排查方法,帮助读者快速掌握这一实用技能。

weixin_30872337的博客 426

逆向淘宝x-mini-wua:从加密算法到设备指纹的生成逻辑

本文深入剖析了淘宝风控核心参数x-mini-wua的生成逻辑与加密算法。通过逆向分析,揭示了其作为设备“身份证”的作用,详细拆解了从硬件信息采集、SG_INNER_DATA文件解密、关键参数提取到最终长wua合成的完整技术链条,并探讨了模拟生成与绕过风控的实战思路及注意事项。

year5的博客 1082

Flink Rich Functions

“富函数”是DataStream API提供的一个函数类的接口,所有Flink函数类都有其Rich版本。它与常规函数的不同在于,可以获取运行环境的上下文,并拥有一些生命周期方法,所以可以实现更复杂的功能。  RichMapFunctionRichFlatMapFunction  RichFilterFunction Rich Function有一个生命周期的概念。典型的生命周期方法有: ...

weixin_43041588的博客 744

STM32H7 FOC控制时序优化与PWM中点更新策略

在永磁同步电机(PMSM)的磁场定向控制(FOC)系统中,控制时序精度是决定电流环带宽、观测器收敛性与动态响应能力的基础要素。其核心在于理解PWM生成、ADC采样与控制计算三者之间的硬件级时间耦合关系——尤其在中心对齐模式下,标准更新机制引入的半周期延迟会破坏电压-电流瞬时映射,导致滑模观测器失配与高频相位滞后。通过将PWM更新事件绑定至重复计数器(RCR)清零点,可实现控制指令在开关周期中点生效,使等效电压矢量中心与计算时刻严格对齐。该策略显著提升系统确定性,为20 kHz以上高频电流环提供物理支撑,并广

flink9streamer的博客 859

flink richfunction 富函数 解释

https://www.jianshu.com/p/eb2ce82f1ad0

join_null的博客 2611

如何在MacBook上安装部署原生openclaw

本文介绍了在MacBook上安装OpenClaw的详细步骤:首先通过curl或国内镜像源安装nvm和Node.js(版本≥22),然后使用nvm安装Node.js 24并验证安装。接着通过脚本快速安装OpenClaw,完成安装后选择Qwen作为AI模型并进行OAuth认证。配置过程中可跳过联网搜索和Agent技能设置,最后选择Web界面作为呈现方式。安装完成后,系统会启动openclaw-gateway进程并打开Web界面,用户可通过简单的"hello"指令开始与AI对话。目前基础功能已

木简熙的博客 812

YOLOv8-COCO指标转换

本文介绍了将YOLO格式数据集转换为COCO格式并评估模型性能的完整流程。首先需将YOLO格式的标注数据转换为COCO格式,通过修改classes、image_path等参数适配不同数据集。然后使用YOLO模型对验证集进行预测并保存结果为JSON格式。最后通过比较预测结果和转换后的COCO标注文件,使用COCO官方评估指标和TIDE工具进行性能分析,生成包含AP、AR等指标的报告及错误分析图表。整个过程实现了从数据准备到模型评估的完整闭环,为计算机视觉任务提供标准化的性能评估方案。

FJN110的博客 403

Flink API - 富函数 & Source

Flink 富函数与 source

weixin_44760145的博客 938

【AIGC】Qwen3-Embedding:Embedding与Rerank模型新标杆

Qwen3-Embedding:文本嵌入与重排序模型的技术解析与应用实践

一个内容严谨、方向前沿、极具实践价值的AI大模型技术分享站 3101

Flink编程(RichMapFunction)

package com.mischen.it; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.functions.RichMapFunction; import org.apache.flink.configuration.Configuration; import org.apache.flink.streaming.api.environment.StreamE.

mischen520的博客 4147

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

【Flink系列】状态编程简介

【Flink系列】状态编程简介

qq_42875020的博客 1236

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

【Flink-需求】RichMapFunction实现活动数据实时计算关联维度信息

一、需求分析 1.维度信息,关联mysql数据库查询 2.数据为以下格式: user001,A1,2020-09-23 10:10:10,2,北京市 user002,A3,2020-09-23 10:10:10,1,上海市 user003,A2,2020-09-23 10:10:10,2,苏州市 user002,A3,2020-09-23 10:10:10,1,辽宁市 user001,A2,2020-09-23 10:10:10,2,北京市 user002,A2,2020-09-23 10:10:10,1

2556
上一篇: Flink原理与实现:详解Flink中的状态管理
下一篇: Hive
程序员椰子橙
博客等级 码龄9年 46粉丝 163原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值