Flink源码阅读(五)ClosureCleaner

最新推荐文章于 2023-08-31 00:06:06 发布
原创 最新推荐文章于 2023-08-31 00:06:06 发布 · 1.7k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了在阅读Flink源码时发现的`clean()`方法，该方法关联到ClosureCleaner类。ClosureCleaner主要用于解决内部类因持有外部对象引用导致的序列化问题。当外部对象未实现序列化接口时，ClosureCleaner会通过ASM字节码工具检查并清理引用，防止内部类序列化失败。文中还进行了实验验证，并提供了相关参考资料链接。

简介

查看flink源码时,发现api中有clean()方法,例如下图所示

public <K> KeyedStream<T, K> keyBy(KeySelector<T, K> key) {
   
   
		Preconditions.checkNotNull(key
最低0.47元/天 解锁文章
【Flink】Flink ClosureCleaner 闭包清除
九师兄
06-27 1563
1.概述 背景起源于我调试一个代码 public SingleOutputStreamOperator<T> assignTimestampsAndWatermarks( AssignerWithPeriodicWatermarks<T> timestampAndWatermarkAssigner) { // match parallelism to input, otherwise dop=1 sources could lead to some strange .
[Spark基础]--闭包清理类ClosureCleaner
欢迎来到我的博客，一起探索代码里的世界！
04-17 3139
什么是spark闭包？      我的理解：函数可以访问函数外面的变量，但是函数内对变量的修改，在函数外是不可见的。      计算机中的理解：在计算机科学中，闭包（Closure）是词法闭包（Lexical Closure）的简称，是引用了自由变量的函数。 这个被引用的自由变量将和这个函数一同存在，即使已经离开了创造它的环境也不例外。 所以，有另一种说法认为闭包是由函数和与其相关的引用环境组合而...
报错:java.lang.NoSuchMethodError:org.apache.flink.api.java.ClosureCleaner.clean(Ljava/lang/Object；Z)V
weixin_52863669的博客
07-30 2905
java.lang.NoSuchMethodError:org.apache.flink.api.java.ClosureCleaner.clean(Ljava/lang/Object;Z)V——flink使用时报错 原因 flink-streaming-java（或scala）包在pom文件的位置与其他包冲突，maven扫描时出现了异常 比如我负责的模块中涉及到了Redis,引入了 这个依赖，而该依赖中 也有一个相同的包且作用域只在test,它的位置在streaming之上所以导致先被扫描…（大意了）
Spark闭包清理类ClosureCleaner简析
wang_wbq的博客
09-01 2990
Spark闭包清理类ClosureCleaner简析 版权声明：本文为博主原创文章，未经博主允许不得转载。 手动码字不易，请大家尊重劳动成果，谢谢 作者：http://blog.youkuaiyun.com/wang_wbq 从6月初开始因为一些工作上的事情，已经好久没有写博客了，这次把之前Spark源码阅读中深入了解的Spark闭包清理类ClosureCleaner简单介绍下...
Flink ClosureCleaner：优化大数据处理中的闭包使用
学习使你进步。
08-31 236
在大数据处理领域，Flink ClosureCleaner（闭包清除器）是一个关键工具，用于优化闭包在分布式计算中的使用。Flink ClosureCleaner的目标是通过自动化闭包清理过程，减少闭包带来的潜在问题。它通过识别和优化闭包中的问题，减少闭包带来的性能问题和资源泄漏。首先，闭包可能会捕获大量的变量，导致序列化和传输的开销增加。闭包清除器的工作原理是通过分析闭包的结构，识别和优化其中的问题。生命周期管理：识别闭包中的资源依赖关系，及时释放不再需要的资源，避免资源泄漏和内存占用的增加。
spark闭包清理器ClosureCleaner
不说话装高手
09-02 3017
在spark给出的闭包清理器中的代码注释中，关于闭包的例子，给出了一个类作为例子，稍作修改如下。 class SomethingNotSerializable { def someMethod(): Unit = scope("one") { def y = someValue scope("two") { println(y + 1) } } ...
Flink 闭包清理优化：提升大数据处理性能
JieLun_C的博客
08-17 238
然而，由于闭包中的变量可能引用了大量的数据，导致闭包函数的运行效率低下，尤其是在大规模数据处理的场景下。为了解决这个问题，Flink提供了ClosureCleaner（闭包清理）功能，可以对闭包进行优化，提升数据处理性能。通过使用ClosureCleaner，我们可以避免闭包函数中的成员变量被序列化，减少网络传输和对象创建开销，从而提高了程序的运行效率。希望本文能够帮助读者了解Flink闭包清理优化的原理和用法，并能够在实际应用中灵活运用，提高大数据处理的效率。在优化后的代码中，我们在。
flink 源码分析1之RichSinkFunction
GTH07399的博客
03-08 4812
flink sink 2 mysql demo 我们先看一个自定义sink 的demo，将 nc 的数据写入到mysql 中。 import myflink.learn.model.Student; import myflink.learn.sink.SinkToMySQL; import org.apache.flink.streaming.api.TimeCharacteristic; import org.apache.flink.streaming.api.datastream.DataSt
Flink原理：Flink中的日志框架配置
foureyes
06-13 4522
文章目录1. 背景2. 日志门面slf4j2.1 log4j2.2 log4j23. 避免冲突4. 总结 1. 背景 很多同学在进行Flink开发时，无论是使用log4j或log4j2，常常出现各种问题，如下图所示： 今天我们就要拨开云雾见天日，聊聊日志相关的知识，搞清楚这些报错的原因。 众所周知，现代框架都是用门面模式进行日志输出，例如使用Slf4j中的接口输出日志，具体实现类需要由log4j，log4j2，logback等日志框架进行实现，如Flink的类中是这样输出日志的： // org.apache
flink深入研究(07) flink的StreamExecutionEnvironment.execute()函数调用过程01
weixin_39935887的博客
12-21 2184
今天我们开始分析Flink中第一个流程图StreamGraph的生成，StreamGraph 相关的代码主要在org.apache.flink.streaming.api.graph包中。构造StreamGraph的入口函数是StreamGraphGenerator.generate(env, transformations)。该函数会由触发程序执行的方法StreamExecutionEnv...
Flink 中 常见的clean()方法是用来干嘛的呢？
qq_20064763的博客
05-15 947
简介        阅读Flink源码的时候，经常看到如addSource、map、flatmap等方法里面都会调用clean()方法，阅读其注释给人一种抽象、触摸不到的感觉。 public <OUT> DataStreamSource<OUT> addSource(SourceFunction<OUT> function, String sourceName, TypeInformation<O
java实战1：程序常见Exception异常汇总
weixin_43930865的博客
12-16 3615
1：java序列化异常：Caused by: java.io.NotSerializableException: java.security.ProtectionDomain 在运行时突然报序列化异常 Exception in thread "main" java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.Nati
flink运行报错：未序列化
weixin_41998764的博客
10-08 4348
flink序列化相关报错问题解决运行代码报错内容解决方式问题深入为什么会抛出该错误为什么需要序列化该错误抛出源为什么要清理闭包 问题解决 运行代码 public class JavaSourceEx { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironmen
flink 报错is not serializable. The object probably contains or references non serializable fields.
热门推荐
水镜先生的博客
07-21 1万+
今天有同事突然报了这样一个错误，刚开始确实没反应过来，成员变量不可以被序列化。。。。 Exception in thread "main" org.apache.flink.api.common.InvalidProgramException: java.lang.ref.ReferenceQueue$Lock@11fc564b is not serializable. The object probably contains or references non serializable fields.
java泛型生命周期_Flink源码之StreamTask及Java泛型类型擦除和Flink类型暗示
weixin_35948011的博客
02-26 311
本帖最后由 levycui 于 2020-8-11 17:53 编辑问题导读：1、StreamTask的层级结构如何理解？2、StreamTask生命周期的抽象方法如何实现？3、Java泛型类型擦除如何实现？4、Flink类型暗示如何理解？上一篇：Flink源码之StreamOperatorStreamTask在Flink源码之StreamOperator中已经说到StreamOperator上层...
play json Flink 上应用遇到的坑
happyfreeangel的博客
07-16 2133
···· 最近开发flink 项目使用json, 遇到一个play json 很大的坑, 错误提示1: play.api.libs.json.JsResultException: JsResultException(errors:List((/cpu,List(JsonValidationError(List(error.expected.jsnumber),WrappedArray()))), ...
Flink 踩坑记
magic_kid_2010的专栏
12-20 8706
1、flink sink to kafka 报错 java.lang.NoSuchMethodError: org.apache.flink.api.java.ClosureCleaner.clean(Ljava/lang/Object;Z)V Caused by: java.lang.NoSuchMethodError: org.apache.flink.api.java.ClosureCl...
Flink-获取环境变量
bin330720911的专栏
03-27 3315
val env = ExecutionEnvironment.getExecutionEnvironment    val conf = env.getConfig //获取执行环境的配置  //conf进行如下配置  //    conf.setExecutionRetryDelay(5)  //    conf.disableClosureCleaner()  conf.setParallel...
flink源码
最新发布
11-25
由于用户之前询问了Spark源码的解析，我们可以推测用户可能希望了解Flink源码的结构、核心模块或者如何阅读和调试Flink源码。 因此，我们可以从以下几个方面组织回答： 1. Flink源码的获取与编译（参考引用[1]） ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值